Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction

この論文は、学習可能なパラメータを用いて予測タイプや積分領域を柔軟に調整する「Dual-Solver」を提案し、少数の関数評価（NFE）で拡散モデルのサンプリング効率と生成品質を向上させる手法を提示しています。

要約

この論文は、**「AI が絵を描くスピードと質を両立させる新しい『描画エンジン』」**の開発について書かれています。

AI が絵を描く技術（拡散モデル）は、今は非常に美しい絵が描けるようになりました。しかし、その代償として**「描くのに時間がかかる」**という大きな問題があります。まるで、最高級の手描き絵画を完成させるために、職人が何百回も筆を動かして修正を繰り返しているようなものです。

この論文で提案されている**「Dual-Solver（デュアルソルバー）」は、その「何百回もの修正」を「たった数回の賢い修正」**に置き換える、画期的な技術です。

以下に、専門用語を使わず、日常の例え話で解説します。

---

1. 問題：AI の絵描きは「遅い」

AI が絵を描くとき、最初は真っ黒なノイズ（砂嵐のような状態）から始めて、少しずつ絵の形を浮かび上がらせていきます。

• 従来の方法： 職人が「少し直して、また少し直して…」と何百回も筆を動かす（これを「NFE」と呼びます）。これだと、高画質ですが、時間がかかりすぎます。
• 従来の高速化： 「回数を減らして早く描こう」とすると、絵が崩れたり、粗くなったりしてしまいます。

2. 解決策：Dual-Solver（デュアルソルバー）とは？

Dual-Solver は、**「職人の腕前を AI に学習させる」のではなく、「描き方そのものを最適化する」**というアプローチをとります。

① 「3 つの描き方」を自在に混ぜ合わせる（パラメータ $\gamma$）

AI は絵を描くとき、3 つの異なる視点を持っています。

1. ノイズを消す視点（「ここはノイズだ、消そう」）
2. 動きを予測する視点（「ここはこう動いているから、先へ進もう」）
3. 完成形を想像する視点（「ここは完成した絵だ」）

これまでの AI は、このどれか「1 つ」の視点しか使いませんでした。しかし、Dual-Solver は**「状況に合わせて、この 3 つの視点を自由自在に混ぜ合わせて」**描くことができます。

例え話：
料理を作る際、レシピ（固定された視点）通りに作るのではなく、**「味見をしながら、塩分（ノイズ視点）、火加減（動き視点）、完成イメージ（完成視点）をその瞬間ごとにベストな比率で調整する」**ようなものです。

② 「描くペース」を柔軟に変える（パラメータ $\tau$）

絵を描くとき、最初は大きくざっくり描き、最後は細かく丁寧に描くのが普通です。
Dual-Solver は、**「どの段階で、どのくらい細かく描くか」**というペースを、AI が学習して自動で調整します。

例え話：
地図を描くとき、最初は「日本全体」をざっくり描き、次に「県」を、最後に「町」を描くように、**「重要な場所では時間をかけ、そうでない場所ではサッと済ませる」**という、賢いペース配分をします。

③ 「微調整」の精度を高める（パラメータ $\kappa$）

最後に、描き残した小さな誤差（ノイズ）を、数学的に完璧に補正する機能があります。

例え話：
大まかな輪郭を描いた後、「ここが少し歪んでいるな」という小さなズレを、職人が指先で微調整するように、AI が自動的に補正します。

---

3. すごいところ：「先生」がいなくても上手くなる

これまでの高速化技術は、「高画質で描いた先生（教師データ）」の真似をさせて学習させる必要がありました。つまり、先生が何時間もかけて描いた絵を大量に用意しないと、生徒は上手くなりませんでした。

しかし、Dual-Solver は**「先生がいなくても」**学習できます。

• 新しい学習方法： 「この絵は『猫』に見えるか？」「『犬』に見えるか？」という**分類（正解か不正解か）**だけを基準に学習します。
• 仕組み： 完成した絵を AI に見せて、「これは猫の絵か？」と判定させます。「猫の絵」として正しく認識されるまで、描き方を調整します。
• メリット： 高画質の「先生」の絵を用意する必要がなくなり、「少ない回数（3〜9 回）」でも、驚くほど高画質で、かつ意味のある絵を描けるようになります。

4. 結果：どんなに速くても、品質は落ちない

実験の結果、Dual-Solver は以下のことを実現しました。

• 超高速： 従来の方法の 10 分の 1 の回数（3〜9 回）で描ける。
• 高品質： 少ない回数でも、FID（画質の指標）や CLIP スコア（画像と言葉の一致度）が、他のどんな手法よりも高い。
• 汎用性： 画像生成 AI の種類（DiT, SANA など）や、描くテーマ（ImageNet の画像、テキストからの絵）を問わず、どこでも活躍します。

まとめ

Dual-Solver は、**「AI 絵描きの描き方を、職人の経験則（学習）ではなく、数学的な最適化と『正解かどうか』の判断で、超高速かつ高品質に引き上げた」**という画期的な技術です。

これにより、AI が絵を描く時間が劇的に短縮され、より多くの人がリアルタイムで高品質な画像生成を楽しめるようになるかもしれません。まるで、**「何時間もかけて描く名画が、数秒で完成する魔法の筆」**を手に入れたようなものです。

技術概要

Dual-Solver: 双予測を備えた拡散モデル用の汎用 ODE ソルバー

本論文は、ICLR 2026 にて発表された「Dual-Solver」に関する研究です。拡散モデルの推論コスト（関数評価回数：NFE）を削減しつつ、高品質な画像生成を実現するための新しい数値ソルバー手法を提案しています。以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

拡散モデルは画像生成において最高レベルの品質を達成していますが、推論時には多数の反復ステップ（高 NFE）を必要とし、計算コストが高いという課題があります。これを解決するため、従来の ODE 数値解法（Runge-Kutta や Adams-Bashforth など）や、拡散モデルに特化したソルバー（DPM-Solver++ など）が採用されてきました。

しかし、既存の手法には以下の限界がありました：

• 予測タイプと積分領域の固定: 既存のソルバーは、ノイズ予測、データ予測、速度予測のいずれか特定の予測タイプと、対数領域や線形領域などの特定の積分領域に依存しており、これらがサンプリング挙動に大きな影響を与えます。
• 学習型ソルバーの課題: 既存の学習型ソルバーは、教師となる高 NFE でのサンプリング軌道や最終サンプルを大量に必要とし、準備コストが膨大です。また、非常に低い NFE（例：3〜9 回）の領域では性能が劣化する傾向があります。

2. 提案手法：Dual-Solver

Dual-Solver は、多段階サンプリャを一般化し、学習可能なパラメータを通じて柔軟に制御する新しい ODE ソルバーです。標準的な予測子 - 修正子（Predictor-Corrector）構造を維持しつつ、2 次局所精度を保持します。

2.1 3 つの学習可能パラメータ

Dual-Solver は、以下の 3 つのパラメータを各ステップで学習し、最適化します。

1. 予測パラメータ ($\gamma$):

   • ノイズ予測、速度予測、データ予測の積分形式を連続的に補間します。
   • $\gamma = -1$ でノイズ予測、$\gamma = 0$ で速度予測、$\gamma = 1$ でデータ予測に対応します。
   • これにより、モデルが最適な予測タイプを動的に選択できます。

2. ドメイン変更パラメータ ($\tau$):

   • 積分変数の変換（線形変換と対数変換の間）を制御する「Log-Linear 変換」を導入します。
   • $\tau \to 0$ で線形変換、$\tau = 1$ で対数変換（$\log(1+y)$）に近づきます。
   • 数値的安定性を保ちつつ、積分領域を最適化します。

3. 残差パラメータ ($\kappa$):

   • 2 次精度を維持したまま、残差項（誤差補正項）の大きさを調整します。
   • 局所的な精度を損なわずに、近似の柔軟性を高めます。

2.2 分類ベースのパラメータ学習

従来の回帰ベースの学習（高 NFE の教師軌道への追従）ではなく、分類ベースの学習を提案しています。

• 手法: 凍結された事前学習済み画像分類器（MobileNet や CLIP など）を用います。
• プロセス: ソルバーで生成された画像をデコードし、分類器に入力してクラス確率を得ます。その後、生成された画像のクラスラベル（またはテキストプロンプト）との交差エントロピー損失を最小化するようにソルバーパラメータを微分します。
• 利点: 高 NFE の教師データや軌道が不要であり、生成画像が分類器の決定境界の「正しい側」にあることを保証するだけで良いため、低 NFE 領域でも効率的に学習できます。

3. 主要な貢献

1. 汎用性の高いソルバー設計: 予測タイプ、積分ドメイン、残差項を連続的に制御するパラメータを導入し、単一のソルバーで多様なバックボーン（Diffusion および Flow Matching）に適応可能にしました。
2. 教師なしに近い学習戦略: 高品質な教師データ（高 NFE 生成サンプル）を必要とせず、事前学習済み分類器を用いた分類タスクとしてソルバーを学習する新しいアプローチを確立しました。
3. 低 NFE 領域での SOTA 性能: 特に NFE が 3〜9 回という極端に少ないステップ数において、既存のソルバーを凌駕する性能を達成しました。

4. 実験結果

4.1 評価設定

• バックボーン: DiT, GM-DiT (ImageNet 条件付き生成), SANA, PixArt-α (テキストから画像生成)。
• 指標: FID (画像品質), CLIP スコア (テキスト - 画像整合性)。
• 比較対象: DDIM, DPM-Solver++, BNS-Solver, DS-Solver。

4.2 定量的結果

• ImageNet (DiT, GM-DiT): 低 NFE 領域（NFE=3, 5）において、Dual-Solver は他のすべてのソルバーを大幅に上回る FID を達成しました。特に NFE=3 の場合、DiT において FID 24.91（次点の BNS-Solver は 38.20）を記録しました。
• テキストから画像 (SANA, PixArt-α): 同様に低 NFE 領域で FID と CLIP スコアの両方で最良の性能を示しました。
• アブレーション研究:
  • 予測子 - 修正子の構成（1 次予測子 + 2 次修正子）が最適であることを確認しました。
  • 全てのパラメータ（$\gamma, \tau, \kappa$）を学習可能にすることが、固定する場合や共有する場合よりも性能向上に寄与しました。
  • 分類器の選択が重要であり、過度に高い精度を持つ分類器ではなく、中程度の精度を持つ分類器（例：MobileNetV3-Large, CLIP RN101）を使用することが、生成品質の向上に寄与することが示されました。

4.3 視覚的品質

Fig. 1, 8, 9 などの生成結果から、低 NFE であっても Dual-Solver は詳細なテクスチャや構造を保持しており、他のソルバーに比べてアーティファクトが少ないことが確認されています。

5. 意義と結論

Dual-Solver は、拡散モデルの推論効率化において重要な進展をもたらしました。

• 計算コストの削減: 高品質な生成を極めて少ないステップ数（NFE=3〜9）で実現できるため、リアルタイムアプリケーションやリソース制約のある環境での拡散モデルの活用を可能にします。
• 学習コストの削減: 高 NFE 教師データへの依存を排除した学習手法は、新しいソルバーの開発コストを大幅に削減します。
• 理論的・実用的な統合: 古典的な ODE 数値解法の枠組みに、深層学習による適応性を組み合わせた点で、理論と実践の橋渡しとなっています。

将来的には、無条件生成モデルへの適用や、2 次以上の精度解析などへの拡張が期待されますが、現時点で Dual-Solver は低 NFE 領域における拡散モデルサンプリングの新しい標準となり得る強力な手法です。