⚡ electrical engineering

ART for Diffusion Sampling: Continuous-Time Control and Actor-Critic Learning

本論文は、基礎となるモデルを変更することなく、様々な予算やパイプラインにおいてサンプル品質と汎化性能を大幅に向上させるために、拡散サンプリングの最適かつ適応的なタイムステップ・スケジュールを学習する、連続時間制御フレームワークであるAdaptive Reparameterized Time（ART）およびその強化学習ベースのソルバーであるART-RLを提案する。

原著者： Yilie Huang, Wenpin Tang, Xun Yu Zhou

公開日 2026-07-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yilie Huang, Wenpin Tang, Xun Yu Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは傑作を描こうとしている画家だと想像してください。しかし、使える時間は限られており、筆使い（ブラシストローク）の回数も決まっています。これは、DALL·EやStable DiffusionのようなAI技術の背後にある技術、**拡散モデル（Diffusion Models）**が直面している課題そのものです。これらのモデルは、ランダムな静止画（ノイズ）で満たされたキャンバスから始まり、クリアな画像が出現するまで、ステップごとに徐々に「デノイズ（ノイズ除去）」していきます。

問題は、限られた筆使いをどのように使うか？ です。

現在、ほとんどのAIアーティストは「一様（ユニフォーム）」な戦略をとっています。それは、メトロノームが一定のテンポで刻むように、最初から最後まで同じ大きさのステップを刻むというものです。また、「手作り」のスケジュールを使う人もいます。これは、「最初は大きなステップを踏み、最後は非常に小さなステップを踏む」といった、あらかじめ書かれたレシピのようなものです。しかし、これらのレシピはあくまで推測に過ぎません。時には、描きやすい部分に時間を浪費し、難しい細部を急いで通り過ぎてしまい、結果としてぼやけたり歪んだりした画像を生んでしまうことがあります。

この論文では、ART (Adaptive Reparameterized Time) と呼ばれる新しい手法を紹介します。ARTを、新しい筆としてではなく、AIというオーケストラの賢い指揮者だと考えてください。

コアとなるアイデア：「スピードダイヤル」

AIの絵画プロセスを、地点A（ノイズ）から地点B（最終的な画像）へと走る車のドライブだと想像してください。

従来の方法： ドライバーは一定の速度で走るよう指示されるか、あるいは「ここで減速し、あそこで加速する」という推測に基づいた固定のマップに従わされます。
ARTの方法： ドライバーにはスピードダイヤル（コントロールノブ）があります。AIはリアルタイムでこのノブを回す方法を学習します。
- 道がスムーズなとき（画像の予測が容易なとき）、AIは時間を節約するために大きく速いステップを踏み、スピードを上げます。
- 道が凸凹していたり、難易度が高かったりするとき（細部の予測が困難なとき）、AIは精度を確保するために、小さく慎重なステップを踏み、スピードを落とします。

目標は、全く同じ量の「燃料（計算資源）」を使いながら、それを最も重要な場所に分配することです。

その仕組み：「ギャンブラー」のトリック

この「スピードダイヤル」の問題を数学的に解くことは、AIが一度に数百万の決定を下さなければならないため、非常に困難です。これを解決するために、著者らは ART-RL と呼ばれる巧妙なトリックを使用しています。

このように考えてみてください。すべての瞬間に対して完璧な速度を計算しようとする（それは難しすぎます）代わりに、AIはギャンブラーのように振る舞います。

まず、速度の予測を行います。
次に、その予測に少しだけ「ノイズ」やランダム性を加えます（スピードを上げるべきか下げるべきかを決めるために、サイコロを振るようなものです）。
それを試してみて、結果として得られた画像がどれほど優れているかを確認します。
もし画像が良ければ、その速度を記憶します。もし悪ければ、その速度を避けるように学習します。

この「試行錯誤」のプロセスを数百万回繰り返すことで、AIは完璧なリズムを学習します。一度リズムを学習すれば、AIはギャンブルをやめ、発見した完璧で滑らかな経路に従うだけになります。

結果：同じ労力で、より良い絵を

著者らは、この「賢い指揮者」を、単純な数学問題から複雑な顔や動物の画像を生成するタスクまで、さまざまなタスクでテストしました。

「一次元」テスト： 正解が完全に分かっている単純な数学問題でテストを行いました。従来のメソッド（Uniform, EDM, DPM）は、ブレーキをかけるタイミングを知らないドライバーのようで、しばしば的を外していました。ARTは完璧なブレーキングパターンを学習し、毎回正解に到達しました。
画像テスト： 画像（猫、顔、車など）を生成する際、ARTは標準的な手法よりも、全く同じコンピューターステップ数を使用しているにもかかわらず、一貫してよりシャープでクリアな画像を生み出しました。
「ユニバーサル（普遍的）」な贈り物： 最も驚くべき発見は、ARTが学習した「リズム」が、全く異なるデータセット（例えば、小さなトイ画像のセットであるCIFAR-10）に対して、追加の再学習なしで完璧に機能したことです。これは、駐車場で車の運転を学んだ直後に、追加の練習なしでレースカーをトラックで運転できるようなものです。

なぜこれが重要なのか

現在、より良いAI画像を得たい場合、通常は待ち時間を長くするか（より多くのステップを要する）、より強力なコンピュータを使用する必要があります。ARTを使えば、同じ時間と計算資源で、より高品質な画像を得ることができます。

ARTは、AIを動かすための「推測」を、学習されたスキルへと変えます。AIは自らのスケジュールを決定し、計算資源のあらゆる一秒が、まさに必要とされる場所に正確に使われるようにします。

要約すると： ARTは、AIにオートパイロットでの走行をやめさせ、自ら学習したマップに従って運転することを教えます。これにより、基礎となるAIモデルを変更することなく、よりクリアな画像の生成と高速な生成を実現します。

技術要約：拡散サンプリングのためのART（Adaptive Reparameterized Time）

問題提起

拡散モデルは、学習された逆時間ダイナミクスを通じて、ノイズをサンプルへと変換することでデータを生成する。スコア（またはデノイジング）モデルの学習は確立されているが、サンプリング段階は、有限のタイムステップ・グリッド上での逆過程の数値的な離散化に依存している。現在の標準的な手法は、一様グリッドや手動で設計されたスケジュール（例：EDM、DPM-Solver）を利用している。これらのアプローチは通常、アドホックで固定された処方であり、特定の数値的特性に適応するものではない。その結果、計算リソースが最適に割り当てられず、離散化誤差が大きくなる（ステップが粗すぎる場合）、あるいはダイナミクスが滑らかな領域で無駄な評価が行われる（ステップが細かすぎる場合）といった事態を招く可能性がある。核心となる問題は、固定された計算予算（関数評価回数）の下でサンプル品質を最適化するための、系統的かつ原理的なタイムステップ割り当ての方法を定式化することである。

手法

1. 適応的再パラメータ化時間（ART）

著者らは、タイムステップの選択を制御問題として扱う連続時間最適制御フレームワークであるARTを提案している。

時間の再パラメータ化: 逆過程を固定された物理的時間グリッド $\tau \in [0, T]$ 上で進化させる代わりに、ARTは補助的な「サンプリング・クロック」 $t \in [0, T]$ を導入する。物理時間は、このクロックの関数 $\tau = \psi(t)$ となる。
制御変数: サンプリング・クロックに対する物理時間の進行速度 $\theta(t) = \dot{\psi}(t)$ を制御変数として扱う。
目的: 一次近似オイラー離散化誤差から導出される目的関数を最大化することである。オイラー法の局所誤差は $|Q(x, \psi)| \theta^2$ に比例することが示されており、ここで $Q$ は確率フロー・ベクトル場の局所的な硬さ（stiffness）を捉える。制御問題は、総時間予算の制約 $\int_0^T \theta(t) dt = T$ の下で、累積誤差を最小化することを目指す。
定式化: これは、状態にサンプル軌跡と累積物理時間を含み、制御 $\theta$ が物理時間内での移動速度を決定する、決定論的な最適制御問題となる。

2. ART-RL：ランダム化制御定式化

ハミルトン・ヤコビ・ベルマン（HJB）方程式を介して決定論的なART問題を直接解くことは、高次元の状態空間（例：画像の次元）のために困難である。これを克服するために、著者らは補助的なランダム化制御問題であるART-RLを導入する。

ガウス・ポリシー: 決定論的な制御 $\theta$ は、確率的ポリシー $\pi(\lambda)$ 、具体的にはガウス分布 $N(\mu, \lambda/|Q|)$ に置き換えられる。分散は局所的な硬さ $|Q|$ に反比例し、これにより硬い領域でのランダム性が抑えられる。
理論的等価性: 本論文では、ART-RL定式化における最適なガウス・ポリシーの平均が、元の決定論的なART問題の最適制御解と同一であることを証明している。したがって、ランダム化された問題を解くことで、決定論的な問題の解を回収できる。
アクター・クリティック学習: 近年の連続時間強化学習（CTRL）の進展を活用し、実装可能なアクター・クリティック更新則を導出する。
- クリティック（Critic）: マルチンゲールに基づくモーメント条件を用いて、価値関数（ポリシー評価）を推定する。
- アクター（Actor）: クリティックのフィードバックに基づき、価値を向上させるためにポリシーの平均 $\mu$ を更新する（ポリシー改善）。
- ラグランジュ乗数: 総時間予算の制約を強制するために、乗数 $\gamma$ が更新される。

3. 実装と蒸留

学習されたポリシーは、時間、状態、および累積時間のフィードバック関数である。しかし、経験的な結果によれば、実用的には最適な制御 $\theta$ は主に時間に依存する。著者らは、学習されたニューラルネットワーク・ポリシーを固定された決定論的な時間のみのスケジュール（制御の経験的平均）に置き換える蒸留ステップを提案している。これにより、学習されたスケジュールを単純な事前計算済みグリッドとして展開でき、手動設計のスケジュールと比較して推論時のオーバーヘッドを追加することなく利用できる。

主な貢献

制御理論的フレームワーク: 本論文は、タイムステップの割り当てを、ヒューリスティックなグリッド設計を超えて、連続時間最適制御問題（ART）として定式化した最初の研究である。
理論的架け橋 (ART-RL): 決定論的制御問題とランダム化強化学習定式化の間の厳密な関連性を確立した。最適なランダム化ポリシーの平均が元の決定論的問題を解くことを証明し、アクター・クリティック・アルゴリズムの使用を可能にした。
アルゴリズム開発: 時間の再パラメータ化のための具体的なポリシー評価および改善の特性を導出し、最適なスケジュールを学習するための実践的なデータ駆動型アクター・クリティック・アルゴリズム（Algorithm 1）を導出した。
汎用性と転移: 学習されたスケジュール（例：CIFAR-10で学習）が、再学習なしで異なるデータセット（AFHQv2, FFHQ, ImageNet）、異なる解像度（64x64から512x512）、異なるパイプライン（EDMからEDM2）、および異なる表現空間（ピクセルから潜在空間）に転移できることを実証した。

実験結果

著者らは、スコアモデル、ソルバー、およびパイプラインを固定し、タイムステップ・グリッドのみを変更して、多様な設定でART-RLを評価している。

低次元解析的ケース: 既知のスコア関数を持つ1次元拡散を用い、ART-RLはWasserstein-2誤差において、Uniform、DPM、およびEDMスケジュールを一貫して上回った。これは、画像用に設計された手作りのスケジュールが他のドメインでは失敗する可能性があることを示している。
CIFAR-10 (EDMパイプライン):
- Heunサンプリング: ART-RLは、最強の設定（NFE=35）を含むすべての予算において、最高のFIDを達成した（最先端のEDMスケジュールである1.82に対し1.85を記録）。
- Eulerサンプリング: 同様の改善が見られ、第一次ソルバーであってもグリッドを学習することの利点が確認された。
MNIST (小型モデル): 軽量で事前学習されていないスコアモデルおよびRK4ソルバーを用いた場合でも、ART-RLはベースラインを大幅に上回り、手法の堅牢性を示した。
転移学習:
- ステップ数間: $K=18$ で学習されたスケジュールは、対数線形補間・外挿を通じて他のステップ数へ効果的に転移する。
- データセット間: CIFAR-10で学習されたスケジュールは、再学習なしでAFHQv2、FFHQ、およびImageNet-64のFIDを向上させた。
- パイプラインおよび解像度間: 学習されたスケジュールは、ImageNet-512（潜在空間、高解像度）におけるEDM2パイプラインへの転移に成功し、EDMおよびDPMのベースラインを上回った。

意義と主張

本論文は、ART-RLが、拡散サンプリングで使用されている既存のアドホックで固定されたヒューリスティックなグリッドに対する、原理的かつデータ駆動型の代替案を提供すると主張している。

再利用性: 主な実用的意義は、再利用可能なタイムステップ・スケジュールを学習できることにある。一度（例：CIFAR-10で）学習・蒸留されたスケジュールは、再学習なしで幅広いダウンストリーム・タスク（異なるデータセット、解像度、パイプライン）に適用でき、オフラインの学習コストを償却できる。
ドロップイン・リプレイスメント: この手法は、スコアモデルのアーキテクチャ、ソルバーの実装、または学習プロトコルに変更を必要としない。純粋にタイムステップ・グリッドの置き換えとして機能するため、既存の拡散パイプラインに対するモジュール的な改善となる。
理論的根拠: ヒューリスティックな従来手法とは異なり、ARTは最適制御理論と連続時間強化学習に基づいており、拡散サンプリングにおける離散化誤差に対処するための系統的な方法を提供する。

著者らは、現在の分析が確率フローODEサンプリングに限定されていること、および時間のみのスケジュールへの蒸留によって状態依存性が除去されていることを認め、より豊かな状態条件付きスケジュールがさらなる利益をもたらす可能性については未解決の課題として残している。しかし、現在の結果は、生成モデリングにおける系統的なタイムステップ設計のための強力な基礎を築いている。