🤖 machine learning

Efficient Adjoint Matching for Fine-tuning Diffusion Models

本論文は、線形基底ドリフトと修正された終端コストを用いて基礎的な確率的最適制御問題を再定式化することにより、標準的なテキストから画像へのベンチマークにおける性能を維持または向上させつつ、高価な後方随伴シミュレーションを排除し、より迅速な収束を可能にする拡散モデルに対する報酬微調整を大幅に加速する手法である効率的随伴マッチング（EAM）を導入する。

原著者： Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jeongwoo Shin, Dongsoo Shin, Joonseok Lee, Jaewoong Choi, Jaemoo Choi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、一般的な料理を非常に得意とするマスターシェフ（事前学習済み AI モデル）を持っていると想像してください。このシェフは、標準的なレシピに従うだけで、完璧なステーキや美しいケーキを作ることができます。しかし、「夕焼けのように見えるスパイシーなヴィーガンバーガー」を頼むと、あなたの具体的で洗練された好みに合わせるのに苦労するかもしれません。

これを解決するために、あなたは料理の味見をしてシェフに改善点を伝えるフードクリティック（報酬モデル）を雇います。目標は、シェフにあなたが望むものを正確に作れるように教えることです。

従来の方法：「随伴マッチング（Adjoint Matching: AM）」

以前の手法である随伴マッチングは、シェフにとって非常に厳格で、遅く、かつ過酷なトレーニング regimen のようなものでした。

前進の旅（調理）：シェフに教えるために、システムは生食材から最終的な料理まで、調理プロセス全体を、非常に遅く、ランダムな方法（時折食材を落としてしまうスプーンで鍋をかき混ぜるような方法）で、ステップごとにシミュレートする必要がありました。これには長い時間と大量の計算資源が必要でした。
後退の旅（批評）：料理が完成すると、システムは調理プロセス全体を分単位で逆再生し、どのステップで何が間違っていたのか、そしてそれをどう修正すべきかを突き止める必要がありました。この「巻き戻して分析する」ステップも、信じられないほど遅く、計算負荷が重かったのです。

問題点：この二段階のプロセス（遅い前進調理＋遅い後退分析）により、トレーニングは非常に高価で遅くなりました。まるで、新しいレシピを学ぶために料理を 100 回作り、その後、ミスを発見するために動画を 100 回巻き戻すようなものでした。

新しい方法：「効率的随伴マッチング（Efficient Adjoint Matching: EAM）」

この論文の著者たちは、遅さの原因が、シェフが従わなければならなかった特定の「キッチンのルール」（ベースドリフト）にあることに気づきました。彼らは最終的な目標を変えずにトレーニングを高速化するため、キッチンのルールを再設計することにしました。

以下に、EAMがどのように機能するかを、簡単な比喩を用いて説明します。

1. 「ショートカット」調理（前進シミュレーション）
シェフに遅く、ランダムな方法でゼロから料理を作らせる代わりに、EAM はシェフに高速で決定論的なオーブンを使って、数ステップだけで最終的な料理を作らせます。

魔法のトリック：最終的な料理（画像）ができると、システムは中間状態を得るために、ごちゃごちゃした調理プロセスをシミュレートする必要がなくなります。代わりに、完成した料理に「ノイズを少し振りかける」だけで中間状態を作成します。「完璧なケーキがあるから、少し小麦粉を戻して、焼き途中の状態を想像してみよう」と言っているようなものです。これにより、遅く、ランダムな調理シミュレーションを完全にスキップできます。

2. 「即時」批評（後退随伴）
従来の方法では、クリティックはフィードバックを与えるために動画を巻き戻す必要がありました。しかし、EAM ではキッチンのルールがより単純（線形）に変更されたため、クリティックは即座にフィードバックを与えることができます。

魔法のトリック：システムは今や「チートシート（閉形式の公式）」を持っています。エラーを見つけるために動画を再生する代わりに、クリティックは最終的な料理とチートシートを見るだけで、レシピをどう調整すべきかを即座に知ることができます。巻き戻しも、遅い分析も不要です。

結果

これらの 2 つの変更を行うことで、著者たちは以下のような結果を得ました。

速度：新しい方法は、従来の方法よりも4 倍高速にトレーニングします。まるで、渋滞の車道から直接の高速道路へ乗り換えたようなものです。
品質：高速化されたにもかかわらず、生成された AI モデルは人間の好みに従う能力において、従来と同等か、それ以上です。より美しく、プロンプトに正確に反応し、自然に見える画像を生成します。
詳細：新しい方法は、最終画像と「ノイズの」ステップとの間のつながりをよりよく保持するため、AI は毛並みの質感や水面の反射といった微細な詳細を保持します。これらは従来の方法では時折、平滑化されて失われていたものです。

まとめ

この論文は、**効率的随伴マッチング（EAM）**を紹介しています。これは、AI がトレーニング中に「思考」する際の根本的なルールを変更することで、遅い AI トレーニングの問題を解決します。

従来の方法：遅く、ランダムな調理＋遅い、後退動画分析
新しい方法：高速で直接的な調理＋即時、公式ベースのフィードバック

その結果、スーパーコンピュータを数日間稼働させることなく、人間が実際に好む芸術を AI モデルに教える、より賢く、高速な方法が実現しました。

技術概要：拡散モデルの微調整のための効率的な随伴マッチング

問題定義

報酬ベースの微調整は、テキストから画像（T2I）生成において、事前学習済みの拡散モデルやフローモデルを人間の嗜好に整合させるための標準的なアプローチとなっています。その中でも、**随伴マッチング（Adjoint Matching: AM）**は、報酬微調整を確率的最適制御（SOC）問題として定式化することにより、原理的な枠組みを提供します。AM は、事前学習済みモデルを、 $r(x)$ を報酬関数とするターゲット分布 $p^\star_1(x) \propto e^{\beta r(x)}p_{data}(x)$ へと変換することを目指します。

しかし、AM は実用的な応用を妨げる重大な計算的非効率性に悩まされています：

前方シミュレーションのボトルネック： AM は、「メモリーレス」な力学の下で、確率微分方程式（SDE）ソルバーを用いて完全な生成軌道をシミュレートする必要があります。これには多数の関数評価（NFEs）が必要であり、かつ全体の軌道をメモリに保存する必要があります。
後方シミュレーションのボトルネック： 制御信号を計算するために、AM はサンプリングされた軌道に沿って随伴状態の backward 常微分方程式（ODE）シミュレーションを必要とします。これは、各積分ステップで事前学習済みネットワークを通じたヤコビアン・ベクトル積（JVP）の計算を伴い、計算コストが高くなります。

著者らは、これらのボトルネックが、標準的な AM 定式化において事前学習済みモデルから継承される非自明なベースドリフトに本質的に結びついていると観察しています。

手法：効率的な随伴マッチング（EAM）

本論文は、**効率的な随伴マッチング（EAM）**を提案します。これは、報酬傾斜されたターゲット分布に到達するという理論的保証を維持しつつ、両方の計算ボトルネックを排除するように SOC 問題を再定式化するものです。

1. ベース力学の再設計

EAM は、ベース力学に対して 2 つの構造的な条件を導入します：

線形性： ベースドリフト $b(x,t)$ は $x$ に対して線形になるように再設計されます（すなわち、 $b(x,t) = D(t)x$ ）。
メモリーレス性： ベース力学はメモリーレスのまま維持され、これにより中間状態を直接終端点からサンプリング可能にします。

拡散係数 $\sigma(t)$ を標準的な設定と一致させるように固定することで、著者らはこれらの条件を満たす許容される線形ドリフトの特定の族（式 15）を導出します。この線形ドリフトにより、随伴状態に対して閉形式解が可能となり、後方 ODE シミュレーションや JVP 評価の必要性が排除されます。

2. 終端コストの補正

ベースドリフトを変更すると、制御されていないシステムの終端分布が変化します。最適な制御分布が依然として望ましい報酬傾斜分布 $p^\star_1$ と一致することを保証するために、EAM は補正された終端コスト $g(x)$ を導出します。このコストの勾配 $\nabla g(x)$ には、事前学習済みスコア、新しいベース終端スコア、および報酬勾配の項が含まれます（式 16）。

3. 学習アルゴリズム

EAM の学習ループ（アルゴリズム 1）は以下の通り進行します：

終端点生成： 完全な SDE ロールアウトの代わりに、終端点画像 $X_1$ は、数ステップの決定論的 ODE ソルバー（例：10 NFEs）を使用して生成されます。
中間状態の構築： 中間状態 $X_t$ は、生成された終端点に条件付けられた元のノイズカーネル $q_t(\cdot | X_1)$ から直接サンプリングされ、前方 SDE シミュレーションの必要性を回避します。
閉形式随伴： 随伴状態は、終端点勾配 $\nabla g(X_1)$ の閉形式スケーリングによって計算され、後方シミュレーションを完全に排除します。
制御のパラメータ化： 制御 $u(x,t)$ は、事前学習済みモデルから初期化された学習可能な速度モデル（例：LoRA）を介してパラメータ化され、事前学習済み力学から微調整を開始することを可能にします。

主な貢献

アルゴリズムの提案： AM と同じ理論的目標を達成しつつ、計算コストを大幅に削減する報酬勾配ベースの微調整アルゴリズムである EAM の導入。
理論的特徴付け： 効率的な軌道構築（メモリーレス性）と閉形式随伴計算の要件を満たす線形ベースドリフトの特性付け。
実証的検証： 標準的な T2I ベンチマークにおいて、EAM が AM よりも最大4 倍高速に収束し、複数の指標において AM と同等かそれ以上の性能を発揮することを示すこと。

結果

著者らは、Pick-a-Pic データセットを用いて Stable Diffusion 3.5-Medium（SD3.5-M） 上で EAM を評価し、AM およびベースラインの SD3.5-M と比較しました。

効率性： EAM は、1 回あたりのトレーニングコストを最大 4 倍削減します。これは、40 ステップの SDE シミュレーションを 10 ステップの ODE 終端点サンプリングに置き換え、後方随伴シミュレーションを排除することで達成されます。
性能： PickScore、ImageReward、HPSv2.1、CLIPScore、Aesthetics を含むベンチマークにおいて、EAM は一貫して AM と同等かそれ以上の性能を発揮します。
- 単一報酬（PickScore）設定では、EAM は PickScore 23.16 を達成し、AM の 23.00 を上回りました。
- 複数報酬設定（PickScore + HPSv2.1 + Aesthetics）では、EAM は PickScore 22.93 および Aesthetics スコア 6.56 を達成し、AM（6.21）を上回りました。
定性的な改善： 視覚的比較により、EAM は AM に比べて微細な詳細や複雑な構成をよりよく保持することが示されました。AM は時として詳細を平滑化してしまう傾向があります。これは、EAM におけるトレーニング（終端点条件付きノイズ）と推論軌道の一貫性に起因します。

意義と主張

本論文は、随伴マッチングの主な限界は、SOC 定式化そのものには内在するものではなく、特定のベースドリフトの選択に起因するアーティファクトであると主張しています。ベースドリフトを線形でメモリーレスになるように再設計し、それに応じて終端コストを調整することで、EAM は理論的な整合性の保証を犠牲にすることなく、2 つの主要な計算ボトルネック（前方 SDE シミュレーションと後方随伴シミュレーション）を排除します。

著者らは、EAM を、勾配ベース手法のサンプル効率を維持しつつ計算オーバーヘッドを劇的に削減する、実用的でスケーラブルな報酬微調整ソリューションとして位置付けています。これにより、拡散モデルの高品質な整合がよりアクセスしやすくなります。この研究は、すべての最適化課題（例：バッファリプレイや適応的スケジューリングは将来の課題として言及されています）を解決するものとは主張していませんが、この分野における効率性の新たな基準を確立しています。