🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

本論文は、拡散モデルおよびフローマッチングモデルの両方に対して、そのプロセスを条件変数と潜在変数の結合ギブス・MAP最適化として定式化することで推論時のアライメントを強化する、トレーニングフリーのフレームワークであるPG-MAPを導入し、既存の単一軸手法と比較して様々な指標および人間による評価において優れた性能を達成している。

原著者： Ruolan Sun, Pawel Polak

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ruolan Sun, Pawel Polak

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、顧客の注文に基づいて完璧な一皿を作ろうとしている熟練のシェフだと想像してください。AI画像生成の世界では、「シェフ」は複雑なモデル（Stable Diffusionなど）であり、「注文」はテキストプロンプト（例：「赤パンダの宇宙飛行士」）であり、「料理」は最終的な画像です。

通常、シェフがミスをした場合、一度に一つの方法でしか修正できません：

注文を変更する： テキストプロンプトをより具体的に書き換える（例：「パンダが赤いことを確認して」とシェフに伝える）。
材料を微調整する： 調理中に生の混合物を調整して、質感や照明を修正する（例：塩を足したり、火力を調整したりする）。

既存の手法は、どちらか一方の道を選ばなければなりません。テキストを修正すれば、質感を損なうかもしれません。質感を修正すれば、プロンプトの意味を失うかもしれません。

PG-MAPは、両方を同時に、かつ動的に、料理が作られている最中に行うことができる新しい「スーパー・シェフ・アシスタント」です。

コアとなるアイデア：ダイナミックなダンス

この論文は、PG-MAP（Preference-Guided Adaptive MAP）を紹介しています。画像の生成プロセスを、最初に行う一度限りの決定や、最後に一度だけ行う微調整としてではなく、継続的な旅として扱います。

画像生成プロセスを、霧の立ち込める出発点（ランダムノイズ）から、晴れ渡った目的地（最終的な画像）へと続く、長く曲がりくねったロードトリップだと考えてください。

問題点： この道では、最初は「霧（ノイズ）」が深く、最後に向かって晴れていきます。既存の手法は、静的な地図を使って車を操縦したり、一度だけ調整を行ったりしようとします。
PG-MAPの解決策： PG-MAPは、ステップごとにルートを常に再計算するGPSのように機能します。現在の画像のステータスを見て、以下の2つの質問を同時に投げかけます。
1. 「テキストの説明は、今見えているものと依然として一致しているか？」（コンディショニング、またはc側）
2. 「視覚的な品質は良好に見えるか？」（潜在状態、またはz側）

PG-MAPは、「テキストの説明」と「視覚的な材料」を共に調整し、それらが互いに衝突するのではなく、調和して機能するようにします。

仕組み：「フォワード・コンシステンシー（前方一貫性）」のルール

論文では「フォワード・コンシステンシー・カップリング」という高度な用語を使用しています。ここで簡単な比喩を用います。

暗い森の中を歩いているところを想像してください（生成プロセス）。あなたには、今自分がどこにいるかを照らす懐中電灯（AIモデル）があります。

従来の手法は、「どこから出発したかを知っているので、そのまま真っ直ぐ歩き続ける」あるいは「最後に一度だけ経路を調整する」と言います。
PG-MAPは、「今、懐中電灯がどこを照らしているかを見よう。もし光が示す方向に道から外れそうなら、進むべき方向（テキスト）と足元（画像の細部）を同時に優しく押し戻して、軌道に戻そう」と言います。

これは、旅のあらゆる小さなステップに対して「スコア（報酬）」を算出することで実現されます。もし画像が「赤パンダ」のように見えても毛並みがぼやけていれば、毛並みを鋭くします。もし毛並みが素晴らしくても動物が人間のように見えてしまうなら、パンダの形を強制するためにテキストの埋め込み（エンベディング）を微調整します。

2種類の異なる「道」

論文では、興味深い発見をしています。最適な運転方法は、どのような種類の道の上にいるかによって異なります。

拡散モデル（デコボコで霧の深い道）： 古いモデル（SD 1.5やSDXLなど）では、道はノイズに満ちています。PG-MAPは、霧が厚い生成プロセスの初期段階において、テキストと画像の詳細の両方を調整することで最も効果を発揮します。
フロー・マッチング・モデル（滑らかで直線的な高速道路）： 新しくより高速なモデル（SD3.5など）では、道ははるかに滑らかです。ここでPG-MAPは、テキストを微調整する必要はない（道が安定しすぎている）と判断します。代わりに、旅の最後の方で、画像の細部を微調整することに完全に集中します。

この適応性はユニークな点です。他のほとんどのツールは、両方のタイプに対して同じ戦略を使おうとします。

結果：より良い画像、より少ない推測

著者らは、数千のプロンプトを用いてテストを行いました。

視覚的品質： 画像はより鮮明になり、照明や細部（剣のグリップや羽の質感など）の精度が向上しました。
プロンプトの正確性： 画像がテキストの説明により一致するようになりました（例：「赤パンダ」が人間ではなく、実際にパンダに見える）。
人間の好み： 実在の人間が、従来の手法とPG-MAPの間でどちらを選ぶか問われた際、PG-MAPが選ばれた割合は**60%から67%**でした。

「オラクル（神託）」の秘密

論文では、「もし、あらゆる特定のプロンプトに対して完璧な修正方法を魔法のように知ることができたら、どれほど改善できるか？」という「もしも」の実験も行っています。彼らは、プロンプトの種類によって必要な修正が異なることを発見しました。

短く具体的なプロンプト（例：「赤い立方体」）は、テキストによる助けをより多く必要とします。
雰囲気のあるプロンプト（例：「海に沈む夕日」）は、視覚的な質感による助けをより多く必要とします。

PG-MAPは両方を扱う単一のツールですが、論文は将来的に、スマートな「交通管制官」が各リクエストに最適な設定を自動的に選択できるようになり、画像をさらに良くできる可能性があることを示唆しています。

まとめ

PG-MAPは、画像が生成されている最中に、プロンプトの「意味」と画像の「見た目」の両方を同時に、ステップバイステップで調整させることで、AI画像生成器をより賢くする、トレーニングフリーのツールです。使用しているAIモデルのタイプに応じて戦略を適応させることで、テキストに対してより正確で、かつ視覚的にもより美しい画像を実現します。

技術要約：PG-MAP：拡散モデルおよびフローマッチングモデルの推論時アライメントのための結合MAP最適化

問題提起
学習済みテキスト画像生成モデル（拡散モデルおよびフローマッチングモデル）に対する現在の推論時アライメント手法は、通常、単一の制御軸に沿って動作します。コンディショニング側の手法（例：アテンション編集、プロンプト埋め込み学習）はテキスト埋め込み $c$ を修正し、潜在変数側の手法（例：報酬ガイド付き潜在変数摂動）は潜在状態 $z_t$ を修正します。既存のフレームワークは、コンディショニング変数と潜在変数の間の結合依存関係をモデル化できておらず、更新を協調的なものではなく、加法的なものとして扱っています。さらに、これらの手法は静的であり、軌跡の開始時（ $z_T$ ）やオフラインで制御戦略を固定してしまうため、高ノイズ（グローバルなレイアウト）から低ノイズ（ローカルな詳細）のレジームへと進化するにつれて変化するデノイザーの動的な情報ニーズを無視しています。この制限は、異なる生成輸送（拡散 vs. フローマッチング）間でのアライメント技術の転移を妨げています。

手法：PG-MAP
著者らは、推論時のアライメントを軌跡レベルのギブス-MAP / 近似エネルギー最適化として定式化する、トレーニングフリーのフレームワークである PG-MAP (Preference-Guided Adaptive MAP) を提案しています。核心となる革新は、毎ステップのデノイジングにおいて、コンディショニング $c$ と潜在状態 $z_t$ を共同で最適化する前方一貫性結合 (forward-consistency coupling) です。

目的関数: フレームワークは、以下の3つのコンポーネントからなるステップ依存のエネルギー関数 $J_t(c, z_t)$ を定義します。
1. 前方一一致性残差 (Forward-Consistency Residual): 現在の潜在変数 $z_t$ と、モデル自身の予測による前ステップの状態との偏差を罰する項 $\ell_t(c, z_t)$ 。これにより、軌跡がデノイザーの前方カーネルと一貫性を保つことを保証します。
2. ガウスアンカー事前分布 (Gaussian Anchoring Priors): 最適化された変数を、元の値（ $c_0$ および DDIM 軌跡点 $z^{ddim}_t$ ）に固定する項 $R_c(c)$ および $R_z(z_t)$ 。極めて重要な点として、潜在事前分布のスケール $\sigma_z(t)$ はスケジュール適応型であり、拡散過程の周辺ノイズスケール（ $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ）を追跡することで、軌跡がデータ多様体に近づくにつれてタイトになるスケール不変な信頼領域を提供します。
3. 好みの報酬ティルト (Preference Reward Tilt): モデルによるクリーンな画像のステップごとのプレビューに基づき、人間の好み（例：PickScore, HPS）へと最適化を導く項 $\lambda Q(\hat{x}_0, y)$ 。
適応的アクティブセット (Adaptive Active Set): フレームワークは、ステップ依存のアクティブセット $A_t \subseteq \{c, z_t\}$ と報酬ゲート $\lambda_t$ を採用しています。
- 拡散モデル (SD 1.5, SDXL): フレームワークは $c$ と $z_t$ の両方を共同で精緻化します。主に高ノイズのウィンドウにおいて、コンディショニングと潜在変数が軌跡が進展するにつれて互いに情報を与え合うことを可能にします。
- フローマッチングモデル (SD3.5): ODE の決定論的な性質と連結されたテキストエンコーダの高い容量のため、フレームワークは潜在変数のみのバリアント (UG-FM) に縮退します。ここでは、コンディショニングの更新は効果的ではなく、ノイズ側の摂動は ODE のダイナミクスによって過度に増幅されるため、アクティブセットはデータ側のウィンドウ（低ノイズ）に限定された $\{z_t\}$ に収束します。
最適化: 精緻化されたペア $(c^\star_t, z^\star_t)$ は、エネルギー関数から導出された勾配を用いて、少数の共同上昇ステップ（通常 $K=2$ ）を通じて得られます。このプロセスは、CFG（Classifier-Free Guidance）のような既存の手法と合成可能です。なぜなら、CFG がベクトル場を修正するのに対し、PG-MAP は固定されたベクトル場の下でクエリポイントを移動させるからです。

主な貢献

結合 $(c, z_t)$ MAP フレームワーク: デノイザーの前方カーネルを通じてコンディショニングと潜在変数を結合した、初の推論時フレームワークであり、構成の失敗（c側）とテクスチャの失敗（z側）を同時に解決します。
統一された目的関数: 目的関数 $J_t$ は、MAP-c や Reward-z といった従来の単一軸手法を特殊なケースとして解析的に回収します。また、CFG は特殊なケースではなく、合成可能な外部メカニズムとして位置付けられています。
スケジュール適応型最適化: ノイズスケジュールに適応して、制約を緩める高ノイズ時と、データ端に近づくにつれて制約を強める時間依存の信頼領域とアクティブセットを導入しました。
輸送依存の分析: 最適なアクティブセットは生成輸送に依存することを明らかにしました。拡散モデルは高ノイズ時における共同精緻化の恩恵を受ける一方、フローマッチングはデータ端における潜在変数のみの精緻化の恩恵を受けます。この仮説は、局所的な摂動分析と実証的な検証によって支持されています。

結果

拡散バックボーン (SD 1.5, SDXL): PG-MAP は一貫してアライメント指標を改善します。SDXL において、静的なベースラインに対して 56.4% の PickScore 勝率および 56.2% の Aesthetic 勝率を達成しました。PG-MAP をチューニングされた CFG と組み合わせることで、全体的なパフォーマンスが最大化され、64.6% の HPS および 56.5% の Aesthetic に達しました。
フローマッチングバックボーン (SD3.5-medium): 潜在変数のみのバリアント (UG-FM) は、静的なベースラインに対して 91.9% の PickScore および 75.7% の HPS の勝率を達成しました。制御実験により、これらの利得がノイズに関連するアーティファクトによるものではなく、構造化された低周波の潜在変数摂動によるものであることが確認されました。
人間による評価: SDXL において、PG-MAP は、静的なベースライン、チューニングされた CFG、および計算量を一致させた Universal Guidance に対するペア比較において、人間による評価で 60〜67% の勝率を記録し、好まれました。
オラクル・ルーティング: オラクル分析により、異なるプロンプトタイプ（例：属性結合 vs. 風景描写）は異なる最適化バリアントの恩恵を受けることが明らかになりました。プロンプトごとのセレクターを導入すれば、理論的には指標をさらに 5〜14 パーセントポイント 向上させることが可能であり、将来的なルーティングメカニズムの大きな余地を示唆しています。

意義と主張
本論文は、PG-MAP が、推論時のアライメントにおけるデフォルトのデザイン原則として、静的な単一軸のガイダンス・ヒューリスティックから、動的で軌跡を考慮した最適化への転換を象徴していると主張しています。前方一貫性結合を伴う近似エネルギー最適化としてアライメントを定式化することで、このフレームワークは、拡散とフローマッチングの両方の輸送に対して互換性のある、モダリティを越えた協調的な更新を可能にします。著者らは、「負荷を担う」要素は、単にステップサイズを大きくしたり、より強い報酬信号を用いたりすることではなく、結合の結合と非定常なスケジューリングにあることを強調しています。本研究は、生成プロセスにおけるコンディショニングと潜在変数がどのように相互作用するかを理解するための、統一的な理論的および経験的基盤を提供するものであり、生成モデルのアライメントを向上させるための柔軟でトレーニングフリーのアプローチを提供します。

コアとなるアイデア：ダイナミックなダンス

仕組み：「フォワード・コンシステンシー（前方一貫性）」のルール

2種類の異なる「道」

結果：より良い画像、より少ない推測

「オラクル（神託）」の秘密

まとめ

関連論文