技術的概要：P-Guide：単一パス CFG 推論のためのパラメータ効率型事前制御

1. 問題提起

分類器フリーガイダンス（CFG）は、現代のフローベースおよび拡散モデル（Stable Diffusion、FLUX、SDXL など）において、高忠実度かつ意味的に整合した条件付き生成を達成するための事実上の標準となっている。しかし、標準的な CFG は重大な計算上のボトルネックを課す：各サンプリングステップで二重の順方向パスが必要となる。モデルは、外挿されたガイダンス速度を計算するために、速度場を 2 回評価しなければならない。すなわち、条件付き分枝（$v(x_t, t|y)$）と無条件分枝（$v(x_t, t|\emptyset)$）である。これは実質的に推論レイテンシを倍増させ、リアルタイムまたはリソース制約のある環境における高忠実度生成フローの展開を妨げている。蒸留やステップ切り捨てのような既存の緩和戦略が存在するが、これらはしばしば集中的な再トレーニングを必要とするか、生成経路の幾何学的整合性を損なう。

2. 手法：P-Guide フレームワーク

著者は、サンプリング中の反復的な速度場外挿から、事前空間における初期潜在状態の構造化された変調へとガイダンス機構を移行させるフレームワーク、**P-Guide（Prior-Guide）**を提案する。これにより、単一の推論パスを通じて高品質な条件付き生成が可能となる。

2.1 中核概念

各積分ステップで速度場を修正する代わりに、P-Guide は条件情報を軌道の始点（$z$）に注入する。このフレームワークは軌道レベルの近似に依存する：一次の仮定の下では、事前空間における構造化されたシフトは、標準的な CFG で用いられる速度場外挿と同等である。$t=0$においてグローバルな常微分方程式（ODE）経路を固定することで、モデルはさらなる修正なしに目標条件と自然に整合する決定論的軌道に従うことができる。

2.2 事前パラメータ化

この手法は、標準的な無情報ガウス事前分布を超えて、データ依存型となる事前分布 $p_0(z|y)$ をパラメータ化する。

• 等分散 P-Guide： 条件 $y$ は事前分布の平均 $\mu_\phi(y)$ のみを変調し、分散は固定されたままとなる。初期状態は $z = \epsilon + \mu_\phi(y)$ である。
• 異分散 P-Guide（拡張）： 条件は平均 $\mu_\phi(y)$ とスケール $\sigma_\phi(y)$ の両方を変調する。初期状態は $z = \mu_\phi(y) + \sigma_\phi(y) \odot \epsilon$ である。これにより、モデルはデータ依存の不確実性を捉え、トレーニング中にノイズの多いサンプルの重みを下げる適応的損失減衰を実装できる。

2.3 トレーニングパラダイム

P-Guide は逐次的な 2 段階トレーニング戦略を採用する：

1. ステージ 1（事前学習）： 事前モジュール $F_\phi(y)$ を、対象データの条件付き負対数尤度（NLL）を最小化するようにトレーニングする。これにより条件付き平均と分散を学習し、対象モードを符号化する「意味的シード」を創出する。
2. ステージ 2（フローマッチング）： バックボーン速度場 $v_\theta$ を、修正されたフローマッチング目的関数を用いてトレーニングする。始点 $z$ は、凍結された学習済み条件付き事前分布からサンプリングされる。$z$ がすでに目標多様体に地理的に近接しているため、速度場はより直線的で効率的な軌道を学習する。

2.4 推論手順

推論中、ガイダンスされた初期状態 $z_{cfg}$ は、学習済みパラメータの線形結合を用いて事前空間で直接計算される：
$$z_{cfg} = \mu_\phi(\emptyset) + w(\mu_\phi(y) - \mu_\phi(\emptyset)) + [\sigma_\phi(\emptyset) + w(\sigma_\phi(y) - \sigma_\phi(\emptyset))] \odot \epsilon$$
その後、ODE を $x_0 = z_{cfg}$ から始めて1 回解く。これにより、ステップごとの二重速度評価の必要性が排除される。

3. 主要な貢献

• 軌道レベルの近似： 著者は、一次の線形応答仮定の下で、初期潜在状態のシフトが速度場外挿と同じ軌道摂動を引き起こすことを示す理論的導出（定理 1）を提供する。これにより、事前空間制御と標準 CFG の間の理論的同等性が確立される。
• パラメータ効率型単一パス推論： P-Guide は初期状態を変調することで条件制御を達成し、CFG の計算コストを約50%（2 倍の高速化）削減しながら、単一の推論パスを維持する。
• 異分散モデリング： このフレームワークは、平均と分散を同時にモデル化する異分散事前定式化を導入する。これにより適応的損失減衰が可能となり、データの不確実性やノイズの多い条件に対する堅牢性が向上する。
• 最小限のオーバーヘッド： 事前制御モジュールの追加パラメータフットプリントは無視できる程度（約1.247 MB）であり、バックボーンを変更することなく既存のアーキテクチャに容易に統合可能である。

4. 実験結果

著者は、U-Net および Diffusion Transformer（DiT）のバックボーンを用いて、MNIST、CIFAR-10、およびImageNet-1k（256x256）上で P-Guide を評価した。

• 効率性： P-Guide は、標準的な二重パス CFG に比べて画像生成あたりの GFLOPs を一貫して2 倍削減する。これは 1 回の順方向パスのみを必要とするためである。
• 品質：
  • MNIST および CIFAR-10において、P-Guide は標準 CFG と競争力のある Frechet Inception Distance（FID）および分類精度を達成する。異分散バリアントは一般的に固定分散バージョンを上回る。
  • ImageNet-1kにおいて、P-Guide はガイダンススケール $w$ を増加させる（例：1.0 から 1.1 または 1.2 へ）ことで、意味的構造を鮮明にし、FID を低減することを示す（例：U-Net の FID は $w=1.1$ で 27.78 から 22.33 に改善）。
• 堅牢性： P-Guide はガイダンススケール $w$ の選択により敏感であり（標準 CFG よりも狭い有効範囲を示す）、その範囲内では高忠実度を維持する。
• 視覚的証拠： 軌道の可視化は、初期シフトが方向的なアンカーとして機能し、軌道が $t=0$ から即座に目標モードに集中することを確認し、軌道レベルの近似を裏付けている。

5. 意義と主張

本論文は、P-Guide がフローマッチングおよび拡散モデルにおける二重パスボトルネックに対する原理的かつパラメータ効率の高い解決策を提供すると主張している。ガイダンスを軌道の原点へ再配置することで、この手法は条件制御を反復サンプリングプロセスから切り離す。

著者は、P-Guide が以下の点に重点を置くと強調している：

1. 忠実度の維持： 標準的な二重パスのベースラインと競争力のあるサンプル品質およびプロンプト整合性を維持する。
2. スケーラビリティの実現： 推論レイテンシの 50% 削減により、高忠実度生成フローをリアルタイムおよび大規模アプリケーションに対してより実用的にする。
3. 既存システムとの相補性： このフレームワークは標準的な CFG 力学と完全に互換性があり、基礎となる ODE フローを乱すのではなく、初期分布上で動作する相補的な強化と見なすことができる。

この研究は、生成プロセス全体にわたって速度場を制御する代わりに、ソース空間（事前分布）を制御することが、将来の高解像度生成システムのためのスケーラブルな基盤を提供する、実行可能かつ効率的な代替手段であることを示唆している。