技術要約: IB-Flow

問題提起

拡散モデル（Diffusion Models）やフロー・マッチング（Flow Matching, FM）を含む大規模なテキスト・トゥ・イメージ生成モデルは、前例のない視覚的忠実度を達成しているが、多段階の反復ソルバー（多くの場合40〜100回のニューラル関数評価）への依存による深刻な推論レイテンシという課題を抱えている。数ステップの蒸留技術は、これらの軌道を1〜2ステップに圧縮することを目指しているが、既存のClassifier-Free Guidance (CFG) 蒸留のフレームワークは最適とは言えない。

現在の手法は、以下の2つの決定的な欠陥を持つ「ブラインド注入パラダイム」を採用している：

1. グローバルに静的なガイダンス強度: 全てのタイムステップに対して一定のCFGスケール ($\omega$) を強制しており、画像生成の動的な性質を無視している。
2. 無差別なスーパーバイザー・サンプリング: 生成プロセスの現在の状態を考慮することなく、経験的な事前分布からスーパーバイザーのタイムステップ ($\tau$) をランダムにサンプリングしている。

この状態非依存のデザインは、画像生成が動的かつ漸進的なエントロピー減少プロセスであるという本質的な性質を無視している。その結果、以下の2つの失敗モードを引き起こす：

• 初期段階（高エントロピー）: 遠く離れたターゲットへ盲目的にジャンプすることで巨大なセマンティック・ギャップが生じ、ノイズによる劣化を引き起こす。
• 後期段階（低エントロピー）: 硬直した高強度のガイダンスが収束した自然な多様体（manifold）を乱し、深刻な CFGオーバーコンディショニング・アーティファクト（例：色の過度な彩度、テクスチャの鋭すぎるシャープネス）をもたらす。

手法: IB-Flow

著者らは、蒸留を情報理論の観点から再検討し、特に情報ボトルネック (Information Bottleneck, IB) 原理によって制約された動的な相互情報量ゲームとしてモデリングするフレームワークである IB-Flow を提案する。このフレームワークは、注入ターゲットと注入強度の両方を動的に決定するためのデュアルトラック適応メカニメントを導入している。

1. インスタンス認識型注入ターゲット選択

いつガイダンスを注入するか（最適なスーパーバイザー・タイムステップ $\tau^*_{CA}$ の選択）を決定するために、著者らはこの問題を容量制約付きの相互情報量最大化として定式化する：
$$\tau^*_{CA}(x_t, t) = \arg \max_{\tau \in [t,1]} I(x_\tau; X_1 | X_t) \quad \text{s.t.} \quad D_{KL}(p_t \| p_\tau) \leq \delta$$

• 理論的導出: 高次元ピクセル空間におけるKLダイバージェンス制約を直接解くことは困難である。著者らは、フロー・マッチングの連続ベクトル場（continuous vector field）の視点とテイラー展開を活用し、フィッシャー情報量メトリック (Fisher Information Metric) を用いてKLダイバージェンスを近似する。
• 閉形式解 (Closed-Form Solution): ゼロオーバーヘッドの閉形式解を導出し、注入スパンが局所的なベクトル場のノルム ($\|\Delta v_t(x_t)\|_2$) に反比例するように設定する：
  $$\tau^*_{CA}(x_t, t) = \min\left(1, t + \frac{\kappa}{\|v^c_t(x_t) - v^u_t(x_t)\|_2 + \epsilon}\right)$$
  ここで、$\kappa$ はダイバージェンスの予算を表す。このメカニズムにより、初期の高エントロピー段階では保守的な構造的アンカリング（より近いスーパーバイザーを選択）を確保し、後半段階では詳細なリファインメントを促進する。

2. エントロピー認識型動的ガイダンス強度

どの程度のガイダンスを注入するか（スケール $\omega^*(t)$ の最適化）を決定するために、著者らはコンディショニングのコストと生成の忠実度のバランスを取る：
$$\min_{\omega(t)} I(X^\omega_t; C) - \beta I(X^\omega_t; X_1 | C)$$

• 理論的導出: I-MMSE関係を利用して、実データの残留不確実性が瞬時の信号対雑音比 (SNR) に反比例することを証明する。
• 閉形式解: 最適なガイダンス強度は、SNRに従って動的に減衰する：
  $$\omega^*(t) = 1 + (\omega_{max} - 1) \cdot \frac{1}{1 + \gamma \cdot \text{SNR}(t)}$$
  ここで、$\text{SNR}(t) = \frac{t^2}{(1-t)^2}$ である。このスケジュールは、初期の対称性の破れ（symmetry breaking）のために最大のスラストを適用する一方で、プロセスが完了するにつれて滑らかに無条件の自然な多様体（$\omega \to 1$）へと回帰し、オーバーコンディショニング・アーティファクトを効果的に根絶する。

3. 統合された目的関数

これらの動的コンポーネントは、静的なパラメータを導出された $\tau^*_{CA}$ および $\omega^*(t)$ に置き換えることで、CFG拡張 (CA) 目的関数に統合され、学生モデルの勾配更新をガイドする。

主な貢献

1. 理論的再定式化: 本論文は、従来のブラインド注入の限界を露呈させ、数ステップのCFG蒸留を情報ボトルネック原理によって制約された動的な相互情報量ゲームとして正式にモデル化した初めての研究である。
2. インスタンス認識型ターゲット選択: 不可能なKLダイバージェンス制約を、局所的なベクトル場ノルムに基づくゼロオーバーヘッドの閉形式解に変換する数学的に導出されたメカニズムを提供し、安全なセマンティック・アライメントを保証する。
3. エントロピー認識型強度スケジューリング: SNRの進化に適合する動的なガイダンス・スケジュールを適用し、コンディショナル生成と自然な多様体の忠実度のバランスを取り、オーバーコンディショニングを排除する。
4. 最先端の性能: 本フレームワークは、極端な2ステップ構成において優れた生成の忠実度とテキスト・アライメントを達成する。

実験結果

著者らは、FLUX.1-dev、OpenUni-L-512、および Qwen-Image-20B の3つの多様なティーチャーモデルを用いて、1024×1024の画像を生成し、IB-Flowを評価した。

• 定量的性能: Qwen-Image-20Bバックボーンを用いた2 NFEにおいて、IB-Flowは GenEvalスコア 0.86 および DPG-Benchスコア 88.67 を達成し、以前のSOTA（ArcFlow: 0.84 / 87.94）を上回った。
• きめ細かな分析: DPG-Benchの詳細な内訳により、Global (+1.22) および Texture (+1.09) メトリクスにおける大幅な改善が示された。これは、動的なターゲット選択が初期段階の構造を安定させ、動的な強度スケジュールが後期のテクスチャの過度なシャープネスを防ぐことを裏付けている。
• 定性的改善: 視覚的な比較により、IB-Flowは静的なベースラインや他の数ステップ手法（TwinFlow, pi-Flowなど）と比較して、構造的忠実度、セマンティック・アライメント、色彩の忠実度、およびテクスチャの詳細を同時に向上させていることが示された。
• アブレーション研究: 動的なターゲットまたは動的な強度のいずれかを除去すると性能が低下し、これら2つのコンポーネントが補完的な失敗モード（セマンティック・ギャップ vs オーバーコンディショニング）に対処していることが確認された。

意義と主張

本論文は、硬直した静的な仮定を、理論的に裏付けられた動的な情報注入フレームワークに置き換えることで、IB-Flowが数ステップ生成モデルの性能の天井を根本的に超越することを主張している。画像生成を動的なエントロピー減少プロセスとして扱うことで、この手法は、従来のCFG蒸留の試行において問題となっていた深刻なオーバーコンディショニング・アーティファクトを正常に根絶することに成功した。著者らは、このアプローチが構造的および色彩的な忠実度の両方を回復させ、リアルタイムのインタラクティブなアプリケーションに必要なアライメントや詳細を損なうことなく、極めて低いステップ数（2 NFE）での高品質なテキスト・トゥ・イメージ合成を可能にすると断言している。