技術要約: XYZFlow

問題提起

拡散モデル（Diffusion Models）およびフロー・マッチング（Flow Matching）を用いた高忠実度な画像生成は、サンプリング速度と出力品質の間の根本的なトレードオフに直面している。DDPMやScore-SDEのようなモデルは驚異的な視覚的忠実度を実現しているが、サンプルごとに数百回の反復的なニューラル関数評価を必要とするため、リアルタイムアプリケーションには適していない。

効率化に焦点を当てた現在の多くのアプローチは、事前学習済みモデルを数ステップのサンプラー（例：Rectified Flows、Consistency Models、Shortcut Models）へと圧縮しようとする**蒸留（Distillation）**に依存している。しかし、これらの手法は以下の重大な課題を抱えている：

1. モデル依存性： それらの成功は、教師モデルの品質に強く依存する。
2. 最適化の複雑さ： 複雑な分布を決定論的な関数へと蒸留することは、困難な最適化問題である。
3. 軌道の曖昧性： 従来のデノイジングは、特に画像全体を単一ステップで、あるいは不十分な制約下でデノイジングしようとする際、重なり合いや曖昧な確率パスに悩まされることが多い。

本論文は、核心的な課題は単に蒸留アルゴリズムを改善することではなく、モデルアーキテクチャを通じて確率パスを本質的にユニークかつ学習可能にすることで、厳格なステップ制約下での生成モデルの**表現力（Expressive Power）**をスケールアップさせることにあると断じている。

手法: XYZFlow

著者らは、フロー・マッチングを時間的（Temporal）および空間的（Spatial）という2つの直交する次元に沿ってスケールアップさせることで、効率的な生成を再考するフレームワークであるXYZFlowを提案している。その核心となる哲学は、「インテンシブ・スケーリング（集中的なスケーリング）」であり、単にパラメータや蒸留ステップを追加するのではなく、構造化された多次元的な条件付けを通じて確率フローの表現力を高めることである。

1. 理論的基礎：フロー強化としての自己回帰モデリング

本論文は、自己回帰モデリングを単なる逐次的な予測戦略としてではなく、**フローの直線化（Flow Straightening）**のための暗黙的なメカニズムとして再解釈している。

• 概念： 自己回帰モデルがシーケンスを生成するにつれ、コンテキスト（過去の状態）が段階的に強力な制約を課す。
• 効果： これらの制約は、条件付き分布 $p(x_p | \cdot)$ の分散を減少させ、ノイズからデータへの確率フローの経路を実質的に直線化する。これにより、逆プロセスを曖昧な一対多のマッピングから、ほぼ決定論的な一対一の関数へと変容させる。

2. 多次元条件付け

XYZFlowは、この理論を二重パスの条件付けアーキテクチャを通じて実装している。

• 時間的スケーリング（パッチ内条件付け）：

  • 各デノイジングステップを（現在の状態のみに依存する）マルコフ的なものとして扱うのではなく、XYZFlowは各ステップを、そのパッチの生成軌跡の完全な履歴（$H^p_t$）に基づいて条件付ける。
  • これにより、生成パスを安定させる時間的な座標系が構築され、強力な生成的な事前分布として機能する。

• 空間的スディスケーリング（パッチ間条件付け）：

  • 画像はパッチ（例：$2 \times 2$ グリッド）に分割される。
  • パッチ $x_p$ の生成は、単に前のパッチの最終出力だけでなく、それらの完全なデノイジング軌跡（$T_{<p}$）にも条件付けられる。
  • 前のパッチの完全な軌跡を事前分布として転送することで、モデルはより豊かなコンテキスト信号を獲得し、後続のパッチに対する解空間をさらに縮小させる。

3. 次のショートカット予測（Next Shortcut Prediction）

中心となる動作コンポーネントは、スケーリングのパラダイムを「リソース集約型」から「制約集約型」へとシフトさせるNext Shortcut Predictionである。

• 漸進的デノイジング・スケジュール： モデルは非一様なデノイジング・スケジュールを採用しており、初期のパッチほど多くのステップを要し、後のパッチほど少ないステップ（例：$5 \to 4 \to 3 \to 2$ ステップ）で済むように設計されている。
• メカニズム： 後続のパッチは、確立されたコンテキストと、先行するパッチの「直線化された」軌跡を活用することで、より高速に収束する。
• 学習目的： モデルは教師軌跡蒸留（Teacher Trajectory Distillation）を通じて学習される。モデルは、歴史的な軌跡 $x_{T(p):t}$ と空間的コンテキスト $T_{<p}$ が与えられたときに、次の状態 $x_{t-1}$ を予測することを学習する。目的関数は、学生モデルの予測フローと教師モデルの真の条件付きフローとの偏差を最小化する。
• 推論： 最初のパッチは、堅牢なアンカーを確立するためにフルステップの予算を用いて生成される。後続のパッチは、履歴の軌跡情報を効率的に管理するためにKey-Value (KV) キャッシュを利用しながら、自己回帰的に生成される。

主な貢献

1. 新しいスケーリング・パラダイム： 本論文は、構造化された多次元的な条件付けを通じて生成モデルの確率フローの表現力を高めることで、生成モデルをスケールアップさせることを提唱しており、制約の次元をスケールアップすることがマッピングの一意性への原則的な道であることを主張している。
2. XYZFlowフレームワーク： 時間的および空間的なフロー・スケーリングを特徴とし、効率的な推論時のパッチ間暗黙的軌道ガイダンスを実現するNext Shortcut Predictionを備えた実用的な実装。
3. 理論的正当化： 著者らは、自己回帰モデリングを明示的なフロー強化として定式化し、構造化された条件付けが逆プロセスの分散をゼロへと駆動し、マッピングの一意性を確保できることを示した。

実験結果

実験は、様々なサイズの教師モデル（Base: 172M, Large: 608M, Huge: 1.1B）を用いた ImageNet 256×256 クラス条件付き生成ベンチマークを用いて行われた。

• パフォーマンス vs. 速度： XYZFlowは、最先端の効率と品質のトレードオフを実現している。
  • XYZFlow-B (172M パラメータ) は、推論時間 0.018s で FID 1.63 を達成した。
  • これは、676M パラメータの1ステップモデルである MeanFlow-XL/2+ の速度（0.018s）に匹敵しつつ、大幅に優れたFID（1.63 vs. 2.20）を実現している。
  • また、820M パラメータの DART-FM に対して、FID（1.63 vs. 3.82）と速度（0.018s vs. 0.32s）の両面で凌駕している。
• 高速化： 表1によれば、XYZFlowはそれぞれの教師モデルに対して大幅な高速化を実現しながら、競争力のあるFIDスコアを維持している。具体的には、Baseモデル（XYZFlow-B）で 36.1倍、Largeモデル（XYZFlow-L）で 9.9倍、Hugeモデル（XYZFlow-H）で 4.0倍 の高速化を達成している。
• 堅牢性： 標準的な蒸留手法が著しく劣化するような、より弱い教師（例：DiT/XL-2）から蒸留した場合でも、本フレームワークは堅牢性を維持している。
• アブレーション研究：
  • フル履歴ガイダンス： パッチ間の軌跡条件付けを除去すると、FIDが大幅に悪化（約0.5）した。これは、パッチの最終的な内容のみを用いるよりも、完全な軌跡情報を用いる方が優れていることを裏付けている。
  • ショートカット予測： 漸進的なステップ削減（$5 \to 4 \to 3 \to 2$）は、一定ステップ戦略とほぼ同等の品質を達成しつつ、総ステップ数を約30%削減した。
  • セルサイズ： $8 \times 8$ トークンセルサイズを使用した場合に最高のFID（2.02）が得られた。これは、画像全体を一つのユニットとして扱うよりも、パッチレベルでコンテキストを条件付けることが最適であることを示唆している。

意義と主張

本論文は、XYZFlowが、単にモデル規模を拡大する（「幅のスケーリング」）ことや、蒸留ステップを追加することだけに頼る従来のアプローチに代わる、有望な選択肢を提供すると主張している。「深いスケーリング（Deep Scaling）」、すなわち多次元的な制約条件付けを通じたスケーリングにより、本手法は以下のことを実現する：

1. 時間的条件付けを通じて、生成の軌道を直線化する。
2. 空間的分解を通じて、パッチ単位の生成を簡素化する。
3. これらの次元間の相乗効果を活用し、大幅に少ないステップ数と小さなモデルサイズで高忠実度な合成を実現する。

著者らは、これらの利点が、提案された時空間アーキテクチャ自体から生じるものであり、特に強力な教師モデルへの依存によるものではないことを強調している。これは、制約の次元をスケールアップすることが、効率的で高忠実度な生成モデリングへの実行可能な道であることを示唆している。