論文要約：PURRCEPTION (Variational Flow Matching for Vector-Quantized Image Generation)

1. 背景と課題 (Problem)

高解像度画像生成において、ベクトル量子化（Vector-Quantized: VQ）潜在空間は、ピクセル空間に比べて計算効率が高く、高忠実度な再構成を可能にするため広く利用されています。しかし、VQ 潜在空間の生成モデルには本質的な**「二重性（Dual Nature）」**という課題が存在します。

1. 離散性と連続性の矛盾: VQ 潜在変数は、有限のコードブックから選ばれた「離散的なインデックス」と、そのインデックスに対応する「連続的な埋め込みベクトル」という 2 つの側面を持っています。
2. 既存手法の限界:
   • 連続流マッチング (CFM) / 拡散モデル: 連続的な埋め込み空間で動作するため幾何学的な滑らかさを保ちますが、離散的なコード選択の学習信号（カテゴリカルな監督）を受け取れません。そのため、どのインデックスを選ぶべきかの不確実性を表現できず、温度制御（Temperature Scaling）による生成制御も不可能です。
   • 離散流マッチング (DFM) / 離散拡散: コードインデックスを直接予測しますが、埋め込みベクトルの幾何学的関係（類似性など）を無視してしまいます。結果として、生成プロセスが離散的な「テレポート（ジャンプ）」となり、滑らかな補間や不確実性の表現が困難になります。

このトレードオフを解決し、**「離散的なコード選択の学習」と「連続的な幾何学的輸送」**の両方を同時に実現する手法が求められていました。

2. 提案手法：Purrception (Methodology)

著者らは、Variational Flow Matching (VFM) を VQ 潜在空間に適応させた新しい手法「Purrception」を提案しました。この手法は、連続空間での速度場学習と、離散コードに対するカテゴリカル事後分布の学習を組み合わせるハイブリッドアプローチです。

核心的なメカニズム

1. カテゴリカル事後分布の学習:
   • 従来の Flow Matching が終点（ターゲット）の連続ベクトルを直接回帰するのに対し、Purrception は終点がコードブック内のどのインデックスであるかを表すカテゴリカル事後分布 $q_\theta(c | z_t)$ を学習します。
   • ここで $c$ はコードインデックス、$z_t$ はノイズとデータの中間点（連続埋め込み）です。
2. 連続空間での速度場推定:
   • 学習されたカテゴリカル分布（コードブック各要素への確率 $\pi_{\theta, k}$）を用いて、連続空間における速度場 $v_\theta(z_t)$ を計算します。
   • 数式的には、各コードブックベクトル $e_k$ への重み付き平均（期待値）として速度場を定義します：
     $$v_\theta(z_t) = \sum_{k=1}^K \pi_{\theta, k}(z_t) \frac{e_k - z_t}{1-t}$$
   • これにより、モデルは「複数の候補コードに対する不確実性」を、離散的なジャンプではなく、幾何学的に滑らかな連続輸送として表現できます。
3. 損失関数:
   • 速度場回帰ではなく、予測されたカテゴリカル分布と真のコードインデックスとの間のクロスエントロピー損失を最小化します。これにより、離散的な構造に対する直接的な監督信号が得られます。
4. 温度スケーリング（Temperature Scaling）:
   • ソフトマックス関数に温度パラメータ $\tau$ を導入します。
   • $\tau$ を低下させると予測が鋭くなり（高忠実度だが多様性低下）、$\tau$ を上昇させると確率分布が広がり（詳細や多様性増加、ただしノイズ増大）、生成の品質と多様性を制御する「ノブ」として機能します。これは純粋な連続モデルや離散モデルでは実現できない特徴です。

3. 主な貢献 (Key Contributions)

• VQ 潜在空間のための VFM の適応: 連続輸送と離散監督を統合した新しい生成枠組み「Purrception」を提案。
• 幾何学的知覚とカテゴリカル学習の両立: 埋め込み空間の幾何学構造を維持しつつ、コード選択の不確実性を明示的にモデル化。
• 制御可能な生成: ソフトマックス温度パラメータを用いて、推論時に画像の鮮明さと多様性を調整可能に。
• 効率的な学習: 従来の CFM や DFM に比べて、より少ない反復回数で収束し、高品質なサンプルを生成。

4. 実験結果 (Results)

ImageNet-1k (256x256) における評価実験が行われました。

• 収束速度:
  • Purrception は、連続流マッチング（CFM）および離散流マッチング（DFM）のベースラインと比較して、大幅に高速に収束しました。
  • DiT-L/2 バックボーンでは、CFM の最終性能に達するまでが約 1.65 倍、DFM に対しては約 3.0 倍高速でした。DiT-XL/2 でも同様の傾向（2.3〜3.5 倍高速）が確認されました。
• 生成品質 (FID):
  • 提案手法は、最先端の自己回帰モデルやマスク生成モデル、離散拡散モデルを凌駕する FID スコア（3.88）を達成しました。
  • 高品質な VAE を使用した連続拡散モデル（DiT-XL/2 や SiT-XL/2 など）と比較すると FID はやや劣りますが、VQ トークナイザーを使用するモデルの中ではトップクラスの性能を示し、VQ 空間におけるハイブリッドアプローチの有効性を証明しました。
• 温度スケーリングの効果:
  • 推論時の温度パラメータ $\tau$ を調整することで、FID スコアに U 字型の関係が観測されました（$\tau \approx 0.8-0.9$ で最適）。
  • 低 $\tau$ はシャープだが単純な画像、高 $\tau$ は詳細だがノイズの多い画像を生成し、品質と多様性のバランスを制御できることが実証されました。

5. 意義と結論 (Significance)

Purrception は、生成モデルの分野において「連続的な幾何学的滑らかさ」と「離散的な構造の学習」という長年のトレードオフを解決する重要なステップです。

• 効率性の向上: 離散的な構造を直接学習することで、CFM よりも効率的に最適化され、計算リソースを節約できます。
• 制御性の獲得: 温度パラメータによる生成制御は、実用的な生成パイプラインにおいて重要な機能を提供します。
• 将来への展望: このハイブリッドな視点は、音声、動画、3D 形状など、他の離散・連続混合データモーダリティへの拡張や、より効率的な少数ステップサンプリング（蒸留）への応用が期待されます。

要約すれば、Purrception は VQ 潜在空間における画像生成において、**「何を（どのコードを）選ぶか」と「どこへ（どのベクトルへ）移動するか」**を同時に学習し、高効率かつ高品質な生成を実現する画期的な手法です。