技術的概要：自己回帰的視覚生成には「序章」が必要である

1. 問題定義

自己回帰（AR）による視覚生成は、通常、2段階のパイプラインに従う。まず、トークナイザー（エンコーダ - デコーダ）が画像を離散トークンに再構成するように学習し、次に AR モデルがこれらのトークンを逐次的に予測するように学習する。このアプローチは、根本的な「再構成と生成のギャップ」に悩まされている。

核心的な問題は、エビデンス下限（ELBO）の定式化にある。標準的な 2 段階トレーニングでは、トークナイザーは再構成（データの負の対数尤度の最小化）のみを最適化するように設計される一方、AR モデルはこれらのトークンの事前分布に一致しようとする。トークナイザーの潜在変数（$z_v$）は再構成目的によって固定されるため、AR モデルはしばしば複雑な周辺分布 $q(z_v)$ に適合しなければならない。トークナイザーと AR モデルを共同でトレーニングすることでこのギャップを埋めようとする既存の試み（AR 損失をトークナイザーに逆伝播させる）は、パレートフロンティアのジレンマに直面する。AR 損失の重み（$\lambda$）を増加させると生成は向上するが再構成品質が劣化し、$\lambda$ を減少させると生成信号が弱まる。さらに、AR 勾配を 2 次元視覚トークンに直接適用すると、高品質な再構成に不可欠な固有の空間的局所性が損なわれる可能性がある。

2. 手法：Prologue

著者らは、再構成と生成の目的を分離するために、独立した潜在変数のセットを導入する「Prologue」というフレームワークを提案する。

中核アーキテクチャ

視覚トークン（$z_v$）を修正して両方の目的を満たそうとするのではなく、Prologue は視覚トークン系列に先立つ、少量の「序章トークン（prologue tokens）」（$z_p$）を生成する。

• 共有エンコーダ: 双方向 Transformer エンコーダが、学習可能な序章クエリ（$q_1, \dots, q_K$）と画像パッチ埋め込みを同時に処理する。
• 二重量子化:
  • 視覚トークン（$z_v$）: 標準的な視覚量子化器を通じて量子化される。これらのトークンは（デコーダによる）再構成に専ら用いられ、直接の AR 勾配は受け取らない。
  • 序章トークン（$z_p$）: 独立した小型のコードブックを通じて量子化される。これらのトークンは（AR モデルによる）生成に専ら用いられ、画像再構成には関与しない。
• トレーニング目的: 総損失は重み付き和である：
  $$\mathcal{L} = \mathcal{L}_{\text{recon}}(x, \hat{x}) + \lambda \cdot \mathcal{L}_{\text{AR}}(z_p, z_v)$$
  重要なのは、AR のクロスエントロピー（CE）損失の勾配が（離散微分のためのProb-STEという技術を用いて）序章トークンのみにルーティングされ、視覚トークンの表現はそのまま保たれる点である。

理論的基盤（ELBO の観点から）

ELBO の観点から、Prologue は AR 事前分布の一致タスクをシフトさせる。

• 標準 AR: モデルは周辺分布 $q(z_v)$ に適合しなければならない。
• Prologue AR: モデルは条件付き分布 $q(z_v | z_p)$ に適合する。
  $H(z_v | z_p) \leq H(z_v)$ であるため、$z_p$ が $z_v$ に関する非自明な情報を持っている限り、条件付き分布をモデル化することは理論的に容易である。著者らは、$z_p$ が崩壊（無意味化）するのを最適化の地形が自然に防ぎ、崩壊した $z_p$ はベースラインと比較して AR 損失の減少をもたらさないことを証明している。したがって、$z_p$ は画像のコンパクトで AR に適した要約を符号化するように強制される。

実装詳細

• Prob-STE: 離散量子化のためのソフト割り当てを計算するストレートスルー推定器の変種であり、勾配がエンコーダに逆伝播することを可能にする。
• 視覚トークンのドロップアウト: トレーニング中、AR 入力内の視覚トークンは確率 $p_{drop}=0.5$ でランダムにドロップされ、AR モデルが予測のために序章トークンに依存することを強制し、$z_p$ への勾配信号を強化する。
• Prologue-Post: 視覚トークナイザーを固定（事前学習済み）し、序章トークナイザーと AR モデルのみをトレーニングする変種。これにより、再構成パイプラインを再トレーニングすることなく、既存のトークナイザーをアップグレードできる。

3. 主要な貢献

1. 分離された設計: 再構成変数（$z_v$）から構造的に分離された、生成専用の独立した潜在変数（$z_p$）の提案。これにより再構成と生成のトレードオフが解消され、画像忠実度を損なうことなく AR 最適化が可能になる。
2. 理論的正当性: ELBO を通じた手法の形式化。序章トークンへの条件付けが、周辺一致問題を条件付き問題に変換することでデータとモデルのギャップを縮小することを示す。
3. 創発的セマンティクス: AR 勾配のみによって駆動される序章トークンが、自発的にセマンティック構造を発展させるという発見。16 の序章トークンに対する線形プロービングにより、ImageNet 分類で35.88% の Top-1 精度を達成し、標準的なトークナイザーの最初の 16 トークン（23.71%）を大幅に上回る。
4. プラグアンドプレイ機能: 既存の固定トークナイザーの生成品質を、軽量な序章コンポーネントを追加するだけで向上させることを可能にするPrologue-Postの導入。

4. 実験結果

実験はImageNet 256×256で行われた。

• 生成品質:
  • Prologue-Base: クラスターフリーガイダンス（CFG）なしでの生成 FID（gFID）を、2D ベースラインの21.01から10.75に削減（48.8% の削減）。CFG ありでは、gFID は 5.02 から 4.11 に低下する。
  • Prologue-Large: 補助的なセマンティック監視（DINO/SigLIP 整合など）や複雑なコードブッククラスタリングを使用せずに、gFID 1.46およびrFID 0.99という競争力のある数値を達成し、最先端の拡散モデルやマスク予測モデルに匹敵する。
• 再構成品質:
  • 再構成はほとんど変化しない。Prologue-Base では、rFID は 2.15 から 2.24 にわずかにシフトするのみで、PSNR は安定（約 20.64）している。
  • Prologue-Postは、固定されたベースラインの正確な rFID（2.15）を維持しつつ、gFID を 22.7% 改善する。
• スケーラビリティ: この手法は、トークナイザーのサイズ（Base から Large）および AR モデルのサイズ（Base から XL）の両方に対して効果的にスケーリングし、生成品質において一貫した向上を示す。
• アテンション分析: アテンションマップは、視覚トークンが自然な 2 次元空間的局所性（隣接するトークンへのアテンション）を保持していることを示す一方、AR モデルはグローバルな文脈のために序章プレフィックスに強くアテンションを向けることを学習し、$z_p$ を用いて $z_v$ の予測を効果的に導いている。

5. 意義と主張

本論文は、Prologue が「表現の分離」を通じて再構成と生成のギャップに対処することで、自己回帰的視覚生成の新たな方向性を提供すると主張している。

• 最適化効率: 目的を分離することで、Prologue は AR モデルが視覚トークナイザーの再構成能力を損なうことなく、真のデータ分布（条件付き事前分布を通じて）を最適化することを可能にする。
• 単純さ: この手法は、他の AR トークナイザーでしばしば必要とされる複雑な補助損失（セマンティック整合、フローマッチング）やヒューリスティックなトレーニングのトリックに依存することなく、最先端の結果を達成する。
• 一般化可能性: 元の表現を維持したまま、独立した学習された生成表現を導入するという原理は、再構成と生成のギャップに悩むあらゆるシステムに対する一般化可能な戦略として提唱されている。

著者らは、ImageNet 256×256 でのみ検証されたことや、より高解像度や異なるデータセットでのさらなる探求が必要であることなどの限界を率直に認めている。また、現在の作業はクロスエントロピー損失に焦点を当てており、他の事前分布一致目的は今後の課題として残されていることも認めている。