技術要約：画像合成のための誘導型エンドツーエンド自己回帰（GEAR）

1. 問題提起

VQ-VAEなどのベクトル量子化（VQ）トークナイザーを訓練して画像を再構成させた後、それを凍結してAR生成器を訓練するという、現代の視覚的生成モデル（自己回帰（AR）トランスフォーマーおよび拡散モデルの両方を含む）は、通常、2段階の訓練パラダイムに従います。

1. トークナイザーの訓練: 画像を再構成するように訓練されたVQトークナイザーを訓練し、その後凍結する。
2. 生成器の訓練: 凍結されたトークナイザーによって生成された離散インデックスに対して、AR生成器を訓練する。

このデカップリング（分離）は、根本的な不整合を生み出します。すなわち、トークナイザーは純粋に再構成の忠実度（fidelity）のために最適化されており、結果として得られる離散的なシーケンスが、ダウンストリームの生成器にとって因果的にモデリングしやすいかどうかについては無頓着であるという点です。近年の拡散モデルにおける研究（REPA-Eなど）では、外部のセマンティックエンコーダ（DINOv2など）と潜在表現を整列させることで、エンドツーエンドの結合訓練を成功させてきましたが、これを離散的なAR生成に適用することは著しく困難です。

核心となる障害は非微分性です。連続的な潜在変数から離散的なVQインデックスへのマッピングには、arg max操作が含まれます。その結果、AR生成器からの勾配をトークナイザーへと逆伝播させることができません。**ストレートスルー推定器（STE）**を用いてこのギャップを埋めようとする試みは不安定であることが証明されており、コードブックの崩壊（再構成の忠実度を犠牲にして予測可能性を最大化するために、トークナイザーが少数の支配的なコードのみを出力してしまう現象）を引き起こし、壊滅的な失敗（gFID $\approx$ 105）を招くことがよくあります。

2. 手法：GEAR

著者らは、コードブックの崩壊を起こすことなく、VQトークナイザーとAR生成器をエンドツーエンドで共同訓練するフレームワークであるGEAR (Guided End-to-end AutoRegression) を提案しています。

コアメカニズム：デュアル・リードアウト（Dual Read-Out）

GEARは、すべてのポジションにおけるコードブック割り当てに対してデュアル・リードアウトを導入することで、非微分性の問題を解決します。

1. ハード・ブランチ（One-Hot）:
   • 標準的な離散インデックス（$q_i = \text{arg max}_k A_{ik}$）を使用します。
   • 離散トークンをARモデルに供給し、**次トークン予測（NTP）**およびハードな表現整列損失に使用します。
   • 極めて重要な点: このブランチはトークナイザーに対して非微分的です。NTPおよびハードな整列損失からの勾配は、ARモデルのみを更新し、トークナイザーは更新しません。これにより、NTP損失がトークナイザーを低エントロピーなコードへと崩壊させることを防ぎます。
2. ソフト・ブランチ（Differentiable）:
   • コードブックのエントリに対する温度重み付きソフトマックス補間（$\pi_i = \text{softmax}(A_i / \tau)$）を使用します。
   • ソフトで連続的な埋め込みをARモデルに供給します。
   • 極めて重要な点: このブランチは完全に微分可能です。これは表現整列損失（例：DINOv2特徴量に対するもの）を運び、ARバックボーンを通じてトークナイザーのみを更新します。

最適化戦略

これら2つのモジュールは、互いに分離された目的関数によって更新されます。

• トークナイザー ($\theta_{tok}$): 標準的なVQ再構成損失（$L_{VQ}$）とソフト整列損失（$L^s_{align}$）によって更新されます。トークナイザーは、予測損失そのものによってではなく、予測可能でセマンティックに整列したインデックス分布へと形状を変えるよう導かれます。
• AR生成器 ($\theta_{AR}$): NTP損失（$L_{NTP}$）とハード整列損失（$L^h_{align}$）によって更新されます。

この設計により、トークナイザーはARモデルが予測しやすく、かつセマンティックな特徴量と整列しやすいトークンを出力するように学習しつつ、高い再構成忠実度を維持することができます。

3. 主な貢献

• 誘導型エンドツーエンド訓練: GEARは、微分可能なソフト割り当てブリッジを導入することで、ARモデルの表現整列目的がトークナイザーをガイドすることを可能にし、標準的なSTEアプローチを阻む非微分的なインデックスの障壁を克服しました。
• 整列負担のシフト: 潜在変数自体をよりセマンティックにする（DINOv2のようにする）拡散側の手法（REPA-E, VA-VAEなど）とは異なり、GEARは整列の負担をAR生成器へとシフトさせます。
  • トークナイザーの特徴量はより少なくDINOv2らしくなり、インデックス分布をより予測可能で低エントロピーな使用へと再編成します。
  • AR生成器の隠れ状態は、特にパッチレベルにおいて、よりDINOv2らしくなり、豊かな局所的な空間構造を捉えます。
• 汎用性: このメカニズムは基礎となる量子化器に依存せず、VQVAE、LFQ、IBQにおいて改善を示すことを実証しています。また、クラス条件付き生成からテキスト・トゥ・イメージ合成へと効果的に転移します。

4. 実験結果

実験はImageNet-1K (256x256) およびGPICテキスト・トゥ・イメージ・ベンチマークを用いて行われました。

• 収束速度: GEARは、強力なLlamaGen-REPAベースラインと比較して、ImageNet gFIDの収束を最大10倍加速させます。STEを用いた素朴なエンドツーエンド・バリアントは完全に発散します。
• 生成品質:
  • ImageNet: 300エポックにおいて、GEAR（775Mパラメータ）は、LlamaGen-REPA（2.68）を上回り、強力な潜在拡散モデル（例：REPA-Eの1.12）に迫る2.52のgFID（CFG使用）を達成しました。
  • Text-to-Image: GPICにおいて、GEARはすべての訓練ステップ（50kから390k）でLlamaGen-REPAを一貫して上回り、DINOv2特徴空間におけるFréchet距離（FDD）においてより低い値を達成しました。
• 再構成: 再構成を犠牲にしてセマンティクスを得る手法とは異なり、GEARはエンドツーエンドで訓練しながら再構成品質（rFID）を改善または維持します。
• アブレーション:
  • STEの失敗: ソフトブリッジをSTEに置き換えると、コードブックの崩壊（gFID $\approx$ 105）が発生します。
  • 温度 ($\tau$): $\tau=0.1$ という温度設定が、生成品質と再構成のバランスをとります。
  • モデルサイズ: GEARはBase、Large、XLargeの各スケールで性能を向上させ、共訓練されたトークナイザーはARモデルのサイズが大きくなるにつれて再構成性能が向上することを示しました。

5. 意義と主張

本論文は、GEARが離散的なトークン・パイプラインにおける統一されたエンドツーエンドの視覚的生成に向けた重要な一歩であると主張しています。

• 離散的ボトルネックの克服: GEARは、予測損失をトークナイザーの更新から切り離すことで、STEの不安定性を回避しつつ、離散的なARモデルに対するエンドツーエンドの訓練が可能であることを示しました。
• 新しい整列のパラダイム: 本論文は、対照的な発見を強調しています。離散的ARモデルの場合、最適な戦略はトークナイザーをセマンティックにすることではないということです。むしろ、トークナイザーは予測可能性（低エントロピー、構造化されたインデックス）のために最適化されるべきであり、セマンティックな整列はARモデルの隠れ状態の中に現れるべきです。この「局所的なパッチレベルの構造」こそが、次トークン予測を効率的にするのです。
• 統一システムの基盤: 著者らは、離散的な次トークン定式化は、長文脈やマルチモーダル入力の処理において、ステップごとのエラーを限定し、大規模言語モデル（RLHF、DPOなど）の成熟した整列技術を継承できるため、統一的な理解および生成システムに特によく適していると考えています。GEARは、これらのシステムをスケールアップするための堅牢な基盤を提供します。

著者らは、GEARがARモデルと拡散モデルの差を縮めているものの、トップクラスの拡散モデルで使用される連続的なVAEと比較すると、離散的なVQトークナイザーの性質上、**再構成の天井（ceiling）**が依然として制限となっていることを認めています。さらなる忠実度の向上のため、圧縮とシーケンス長を切り離す手法（例：パッチ化されたARによるもの）の探索が今後の課題として示唆されています。