技術サマリー：表現オートエンコーダ（RAEv2）による改善されたベースライン

問題定義

表現オートエンコーダ（RAE）は、視覚的理解と生成の両方のトークン化を統一することを目指し、拡散トランスフォーマーのトレーニングにおいて従来の変分オートエンコーダ（VAE）を代替する有望な枠組みとして登場しました。しかし、元の RAE 定式化は、実用的な採用を妨げる 3 つの重要なボトルネックに直面しています：

1. 最適化されていない再構成： 再構成性能は、専門的な VAE に劣っており、特に専門的なデータ（テキストや顔など）なしでトレーニングされた場合に顕著です。
2. ガイダンスとの非互換性： RAE は従来のクラスターフリーガイダンス（CFG）とうまく機能せず、オートガイダンス（AG）のために二次的な、より弱い拡散モデルのトレーニングを必要とします。これにより、計算コストと複雑性が大幅に増加します。
3. 未活用のエンコーダ表現： 先行研究では、事前学習されたビジョンエンコーダの最終層のみを潜在表現として使用することがデフォルトであり、中間層に存在する豊かで多様な抽象化を見落としています。

手法

本論文は、エンコーダのトレーニングフリーアプローチを維持しつつ、3 つの重要な洞察と設計変更を通じてこれらの課題に対処する、改善されたベースラインであるRAEv2を提案します。

1. 一般化された表現エンコーダ

事前学習されたビジョンエンコーダの最終層（$K=1$）のみを頼るのではなく、著者は潜在表現を最後の $K$ 層のエンコーダ層の和とする一般化された定式化を提案します。

• メカニズム： 出力は $\mathbf{x} = \sum_{\ell=L-K+1}^{L} \mathbf{z}_\ell$ と定義されます。ここで、$\mathbf{z}_\ell$ は層 $\ell$ における特徴マップを表します。
• 根拠： 異なる層は相補的な特徴を捉えます。初期から中間の層はより微細な空間構造を保持し、後続の層はグローバルな意味を強調します。これらを集約することで、潜在次元を増加させたり、追加の学習パラメータを必要とすることなく、幾何学的構造を保持できます。
• 実装： 著者は、単純な加算（MLS）とランダム行列投影（MLR）を比較し、単純な加算が再構成を改善しながら一貫してより優れた生成性能をもたらすことを発見しました。

2. RAE と REPA の相補的メカニズム

本論文は、RAE が表現アライメント（REPA）の必要性を排除するという支配的な仮説に挑戦します。REPA は、同じ事前学習された表現を拡散の中間層に蒸留します。

• 発見： 27 のビジョンエンコーダにわたる実証的分析により、RAE と REPA は相補的なメカニズムを通じて機能することが明らかになりました。
  • RAEは、意味的に豊かな潜在空間を提供します（線形プロービング精度によって測定されるグローバルな意味を活用）。
  • REPAは、中間拡散特徴の空間構造を正則化します（局所距離類似度、LDS によって測定）。
• 結果： 同じ表現をエンコーダ（RAE）および中間層のターゲット（REPA）の両方として使用することは、一貫して生成性能を向上させます。この相乗効果により、グローバルおよび空間的指標の両方で優れているより強力なエンコーダ（例：DINOv3-L）が、優れた生成結果を達成できるようになります。

3. 自己ガイダンスとしての REPA（x-prediction）

元の RAE は、ガイダンスのために別の弱いモデルを必要とします。著者は、REPA ヘッドを再定義して内部ガイダンスを可能にします。

• 洞察： RAE 潜在空間において、REPA 投影ヘッド（初期層の特徴をクリーンな潜在空間にマッピングするもの）は、実質的にx-predictionを実行します。
• メカニズム： 完全なモデルの出力を x-prediction としても再パラメータ化することで、REPA ヘッドの予測（$\hat{\mathbf{x}}_{repa}$）は、完全なモデルの予測（$\hat{\mathbf{x}}_{full}$）と比較して「より弱い」ベースラインとして機能します。
• ガイダンス数式： ガイダンスは単一のフォワードパス内で内部的に適用されます：$\hat{\mathbf{x}}_{guided} = \hat{\mathbf{x}}_{full} + w \cdot (\hat{\mathbf{x}}_{full} - \hat{\mathbf{x}}_{repa})$。
• 利点： これにより、個別のオートガイダンスモデルの必要性が排除され、CFG によって要求される追加のフォワードパスが回避され、ガイダンスのための関数評価回数（NFEs）が実質的に半分に削減されます。

主要な結果

RAEv2 は、ImageNet、テキストから画像、およびナビゲーションワールドモデルにおいて、収束速度、生成品質、再構成のすべてで顕著な改善を示します。

• トレーニング効率： RAEv2 は、元の RAE と比較して10 倍の高速な収束を達成します。ImageNet-256 において、80 エポックで最先端のガイド付き gFID 1.06 に到達しますが、元の RAE は 3.26 に到達するために 800 エポックを必要としました。
• 新しい効率指標（EPFID）： 本論文は、絶対的な gFID よりも実用的な指標として、無ガイド gFID $\le k$ に到達するまでのエポック数を示すEPFID@kを導入します。RAEv2 は、EPFID@2 で35 エポックを達成し、元の RAE（177 エポック）や先行研究（480 エポック以上）を大幅に上回ります。
• 生成品質： 最近提案された表現フレシェ距離（$FD_r$）において、RAEv2 は 80 エポックで2.17のスコアを達成し、ポストトレーニングなしで 800 エポックトレーニングされた以前の最高値 3.26 を上回ります。
• 再構成： 一般化された定式化（特に $K=23$ の場合）は、再構成（rFID 0.18）と生成の間のパレート最適なトレードオフを達成し、ImageNet のみでトレーニングされたにもかかわらず、Flux-VAE や SD3.5 などの独自 VAE を凌駕します。
• 汎化性：
  • テキストから画像： GenEval、DPG-Bench、GenAI-Bench において、Flux-VAE および元の RAE に対して一貫した改善を示します。
  • ナビゲーションワールドモデル： 未来フレーム予測タスク（RECON データセット）において、RAEv2-NWM は FVD 105.61を達成し、NWM（200.97）および RAE（312.01）を大幅に上回り、自己回帰的ロールアウトにおけるちらつきが減少しています。

意義と主張

本論文は、RAEv2 が表現オートエンコーダのための簡素化され、非常に効率的なベースラインを提供すると主張しています。主な貢献は以下の通りです：

1. 簡素化： エンコーダの微調整、専門的なトレーニングデータ、または個別のガイダンスモデルの必要性を排除します。
2. 効率性： 最先端の性能に到達するために必要なトレーニング時間を劇的に削減し、絶対的な指標の改善からトレーニング効率（EPFID）への焦点をシフトさせます。
3. 統一されたトークン化： 凍結されたエンコーダのグローバルな意味理解能力を維持（線形プロービングで検証）しつつ、生成と再構成を強化することで、事前学習されたビジョンエンコーダを、理解と生成の両方のタスクに対する統一されたトークン化方式として使用する妥当性を強化します。

著者は、これらの洞察が、多様な生成モデリングシナリオにおける表現オートエンコーダの実用的な採用を促進することを期待しています。