技術的サマリー：最終層を超えて：視覚トークナイズのための多層表現融合

1. 問題定義

現在の最先端の視覚トークナイザー、特に DINOv2 などの凍結済み事前学習 Vision Foundation Models (VFMs) をバックボーンとして活用するものは、単一層の情報ボトルネックという重大な欠陥に苦しんでいます。既存の手法は、潜在空間を定義するために最終エンコーダー層からのみ特徴を抽出しています。これらの最終層の特徴は高次セマンティクスに最適化されていますが、逐次的なセマンティック抽象化を通じて、テクスチャ、エッジ、色勾配などの低次視覚的詳細を体系的に破棄してしまいます。

最近の分析によると、低次情報は最終層において、受動的な残差接続を介して減衰した残差としてのみ生存しており、層が進むにつれて損失が蓄積していきます。その結果、単一層トークナイザーは中間層に分散する豊かな階層的情報を破棄し、再構成忠実度と下流生成の質の両方を制限しています。さらに、NLP トークナイザーにおける語彙サイズのスケール法則に類似した予測可能なスケール法則が、視覚トークナイザーの「表現の豊かさ」の増加に存在するかどうかは、未解決の課題のままです。

2. 手法：DRoRAE

著者らは、凍結されたデコーダーや下流の生成モデルとの互換性を維持しつつ、すべてのエンコーダー層から特徴を集約するように設計された軽量融合モジュール**DRoRAE (Depth-Routed Representation AutoEncoder)**を提案します。

コアアーキテクチャ

DRoRAE は、凍結された VFM バックボーンとデコーダーの間に学習可能な融合モジュールを挿入します。このプロセスには 3 つの主要なメカニズムが含まれます：

1. 層別エキスパート: $L$ 個のエンコーダー層のそれぞれは、専用のエキスパートネットワーク（2 層 MLP）に関連付けられています。これらのエキスパートは、バックボーンのレイヤー正規化によって分散の差異を処理しつつ、異質な層の特徴を共通のスケールに投影します。
2. エネルギー制約付きルーティング: ソフトマックス正規化を使用する標準的な Mixture-of-Experts (MoE) とは異なり、DRoRAE はエネルギー制約付きルーティングメカニズムを採用します。ルーターネットワークはすべての層にわたるトークンごとの重みを生成します。重要なのは、この定式化が負の重みを可能にすることで、ルーターが単に勝者を選択するだけでなく、有害な層の貢献を積極的に抑制（ノイズ除去）できる点です。出力は、出力エネルギーを制限するために重みベクトルの $\ell_2$ ノルムで正規化されます。
3. 逐次補正: 元の最終層出力 ($z_{base}$) を融合表現 ($z_{fuse}$) で置き換えるのではなく、DRoRAE は出力を逐次補正として定式化します：
   $$z_{final} = LN_{bb}(z_{base} + \beta \cdot (z_{fuse} - z_{base}))$$
   ここで、$\beta$ は融合強度を制御します。この残差定式化により、融合された潜在空間は元の分布にアンカーされたまま保たれ、下流の生成互換性を破る可能性のある任意のドリフトを防ぎます。

3 段階の非結合トレーニング戦略

凍結されたデコーダーが期待する潜在分布からのシフトという課題に対処するため、著者らは段階的なトレーニング戦略を提案します：

• フェーズ 1（デコーダートレーニング）: 標準的な単一層 RAE ベースライン上でデコーダーをトレーニングし、強力な「デコーディング能力」を確立し、目標分布を定義します。
• フェーズ 2（融合モジュールトレーニング）: バックボーンとフェーズ 1 のデコーダーを凍結し、融合モジュールのみをトレーニングします。凍結されたデコーダーは暗黙的な分布制約として機能し、デコーダーが既に逆変換できる補完的情報を融合モジュールに学習させ、分布のドリフトを防ぎます。
• フェーズ 3（デコーダー微調整）: 最適化された融合モジュールを凍結し、デコーダーをアンロックします。デコーダーを微調整して、豊かになった潜在空間を完全に活用し、生成を損なうことなく再構成の質を最大化します。

3. 主要な貢献

1. ボトルネックの特定: 既存の表現オートエンコーダーは、最終エンコーダー層のみに依存することで階層的視覚情報を破棄しており、そこでは低次詳細は単に減衰した残差に過ぎないことを特定しました。
2. DRoRAE アーキテクチャ: エネルギー制約付きルーティング（負の重みを許可）と逐次補正を介してすべてのエンコーダー層を適応的に集約する、軽量（約 29M パラメータ）の深度ルーティング融合モジュール。
3. トレーニング戦略: デコーダーの共適応前に凍結されたデコーダーの制約下で融合を学習することで、生成互換性を保証する 3 段階の非結合トレーニングプロトコル。
4. スケール法則の発見: 融合容量（エキスパート容量と融合層数で定義）と再構成品質の間に対数線形スケール法則 ($R^2=0.86$) が確立されました。これにより、「表現の豊かさ」が NLP における語彙サイズに相当する、視覚トークナイザーにとっての新しい予測可能なスケーラブルな次元であることが特定されました。

4. 実験結果

実験は、再構成とクラス条件付き生成のために ImageNet-256 (256x256) で、テキストから画像への合成のために CC12M-LLaVA-Next で実施されました。

• 再構成: DRoRAE は RAE ベースラインに対して再構成指標を大幅に改善しました。rFID は 0.57 から 0.29 に低下し、PSNR は 18.8 から 24.32 dB に増加し、LPIPS は 0.256 から 0.134 に改善されました。
• クラス条件付き生成: AutoGuidance を使用した DiTDH-XL 生成器を用いて、DRoRAE は生成 FID (gFID) を 1.74 から 1.65 に改善し、Inception Score (IS) や Precision/Recall を維持またはわずかに改善しました。
• テキストから画像への合成: gains はテキストから画像へのタスクにも転移し、DRoRAE はオブジェクト、カウント、空間の各次元において、RAE (0.56) と比較して同等かわずかに優れた GenEval スコア (0.60) を達成しました。
• アブレーション研究:
  • エネルギー制約付きルーティング: 騒ぎのある層の能動的な抑制を可能にすることで、ソフトマックスルーティングを上回ります。
  • 逐次補正: 生成互換性に不可欠です。これがないと再構成はわずかに改善されますが、下流の拡散トレーニング損失が大幅に増加し、分布の不一致を示しています。
  • トレーニング戦略: フェーズ 2 の制約なしの共同トレーニングは、同じ生成品質を達成できず、非結合アプローチの必要性を確認しました。

5. 意義と主張

本論文は、DRoRAE が多層融合が表現ベースのトークナイザーに対する実用的かつ効果的なアップグレードであることを示しており、単一層抽出で失われた高周波詳細を回復することを主張しています。

この研究の主な意義は、視覚トークナイザーに対する予測可能なスケール法則の発見にあります。著者らは、「表現予算」（より多くの融合層またはより大きなエキスパート容量による）の増加が再構成品質の対数線形な改善をもたらすことを示すことで、表現の豊かさ NLP における語彙サイズに匹敵するスケーラブルな次元であると論じています。これは、視覚トークナイズの将来の改善が、アーキテクチャの変更や大規模データセットのみに依存するのではなく、融合容量のスケーリングによって体系的に獲得できることを示唆しています。

本研究は、現在の実験が DINOv2-B を利用しているものの、この手法はより大規模なエンコーダーや潜在的には動画トークナイズにも一般化可能であり、多層融合を視覚生成システムを強化するための基本的な方向性として位置づけて concludes。