技術要約：ボトルネックのない統合マルチモーダルモデルのための表現強制（Representation Forcing）

1. 問題提起

統合マルチモーダルモデル（UMM）は、単一のTransformerバックボーン内で、知覚（テキスト出力）と生成（ピクセル出力）を統合することを目指している。しかし、現在の最先端のUMMは、構造的なボトルネックに依存している。具体的には、画像生成のために、別途事前学習された凍結済みの変分オートエンコーダ（VAE）を利用している。このパラダイムでは、拡散（diffusion）の前に画像を潜在空間へと圧縮し、固定されたデコーダを介して復元する。

この依存関係は、主に2つの問題を引き起こす：

1. 最適化の不一致： 潜在空間は、統合モデルの特定の目的ではなく、再構成のために最適化されている。
2. 品質の天井： VAEによる損失を伴う圧縮が、UMMの追加学習では克服できない生成品質のハードな上限を課している。

素朴な代替案は、ピクセル空間で直接生成することである。これはスタンドアロンのモデルとしては実現可能だが、これをUMMに適用すると、著しい品質の低下を招く。潜在空間による構造的なガイダンスがない場合、モデルは高レベルのセマンティック構造（物体のアイデンティティ、レイアウト）と低レベルの詳細（テクスチャ）を、生のピクセルから同時に学習することに苦慮する。

2. 手法：表現強制（Representation Forcing: RF）

本論文では、表現予測をモデルのネイティブな能力とすることで、外部VAEの必要性を排除する技術である**表現強制（RF）**を提案する。その核心となる哲学は、高レベルの視覚的表現をデコーダ自体の中に根付かせ、それらをピクセル生成をガイドするための中間トークンとして使用することにある。

2.1 コアメカニズム

RFは、デコーダがピクセルを生成する前に、視覚的表現を自己回帰的に予測することを強制することで機能する。これらの表現は、テキストプロンプトとピクセル出力の間の明示的な構造的足場として機能する。

• 表現のソース： 外部の潜在空間の代わりに、RFはモデル自身の理解エンコーダ（共同で学習される）からの特徴を利用する。これらの特徴は、物体のアイデンティティや空間的レイアウトといった高レベルの構造を捉える。
• 離散化： これらの特徴を（言語モデリングと互換性のある）次トークン予測目的の下で予測可能にするため、エンコーダの連続的な特徴を、オンラインベクトル量子化を通じて一連の視覚的表現トークンへと離散化する。
  • 指数移動平均（EMA）を用いたエンコーダのコピーが、安定したターゲットを提供する。
  • 特徴は、学習可能なプロトタイプのコードブックに対して量子化される。
  • このプロセスにより、画像のレイアウトを保持したまま、空間パッチごとに1つのトークンが得られる。

2.2 アーキテクチャと学習

モデルは、すべてのトークンが自己注意層を共有するが、モダリティ固有のフィードフォワードエキスパートへとルーティングされるMixture-of-Transformers（BAGELに基づく）アーキテクチャに従う。

• 統合シーケンス： モデルは以下の統合シーケンスを処理する：[テキストトークン] → [表現トークン] → [ピクセルパッチ]。
• アテンションパターン：
  • テキストおよび表現トークンは、**因果的（自己回帰的）**なアテンションに従う。
  • ピクセルパッチは、自身の間では双方向のアテンションに従うが、先行するテキストおよび表現トークンに対しては因果的にアテンションを向ける。
• 学習目的： モデルは、以下の組み合わせ損失を用いてエンドツーエンドで学習される：
  $$\mathcal{L} = \mathcal{L}_{LM} + \mathcal{L}_{Rep} + \mathcal{L}_{FM}$$
  • $\mathcal{L}_{LM}$：テキストの次トークン予測に対するクロスエントロピー。
  • $\mathcal{L}_{Rep}$：表現トークンの予測（離散化されたエンコーダ特徴の予測）に対するクロスエントロピー。
  • $\mathcal{L}_{FM}$：ピクセル生成のためのフローマッチング損失（速度損失を用いた$x$-予測を使用）。
• 推論： プロセスは2段階で行われる。まず、デコーダはテキストプロンプトから表現トークンの全シーケンスを自己回帰的に予測する。次に、テキストと予測された表現トークンの両方に条件付けられた状態で、デコーダはピクセル空間で直接画像を合成するために反復的なデノイジングを行う。

3. 主な貢献

1. 表現強制（RF）の提案： デコーダに視覚的表現を中間トークンとして予測させることで、ピクセル空間のUMMにおける品質のギャップを埋める手法。これにより、外部のVAEを不要にする。
2. 二重の利益： RFは画像生成と理解の両方を改善する。これにより、ピクセル空間モデルはVAEベースの生成品質に匹敵する性能を実現すると同時に、理解タスクにおいてもそれらを上回る性能を発揮する。
3. エンドツーエンドの統合： 本研究は、知覚と生成が、個別の事前学習済みコンポーネントを調整するのではなく、単一のエンドツーエンドで学習された表現空間を共有するUMMを提唱している。

4. 実験結果

著者らは、4つのバリアント（Pixel-space w/o RF, Pixel-space w/ RF, VAE-based w/o RF, VAE-based w/ RF）を比較する制御実験を行った。

4.1 画像生成

• パフォーマンス： RFを備えたピクセル空間モデル（RF-Pixel）は、GenEvalの総合スコアで0.84（LLMリライター使用時は0.88）を達成し、BAGELやShow-o2のような最先端のVAEベースの統合モデルに匹当する。
• 品質ギャップの解消： RFがない場合、ピクセル空間モデルのGenEvalスコアはわずか0.25であり、物体が歪んだり構成が不整合になったりする画像を生成する。RFを用いると、スコアは0.76へと跳ね上がり、RFが必要な構造的ガイダンスを提供していることが示された。
• 比較： RF-Pixelは、豊かなテクスチャの詳細を保持しつつ、標準的なベンチマーク（GenEval, DPG-Bench）においてVAEベースのベースラインに匹敵する。

4.2 画像理解

• パフォーマンス： RFを備えたピクセル空間モデル（Pixel+RF）は、一般的にVAEベースの対応物（VAE+RF）よりも優れた性能を示す。
• 詳細： Pixel+RFは、8つの理解ベンチマークのうち6つ（MMMU, MME, BLINKを含む）で性能を向上させた一方、VAE+RFは5つで向上した。特に、Pixel+RFは一般的な視覚理解タスク（例：MMMUで+4.3）において大幅な利得を示しており、これはVAEのボトルネックを取り除くことで、知覚と生成のより緊密な統合が可能になることを示唆している。

4.3 アブレーション研究

• 予測 vs. アライメント： RF（デコーダによる予測）は、REPA（補助的な特徴アライメント）を大幅に上回り、GenEvalにおいて0.76対0.43という結果を出した。直接的な自己注意による条件付けは、暗黙的な特徴アライメントよりも効果的である。
• 離散 vs. 連続： 離散的なトークン予測（0.76）は、連続的な回帰（0.26）を圧倒的に凌駕した。離散化は、自己回帰的予測における誤差の蓄積を防ぎ、高レベルの構造と低レベルの詳細の分離を強制する。
• エンコーダの選択： 自己教師あり学習のDINOv3を理解エンコーダとして使用することは、SigLIP2よりも良い結果をもたらした。これは、DINOv3の特徴がより豊かな空間的・構造的情報を含んでいるためと考えられる。

5. 意義と主張

本論文は、表現強制（RF）が、完全にエンドツーエンドでボトルネックのない統合マルチモーダルモデルへの効果的な一歩であることを主張している。

• ネイティブな能力： 表現を知覚の出力から生成のターゲットへと転換することで、RFは外部の潜在空間に頼ることなく、理解と生成を単一の表現空間に根付かせる。
• ピクセル空間UMMの実現可能性： 結果は、構造的ガイダンスが表現強制を通じて提供される限り、ピクセル空間での生成が実現可能であるだけでなく、VAEベースの生成よりも優れている可能性があることを示している。
• 今後の方向性： 著者らはこれを、すべてのマルチモーダル能力が、独立して学習されたコンポーネントから継承されるのではなく、単一のモデル内の生の入力から直接獲得されるモデルへの動きであると考えている。

注：著者らは、事前学習済みのLLMバックボーンを使用していること、および現在の焦点がビデオや時間的モダリティではなく静止画であることなど、限界についても認めている。