Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation

以下は、論文「Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation」の詳細な技術的サマリーです。

1. 問題提起

現在の統一マルチモーダルモデル（UMM）は、通常、生画像を潜在表現に変換するために事前学習済みビジョンエンコーダ（理解には CLIP、生成には VQ-VAE など）に依存しています。このモジュール型のアプローチには、いくつかの決定的な限界があります：

• 表現の不一致：理解と生成のために別々のエンコーダを使用すると、両タスク間の断絶が生じ、完全なエンドツーエンド最適化が妨げられます。
• 帰納的バイアス：事前学習済みエンコーダは固定された入力解像度を課し、微細な低レベルの視覚的詳細へのアクセスを制限するため、精密な知覚を必要とするタスクのパフォーマンスを阻害します。
• アーキテクチャの複雑さ：複数のモジュールコンポーネント（エンコーダ、コネクタ、デコーダ）への依存は、トレーニングパイプラインを複雑にし、モデルが生ピクセルから真に統一された表現を直接学習することを妨げます。

著者は問いかけます：事前学習済みビジョンエンコーダを完全に排除し、生ピクセルから直接理解と生成の両方を行う統一マルチモーダルモデルを構築できるでしょうか？

2. 手法

本論文では、完全にピクセル空間で動作するネイティブな統一マルチモーダルモデルTuna-2を導入します。この手法は、既存のアーキテクチャを段階的に単純化することで開発されました：

A. アーキテクチャの進化

著者は、最終的なエンコーダなし設計に到達するための 3 段階の進化を提案します：

1. Tuna（ベースライン）：生成には VAE エンコーダ、理解には表現エンコーダ（例：SigLIP）を用いた標準的なモジュール型設計を使用します。
2. Tuna-R（中間）：VAE を除去しますが、事前学習済み表現エンコーダ（SigLIP 2）は維持します。パッチ埋め込み層を使用して画像をトークンに変換し、LLM デコーダに入力します。フローマッチングを通じてピクセル空間での生成を行います。
3. Tuna-2（最終）：事前学習済み表現エンコーダを完全に除去します。複雑なエンコーダの代わりに、生画像ピクセルを直接トークン化する単純なパッチ埋め込み層に置き換えます。システム全体は、テキストと視覚トークンを共同で処理する単一のモノリシックな Transformer デコーダとなります。

B. ピクセル空間生成

Tuna-2 は、潜在拡散の代わりに、整流化フローマッチングをピクセル空間で直接採用します：

• 目的：モデルは、線形スケジュール $x_t = tx_1 + (1-t)x_0$ によって構築されたノイズサンプル $x_t$ から、クリーンな画像 $x_1$ を予測します。
• 損失関数：速度予測誤差（$v_\theta$）を最小化します。ここで、$v_\theta = \frac{x_\theta - x_t}{1-t}$ です。
• 推論：オイラーソルバを使用して、画像を段階的にノイズ除去します。

C. マスキングに基づく特徴学習

高次元ピクセル空間における頑健な表現の学習の難しさ（表面的なショートカットに陥りやすい）に対処するため、著者はマスキングスキームを導入します：

• メカニズム：トレーニング中、ランダムな画像パッチをマスキングし、学習可能なマストークンに置き換えます。
• 二重の役割：
  • 生成において：部分的に観測されたノイズ入力からクリーンなパッチを再構成することをモデルに強制し、より困難なノイズ除去タスクを創出します。
  • 理解において：正則化剤として機能し、モデルに部分的な視覚観測下で推論を行うことを強制し、特定の視覚的手がかりへの過度な依存を防ぎます。

D. トレーニングパイプライン

モデルは 2 段階で完全にエンドツーエンドにトレーニングされます：

1. ステージ 1（事前学習）：画像キャプション化とテキストから画像への生成（理解 70%、生成 30%）のデータセット上で、70 億パラメータのバックボーン（Qwen2.5-7B-Instruct）を用いて共同トレーニングを行います。
2. ステージ 2（SFT）：画像指示従事、編集、高品質生成データセット上で教師あり微調整を行います。

3. 主要な貢献

1. Tuna-2 アーキテクチャ：事前学習済みビジョンエンコーダを完全に排除し、ピクセル埋め込みのみに依存することで、理解と生成の両方で最先端（SOTA）のパフォーマンスを達成した最初のネイティブ UMM です。
2. エンコーダなし設計の実証的検証：事前学習済みエンコーダは初期の収束を助けますが、十分な事前学習の後、エンコーダなしのモノリシックなアーキテクチャがマルチモーダル理解、特に微細なタスクにおいてそれらを凌駕することを示しました。
3. ピクセル空間のスケーラビリティ：ピクセル空間のフローマッチングが大規模な統一モデルに拡張可能であり、高忠実度な画像生成や編集において潜在空間アプローチと競合できることを証明しました。
4. マスキング戦略：高次元ピクセル空間におけるトレーニングを安定させ、表現の頑健性を高めるマスキングベースの学習スキームを導入しました。

4. 実験結果

著者は、Tuna-2 をさまざまなベースライン（Tuna、Tuna-R、Show-o2、BAGEL、および FLUX.1 などの生成専用モデルを含む）と比較評価しました。

• マルチモーダル理解（表 1）：
  • Tuna-2 は、一般的なベンチマーク（GQA、MMVet、MMMU）およびピクセル中心のベンチマーク（V*、CountBench、VisuLogic）において、70 億パラメータ規模のネイティブ UMM 間でSOTA パフォーマンスを達成しました。
  • 微細な知覚タスクにおいて Tuna-R を大幅に上回り、エンコーダの帰納的バイアスを除去することが、低レベルの視覚的詳細の学習を可能にすることを示唆しています。
• 画像生成（表 2 & 3）：
  • Tuna-2 は、GenEval および DPG-Bench において、SOTA 統一モデルと競合する性能を示しました。
  • 初期段階ではエンコーダ付きの Tuna-R が生成指標でわずかに先行しますが、Tuna-2 は SFT 後に追いつきます。
  • 多様性：LLM（GPT-5.4、Claude Opus）による評価において、Tuna-2 は Tuna-R や Tuna よりもはるかに多様な画像を生成します。
• 画像編集と再構成（表 4 & 5）：
  • Tuna-2 は画像編集（ImgEdit）において強力に機能し、多くの統一ベースラインを上回ります。
  • 画像再構成タスクにおいて、Tuna-2 は FLUX.1 などの専門的な VAE と同等の再構成品質（PSNR/SSIM）を達成し、ピクセル空間表現が視覚情報を忠実に符号化できることを証明しました。
• アテンション分析（図 7）：
  • 可視化により、Tuna-2 はより正確で安定したアテンションマップを持ち、言語的先行知識が誤っている場合でも（例：サッカーの文脈でガラスのコップを特定するなど）、関連する視覚領域に正しく焦点を当てることが示されました。一方、エンコーダベースのモデルは、テキストの先行知識や顕著な妨害物に依存する傾向がありました。

5. 意義と結論

本論文は、高性能なマルチモーダル AI には事前学習済みビジョンエンコーダが必要であるという支配的なパラダイムに根本的な挑戦を投げかけます。

• パラダイムシフト：「エンドツーエンドのピクセル空間学習」は、特に微細な知覚を必要とするタスクにおいて、より強力な視覚表現を開発するための実行可能かつ優位な道であることを示しています。
• 単純性：複雑なモジュール型エンコーダを剥ぎ取ることで、Tuna-2 はアーキテクチャを単一の Transformer に簡素化し、エンジニアリングのオーバーヘッドを削減して真の共同最適化を可能にします。
• 将来の方向性：結果は、将来のネイティブ UMM が潜在空間圧縮よりも直接ピクセルモデリングを優先すべきであることを示唆しています。後者は、モデルが高忠実度な視覚的詳細を知覚し生成する能力を制限する情報ボトルネックをもたらす可能性があります。

要約すると、Tuna-2は、生ピクセル上で直接トレーニングされた単純でエンコーダなしのアーキテクチャが、複雑なエンコーダベースのシステムを理解において凌駕し、競争力のある生成能力を維持できることを証明しており、次世代のマルチモーダルモデルのためのスケーラブルな青写真を提供しています。