技術要約: UniAR – 共有コンテキストを用いた統一マルチモーダル自己回帰モデリング

問題提起

統一マルチモーダルモデル（UMM）は、視覚的な理解と生成を単一のシステム内に統合し、モデルが自身で生成した視覚的内容を再エンコードすることなく解釈できるようにすることを目指しています。しかし、既存のアプローチは通常、2つの異なるビジュアルトークナイザー（高レベルのセマンティクスに最適化された「理解用」と、低レベルの詳細に最適化された「生成用」）に依存しています。このデュアル・トークナイザー・アーキテクチャは表現空間を分離してしまい、生成された画像をモデルが理解するためには再エンコードが必要になります。これは「共有コンテキスト」という目標を阻害し、真の統一を妨げる要因となります。さらに、識別的な理解と生成的な詳細という相反するニーズを同時に満たしつつ、語彙を効率的にスケールさせる単一のトークナイザーを設計することは、依然として大きな課題です。

メソドロジー

著者らは、単一の離散ビジュアルトークナイザーを用いて理解と生成を橋渡しする、統一自己回帰フレームワークであるUniARを提案しています。そのアーキテクチャは、以下の3つのコアコンポーネントで構成されています。

1. 統一ビジュアルトークナイザー

UniARは、事前学習済みのビジョンエンコーダ（SigLIP2-So400M ViT）を、**二値球面量子化（Binary Spherical Quantization: BSQ）**を用いて離散トークナイザーへと適応させます。

• ルックアップフリー・ビットワイズ量子化: VQ-VAEのような明示的なコードブックへのマッピングを行う代わりに、BSQは視覚的特徴を離散的なバイナリベクトル（$u \in \{0, 1\}^{64}$）へと量子化します。これにより、明示的なコードブックを必要とせず、最小限のオーバーヘッドで理論的な語彙サイズを指数関数的に拡大（$2^{64}$）させることができます。
• マルチレベル特徴融合: 高レベルのセマンティクスと低レベルの詳細との間の緊張関係に対処するため、トークナイザーは視覚エンコーダの複数の層（最終層および3つの中間層）からの特徴を集約します。この階層的設計により、きめ細かな詳細とセマンティックな手がかりの両方が保持されます。
• 学習目的: トークナイザーは、元のLLMのクロスエントロピー（CE）損失とBSQソフトエントロピー損失の組み合わせを用いて、エンドツーエンドでファインチューニングされます。適応後、一貫した視覚インデックスを確保するために、ビジョンエンコーダは凍結されます。

2. 統一自己回帰モデル

事前学習済みのLLMバックボーン（Qwen3-8B）上に構築されたこのモデルは、次トークン予測パラダイムの下で、視覚トークンとテキストトークンを等価に扱います。

• 並列ビットワイズ予測: 視覚的なシーケンス長を短縮し生成を加速させるため、UniARは並列ビットワイズ予測メカニズムを採用しています。これは、$2 \times 2$ の空間グリッド内でマルチレベルの視覚バイナリベクトルを同時に予測します。これにより、自己回帰的な予測において32倍の視覚圧縮比を実現します。
• 視覚予測ヘッド: モデルは、グループ化されたBSQインデックスに対するロジットを出力します。出力次元は $d_{vis} = 2 \times d_{BSQ} \times g$ と定義され、ここで $g$ は階層レベルおよび空間ユニットの数を示します。
• インデックス反転による堅牢性: 教師強制（teacher-forcing）学習と自己回帰推論の間のギャップを埋めるため、モデルは事前学習中にランダムな視覚インデックス反転を適用します。これにより累積誤差をシミュレートし、高温度サンプリング時の安定性を向上させ、その後の強化学習を容易にします。

3. DiTベースのビジュアルデコーダー

拡散トランスフォーマー（Diffusion Transformer: DiT）デコーダーが、予測された離散視覚トークンから高忠実度の画像を再構成します。

• トークン・トゥ・イメージ変換: デコーダーは視覚トークンのみによって条件付けられ（視覚信号をノイズを含む隠れ状態に要素ごとに加算することで）、テキストプロンプトは入力として受け取りません。この設計により、すべてのセマンティックおよび構造的な生成を自己回帰モデルに委ねています。
• 解像度アップサンプリング: 自己回帰モデリングの計算負荷を軽減するため、デコーダーは解像度アップサンプリング戦略（2Dバイキュービック補間）を採用しています。これにより、わずか256個の視覚トークンを予測するだけで、高解像度（例：$1024 \times 1024$）の画像を生成することが可能になります。

学習パイプライン

UniARは、以下の3段階の学習プロセスに従います。

1. 事前学習: 理解と生成のデータ比率を1:1とした、大規模なマルチモーダルコーパス（1兆トークン）を用いた事前学習。視覚生成は、グリッド次元によって定義される空間的事前分布に基づき、特定の解像度（512×512または960×960）に制限されます。
2. 教師ありファインチューニング (SFT): 精選された高品質なデータ（約500億トークン）を用い、ChatML形式で学習を行います。
3. 強化学習 (RL): 画像生成タスクにのみ適用され、品質、テキストレンダリング、および指示への追従性を洗練させます。視覚デコーダーは、報酬計算のための画像をデコードするこの段階でのみ導入されます。

主な貢献

1. 単一トークナイザーによる統一フレームワーク: UniARは、マルチレベルのビットワイズ視覚トークンを活用することで、再エンコードなしに生成と理解を共有コンテキスト内で効果的に統一した、初の統一モデルです。
2. 効率的なビットワイズ量子化: マルチレベルの特徴に対するルックアップフリー・ビットワイズ量子化の採用により、低いオーバーヘッドで理論的な語彙サイズを大幅に拡大させると同時に、マルチレベル融合によって生成的要求と識別的要求の間のギャップを埋めています。
3. 並列ビットワイズ予測と効率的なデコーディング: 並列ビットワイズ予測の導入により視覚シーケンス長を短縮し、解像度アップサンプリングを備えたDiTベースのデコーダーにより、コンパクトな視覚シーケンスを用いた効率的な高解像度生成を可能にしました。

実験結果

広範な実験により、UniARはマルチモーダル理解において競争力を維持しつつ、画像生成および編集において最先端（SOTA）の性能を達成していることが示されました。

• 指示への追従性: GenEvalにおいて、UniARは全体スコア0.86（プロンプト書き換えありの場合0.86）を達成し、GPT-4o（0.84）やFLUX.1-dev（0.82）のような生成特化型モデルを上回りました。特に、物体のカウント、色の属性結合、および空間的関係において強みを示しています。
• テキストレンダリング: UniARはテキストレンダリングのベンチマークでSOTAの結果を達成しており、OneIG-ENで0.873（GPT-4oを凌駕）、LongText-ENで0.917（Gemini 2.5 Flash Imageを凌駕）を記録しました。
• 画像編集: ImgEdit Benchにおいて、UniARはスコア3.73を記録し、Flux.1 Kontext（3.71）のような特化型編集モデルや、OmniGen2（3.44）のような統一モデルを上回りました。
• マルチモーダル理解: UniARは、OCR指向のタスク（OCRBench, DocVQA, InfoVQA）およびビデオ理解（MVBench）において、既存の統一モデルを大幅に上回っています。Qwen3-VLのようなSOTAオープンソースVLMに匹敵する性能を発揮していますが、MMMUにおいては、純粋なテキスト事前学習データの不足と、理解タスクに対するRLの欠如を理由に、わずかに遅れをとっていることが指摘されています。
• 創発的能力: 本モデルは、インターリーブ（交互）的な生成と理解を実行する創発能力を示しています。マルチターン・インターリーブ・データに対する特定の学習なしに、UniARは画像を生成した後、同一コンテキスト内でその出力に関する詳細な質問に答えることができ、再エンコーディングの必要性を排除しています。

意義と主張

本論文は、UniARがマルチモーダルモデリングにおける真の統一に向けた重要な一歩であると主張しています。単一の離散ビジュアルトークナイザーと共有の自己回帰コンテキストを活用することで、UniARは視覚的理解と生成の間に存在する固有の緊張関係を解消しています。著者らは、彼らのアプローチが以下の点において優れていることを強調しています。

• 異なるトークナイザーとそれに伴う再エンコーディングのオーバーヘッドを排除すること。
• 効率的なビットワイズ量子化と並列予測を通じて、高忠実度の生成と堅牢な指示追従を実現すること。
• 統一された表現空間が、生成されたコンテンツの自己解釈といった創発的能力を可能にすることを示しており、これは断片化されたアーキテクチャでは達成が困難なことです。

本研究は、マルチレベル特徴融合、ルックアップフリー量子化、および並列ビットワイズ予測の組み合わせが、統一マルチモーダルシステムへのスケーラブルかつ効率的な道筋を提供することを示唆しています。