Mull-Tokens: Modality-Agnostic Latent Thinking

以下は、論文「Multimodal Tokens: Modality-Agnostic Latent Thinking」の詳細な技術的サマリーです。

1. 問題定義

現在のマルチモーダル大規模言語モデル（MLLM）は、複雑な空間的・視覚的推論タスク（パズル解決、IQ テスト、3 次元空間関係など）に苦戦しています。既存のアプローチにはいくつかの限界があります：

• テキストのみの連鎖思考（CoT）： 言語論理には効果的ですが、テキストのみの推論は視覚入力から「逸脱」しやすく、空間的な因果関係や幾何学的制約を捉えきれません。
• 明示的な画像生成： 中間画像やスケッチを生成する手法は、計算コストが高く、遅く、しばしば脆いものです。
• 交差配置された画像・テキスト潜在変数： 明示的な視覚トークンをテキスト推論と交差配置する最近の試み（MVoT、MIRAGE など）は、矛盾した結果を示しています。これらはしばしばモダリティ切り替えバイアスに悩まされ、モデルが画像を使用するよう促されてもデフォルトでテキストに依存したり、明示的にモダリティを切り替えるよう強制されると性能が低下したりします。
• データ不足： 多くの手法は、整合したテキスト・画像推論トレースを備えた、専用で高価なデータセットを必要とします。

核心的な課題は、明示的な画像生成のオーバーヘッドや、強制的なモダリティ切り替えの脆さなしに、視覚情報とテキスト情報の両方を表現できる統一空間でモデルが「思考」できるようにすることです。

2. 手法：$\mu$-Tokens

著者らは、モデルの内部的な「メモ帳」として機能するモダリティ非依存の潜在トークンである$\mu$-Tokens（マルチモーダルトークン）を提案します。これらのトークンは、推論段階で明示的なテキストや画像にデコードされることなく、タスクに応じて視覚概念（オブジェクトの配置、深度マップなど）またはテキスト概念を動的にエンコードできます。

学習フレームワーク

学習プロセスは、潜在推論と強化学習に着想を得た 3 段階のフレームワークに従います：

1. ステージ 1：ウォームアップ（教師あり微調整）

   • 目的： $\mu$-Tokens に特定のマルチモーダル推論ステップを固定させる。
   • データ： 交差配置されたテキスト・画像推論トレース（Zebra-CoT、Video-R1 など）を使用。
   • メカニズム： モデルは推論チェーンの次のステップを予測するように学習します。正解がテキストの場合、トークンはテキストトークンを予測します。正解が視覚的なサブゴール（切り抜かれた画像や配置など）の場合、トークンはエンコードされた視覚特徴に対するコサイン類似度を通じて教師信号を受けます。
   • 結果： トークンは意味のあるマルチモーダル表現を保持することを学習します。

2. ステージ 2：緩和された学習（回答のみの教師信号）

   • 目的： モデルが最終的な回答の正答率を最大化するために、潜在軌跡を自由に最適化できるようにする。
   • メカニズム： 中間ステップに対する明示的な教師信号を除去します。モデルは最終回答のみを使用して微調整されます。$\mu$-Tokens は、入力と回答の間に固定長のシーケンス（例：20 トークン）として挿入されます。
   • 重要な設計： 連続的な再帰的潜在変数（並列性を破壊し、誤差を蓄積する）とは異なり、$\mu$-Tokens は離散的です。これらは標準的な自己注意機構を介して処理されるため、効率的な並列計算が可能となり、長いチェーンにわたる誤差の蓄積を防ぎます。

3. ステージ 3：RL 微調整（GRPO）

   • 目的： 潜在チェーンが単に正解と共起するのではなく、正解に因果的に寄与していることを保証する。
   • メカニズム： **グループ相対方策最適化（GRPO）**を使用します。モデルは複数の軌跡を生成し、正解に至る軌跡には高い報酬が与えられます。勾配は自己注意機構を通じて$\mu$-Tokens に逆伝播し、「思考」プロセスを因果的に効果的なものへと微調整します。

3. 主要な貢献

• モダリティ非依存の推論： 推論トークンが特定のモダリティ（テキストまたは画像）に縛られず、統一された潜在空間内で中間状態を表現できるパラダイムを導入します。
• 効率性： $\mu$-Tokens は、冗長なテキスト CoT や明示的な画像生成に必要な数百トークンと比較して、わずか10〜40 トークンのみで大幅な性能向上を達成します。これは速度と計算資源におけるパレート支配的な改善をもたらします。
• 2 段階学習戦略： マルチモーダルトレースによるトークンの事前学習（ステージ 1）が重要であることを示し、その後、モデルが潜在的に最適ではない人間生成の推論トレースに制約されないよう、回答のみの最適化（ステージ 2）を行うことを実証しました。
• 離散対連続： 離散的潜在トークンが、安定性、並列性、性能の面で連続的再帰的埋め込みを上回ることを証明しました。

4. 実験結果

この手法は、4 つの困難なベンチマーク：BLINK（視覚パズル/IQ）、SAT-Real（動作/運動推論）、VSI-Bench（動画空間推論）、MMSI-Bench（複数画像推論）において、Qwen2.5-VL (7B) モデルで評価されました。

• 性能向上：
  • $\mu$-Tokens は、最強のベースライン（直接回答微調整）に対して平均絶対精度で +3% の向上を達成しました。
  • 推論が重視される分割（例：BLINK ジグソーパズルと IQ テスト）では、向上幅は**+16%**に達しました。
  • テキストのみの CoT および交差配置された画像・テキストのアプローチの両方を上回りました。
• アブレーション研究：
  • マルチモーダルウォームアップが重要： テキストのみ、またはウォームアップなしで使用すると性能が低下しました。トークンが効果的であるためには、視覚情報とテキスト情報の両方を保持するように事前学習されている必要があります。
  • 離散トークン： 離散トークンは、連続的再帰的埋め込みを大幅に上回りました。
  • トークン数： 性能は一定数（約 20）までトークン数に比例して向上しますが、それを超えると「過剰思考」により性能が低下します。
• 汎化性： モデルはドメイン外タスクや複数画像ベンチマーク（MMSI-Bench、SiteBench）に対して強力な汎化性を示しました。
• 解釈性： トークン自体は潜在変数ですが、著者はこれらを明示的なテキストの根拠と組み合わせることが可能であることを示しました。これにより、モデルはまず潜在空間で「思考」し、必要に応じて推論を言語化でき、高い精度を維持します。

5. 意義

この研究は、マルチモーダル AI の根本的なボトルネック、すなわち高価な中間出力を生成することなく、空間、時間、アフォーダンスについて推論する難しさを解決します。

• 単純さ： 複雑な「思考とスケッチ」やツール拡張パイプラインに対する、より単純な代替案を提供します。
• スケーラビリティ： 少数の離散トークンと標準的なトランスフォーマー並列性を使用することで、このアプローチは非常にスケーラブルで計算効率的です。
• 将来の方向性： マルチモーダル推論の未来は、より多くの明示的コンテンツ（画像/テキスト）を生成することではなく、知覚と意思決定を橋渡しする内部的潜在表現を最適化することにあることを示唆しています。このアプローチは、明示的生成のオーバーヘッドなしに、人間のような空間的想像力と機械的推論の間のギャップを埋めます。