技術要約：CoLT – Chain of Latent Thoughts（潜在的思考の連鎖）

1. 問題提起

Chain-of-Thought（CoT：思考の連鎖）は、複雑な視覚的タスクにおいてマルチモーダル大規模言語モデル（MLLM）の能力を大幅に向上させてきましたが、従来のテキストベースのパラダイムは、以下の3つの決定的な限界に直面しています。

1. 推論レイテンシ： 自然言語による長い思考連鎖の生成は自己回帰的であり、トークン集約的です。数百から数千のトークンを消費することが多く、これが推論時における主要な計算上のボトルネックとなっています。
2. 表現力の制約： テキストベースの推論は本質的に決定的です。ある推論ステップが特定の自然言語形式に確定されると、潜在的な解決経路の豊かな分布が単一の表面的な実現へと崩壊し、代替となる推論経路が失われてしまいます。
3. 誤差の伝播： 初期の推論ステップで行われたエラーは、後続のステップを通じて伝播し、累積する可能性があります。これは、長い推論連鎖において特に有害な現象です。

「潜在的推論（連続的な表現空間での推論）」に対する既存の試みは、学習の不安定さや、意味を持たないベクトルの生成という課題に直面してきました。さらに、補助的な画像を用いて教師あり学習を行う最近の潜在的視覚推論手法は、高いアノテーションコストとスケーラビリティの問題を抱えています。

2. 手法：CoLTフレームワーク

著者らは、MLLMが冗長なテキストトークンではなく、潜在的思考表現（$h_1, \dots, h_K$）を通じて推論することを可能にするフレームワークである**CoLT（Chain of Latent Thoughts）**を提案します。このフレームワークは、標準的なテキスト生成プロセスを$K$個の離散的な潜在ステップ（ここで$K \ll L$、$L$はテキストトークンの数）に置き換えることで、テキスト生成のボトルネックを回避しながら、潜在空間におけるマルチパス探索を維持します。

安定した意味のある潜在的推論を実現するという課題に対処するため、CoLTは3つの補完的なメカニズムからなる包括的な教師あり戦略を導入しています。

A. 潜在的思考表現

モデルはテキストトークンを生成する代わりに、指定された推論位置において隠れ状態ベクトルを生成します。これらのベクトルは、語彙を拡張することなく、後続のステップの入力埋め込みとして言語モデルにフィードバックされ、モデルの自己回帰的な性質を維持します。

B. 外部デコーダーによる教師あり学習

バックボーンモデルと同じトークナイザーと語彙を共有する軽量な外部デコーダー（$D_\phi$）が、2つの方向からステップレベルの教師あり学習を提供します。

• 前方デコーディング（Forward Decoding）： デコーダーは先行する潜在的思考 $h_k$ を入力として受け取り、次のステップのテキスト的推論内容（$r_{k+1}$）をデコードするように訓練されます。これにより、潜在的思考が明示的な推論を再構成するのに十分な情報を保持していることが保証されます。
• 後方デコーディング（Backward Decoding）： デコーダーは先行するテキスト的推論ステップ（$r_{k-1}$）を受け取り、モデルの潜在的思考 $h_k$ と整合する隠れ状態（$\tilde{h}_k$）を生成します。これにより、潜在空間を明示的な推論連鎖のセマンティック構造に固定します。

C. 内部ステップレベルの教師あり学習

軽量なプロジェクションヘッド（$f_\theta$）が、連続する潜在的ステップ間のコヒーレントな遷移を促進します。これは、現在のステップ（$h_k$）から次のステップの表現（$\hat{h}_{k+1}$）を予測することで、ステップ間の一貫性を通じて潜在的な連鎖を正則化します。

D. 学習目的関数

全損失関数は、標準的なタスク損失（最終回答の生成）と、3つの教師あり信号を組み合わせたものです。
$$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$$
学習は2つのステージで進行します。

1. 教師あり微調整（SFT）： バックボーンとデコーダーは、構造化された潜在的思考を学習するために、結合された損失を用いてCoTアノテーション（OneThinkerデータセット）を用いて訓練されます。
2. 強化学習（RL）： CoTサンプルに対してグループ相対方策最適化（GRPO）が適用されます。この段階では、補助デコーダーと内部的な教師あり学習は除去され、結果ベースの報酬に基づいてモデルが潜在的思考を自由に更新できるようにします。

推論時には、外部デコーダーとプロジェクションヘッドは破棄されるため、追加の計算オーバーヘッドは発生しません。

3. 主な貢献

• 斬新なフレームワーク： テキストトークンではなく潜在ベクトルを介して推論を行うようMLLMに教え、わずか3ステップで効果的な推論を実現するCoLTの導入。
• 安定化メカニズム： 潜在表現が意味のないセマンティクスへと崩壊するのを防ぐために、軽量な外部デコーダー（前方および後方モード）と内部予測を用いた、原理に基づいた教師あり学習フレームワーク。
• アノテーションの効率性： 潜在的視覚推論手法とは異なり、CoLTは言語モデルの潜在空間内で完全に動作するため、補助的な画像アノテーションや特殊なエンコーダを必要としません。
• 効率性： 推論フェーズにおける冗長なテキスト生成を排除し、推論時間を大幅に短縮します。

4. 実験結果

Qwen3-VL-8Bをバックボーンとして、8つの多様なマルチモーダルベンチマーク（SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D, MMT-Bench）を用いて実験を行いました。

• パフォーマンス： CoLTは既存の潜在的推論手法（CODI, SIM-CoTなど）や潜在的視覚推論手法（LVR）を凌駕しています。具体的には、最強の潜在的ベースライン（SIM-CoT）に対し平均精度で**+5.1%、最強の潜在的視覚ベースライン（LVR）に対し+5.5%**上回っています。
• テキストCoTとの比較： CoLTは、テキストベースのCoTと比較して平均精度が**+3.4%**高く、特にChartQA（+9.6%）やTextVQA（+6.1%）において顕著な向上を示しました。
• 効率性： CoLTは、テキストCoT手法と比較して、推論時間を10.1倍、テキストデコーディング時間を22.6倍短縮しながら、より高い精度を維持しています。
• 堅牢性： 視覚的ノイズ（ガウスぼかし、遮蔽）およびテキストノイズ（綴りミス、重要な単語の削除）の下でも、CoLTは優れた堅牢性を示し、精度の低下はDirect AnswerおよびText CoTのベースラインよりも大幅に低くなりました。
• アブレーション研究：
  • 3つの教師あり信号（前方、後方、内部）はすべて非冗長であり、これらを完全に組み合わせることで最適なパフォーマンスが得られます。
  • 0.6Bの軽量デコーダーで効果的な教師あり学習には十分であり、より大きなデコーダーを用いても得られる利点はわずかでした。
  • 最適な潜在ステップ数は $K=3$ であり、ステップ数が多すぎるとパフォーマンスは低下します。

5. 重要性と主張

本論文は、CoLTがマルチモーダルモデルの推論のあり方を根本的に変えるものであると主張しています。明示的なテキスト生成から潜在的思考ベクトルへと移行することで、CoLTはテキストベースのCoTに内在する非効率性と表現力の限界に対処しています。著者らは、この手法が推論の質を犠牲にすることなく、むしろ向上させながら、優れた効率性（最大22.6倍の高速化）を実現していることを強調しています。

その重要性は、解釈可能（前方デコーディングの可視化によって検証）であり、かつ入力ノイズに対して堅牢な連続空間内で「思考」を行う能力にあります。このフレームワークは、複雑な視覚的推論がコンパクトな潜在表現へと内面化できることを示しており、コストの高い補助的なアノテーションやトークンごとの生成によるレイテンシへの依存を排除します。著者らは、このアプローチが高知能エージェントへと向かうためのスケーラブルな道筋を示すものであると結論付けています。