技術的概要：自己一貫性潜在推論（SCOLAR）

1. 問題定義

言語モデルにおける「性能向上のための計算量スケーリング」は、より長い思考の連鎖（Chain of Thought: CoT）が推論能力を一貫して向上させることを実証してきた。しかし、この原則を潜在視覚推論（latent visual reasoning）を介して視覚言語モデル（VLM）に適用したところ、直感に反する結果が得られた。生成中に中間的な潜在視覚表現を導入する既存の手法は、潜在シーケンスの長さが増すにつれて、体系的に性能が低下するという問題に直面している。

本論文は、この現象の根本原因を「情報獲得の崩壊（Information Gain Collapse）」と名付け、以下の 2 つの要因として特定している：

1. 自己回帰的依存関係: 従来の潜在推論では、各トークンは直前のトークンに基づいて生成される。これにより、視覚情報が伝播するにつれて不可避的に減衰する依存連鎖が形成され、後続のトークンが既存の情報を繰り返すだけで、新たな意味内容をもたらすことがなくなる。
2. 無意味な教師信号ターゲット: 多くの既存手法は、過度にプーリングされた（例：$\ge 128\times$）画像埋め込みを教師信号ターゲットとして依存している。著者らは、これらのプーリングされた特徴量が「無意味なプレースホルダー」として機能し、ノイズ以上の信号を提供せず、効果的な視覚推論を導くことができないことを実証している。

その結果、現在の手法におけるより長い潜在連鎖は、利益ではなく負担となり、視覚推論のスケーラビリティを制限している。

2. 手法：SCOLAR

情報獲得の崩壊に対処するため、著者らは**SCOLAR（Self-COnsistent LAtent Reasoning）**を提案する。中核的な革新は、自己回帰的な潜在生成から、シングルショットかつ自己一貫的な生成アプローチへのパラダイムシフトである。

アーキテクチャ

標準的な ViT–Projector–LLM フレームワークを基盤とし、SCOLAR は軽量な**デトランスフォーマ（detransformer）**ブランチを導入する：

• 入力: デトランスフォーマは、LLM の全シーケンス隠れ状態（$H$）（テキスト推論とトリガートークンを含む）を入力として受け取る。
• メカニズム: 潜在トークンを 1 つずつ生成するのではなく、デトランスフォーマは単一のフォワードパスで補助視覚トークンの完全なシーケンス（$A_0$）を生成する。
• 自己一貫性: 生成された各補助トークンは、元の視覚意味空間（入力解像度）に独立してアンカーされる。これにより自己回帰的依存連鎖が切断され、すべてのトークンが真の冗長性のない視覚情報を導入することが保証される。
• 融合: 補助トークンは、ゲート付き残差加法（$A = V + g(A_0)$）を介して元の視覚トークンと融合される。ここで、ゲート機構が編集強度を制御する。

学習パイプライン

SCOLAR は、教師あり微調整（SFT）の 3 段階戦略を採用し、その後、教師データ（真の補助画像を使用）と推論（自己生成された潜在を使用）間の分布ミスマッチを解消するために強化学習（RL）を適用する：

1. ステージ 1：デトランスフォーマの事前学習: デトランスフォーマは、入力画像と真の補助画像の差分（$\Delta_{aux}$）を再構成損失を用いて再構成するように訓練される。意味の崩壊を防ぐため、この段階では LLM のバックボーンは固定される。
2. ステージ 2：トリガートークンの学習: モデルが潜在推論をいつ活性化するかを自律的に決定することを学習する。これは重み付き次トークン予測（NTP）によって達成され、<auxiliary> トリガートークンに対してより高い損失重みを課すことで、モデルが必要な場合にこの機構を呼び出すことを学習させる。
3. ステージ 3：教師強制アニーリングを伴う共同推論: モデルは、自身が生成した補助トークンを用いて推論することを学習する。分布ミスマッチを軽減するため、訓練プロセスは、真の補助特徴量から自己生成のものへの移行を段階的に行う（確率を 1.0 から 0.0 まで線形に減衰させる）。
4. ALPO（Auxiliary Latents Policy Optimization）: 補助埋め込みは連続値であり、標準的な離散トークン方策勾配（GRPO など）では直接最適化できないため、著者らは ALPO を提案する。この手法は、連続的な視覚推論を離散的なテキスト方策から分離する。ロールアウト中は補助埋め込みを生成してキャッシュし、アクタ更新時にはこれらを固定コンテキストとして注入する。方策勾配は離散テキストトークンのみに対して計算される。また、<auxiliary> トリガの適切な活性化を促す特定の報酬成分（$r_{aux}$）が含まれる。

3. 主要な貢献

1. 情報獲得の崩壊の特定: 既存の潜在視覚推論手法における性能低下の根本原因を体系的に診断し、自己回帰的な情報減衰と過度にプーリングされた教師信号ターゲットの使用に起因することを明らかにした。
2. SCOLAR フレームワーク: 元の視覚空間に独立してアンカーされた補助視覚トークンを生成する軽量デトランスフォーマを用いた新規シングルショットパラダイム。これにより、真にスケーラブルな潜在推論長を実現する。
3. 学習戦略: 教師強制アニーリングを伴う 3 段階 SFT と、離散トークン方策フレームワーク内で連続潜在空間を最適化する際の固有の課題に対処するための新規 ALPO アルゴリズムの開発。
4. 実証的検証: 先行手法と比較して、SCOLAR が許容される潜在 CoT 長を30 倍以上に延長し、かつ性能を向上させることを示す広範な実験。

4. 実験結果

著者らは、SCOLAR（Qwen2.5-VL-7B バックボーンに基づく）を、いくつかのベンチマークにおいて最先端のオープンソースモデルおよびプロプライエタリシステム（GPT-4o、GPT-5.2）と比較評価した：

• 実世界推論: SCOLAR はオープンソースモデルの中で最先端の性能を達成した。
  • MME-RealWorld-Lite: バックボーンに対して +14.12% の改善。
  • V*Bench: **83.77%**を達成し、GPT-4o（67.50%）を 16 パーセントポイント以上上回った。
  • HRBench4K/8K: 微細な空間知覚タスクにおいて大幅な改善。
• 分布外（OOD）一般化: 訓練データに全く存在しないVisualPuzzlesベンチマークにおいて、SCOLAR は強い一般化能力を示し、特に空間推論や類推推論タスクにおいて他のオープンソースモデルを上回った。
• 潜在長さのスケーリング:
  • Monet および LVR: 潜在長が 3 から 1000 トークンに増加するにつれて、性能は体系的に低下した。
  • SCOLAR: 潜在長が増加するにつれて性能は継続的に向上し、完全解像度（プーリングなし）でピークに達した。
• 情報獲得分析: 直交射影残差を用いて、SCOLAR が 1000 トークンにわたって高い情報獲得（約 10–30）を維持するのに対し、LVR の獲得は 10 トークン後にほぼゼロに崩壊し、Monet の獲得は単調に減衰することを示した。
• 無意味なパディング実験: SCOLAR の潜在トークンを無意味なパディングに置き換えると、シーケンス長が増すにつれて破滅的な性能低下が生じた。これは、モデルがトークンの構造的な存在ではなく、トークンの真の意味内容に依存していることを確認した。

5. 意義と主張

本論文は、SCOLAR が視覚的潜在推論におけるスケーラビリティのボトルネックを根本的に解決すると主張している。補助トークン生成を自己回帰的依存関係から分離することで、SCOLAR は、トークンが真の減衰しない視覚意味を担う限り、視覚領域における「より長い連鎖」は確かに「より良い推論」をもたらすことを実証している。

著者らは、SCOLAR が小規模なオープンソースモデルと大規模なプロプライエタリシステム間のギャップを埋め、効果的な潜在スケーリングを備えた 7B モデルが、複雑な推論ベンチマークにおいて著しく大規模なクローズドソースモデルを上回ることを示していると主張している。この研究は、潜在推論における過度にプーリングされた特徴量と自己回帰的生成への既存の依存に挑戦し、スケーラブルで自己一貫的なマルチモーダル推論のための新たな方向性を提案する。

認められた限界: 現在の手法は、教師信号としてペアの入力 - 補助画像データに依存しており、RL 段階におけるデトランスフォーマの最適化は明示的ではなく、暗黙的である。今後の研究として、教師なし設定の探求と、連続視覚空間に対する明示的なエンドツーエンドの勾配信号の検討が提案されている。