💻 computer science

Vision-aligned Latent Reasoning for Multi-modal Large Language Model

本論文は、視覚情報を保持するために動的に視覚整合性のある潜在トークンを生成することによりマルチモーダル大規模言語モデルの長文脈推論能力を強化し、VSI-Bench などのベンチマークで顕著な性能向上とテスト時スケーリングを実現するフレームワークである「Vision-aligned Latent Reasoning (VaLR)」を提案する。

原著者： Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Byungwoo Jeon, Yoonwoo Jeong, Hyunseok Lee, Minsu Cho, Jinwoo Shin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Vision-aligned Latent Reasoning for Multi-modal Large Language Model（VaLR）」という論文の説明を、簡単な概念と日常的な比喩を用いて分解して示します。

大きな問題：AI の「記憶の減衰」

複雑な図（設計図や地図など）を見て、それについて非常に長く複雑な質問をされた状況を想像してください。あなたは答え始め、「まず、ここに扉が見えます…」と言いますが、話し続けるにつれて、設計図のイメージを頭の中に保持しておく必要があります。

現在の AI モデル（マルチモーダル大規模言語モデル、MLLMs）の問題点は、長い回答を書き続けるにつれて、頭の中の「イメージ」が薄れていくことです。これは、長い本を読みながら写真の記憶を保とうとするようなもので、最後のページにたどり着く頃には、写真がどのようなものだったか忘れてしまいます。

この「記憶の減衰」のため、これらの AI モデルは画像を見ながら多くの思考ステップ（推論）を必要とするタスクに苦戦します。しばしば迷子になったり、詳細を幻覚として作り出したり、質問の視覚的部分をあきらめてしまったりします。

解決策：VaLR（Vision-aligned Latent Reasoning）

著者たちは、VaLRと呼ばれる新しい手法を開発しました。VaLR を、AI に「視覚的チェックポイント」システムを与えることだと考えてください。

言葉だけで考えるのではなく、AI は推論の各ステップで一時停止し、画像の素早い「精神的スナップショット」を撮るように訓練されます。これらのスナップショットは可視のテキストではなく、画像を AI の頭の中で鮮明に保つ隠れた「潜在トークン（見えない精神的メモ）」です。

仕組み：「コーチとアスリート」の比喩

AI がこれをどのように学習したかを理解するために、コーチとアスリートを想像してください。

アスリート（AI）： 質問に答える主要な AI モデルです。
コーチ（ビジョンエンコーダ）： 画像を見ることと、あらゆる微細な细节（スーパーフォトグラファーのような）を理解することに特化した、別個の高度な専門家です。

学習プロセス：

ステップ 1（ウォーミングアップ）： まず、アスリートに言葉を使って段階的に問題を解決する方法（思考の連鎖）を教えます。
ステップ 2（アライメント）： 次に、「視覚的チェックポイント」を導入します。アスリートが考えるために一時停止するたびに、コーチが介入します。コーチは画像を見て、「ねえ、画像のこの特定の部分を見て」と言います。
目標： アスリートは、内部の「精神的メモ（潜在トークン）」をコーチの説明と一致させようとします。アスリートは単に推測することは許されず、コーチが見ているものと思考を一致させなければなりません。

このプロセスにより、AI は「精神的メモ」を実際の画像と完全に一致させ続けることを強いられます。その結果、回答が長くなるにつれて視覚情報が薄れるのを防ぎます。

特別である理由：「テスト時スケーリング」

通常、AI モデルがより長く、より深く考えようとすると、画像を忘れるため視覚タスクの性能が低下します。

この論文は、VaLR が初めて**「テスト時スケーリング」**を実証したと主張しています。

従来の方法： AI が考える時間が長くなるほど、画像を忘れ、性能は低下します。
VaLR の方法： AI が考える時間が長くなるほど、性能が向上します。画像と整合した「視覚的チェックポイント（潜在トークン）」を常に取っているため、視覚的文脈を失うことなく非常に長い間推論を続けることができます。これは、新しい手がかりをノートに書くたびに犯罪現場の写真を再読し続ける探偵のようなもので、証拠を見失うことがありません。

結果：「空間推論」ゲームでの勝利

著者たちは、3 次元空間推論（物体が空間内でどのように配置されているかを理解すること）における厳しい試験のようなベンチマークVSI-Benchでこれをテストしました。

VaLR 以前： 基本 AI モデルは約**33%**の回答を正解しました。
VaLR 使用時： AI は**52.9%**の回答を正解しました。

これは大きな飛躍です。この論文は、「視覚的チェックポイント」システムを使用することで、AI が以前よりもはるかに複雑で多段階の視覚的質問に対処できることを示しており、質問が短い答えを必要とする場合でも、非常に長く詳細な説明を必要とする場合でも、結果は変わりません。

まとめ

要約すると、この論文は、AI モデルが思考している間に画像を「忘れる」のを防ぐ方法を導入しています。「コーチ（ビジョンエンコーダ）」を用いて AI が隠れた思考を実際の画像と常に一致させることを強制することで、AI は道に迷うことなく、はるかに難しく、長い視覚パズルを解決できるようになります。

技術サマリー：マルチモーダル大規模言語モデルのための視覚整合潜在推論

1. 問題定義

画像キャプション生成や視覚的質問応答（VQA）などのタスクにおいて多モーダル大規模言語モデル（MLLM）は大幅な進歩を遂げているにもかかわらず、これらのモデルは多段階の推論を要する問題に苦慮している。主なボトルネックは、長文脈生成中の視覚情報の漸進的な希薄化である。生成されるテキストシーケンスが長くなるにつれて、モデルは視覚信号を保持し活用する能力が低下し、純粋な言語モデルで観察されるテスト時スケーリング則の適用を阻害する。

推論を強化するための既存のアプローチは、しばしば以下に依存している：

テキスト中心の方法: 言語的な思考の連鎖（CoT）に焦点を当てた教師あり微調整（SFT）または強化学習だが、長いシーケンスにわたる視覚信号の減衰という欠点がある。
静的な視覚の再導入: 視覚トークンの挿入や画像生成。しかし、これらの手法は通常、視覚特徴を固定された初期文脈として扱うか、静的な単一ビュー特徴に依存するため、推論が進むにつれて視覚文脈が徐々に失われる。

2. 手法：視覚整合潜在推論（VaLR）

著者らは、各推論ステップの前に動的に視覚整合の潜在トークンを生成するフレームワークである**視覚整合潜在推論（VaLR）**を提案する。このアプローチは、潜在空間内の知覚的手がかりに基づいて推論プロセスを接地させる「視覚チェックポイント」を作成し、視覚情報の減衰を防ぐ。

中核メカニズム

VaLR は推論中に 2 つのモードを交互に実行する：

言語モード: 応答のための標準的なテキストトークンを生成する。
潜在モード: 直接可視化されないが中間推論ステップとして機能する非テキストの「潜在推論トークン」を生成する。

重要なのは、潜在モードにおいて、モデルは外部の事前学習済み視覚エンコーダ（例：DINOv2/v3、CLIP、SigLIP、 $\pi^3$ ）から抽出された高密度な視覚表現と、その中間隠れ状態を整合させるように訓練される点である。

学習パイプライン

VaLR は 2 段階のカリキュラム学習戦略を採用する：

段階 1（標準 SFT）: 汎用的な CoT VQA データセットでモデルを微調整し、基礎的な多モーダル推論能力を確立する。視覚エンコーダは固定され、言語バックボーンのみが訓練される。
段階 2（REPA を用いた潜在トークン訓練）: 各言語推論ステップの前に $K$ $K$ 個の潜在トークンを挿入するようにモデルを訓練する。MLLM の中間特徴と外部視覚エンコーダの特徴を整合させるために、**表現整合（REPA）**損失が導入される。
- 整合目的: 損失関数は、MLLM の投影された中間特徴と、視覚エンコーダによって対応する画像フレームから抽出されたパッチ単位の視覚特徴との間のコサイン類似度を最大化する。
- マルチエンコーダ整合: このフレームワークは、複数の視覚エンコーダと同時に整合を取ることをサポートし、相補的な強みを捉える（例：CLIP からの意味理解、DINO からの微細な外観、 $\pi^3$ からの 3 次元空間構造）。

注目すべきは、外部視覚エンコーダは訓練時のみ使用される点である。テスト時には、モデルは外部エンコーダを必要とせず、潜在トークン内で学習された視覚的接地に依存する。

3. 主な貢献

動的な視覚的接地: 静的な視覚特徴を使用する手法とは異なり、VaLR は各推論段階で視覚の詳細を動的に割り当て、長文脈推論全体を通じて情報の保持を確保する。
テスト時スケーリング: このフレームワークは、MLLM が推論チェーンの長さが増すにつれて性能が向上するテスト時スケーリング行動を示すことを可能にする。これは以前、視覚信号の減衰により MLLM において観察されていなかった現象である。
モデル非依存設計: VaLR はさまざまな視覚エンコーダ（DINO、SigLIP、CLIP、 $\pi^3$ ）に適応可能であり、元の MLLM のスタンドアロン視覚エンコーダを用いても効果的に機能する。
2 段階カリキュラム: まず推論能力を確立し、その後視覚整合でそれを洗練させる構造化された学習パイプラインにより、堅牢な長文脈理解を促進する。

4. 実験結果

VSI-Bench（3 次元空間推論）、BLINK、MMVP、MMStar、MathVista など、複数のベンチマークで広範な評価が行われた。

長文脈推論（VSI-Bench）: VaLR は既存のベースラインを大幅に上回った。具体的には、VSI-Bench において、VaLR はベースモデルである Qwen2.5-VL の精度を**33.0% から 52.9%**に向上させ、19.9 ポイントの改善をもたらした。また、R1-OneVision や Ocean-R1 といった強力な推論モデルをも凌駕した。
知覚タスク: VaLR は知覚ベンチマーク（BLINK、MMVP、V*）において優れた性能を示し、オープンモデルの中で最先端の結果を達成し、特定の構成では GPT-4o などの API モデルを上回った。
推論長さの分析: 中間の推論長さでピークに達し、その後劣化（幻覚の発生率増加）するベースラインモデルとは異なり、VaLR は推論長さの増加に伴い単調な性能向上を示し、拡張されたチェーンにわたって視覚的接地を維持する能力を確認した。
アブレーション研究:
- 表現整合（REPA）コンポーネントを除去すると性能が大幅に低下し、視覚整合の必要性が確認された。
- 複数のエンコーダを使用する（VaLR-M）ことは、単一エンコーダバリアントと比較して、特に 3 次元空間タスクにおいて相乗効果をもたらした。
- この手法は高いデータスケーラビリティを示し、はるかに少ない訓練サンプルでバニラ SFT モデルと同等の性能を達成した（収束が速い）。

5. 意義と主張

本論文は、VaLR が現在の MLLM の重要な限界、すなわち複雑な多段階推論中の視覚文脈を維持できないという課題に対処すると主張している。視覚整合の潜在トークンを注入することで、この手法は視覚信号の希薄化を効果的に緩和し、堅牢な長距離計画と推論を可能にする。

著者らは、この仕事が**コンピュータ使用エージェント（CUA）や視覚 - 言語 - 行動（VLA）**モデルなど、長文脈理解を必要とする複雑なアプリケーションにおける MLLM の展開を促進すると強調している。多モーダル領域において真のテスト時スケーリングを達成する能力は、視覚環境を見失うことなく拡張されたシーケンスにわたって推論できる、より信頼性が高く能力のある自律エージェントへの道筋を示唆している。