💬 NLP

Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space

本論文は、潜在空間に視覚的およびテキスト的な情報を暗黙的に注入することで、効率的かつアノテーションを抑えたマルチモーダル推論を可能にし、既存の明示的な手法と比較して精度と推論速度の両面で大幅な向上を実現する、新しいフレームワークであるInterleaved Vision-Text Latent Reasoning (IVT-LR) を提案する。

原著者： Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

公開日 2026-01-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chao Chen, Zhixin Ma, Yongqi Li, Yupeng Hu, Yinwei Wei, Wenjie Li, Liqiang Nie

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑なパズル、例えば画像と文章の両方が絡み合うトリッキーな謎解きを解こうとしている場面を想像してみてください。

旧来の方法：「独り言」メソッド
現在、ほとんどのスマートなAIモデルは、思考しながら「声に出して話す」ことでこれらのパズルを解いています。AIは画像を見て、次に、何が見えるかを説明する長い文章を書き出し、再び画像を見て、さらに文章を書き、最後に答えを出します。

問題点： これは、数学の問題を解くために、最終的な数字を書く前に、すべての思考を日記に書き留めるようなものです。これには膨大な時間がかかり（低速）、AIに教えるために何千もの「日記」を誰かに書かせる必要があり（高価な労働）、AIは結論にたどり着くためだけに、それらすべての言葉を読み書きしなければなりません。

新しい方法：「暗闇の中での推論」（IVT-LR）
この論文は、IVT-LR（Interleaved Vision-Text Latent Reasoning：相互インターリーブされた視覚・テキスト潜在推論）と呼ばれる新しい手法を紹介しています。これは、AIに**「静かに考える」**ことを学習させるものだと考えてください。

思考プロセスを言葉で書き出す代わりに、AIはその推論プロセスを完全に自分自身の「脳」（潜在空間）の中に保持します。思考している間、AIは言葉を生成したり、画像を描いたりしません。ただ内部で情報を処理するだけです。

この新しい手法がどのように機能するか、シンプルな比喩を使って説明します：

1. 「ゴースト」と「スポットライト」

旧来の方法では、AIは画像を言葉で説明しなければなりませんでした。この新しい方法では、AIは2つの目に見えないツールを使って思考します。

ゴースト（潜在テキスト）： AIは「赤いボールが見える」と書く代わりに、直前の思考の「ゴースト」を保持します。それは、言葉に出さずとも、直前に考えたロジックを運ぶ隠れた信号です。
スポットライト（潜在ビジョン）： 画像全体を説明する代わりに、AIはメンタル・スポットライトを使用します。画像の中を素早くスキャンし、特定の思考ステップのために、最も重要な極めて小さな断片（図解の特定の部分など）だけを選び出して焦点を合わせます。

2. 「静かな会話」

AIはこの2つの目に見えないツールを混ぜ合わせます。直前の思考の「ゴースト」を取り込み、それを画像の最も重要な部分への「スポットライト」と組み合わせます。AIは、最終的な答えを叫ぶ準備ができるまで、このプロセスをステップ・バイ・ステップで、すべて「暗闇の中で」（目に見えるテキストや画像を生成することなく）行います。

3. トレーニング：ささやき方を学ぶ

どうやってAIに静かに考えることを教えるのでしょうか？単に「喋るのをやめなさい」と言うだけでは不十分です。学習させる必要があります。
著者らは、子供に泳ぎを教えるような段階的なトレーニング戦略を用いました。

ステージ1： AIは、すべてのステップを書き出しながら、声に出して話すことでパズルを解く方法を学びます。
ステージ2： 教師が「よし、最初のステップでは、それは書き出さないで。ただ考えるだけでいいんだ」と言います。
ステージ3＆4： 教師は、AIに対して、書き出すステップを徐々に減らし、それを「静かな思考」に置き換えていくよう求めます。最終的に、AIは頭の中でパズル全体を解き、最後の答えだけを話すようになります。

なぜこれが大きなニュースなのか？
この論文は、この手法が以下の3つの理由で大幅なアップグレードであると主張しています。

スピード： AIは長い説明を書き出すことに時間を浪費しないため、問題を5倍速く解きます。
より賢い思考： 画像と言葉を、不器用な言葉に無理やり押し込めるのではなく、より自然に「脳」の中で融合させることができます。
少ない労力： AIに教えるために、人間が詳細な「思考プロセス」を何千も書き起こす必要はありません。AIは自力で静かに考える方法を学びます。

結果
彼らが困難な科学・論理パズル（M3CoTやScienceQAといったデータセット）でテストしたところ、この新手法は、従来の「独り言」方式よりもより多くの正解（約5%向上）を出し、かつはるかに速く解きました。

要約すると： この論文は、AIに思考を「実況」するのをやめさせ、隠れたロジックと集中した視覚的注意を組み合わせて「静かに考える」ことを教えています。これにより、AIはより速く、より賢く、そしてより安価になります。

技術要約：暗闇の中の推論：潜在空間における視覚・テキスト交互潜在推論 (IVT-LR)

問題提起

現在のマルチモーダル大規模言語モデル（MLLM）におけるマルチモーダル推論手法は、アノテーションコストと推論効率に関して重大な制限に直面しています。既存のアプローチは、概ね以下の2つのカテゴリーに分類されます：

テキストのみの推論： MLLMは、回答を生成する前にテキストによる根拠（rationale）のみを用いて推論を行います。これは効果的ではあるものの、中間的な思考プロセスにおいて視覚情報を活用できないことが多々あります。
視覚・テキストが関与する推論： これらの手法は、視覚情報をテキストによる根拠と交互に配置します（例：画像パッチの生成、領域のズームイン、画像のスケッチなど）。これにより複雑なタスクの性能は向上しますが、労働集約的な視覚・テキストのアノテーションに大きく依存し、また長い明示的なトークンの連鎖を生成することによる大幅な推論レイテンシを導入してしまいます。

著者らは、明示的な中間生成のオーバーヘッドを排除しつつ、マルチモーダルな推論（視覚的およびテキスト的な手がかりの統合）の利点を維持できるパラダイムの必要性を特定しています。

手法：インターリーブされた視覚・テキスト潜在推論 (IVT-LR)

本論文では、明示的な中間トークンを生成することなく、視覚とテキストのモダリティを交互に組み合わせながら、MLLMが完全に潜在空間内で推論を行うことを可能にするフレームワークである IVT-LR を提案しています。

コアメカニズム

IVT-LRにおいて、各推論ステップは、2つの暗黙的な部分から構成されるマルチモーダルな潜在ベクトルによって表現されます：

潜在テキスト（Latent Text）： 前のステップに対する明示的なテキストトークンを生成する代わりに、モデルは現在のステップの入力として、前のレイヤーからの隠れ状態 ( $h_{t-1}$ ) を使用します。これにより、連続的な空間において豊かな中間的な推論ロジックが保持されます。
潜在視覚（Latent Vision）： 視覚的なコンテキストを動的に組み込むために、モデルはアテンションスコアに基づいて固定数 ( $k$ ) の画像埋め込みを選択します。具体的には、全レイヤーにわたるアテンションウェイトの総和を使用して、最も関連性の高い $k$ 個の画像埋め込みを特定します。選択されたこれらの埋め込みは、潜在テキストの隠れ状態と結合されます。

モデルはこれらのコンポーネント ( $[h_{t-1}, z_{selected}]$ ) を融合して次のトークン分布を計算し、中間的なテキストや画像を出力することなく、ステップごとの推論を効果的に実行します。

学習戦略

MLLMをこの潜在推論パラダイムに適応させるために、著者らは漸進的なマルチステージ学習戦略を導入しています。

ステージ 0： モデルは、すべての推論ステップが明示的に生成される標準的なChain-of-Thought (CoT) 教師あり学習で訓練されます。
漸進的置換（Progressive Substitution）： その後の $N$ ステージにわたり、モデルは明示的な推論ステップを、潜在的な推論ステップ（<latent> という特殊トークンで示される）へと段階的に置き換えていきます。各ステージにおいて、1つの明示的なステップが1つの潜在的なステップへと入れ替えられます。
損失関数： 学習には負の対数尤度（NLL）損失が使用されます。極めて重要な点として、教師信号は残りの明示的な推論ステップと最終的な回答に対してのみ適用されます。潜在的な推論ステップと質問のトークンはマスクされます。これにより、モデルが明示的な根拠と厳密に線形に一致するように強制されることを防ぎ、正しい最終予測へと導かれつつ、潜在空間内で推論の軌跡を内部化することを可能にします。

推論プロセス

推論中、モデルは質問と画像入力の後に、固定数の <latent> トークンを付加します。推論プロセスは完全に潜在空間内で行われ、最終的な回答が生成される前に、中間的な明示的トークンは一切生成されません。

主な貢献

初の統合型マルチモーダル潜在推論フレームワーク： IVT-LRは、視覚的およびテキスト的な表現を完全に潜在空間内で統合し、中間的な明示的テキストや画像の生成を不要にする初めてのアプローチです。
データおよび計算の効率性： 本手法は、中間的な視覚推論ステップのための明示的なアノテーションを必要としない学習パラダイムを導入しています。潜在空間で推論を行うことで、推論に必要な自己回帰ステップの数を劇的に削減します。
最先端の性能： 本アプローチは、困難なベンチマークにおいて精度に関する新たなSOTA（State-of-the-Art）を達成すると同時に、推論効率（オートレグレッシブステップ数とレイテンシで測定）を大幅に向上させています。

実験結果

著者らは、M3CoT（マルチモーダルChain-of-Thought）とScienceQAの2つのベンチマークでIVT-LRを評価しました。実験は Qwen2-VL-7B および Chameleon-7B をバックボーンとして行われました。

精度： IVT-LRは、既存のアプローチと比較して平均 5.45% の精度向上を達成しました。
- M3CoT (Qwen2-VL) において、IVT-LRは 71.8% の精度に達し、従来の最高値（Chain-of-Focusの64.3%）を上回りました。
- ScienceQA (Qwen2-VL) において、94.6% の精度を達成し、Chain-of-Focus (91.2%) を凌駕しました。
効率性： 本手法は、既存の手法と比較して5倍以上の速度向上を示しました。
- 自己回帰ステップ数： IVT-LRは、他の手法の73.9〜185.7ステップに対し、平均自己回帰ステップ数を 10.0 (M3CoT) および 11.0 (ScienceQA) まで削減しました。
- レイテンシ： 平均生成時間は大幅に低下しました（例：M3CoTにおけるQwen2-VLを用いた場合、2.63秒から 0.65秒 へ）。

意義

本論文は、IVT-LRが「暗闇の中の推論（Reasoning in the Dark）」への転換を象徴していると主張しています。ここでは、視覚的およびテキスト的な情報の複雑な相互作用が、モデルの隠れ状態内で内部的に発生します。明示的で観察可能な中間出力の必要性を、潜在的な推論プロセスから切り離すことにより、本手法は現在のマルチモーダル推論システムに固有の、アノテーションの強度と推論レイテンシというボトルネックに対処します。著者らは、このアプローチが、従来のトークンベースの生成よりも、豊かでマルチモーダルな情報をより効率的に扱うための潜在的な推論の可能性を解き放つものであると述べています。