技術的サマリー：何を、どのように想像するか？クロスビュー空間推論における統一マルチモーダルモデルの視覚的思考

問題定義

クロスビュー空間推論（異なる視点から撮影された画像から、シーンの配置、物体の位置、幾何学構造を推論する能力）は、ビジョン・ランゲージモデル（VLM）における重大な弱点のままです。VLM は単一画像タスクでは優れていますが、クロスビュータスクでは偶然の水準をわずかに上回る程度のパフォーマンスしか発揮しません。著者らは、この原因は表現の不一致にあると主張しています。クロスビュー推論は本質的に視覚的なものですが、VLM は通常、言語を通じて推論を行い、観察結果をテキスト中間表現に変換することで、タスクに必要な微細な幾何学情報を失ってしまいます。

最近の「画像で思考する（think-with-image）」アプローチは、中間的な視覚表現（3 次元再構成、深度マップ、または予測されたカメラ軌跡など）を生成することでこのギャップを埋めようと試みています。しかし、先行研究は、これらの生成された trace に含まれる視覚的証拠が、モデルの回答経路によってほとんど無視されていることを示しています。標準的な教師あり微調整（SFT）の下では、モデルは妥当な思考画像を生成しますが、回答には元の入力ビューに依存しており、視覚的思考は推論の機能的な構成要素というよりは、装飾的な副産物として扱われています。

手法

1. 統一マルチモーダルモデル（UMM）

本研究は、画像とテキストの交差生成をネイティブにサポートする統一マルチモーダルモデル（具体的にはBAGEL）を利用します。このアーキテクチャにより、モデルはテキストの回答を生成する前に、推論チェーンの一部として中間的な視覚表現（「思考画像」）を生成することが可能となり、外部ツールなしでエンドツーエンドの学習を可能にします。

2. ビュードロップ（VDrop）

視覚的思考の未利用に対処するため、著者らは生成された思考画像への依存をモデルに強制するように設計されたトレーニング時の介入である**ビュードロップ（VDrop）**を提案します。

• メカニズム: トレーニング中、入力ビュー（$V_1$または$V_2$）の連続領域が、回答トークンの注意範囲からマスクされます。ただし、思考画像トークンはマスクされていない入力ビューへの完全なアクセス権を保持します。
• 効果: これにより「ショートカット」のブロックが作成されます。回答トークンが入力ビューのマスクされた領域を見ることができないため、欠落した配置情報を回復するために、生成された思考画像を通じて空間推論をルーティングしなければなりません。
• カリキュラム: ウォームアップ段階では、モデルが完全な入力可視性のもとで思考画像を生成し、利用することを学習します。その後、マスク確率は 100% まで線形にアニーリングされ、入力ビューが完全に隠蔽される前にモデルが思考画像に依存することを学習させます。

3. 視覚的思考戦略

本研究は、どの思考画像が最も効果的かを決定するために、3 種類の異なる思考画像を比較し、その選択を学習可能性 – 情報量（L–I）のトレードオフとして位置づけます。

• パノラマビュー: 観測者のポーズからの広角レンダリングであり、2 つのビューを単一の視野に統合します。
• トップダウンビュー: 全局的な配置と物体の側面を露出させる高角度レンダリングです。
• ポイントマッチング: 対応する物体を示す色付きマーカーを付けた 2 つの入力ビューを横並びに表示したものです。

情報量とは、変種がどの程度空間構造を明らかにするかを指します。学習可能性とは、UMM がデータからその変種の忠実なインスタンスをどの程度確実に生成できるかを指します。

4. トレーニングと評価

• データ: トレーニングは、4 種類のクロスビュー質問タイプ（アンカー、カウント、相対距離、相対方向）を特徴とするInfinigen Indoorsからの8,000件の合成サンプルを用いて行われました。
• ベンチマーク: 評価には、1 つのドメイン内（ID）ベンチマーク（COSMIC）と、5 つの実世界ドメイン外（OOD）ベンチマーク（MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView）が含まれました。
• 因果検証: 推論時に「生成後盲目（generate-then-blind）」プローブが使用されました。モデルは思考画像を生成しますが、回答スパンの思考画像への注意がマスクされます。精度の低下は、思考画像が因果的に負荷を担っていたことを示します。

主要な結果

1. VDrop が視覚的思考を因果的にする

• 負荷担持: VDrop がない場合、推論時に生成された思考画像をマスクしても精度への影響はほとんどありません。VDrop がある場合、思考画像を盲目化すると精度が大幅に低下します（例：BLINK で 12.8% 低下）。これは、モデルが真に視覚的中間表現に依存していることを確認します。
• 注意のシフト: 注意分析により、VDrop は回答トークンの思考画像への注意シェアを、バニラモデルの約 55% から約 65% に増加させることが示されました。特にデコーダーの初期および中期層において顕著です。

2. 学習可能性 – 情報量のトレードオフ

• パノラマ: 最適なバランスを達成します。非常に情報量が多く（直接結合シーンを露出）、学習可能性も高い（モデルが忠実なレンダリングを生成する）ため、最高のドメイン外（OOD）汎化性能を達成します。
• トップダウン: 非常に情報量が多いですが、学習可能性は部分的です。モデルは未見の視点から完全な幾何学的忠実性で合成することに苦戦し、結果は混在します。
• ポイントマッチング: 低い情報量（新しい視点を作成しない）と中程度の学習可能性（正確なマーカー配置が困難）によって制限されます。これは最小の利益をもたらします。

3. パフォーマンスの向上

• 効率性: 最良の設定（パノラマ + VDrop）は、わずか8Kサンプルでトレーニングされ、平均 OOD 精度**40.0%**を達成します。
• 比較: これは以下のモデルを上回ります。
  • バニラ BAGEL（33.3%）。
  • Qwen3-VL-8B などの強力な汎用 VLM（37.0%）。
  • 著しく多くのデータでトレーニングされた先行の視覚的思考手法：ThinkMorph（24K サンプル、37.2%）および BAGEL-Zebra-CoT（182K サンプル、26.8%）。
• 非視覚的ベースライン: VDrop を用いた視覚的思考は、非視覚的ベースライン（No-Think およびテキストチェーン・オブ・思考）を大幅に上回ります。テキスト CoT は実際、直接回答よりもパフォーマンスが劣っており、これはおそらく一貫性のないテキスト教師信号によるものです。

意義と主張

本論文は、UMM における視覚的思考の主なボトルネックはデータの規模ではなく、トレーニング信号であると主張しています。

• 未利用は失敗モード: 著者らは、標準的な SFT が、モデルが自ら生成した画像を無視する「装飾的」な視覚的思考につながることを特定しました。
• VDrop としての解決策: ビュードロップは、思考画像を推論の因果的に負荷を担う構成要素へと強制する、シンプルでアーキテクチャに依存しない介入です。
• 表現が重要: モデルが画像を使用することを強制されると、表現の選択が重要になります。本研究は、パノラマ視覚的思考が、情報量と学習可能性の両軸において優れているため、他の戦略が L–I トレードオフの一方または両方で失敗するのに対し、優れた戦略であることを確立しています。
• データ効率性: 結果は、適切なトレーニング介入（VDrop）と表現（パノラマ）があれば、高品質なクロスビュー空間推論が、以前の手法が必要としたよりも著しく少ないデータ（8K サンプル）で達成可能であることを示唆しています。

限界

著者らは、その発見が単一の UMM アーキテクチャ（BAGEL）上で検証されており、さらなる研究なしには他のアーキテクチャに転移しない可能性があると指摘しています。さらに、VDrop は思考画像の使用を強制しますが、生成された画像の品質を本質的に向上させるものではありません。生成された画像の忠実度が低い場合、モデルにそれへの依存を強制しても限られた利益しか得られません。今後の研究では、VDrop と、思考画像生成自体の忠実度を向上させる教師信号を組み合わせるべきです。