技術的概要：ビジョン・ランゲージモデルにおける 3D 場トポロジーの潜在表現の解明と形成

1. 問題定義

認知科学の数十年にわたる研究は、人間が 3D 環境を移動する際、「認知的地図（cognitive maps）」を形成していることを示唆している。これは、自己中心（egocentric）の視覚入力とは区別される、空間関係の他者中心（allocentric）かつトポロジーを保存する表現である。現代のビジョン・ランゲージモデル（VLM）は 2D 入力から創発的な空間推論能力を示しているが、それらが同様の内部 3D 表現を構築しているかどうかは不明である。既存の診断ツール（アテンションマップやエンドツーエンドの精度など）は、VLM が潜在的な 3D 他者中心構造を有しているのか、それとも表面的な 2D 相関や言語的ショートカットに依存しているのかを判断できない。さらに、VLM の空間推論を改善するための現在のアプローチは、深度マップなどの明示的な 3D モーダリティの注入や、莫大なデータのスケーリングに依存する傾向があり、モデルの既存の潜在幾何学を形成するものではない。

扱われる核心的な問題は二重である：

1. 発見：現在の VLM は本質的に 3D 場の潜在的なトポロジカル地図を符号化しているか、またそうである場合、それはアクセス可能か？
2. 形成：この潜在表現を数学的に特定し、正則化することで、アーキテクチャの変更や外部 3D データなしに空間推論を改善できるか？

2. 手法

2.1 潜在空間サブスペースの解明

著者らは、VLM が 3D トポロジーを符号化している一方で、この信号が色や形状などの非幾何学的視覚意味（visual semantics）によって大きく覆い隠されていると提案する。空間成分を分離するために、彼らはクロスシーン平均に基づく線形特徴抽出技術を導入する：

• データ：オブジェクトの位置、色、形状がランダム化された 1,000 個のシーンを含む合成データセット（SynSpat3D）。これにより、オブジェクトの同一性（色/形状）と空間的位置が統計的に独立であることを保証する。
• オブジェクトごとの集約：オブジェクトに対応する視覚トークンを、時間フレームおよび空間パッチにわたって集約し、デコーダ層 $\ell$ におけるオブジェクトごとの活性化ベクトル $h^{(s,o)}_\ell$ を形成する。
• 平均化による分離：潜在表現が、同一性条件付き成分（$uid(o)$）と位置条件付き成分（$usp(x)$）の線形和であると仮定し、多数のランダム化されたシーンにわたって同一のオブジェクト識別子に対する活性化を平均化する。位置はランダムであるため、空間成分はゼロに平均化され、同一性のプロトタイプ$\bar{h}(o)$ の一貫した推定値が残る。
• 射影：これらの同一性プロトタイプから直交基底 $W_\ell$ を構築する。その後、元の活性化をこの基底の直交補空間に射影することで空間サブスペースを抽出する：$\tilde{h}^{(s,o)}_\ell = (I - W_\ell W_\ell^\top) h^{(s,o)}_\ell$。

2.2 数学的特徴付け

著者らは、抽出された空間サブスペースがシーンの 3D グラフの**ラプラシアン固有写像（Laplacian eigenmaps）**に対応することを証明する：

• 定理 1：分散制約の下で表現のディリクレエネルギーを最小化することは、シーングラフのラプラシアンの固有ベクトルと一致する主成分を持つ表現をもたらす。
• 定理 2：連続極限において、これらの固有ベクトルはシーンの物理的 3D 座標（カルテシアン軸）に収束する。
• 因果的検証：活性化操作（activation steering）を通じて、著者らは抽出されたサブスペースの主軸に沿ってベクトルを注入すると、モデルの内部 3D 読み出しが線形的にシフトすることを示し、このサブスペースがモデルによって因果的に利用されていることを確認した。

2.3 ディリクレエネルギーによる潜在正則化

幾何学的同定に触発され、著者らは微調整のためのディリクレエネルギー正則化子を導入する：

• 損失関数：教師あり微調整（SFT）中、標準的な言語モデル損失（交差エントロピー）に単一項の正則化子が追加される：
  $$\mathcal{L}(\theta) = \mathcal{L}_{LM}(\theta) + \lambda_{dir} \cdot \mathcal{E}_X(P^\perp H_\ell(\theta))$$
  ここで、$\mathcal{E}_X$ はシーンの 3D ガウスカーネルグラフ上の抽出された空間活性化 $P^\perp H_\ell$ のディリクレエネルギーである。
• 理論的保証：
  • 定理 3（実現可能性）：潜在空間をディリクレエネルギーを最小化するように形成することは、空間関係に関する質問が線形に分離可能になることを保証し、線形言語ヘッドがそれらを完全に答えられるようにする。
  • 定理 4（サンプル複雑性）：この正則化子はタスク無関係な分散を崩壊させ、学習問題の有効次元を高次元の残差ストリーム（$d \approx 4000$）から正確に 3（空間次元）に減少させる。これは理論的にサンプル複雑性を $d/3$ 倍削減する。
  • 定理 5（リスク分解）：中程度の正則化重み $\lambda$ は空間タスクの改善を保証するが、過度の $\lambda$ は残差ストリームを歪め、言語能力を損なうリスクがある。

3. 主要な結果

3.1 診断的知見

• 表現の偏り：直接プロービングにより、VLM（Qwen2.5-VL-7B、InternVL3-8B）はオブジェクトの色と形状をほぼ完璧な精度で符号化しているが、3D 位置は部分的にしか復元できないことが明らかになった。
• 意味的支配：行動的反事実的実験により、オブジェクトの色をシャッフルすると、モデルの空間予測が約 41% のケースで反転することが示された。これは、物理的に 3D 配置を撹乱した場合（約 48%）とほぼ同頻度である。これは、モデルが頑健な幾何学的地図ではなく、意味的手がかりに大きく依存していることを確認する。
• 層の専門化：抽出された空間サブスペースは、デコーダの「中間」層（Qwen2.5-VL では層 13–21 など）で最も明確であり、初期層が視覚特徴を結合し、中間層が 3D トポロジーを構築し、後期層が言語推論を処理するという機能的な分担を示唆している。

3.2 微調整のパフォーマンス

単純な合成データに対する LoRA 微調整の500 ステップにディリクレエネルギー正則化子を適用することで、実世界のベンチマークにおいて顕著なゼロショット改善が得られた：

• ベンチマーク：VSI-Bench（微細な 3D 推論）および MindCube（空間的メンタルモデリング）。
• 性能向上：
  • Qwen2.5-VL-7B：全体の精度が Naive LoRA の 29.3% から**35.6%**に向上。
  • InternVL3-8B：全体の精度が 36.7% から**42.4%**に向上。
• 特定タスクの改善：この手法は、相対方向（最大**+12.1%**の改善）や絶対距離推定など、シーントポロジーの理解を必要とするタスクで最も顕著な成果を示した。
• ベースライン：この手法は、標準的な Naive LoRA、真の 3D 幾何学を捉えられなかった 2D 空間正則化、および座標を内部化させるのではなくテキストとして出力させることを強制したテキストドメインの認知的地図予測よりも優れていた。

4. 意義と主張

本論文は、頑健で内在的な認知的地図を持つ VLM を開発するための原理的な手法を提供すると主張する。その意義は以下の点にある：

1. 潜在的存在の証明：標準的な VLM はすでに潜在的な 3D トポロジカル表現を有しているが、支配的な視覚意味によって隠蔽されていることを実証すること。
2. 数学的形成：スペクトルグラフ理論から導出され、モデルの内部幾何学を物理的 3D 空間と整合させる数学的根拠のある正則化（ディリクレエネルギー）を導入すること。
3. データ効率：学習問題の有効次元を削減することで極端なデータ効率を達成し、最小限の合成データ（500 ステップ）から複雑な実世界ベンチマークへの汎化を可能にすること。
4. 直交性：外部 3D モーダリティや莫大なデータスケーリングに依存する既存の手法とは直交するアプローチであり、アーキテクチャ変更なしに標準 VLM アーキテクチャ内で空間推論を強化する方法を提供すること。

著者らは、この潜在サブスペースを分離し形成することにより、VLM の空間推論能力を大幅に向上させ、生物学的エージェントにおいて観察されるトポロジーを保存する認知的地図に近づけることが可能であると結論付けている。