🤖 AI

GeoWorld-VLM: Geometry from World Models for Vision-Language Models

GeoWorld-VLM は、凍結されたカメラ条件付き動画世界モデルから 3 次元幾何学的手がかりを視覚経路へ蒸留することで、視覚言語モデルの空間推論の限界に対処し、元のモデルの言語能力を維持しつつ空間ベンチマークで一貫した性能向上を実現します。

原著者： Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Renjie Gu, Kaichen Zhou, Yan Luo, Mengyu Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢い司書（ビジョン・ランゲージモデル、または VLM）がいると想像してください。この司書は本を読み、写真を完璧に記述することができます。もし彼に「じゅうたんの上にいる猫」の写真を見せれば、「それは猫で、じゅうたんの上にいる」と答えることができます。彼らは物事を名付け、言葉を理解するのが得意です。

しかし、この司書には奇妙な盲点があります。それは空間の理解が極めて苦手だということです。「その猫は椅子の後ろですか、それとも前ですか？」や「ランプは机の上にありますか？」と尋ねると、彼らはしばしば間違えて答えます。彼らは物体を見ていますが、部屋の 3 次元の形状を「感じ取って」はいないのです。

問題：「平坦な」画像

この論文は、この問題がカメラ（ビジョンエンコーダ）から情報を得ているために発生すると説明しています。このカメラは 3 次元の世界を 2 次元の画像に押しつぶします。その過程で、奥行きや角度、そして自分がその周りを歩き回った場合にどう見えるかという手がかりが捨て去られてしまいます。司書は現実の「平坦な」バージョンを受け取り、3 次元の関係を推測しようとするため、誤りが生じるのです。

解決策：「想像力」の教師

レンジェ・グと共同研究者たちは、GeoWorld-VLMという新しいシステムを開発しました。これは司書の脳ではなく、司書の目を訓練するための特別なチューターを雇うようなものです。

チューターの仕組みは以下の通りです：

ワールドモデル教師：彼らは「バーチャルリアリティシミュレータ」のような強力な AI（ワールドモデル）を使用します。このシミュレータは非常に優れており、部屋の写真を見せ、「カメラを少し左に動かして想像してください」と言えば、その新しい角度から部屋がどう見えるかを正確に予測できます。物体が互いに隠れる様子（遮蔽）や、視点の変化を理解しているのです。
トレーニングプロセス：チューターは司書に単に静止した写真を見せるのではなく、写真を見せながら、シミュレータにカメラが動く様子を想像させます。シミュレータは、シーンが変化する「心の映画」を生成します。
レッスン：チューターは、司書のカメラシステムにこれらの「心の映画」に注意を払うよう強制します。カメラに教えるのです。「ただ平坦な画像を見るのではなく、自分が動いた場合に物体がどう移動するかを見るように」と。

魔法のトリック：脳を凍結させる

通常、AI を訓練する際には、その脳全体を再訓練することがあり、それによって言語を話したり理解したりする能力を失う恐れがあります。

GeoWorld-VLM の巧妙な点は、司書の脳（言語モデル）を凍結させていることです。彼らが再訓練するのは目（ビジョンエンコーダとコネクタ）だけです。

比喩：50 の言語を話す天才的な翻訳者がいるが、視力が悪いと想像してください。彼に新しい言語を教える（彼がすでに知っている言語を）のではなく、3D めがねを渡すだけです。これで彼が写真を見る際、奥行きを見ることができますが、話す方法は以前と全く同じままです。

何が起きるか？

このトレーニング後、司書は空間に関する質問に対してはるかに上手になります。

訓練前：「フェンスはどこですか？」→「上部にあります」（誤り）
訓練後：「フェンスはどこですか？」→「家の後ろにあります」（正解）

この論文は、Gemma と InternVL という 2 種類の異なる司書でテストを行い、これらの「3D めがね」を追加することで、さまざまなテストにおいて空間推論スコアが約**4%**向上したことを発見しました。これは多く聞こえないかもしれませんが、AI の世界において、一貫して 4% 上昇することは大きな意味を持ちます。

なぜこれが重要なのか（論文によると）

この論文は、AI が空間タスクで失敗する理由は言語が苦手だからではなく、受け取る視覚情報が「平坦」で 3 次元構造が欠けているからだとしています。「世界がどのように動くかを理解するシミュレータ」である「ワールドモデル」を用いて視覚システムを教えることで、AI の会話能力を損なうことなく、空間の盲目さを修正できるのです。

要約すると：彼らは AI にシーンの周りを「移動する」ことを想像させることで、3 次元空間における物体の位置を理解するのを助け、その言語能力は全く同じままに保ちました。

技術的概要：GeoWorld-VLM

問題定義

現代のビジョン・ランゲージモデル（VLM）は意味認識において流暢さを達成しているが、「左側にある」「上に」「背後にある」「間にある」といった基本的な空間関係の処理においては依然として脆い。著者らは、この失敗が主に言語的推論の欠如ではなく、視覚表現のボトルネックによるものであると主張する。特徴抽出の過程で、標準的な VLM はしばしば重要な 3D 構造の手がかりを圧縮または破棄し、言語モデルに信頼性の高い空間判断に不十分な画像表現を提供している。このギャップを埋めようとする既存の試みは、明示的な 3D 教師信号、点群入力、またはテスト時の合成ビュー生成に依存することが多く、これらは専用アーキテクチャや追加の計算オーバーヘッドを必要とする。

手法：GeoWorld-VLM

本論文は、言語基幹を再トレーニングすることなく、凍結されたカメラ条件付き動画世界モデルからの幾何構造を VLM に転移させるためのビジョン側蒸留フレームワークであるGeoWorld-VLMを導入する。

コアアーキテクチャ

この手法は、大規模言語モデル（LLM）に入力される視覚トークンが十分な 3D 構造を欠いていることが空間的失敗の原因であるという仮説に基づいて動作する。したがって、GeoWorld-VLM は LLM とテキストエンコーダーを凍結したまま、以下の部分のみを更新する：

画像エンコーダー（ $V_\phi$ ）。
多モーダルプロジェクター（ $P_\theta$ ）。
軽量なアライメントヘッド。

ティーチャー：カメラ条件付き世界モデル

DINO などの静的ビジョン基盤モデルをティーチャーとして使用する代わりに、GeoWorld-VLM は凍結された動画世界モデル（具体的にはLingBot-World-Fast）を利用する。

入力：ティーチャーは入力画像、テキストプロンプト、およびランダムにサンプリングされた自己中心カメラ軌道（並進と回転）を受け取る。
メカニズム：ティーチャーは、サンプリングされたカメラ運動下でシーンがどのように進化するかを予測する。このプロセスは、単一の静的画像からは回復が困難な、対照的なビューや視点依存の幾何学（例えば、遮蔽、支持、相対深度）を符号化する中間隠れ表現を生成する。
蒸留：学生 VLM は、プロジェクター後の画像特徴を、共有特徴空間においてティーチャーの中間表現とアライメントさせる。

訓練目的

訓練損失は 3 つのコンポーネントを組み合わせる：

タスク教師信号（ $L_{task}$ ）：空間的多肢選択回答のための標準的な交差エントロピー損失。
世界モデルアライメント（ $L_{align}$ ）：投影された学生特徴と投影されたティーチャー特徴（通常は第 24 層などの特定のトランスフォーマーブロックから抽出）間のコサインアライメント損失。
保存アンカー（ $L_{preserve}$ ）：更新された学生特徴を、元の VLM の特徴の凍結コピーとアライメントさせる損失項。これにより、視覚トークンが凍結された LLM が期待する分布から過度に逸脱することを防ぎ、モデルの元の言語能力を保持する。

主要な貢献

空間推論のための世界モデル蒸留：本論文は、凍結されたカメラ条件付き世界モデルを幾何学のティーチャーとして使用する新規フレームワークを提案する。カメラ軌道をサンプリングすることで、この手法は実在のマルチビューデータや 3D アノテーションを必要とせずに、合成マルチビュー教師信号を提供する。
凍結 LLM を伴うビジョン側修復：モデル全体を微調整するか言語基幹を変更するアプローチとは異なり、GeoWorld-VLM は空間介入を視覚インターフェースに限定する。この設計により、テキストのみの挙動は構造的に保持されつつ、視覚トークンの幾何学認識能力が強化される。
広範な検証：この手法は、2 つの異なる VLM 基幹（Gemma-4 および InternVL3.5-2B）と複数の空間推論ベンチマーク（What'sUp、VSR、および EmbSpatial-Bench）で検証され、ベースラインに対して一貫した改善を示している。

実験結果

著者らは、What'sUp+VSR スイートおよび EmbSpatial-Bench 上で GeoWorld-VLM を評価した：

性能向上：What'sUp+VSR スイートにおいて、GeoWorld-VLM は Gemma-4（61.70 から 65.45）および InternVL3.5-2B（57.06 から 61.66）の両方で、総合スコアを約**4%**向上させた。
ベースラインとの比較：この手法は、タスクのみの微調整や静的ビジョンモデル（DINOv3）からの蒸留を上回った。特に、DINO ベースの蒸留は InternVL3.5-2B において性能を低下させることがあり、これは視点認識を必要とする空間タスクには静的特徴が不十分であることを示唆している。
関係別改善：相対的な配置や深度推定に依存し、単純な物体認識に依存しない「下」「近い」「遠い」といった幾何学に敏感な関係において、改善が最も顕著であった。
アブレーション研究：
- ティーチャー条件付け：カメラ軌道とテキストプロンプトの両方の条件付けの組み合わせが不可欠であり、いずれか一方のみを使用すると最適でない結果となった。
- 特徴抽出：中間から後期の世界モデル層（具体的には第 24 層）と、適度な数のデノイジングステップ（2）が最も効果的な教師信号を提供した。
- 保存：保存アンカーを除去すると性能が低下し、凍結された言語モデルとの互換性を維持する必要性が確認された。

意義と主張

本論文は、VLM の空間推論における主要なボトルネックは、言語推論が始まる前に、視覚経路が運動を認識する空間構造を保持できない点にあると主張する。世界モデルからの幾何学を視覚エンコーダーに蒸留することで、GeoWorld-VLM は、言語モデルを再トレーニングすることなく、視覚トークンに符号化された幾何学を改善することが空間的失敗を軽減できることを実証している。

著者らは、世界モデルを生成ツールとしてだけでなく、空間的に根ざしたマルチモーダル知能のための再利用可能なティーチャーとして位置づけている。この研究は、世界モデルに導かれた視覚アライメントが異なるモデル構造やデータセット間で一般化し、VLM における空間知能を元の言語流暢さを維持しながら拡張するためのスケーラブルな道筋を提供することを示唆している。この手法は、ベンチマークされた空間推論に関する研究として提示され、具現化された AI やナビゲーションシステムの改善の可能性を強調しつつ、現在の平均プーリング特徴の使用による自己運動推論の処理における限界を認めている。