Thinking with Spatial Code for Physical-World Video Reasoning

この論文は、RGB 動画を明示的な 3D 空間コードに変換し、強化学習を用いて大規模言語モデルに物理的な推論を可能にする「Thinking with Spatial Code」というフレームワークを提案し、VSI-Bench において最先端の性能を達成したことを示しています。

要約

この論文は、**「AI が動画を見て、現実世界の『場所』や『動き』を正しく理解できるようにする新しい方法」**を提案しています。

タイトルは『Thinking with Spatial Code（空間コードで考える）』。少し難しそうですが、実はとても直感的なアイデアです。

以下に、専門用語を排し、日常の例えを使ってわかりやすく解説します。

---

🎬 従来の AI とこの新しい AI の違い

1. 従来の AI：「絵本を見る子供」

これまでの高度な AI（マルチモーダルモデル）は、動画を見ると、「絵本」のように見ていました。

• 「あそこに犬がいる」「テーブルがある」という**「見た目（色や形）」**はよく覚えています。
• しかし、「犬がテーブルのどの方向にいて、どれくらい離れているか」や、「自分がその場所にいるとしたら、犬は右に見えるか左に見えるか」といった**「3 次元の空間的な関係性」**は、よく勘違いします。
• 例え話： 絵本を見ている子供は、「犬がテーブルの上にいる」と言えますが、「もし私がテーブルの向こう側に立っていたら、犬は私の左に見える」といった、視点を変えた計算が苦手です。

2. この新しい AI：「建築家と設計図」

この論文の AI は、動画を見る際、**「建築家が設計図（ブループリント）を描く」**ように動作します。

• 動画のフレーム（映像）をただ眺めるのではなく、まず**「空間コード（Spatial Code）」という、「3 次元の設計図」**に変換します。
• この設計図には、「ソファの位置（座標）」「大きさ」「向き（どちらを向いているか）」が、数字と記号で明確に書かれています。
• その上で、AI の「頭脳（言語モデル）」が、その設計図を見て、「では、テーブルはソファの左側にあるな」と論理的に考えます。

---

🛠️ 仕組みの 3 つのステップ

このシステムは、大きく 3 つの工程で動きます。

① 映像を「設計図」に変える（空間エンコーダー）

動画が入力されると、まず**「空間エンコーダー」**という部品が働きます。

• 何をする？ 映像の中の物体を「3D の箱（バウンディングボックス）」として捉え、それぞれの**「位置」「大きさ」「向き」**を数値化します。
• 例え話： 部屋に散らばったおもちゃを、ロボットが一つ一つ拾い上げ、「これは赤い車、位置は（X:1, Y:2, Z:3）、向きは北」というラベル付きのデータに変換して、整理整頓された棚に並べるイメージです。

② 設計図を「言語」で読み解く（LLM）

次に、整理された「設計図（空間コード）」を、**「言語モデル（LLM）」**という頭脳に渡します。

• 何をする？ 言語モデルは、映像そのものではなく、**「設計図のテキスト」**を見て質問に答えます。
• 例え話： 料理人が「食材のリストとレシピ（設計図）」を見て、「じゃあ、この野菜は鍋の左側に入れよう」と判断する感じです。映像の「雰囲気」に惑わされず、正確な数値に基づいて考えます。

③ 正解へのトレーニング（空間ルブリック報酬）

最後に、AI が間違った答えを出さないよう、**「特別な採点ルール」**で訓練します。

• 問題点： 従来の AI は、答えが合っていれば、途中の考え方が間違っていても褒められがちでした。
• この方法： 「答えが合っているか」だけでなく、**「視点（誰の立場か）を考慮したか」「向きを正しく計算したか」**といった、思考のプロセス自体を採点します。
• 例え話： 数学のテストで、「答えが合っている」だけでなく、「途中の計算式（ベクトル計算など）が正しいか」まで厳しくチェックして、正解にたどり着く「正しい道筋」を教えるイメージです。

---

🌟 なぜこれがすごいのか？

この方法を使うと、AI は**「視点」や「距離」**を驚くほど正確に理解できるようになります。

• 従来の AI： 「洗濯機は台所の右側にある」と言ってしまう（映像の左側にあるから、と勘違い）。
• この AI： 「あなたが食器棚の前に立ってテーブルを見ていたら、洗濯機はあなたの左前にあります」と、視点を変えて正しく計算できます。

結論：
この研究は、「AI をもっと大きくすれば賢くなる」という考え方を捨て、**「AI に『3 次元の設計図』という正しい道具を与えれば、もっと賢く、現実世界を理解できるようになる」**ことを証明しました。

まるで、**「暗記だけでテストを受ける子供」から、「図面とコンパスを使って正確に測量する建築士」**へと進化させたようなものですね。これにより、ロボットが現実世界で安全に動いたり、複雑な空間の質問に答えることが、格段に現実味を帯びてきました。

技術概要

論文「Thinking with Spatial Code for Physical-World Video Reasoning」の技術的サマリー

本論文は、物理世界のビデオ映像から視覚的質問応答（VQA）を行うための新しいフレームワーク**「Thinking with Spatial Code（空間コードによる思考）」**を提案しています。従来の大規模マルチモーダルモデル（MLLM）が直面する「3D 空間構造の理解不足」という課題に対し、RGB ビデオを明示的な 3D 空間コードに変換し、それを基に言語モデルに推論させるアプローチで、物理世界の推論能力を飛躍的に向上させました。

以下に、問題定義、手法、主要な貢献、結果、そして意義について詳細をまとめます。

---

1. 問題定義と背景

現在の最先端のマルチモーダル大規模言語モデル（MLLM）は、画像や動画の視覚的特徴に基づいて言語を生成する能力に優れていますが、物理世界の空間的推論においては限界があります。

• 既存モデルの課題:
  • 推論が主に言語的・外観ベース（2D 的な特徴）に依存しており、明示的な 3D 構造や空間的連続性を欠いている。
  • 「物体がどこにあるか」「互いにどのように向き合っているか」「いつ消えたり現れたりするか」といった、物理的知覚に不可欠な能力が不足している。
  • 単にモデルの規模（パラメータ数）を大きくしても、空間推論の性能は頭打ちになる傾向がある。
• 本研究の仮説:
  • 空間推論のボトルネックはモデルの規模ではなく、**「3D 空間表現の質」**にある。
  • ビデオを構造化された「空間コード（3D 境界ボックス、向き、セマンティックラベルなど）」に変換し、それを LLM に入力することで、明示的な座標推論を可能にできる。

2. 提案手法：Thinking with Spatial Code

本研究は、以下の 2 つの主要コンポーネントからなるフレームワークを構築しました。

2.1. Spatial Encoder（空間エンコーダ）

入力された RGB ビデオを、構造化された「空間コード」に変換するモジュールです。

• デュアルエンコーダアーキテクチャ:
  • SAM-2 (Segment Anything Model 2): オブジェクトレベルのセマンティック特徴とトラッキング（物体の同一性維持）を担当。
  • Depth Anything 3: 幾何学的特徴（深度情報）を抽出。
  • これらの特徴をクロスパイアテンションで融合し、時系列にわたって一貫した 3D 表現を生成します。
• 出力（空間コード）:
  • 各オブジェクトに対して、セマンティックラベル、3D 位置 ($p \in \mathbb{R}^3$)、サイズ ($s \in \mathbb{R}^3$)、向き（クォータニオン $r \in \mathbb{R}^4$）を符号化した構造化データ（JSON 形式など）を生成します。
  • 深度ヘッド（Depth Head）とカメラパラメータ予測を併用し、物体レベルだけでなく背景を含むシーン全体の密な幾何学的理解を促します。
• 学習目標:
  • 2D/3D 検出損失、位置・サイズ・向き回帰損失、深度損失、カメラパラメータ推定損失、トラッキング損失を統合したマルチタスク学習を行います。

2.2. LLM へのプロンプトと RL 微調整

生成された空間コードをテキストとして LLM に提示し、推論を行わせます。

• 記号的推論:
  • LLM は生の画像ではなく、明示的な 3D 座標と幾何学的関係に基づいて推論を行います（例：「ソファの視点から見てテーブルは左か？」という問いに対し、ベクトル計算や座標変換を行う）。
• 空間基準報酬（Spatial Rubric Reward）による強化学習（RL）:
  • 単なる正解/不正解（Outcome-based）だけでなく、推論プロセスの質を評価する「空間基準報酬」を導入しました。
  • 評価項目: 視点依存の推論（World-coordinate confusion の回避）、座標変換の有無、方向の一貫性など。
  • 目的: 推論プロセスが論理的に正しいか（例：観測者の視点に基づいてローカル座標系を構築しているか）を報酬として与え、推論の質を向上させます。

3. 主要な貢献

1. 新しいパラダイムの提案:
   • ビデオストリームを明示的な 3D 空間コードに変換し、LLM による推論に接続する「Thinking with Spatial Code」フレームワークを提案。
2. 学習レシピの提供:
   • 二重の視覚エンコーディング、6D オブジェクト解析・トラッキング、幾何学的密化を統合し、RGB ビデオから構造化空間コードを生成する実用的な学習手法を確立。
3. 空間基準報酬の導入:
   • 視点認識や幾何学的根拠に基づいた推論を促進する新しい RL 報酬設計（Spatial Rubric Reward）を開発。
4. 知見の提示:
   • 空間推論性能のボトルネックは「モデルの規模」ではなく「知覚（3D 表現）の質」であることを実証。

4. 実験結果

4.1. ビデオ空間推論（VSI-Bench）

• 性能: 提案手法は、VSI-Bench ベンチマークにおいて、GPT-5o、Gemini-2.5-Pro、Qwen3-VL などの最先端プロプライエタリおよびオープンソース MLLM を上回る**SOTA（State-of-the-Art）**を達成しました。
• モデル規模との対比: 4B パラメータのモデル（Qwen3-4B ベース）が、230B パラメータのモデル（Seed-1.6）や、サイズ非公開の巨大モデル（GPT-5, Gemini-2.5）よりも高い精度を記録しました。これは、表現の質がモデルサイズよりも重要であることを示しています。
• RL の効果: 空間基準報酬を用いた強化学習により、特に「相対方向」や「距離」タスクで大幅な精度向上（+3.4%〜+3.5%）が見られました。

4.2. ビデオ 3D 知覚（ARKitScenes, ScanNet）

• 3D 検出性能: 提案された Spatial Encoder は、画像ベースの 3D 検出器や点群ベースの手法、既存の MLLM を凌駕する F1 スコアを達成しました。
• 動画入力: 単一の画像ではなく、動画入力から時空間的に一貫した 3D 境界ボックスを生成できる点が特徴です。

4.3. 定性的分析

• 失敗パターンの解消: 既存モデルが頻繁に犯す「視点の混同（観測者視点と物体視点の区別 inability）」や「向き（ヨー角）の無視」、「距離推定の誤り」を、明示的な 3D 座標とベクトル計算により正確に解決できることを示しました。

5. 意義と結論

本研究は、マルチモーダル AI が物理世界を理解するための重要な転換点となる成果です。

• 知覚と推論の分離: 知覚（3D 構造の抽出）と推論（LLM による論理処理）を分離し、それぞれを最適化することで、従来のエンドツーエンドモデルが抱える「2D 的なバイアス」や「ハルシネーション」を低減しました。
• 効率性: 巨大なモデルサイズに依存せず、適切な 3D 表現（空間コード）を提供することで、比較的小規模なモデルでも高度な空間推論が可能になることを実証しました。
• 将来展望: 物理世界でのロボット制御、自律走行、AR/VR 応用など、正確な 3D 空間理解が不可欠な分野への展開が期待されます。

コード、モデル、学習レシピはすべて公開されており、今後の物理世界推論研究の基盤として貢献することが期待されます。