Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

ロボットに、散らかったリビングルームを移動する方法を教えていると想像してみてください。あなたはロボットに、ソファ、コーヒーテーブル、そして猫の写真を教えます。基本的なロボットなら、「ソファが見えます」と言うだけでしょう。しかし、テーブルを倒さずに玩具を拾い上げるためには、ロボットはもっと多くのことを知る必要があります。ソファの大きさは？ 壁からどのくらいの距離にあるのか？ 猫はテーブルの上に座っているのか、それとも下にいるのか？ これは、単に「見ている」ことと、空間を真に「理解している」ことの違いです。人工知能の世界では、これを「空間知能（Spatial Intelligence）」と呼びます。長い間、コンピュータは物体を認識することには長けていましたが、それらの物体が3D空間の中でどのように組み合わさっているかを把握することは苦手でした。これを解決するために、科学者たちは主に2つの方法を試してきました。コンピュータの脳（モデル）を巨大で高価なものにするか、あるいは距離を測定するための特別な重装備のツールを追加するかです。どちらも機能しますが、動作が遅く、扱いにくいものです。

現在、研究チームは「スペース・トークン（Space Tokens）」と呼ばれる巧妙な新しいトリックを考案しました。標準的なAIモデルを、テストを受けている学生だと考えてみてください。通常、その学生が部屋の測り方を知る必要がある場合、分度器やメジャーを持ち込む必要があったり（追加のツール）、幾何学に関する膨大な百科事典を暗記したり（巨大な脳）しなければなりません。この新しい論文は、異なるアプローチを提案しています。もし、学生がただ「計測値として考える」ことができたらどうでしょうか？ 研究者たちは、AIが自分自身の思考プロセスの中に、目に見えない「精神的なメモ」を作成する方法を見つけ出しました。これらのメモ、すなわち「トークン」は、AIがサイズ、距離、形状について推論するために使用できる、幾何学の微細で連続的な「囁き」として機能します。これは、AIに余計なツールやより大きな脳を必要とさせることなく、空間感覚を内蔵させ、会話をしながら物理的な世界についてより賢く思考できるようにするものです。

問題点：巨大な脳 vs 重装備のツール

非常に賢い友人がいると想像してください。その友人は写真の描写が得意です。あなたがキッチンの写真を見せて、「冷蔵庫があり、トースターがある」と説明させると、彼らは完璧に答えられます。しかし、もしあなたが「冷蔵庫とトースターの間に、巨大なピザの箱を置くことはできるかな？」と尋ねたら、彼らは間違った推測をするかもしれません。なぜなら、彼らは空間を本当に「感じて」いないからです。

これを解決するために、科学者たちは主に2つの道を進んできました。1つ目の道は「スケーリング」であり、これは友人に図書館にあるすべての本を読み、考えられるあらゆる部屋のレイアウトを暗記させるようなものです。これは機能しますが、実行に膨大な時間がかかる巨大な脳を必要とします。2つ目の道は「専門化されたツール」であり、これは友人に写真をみるたびにレーザー距離計や3Dスキャナーを持たせるようなものです。これは正確ですが、動作が遅く、コストがかかり、友人が急いでいる時やツールが利用できない時には使えません。

この論文の著者たちは、シンプルな問いを投げかけました。「私たちは、図書館やレーザー距離計を必要とせずに、友人が頭の中で空間を『知る』ように教えることはできるだろうか？」

解決策：スペース・トークン

研究者たちは、「スペース・トークン」と呼ばれる手法を導入しました。AIに新しいハードウェアを追加したり、モデルを巨大にしたりする代わりに、3D空間を表す特別な「トークン」（これは単なるデータの断片です）を生成するように教えました。

これらのトークンを、AIが自分の思考に貼り付ける**「目に見えない付箋」**だと考えてください。

1. シーンレベルのメモ： いくつかのメモは部屋全体を記述します。床の形状、壁の位置、そして部屋の奥行きを捉えます。
2. オブジェクトレベルのメモ： 他のメモは特定のアイテムを記述します。その物体がどこにあり、どのくらいの大きさで、どちらを向いているかという情報を保持します。

ここでの魔法は、これらのメモが「連続的（continuous）」であることです。つまり、単に「大きい」や「小さい」といった単純なラベルではないということです。これらは、AIが頭の中で計算を行うために使用できる、精密な座標や測定値のようなものです。AIは、「教師」モデル（非常に賢い3D再構成システム）からの例を見て、自力でできるようになるまで練習することで、これらのメモを作成することを学びます。

AIへの教え方

トレーニングは、3つのレベルを持つビデオゲームのように、3段階で行われました。

• レベル1：空間の言語を学ぶ。 AIに写真を見せ、シーンの3D幾何学に一致する「付箋」（トークン）を生成するように教えました。AIは、自分の内部的な思考を、世界の精密な3D形状に一致させる方法を学びました。
• レベル2：メモを使って考える。 AIがメモを作成する方法を習得した後、それらを使って質問に答えるように教えました。AIに対し、メモを見て「冷蔵庫が2メートル離れているので、ピザの箱は入りません」と言うように強制しました。これは「思考の連鎖（Chain-of-Thought）」と呼ばれるものですが、ここでは思考に空間データが含まれています。
• レベル3：練習による向上。 最後に、強化学習という手法を用いました。AIが質問に答え、サイズや距離が正解していれば「報酬」を与え、間違っていれば間違いから学習させました。これにより、AIは空間メモを使う技術をさらに鋭くしていくことができました。

得られた結果

結果は素晴らしいものでした。研究者たちは、空間理解に関する厳しいテストである「VSI-Bench」というベンチマークを用いて、この新しい手法をテストしました。

• これを Qwen3-VL-8B というモデルに適用したところ、スコアは 4.3% 上昇しました。
• より強力なモデルである SenseNova-SI-1.3 に適用したところ、スコアは 1.3% 上昇しました。

しかし、本当の勝利は特定のタスクにありました。新しい手法は、物体のサイズを予測する能力において世界最高レベルとなり（正解率 79.2%）、部屋のサイズ（正解率 75.7%）においても最高の結果を出しました。これらは通常、重厚な3Dツールを必要とするタスクですが、この手法は内部の「付箋」を用いるだけでこれを達成しました。

なぜこれが重要なのか

最もエキサイティングな部分は、AIが脳を作り替えたり、追加の道具を持ち運んだりする必要がなかったことです。AIはただ、考え方を変えただけなのです。研究者たちは、これらの「付箋」が実在することを証明しました。それらを再び3D形状へとデコード（復元）することで、AIが実際に部屋の幾何学を学習していたことが確認できました。AIは単に推測していたのではなく、空間を真に理解していたのです。

これは、AIを空間的に賢くするために、より大きく、より遅く、より高価なモデルを構築する必要はないということを示唆しています。私たちは、AIに空間的なメモを作成し、それを使用する方法を教えるだけでよいのです。これは、マシンに私たちの3D世界をナビゲートさせる能力を与えるための、より軽量で、速く、柔軟な方法です。これは、家の中を移動する必要があるロボットや、安全に走行する必要がある自動運転車などの発展に向けた大きな一歩です。

要約すると、本論文は、単純な内部トークンを用いてAIに「3Dで考える」方法を教えることで、モデルを重くしたり遅くしたりすることなく、物理的な世界に対する理解力を大幅に向上させることができることを示しています。AIの思考における小さな変化が、その能力における大きな飛躍をもたらすのです。