SCOUT: Unlocking Enhanced Spatial Reasoning via Structured Chain-of-Thought and Multi-Objective Process Reward

ロボットに散らかった部屋を移動する方法を教えていると想像してみてください。あなたはロボットに椅子とテーブルの写真を提示できますが、もしロボットが平面的な図面しか見ていないとしたら、たとえテーブルが背後3フィートの位置にあったとしても、椅子がテーブルのすぐ隣にあると勘違いしてしまうかもしれません。これが、多くの現在の「視覚言語モデル（VLM）」が抱える大きな問題です。これらは、画像を見てテキストを読み取る非常にスマートなAIですが、多くの場合、「空間推論」、つまり3D空間における物事の位置関係や距離、およびそれらが奥行きの中でどのように関連しているかを理解することに苦戦します。

これを解決するために、科学者たちは2つの主要なテクニックを試してきました。1つ目は「教師あり微調整（SFT）」です。これは、生徒に教科書を1000回音読させて丸暗記させるようなものです。これはある程度機能しますが、生徒は論理を本当に理解するのではなく、単に答えを暗記してしまうだけで、テストの問題が変わると混乱してしまいます。2つ目のテクニックは「強化学習（RL）」です。これは、AIが試行錯誤を通じて学習し、最終的な答えが正解したときにのみ「報酬（デジタルクッキーのようなもの）」を受け取る方法です。ここでの問題は、AIが自分の思考プロセスの「どのステップ」がクッキーをもたらしたのかを知らないことです。奥行きを正しく測れたのか？ 物体の数を正正しく数えられたのか？ それとも、ただ運良く正解を当てただけなのか？ どのステップが良かったのかが分からないため、AIは特定の推論スキルを向上させることができません。

ここで、SCOUTと呼ばれる新しい論文が登場します。研究者たちは、AIに人間と同じように、3Dで「見る」こと、そしてステップ・バイ・ステップで問題を考えることを教えたいと考えました。彼らは、AIが思考を構造化されたストーリーへと分解するように強制するシステムを構築しました。まずシーンを説明し、次に物体の奥行きと位置を測定し、最後にそれらの測定値を用いてパズルを解くという流れです。彼らはまた、最終的な答えに対してだけでなく、思考プロセスのあらゆるステップに対して「クッキー（報酬）」を与える新しい方法を考案しました。これにより、単に答えを推測するのではなく、物理的な世界を実際に理解するモデルを作り上げました。

問題点：奥行きを「見ることができない」AI

犬とボールの写真を見ているところを想像してください。通常のAIなら、「犬とボールがいる」と言うでしょう。しかし、「ボールは犬よりもカメラに近いですか？」と尋せられた場合、標準的なAIは2Dの平面画像をみているだけなので、間違えてしまう可能性があります。彼らには奥行きの感覚が組み込まれていないのです。

この問題を解決しようとする以前の試みには欠陥がありました。ある手法は、何百万もの例を見せることでAIを教えようとしましたが（SFT）、AIは物理法則を学ぶ代わりにパターンを暗記してしまいました。他の手法は強化学習を用いましたが、それらは最後にしか報酬を与えませんでした。これは、数学のテストを採点する際、最終的な数字が合っているかどうかだけで点数を与え、生徒が正しい計算を行ったのか、あるいは単に勘で答えたのかを無視するようなものです。AIは、自分が奥行きの測定が得意なのか、それとも単に最終的な答えを当てたのがラッキーだっただけなのかを判断できませんでした。

解決策：SCOUTの「構造化された思考」

SCOUT（Structured Chain-of-Thought Utilizing Process-Supervised RL Training）の開発者たちは、ゲームのルールを変えることにしました。彼らはAIに自由に喋らせるのではなく、どのように考えるべきかという厳格なテンプレートを与えました。

SCOUTを、犯罪現場の謎を解く探偵だと考えてください。AIは単に推測を叫ぶことは許されません。以下の特定のスクリプトに従う必要があります。

1. キャプション（解説）： まず、シーン全体を平易な言葉で説明します。
2. シーン（場面）： 次に、レーザースキャナーのように振る舞います。すべての物体を特定し、その周囲に枠（バウンディングボックス）を描き、それがどれくらい離れているか（奥行き）を推定します。
3. 分析： その後、それらの測定値を使って計算を行います。「犬の奥行きは2.5メートル、ボールは1.5メートルである。したがって、ボールの方が近い」。
4. 回答： 最後に、答えを出します。

この構造により、AIは問題を解こうとする前に、実際に世界を「測定」することを強制されます。

極意：功績を正当に評価する

SCOUTの真の魔法は、単なるテンプレートではなく、AIをどのように成長させるかという点にあります。彼らは、非常に厳しいコーチのように機能する特別な強化学習メソッドを使用しました。

古い手法では、AIが最終的な答えに到達すれば報酬が得られ、間違えれば何も得られませんでした。SCOUTは、探偵が行う作業の「あらゆる部分」に対して報酬を与えることで、これを変えました。

• 物体を正しく特定できたか？（グラウンディング報酬）
• 奥行きを正確に測定できたか？（奥行き報酬）
• 論理は筋が通っているか？（推論の一貫性報酬）
• テンプレートのルールに従っているか？（フォーマット報酬）

バスケットボール選手を見守るコーチを想像してください。ボールがゴールに入ったときだけに歓声を上げるのではなく、選手がドリブルを上手く行い、パスを正確に回し、適切なポジションを取っているときにも拍手を送るのです。このようにして、プレイヤーは単に「勝つ方法」を知るだけでなく、「どのように勝つか」を学ぶことができます。SCOUTはこの「マルチオブジェクティブ（多目的）」な報酬システムを使用して、奥行きや論理の正確さが、最終的な答えを得ることと同じくらい重要であることをAIに教えています。

得られた結果：成果

チームは、SCOUT-3BおよびSCOCT-7B（数字はモデルのサイズを表します）と名付けられた新しいAIモデルをテストしました。彼らは、有名なGPT-4oを含む他のトップAIモデルと対決させました。

結果は目覚ましいものでした。空間理解に関する一般的なテストにおいて、SCOUT-3Bモデルはベースとなるバージョンから16.85%向上しました。さらに驚くべきことに、より大規模なSCOUT-7Bモデルは、空間推論タスクにおいてGPT-4oを**4.28%**の差で上回りました。これは、通常スタンダードとなる巨大な独自モデルであるGPT-4oを相手にしていることを考えると、非常に大きな成果です。

また、研究者たちは、AIを単一の画像のみで訓練したにもかかわらず、モデルが学んだことをビデオや複数の画像に適用できるほど賢いことも発見しました。これは、子供に平坦なドライブウェイで自転車の乗り方を教え、その後、転ぶことなく坂道を走る様子を見守るようなものです。モデルは、3D空間に対する理解を、より複雑で新しい状況へと汎用化できることを示しました。

なぜこれが重要なのか

この論文は、AIに物理的な世界を真に理解させるための鍵は、単にモデルを大きくしたり、より多くのデータを投入したりすることではないことを示唆しています。それは、AIに「どのように考えるか」を教えることです。AIに明示的に奥行きを測定させ、論理的な思考の連鎖に従わせ、そのプロセスのあらゆるステップに対して報酬を与えることで、SCOUTは空間推論においてはるかに優れたモデルを生み出しました。

著者たちは、これが重要な一歩ではあるものの、完璧な解決策ではないことにも注意を払っています。彼らのモデルは依然として特定の訓練データや構造化された形式に依存しています。しかし、これらの結果は、次世代のAIへの明確な道筋を示しています。それは、単に写真を「見る」だけでなく、その中にある3Dの世界を真に理解するシステムです。散らかった部屋を移動するロボットを助けることも、歩行者との距離を理解する自動運転車を助けることも、このような空間的知能こそが、多くの実世界のアプリケーションにおける「欠けているピース」なのです。