技術要約：Spatial-IQ

問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的な解釈には長けているものの、人間が確実に解決できる空間推論タスク（例えば、遮蔽された3D構造内にある物体の計数など）においては、一貫して失敗を示す。既存のベンチマークは、これらのモデルを「ブラックボックス」として評価しており、バイナリの成功指標や最終タスクのスコアのみを提供している。このアプローチは診断能力を制限する。すなわち、モデルが空間タスクに失敗した際、その失敗が低レベルの知覚的崩壊（例：物体の境界の誤認）によるものなのか、あるいは高レベルの認知的な失敗（例：重力による支持に必要な隠れた幾何学構造の推論不能）によるものなのかを判別することが困難である。その結果、現在の評価手法では、必要な推論ステップを真に実行しているモデルと、表面的な統計的相関によって答えを近似しているモデルを区別することができない。

手法

著者らは、空間知能を知覚および認知のサブタスクの依存グラフへと分解するために設計された、階層的な診断フレームワークであるSpatial-IQを導入する。

1. 階層的フレームワーク

ピアジェの発達心理学および空間認知の文献に着想を得て、本フレームワークはターゲットタスクである3D物体計数（積み上げられた構造内の同一物体を、遮蔽されたものを含めて数える）を、9つのサブタスク（S1–S9）と、二次的なターゲットタスクであるメンタルローテーション（T2）へと分解する。

• サブタスク (S1–S9): これらは、原始的な知覚的グルーピング（物体カテゴリ化、クラスター数、カラム/レイヤー数）から、構造的推論（トップレイヤーの特定、直接支持、支持カラム）、および遮蔽推論（隠れた物体の数）まで多岐にわたる。
• 依存関係: フレームワークは因果依存グラフを確立しており、低レベルのタスク（例：トップレイヤーの特定）は、高レベルの推論（例：支持カラムや隠れた物体の推論）の前提条件となる。
• メンタルローテーション (T2): 視点の変換を調べるための補完的なプローブとして機能し、計数の階層構造とは独立している。

2. データセット生成

著者らは、NVIDIA Isaac Simを用いて、約80,000個の積み上げられた3D構造からなるデータセットをプロシージャルに生成した。

• 物体: テクスチャ付きの立方体、工場用ボックス、スープ缶、およびポッドミート缶。
• 制約: 構造は4×4×4のボクセルグリッド内に制約され、重力に従って集約されている。
• グラウンドトゥルース: ピクセルレベルの深度バッファによる遮蔽テストにより、すべての「隠れた」物体が可視の物体を支えるために論理的に必要であることを保証し、曖昧な遮蔽を排除している。グラウンドトゥルースはボクセルグリッドから解析的に導出される。
• バリエーション: シーンには、物体数、充填率、カメラのパースペクティブ（方位角オフセット、ドリーズーム）、および物体の種類のバリエーションが含まれる。

3. 評価プロトコル

モデルは以下の3つの出力モダリティで評価される：

1. テキスト自由回答: 数値またはカテゴリ的な直接回答。
2. 多肢選択式 (MCQ): 画像ベースの選択肢。ここでは、ランダムな摂動ではなく、特定の名前付き失敗モード（例：「2つのカラムを結合」「トップの上に幻のブロックが存在」など）を表すようにディストラクター（紛らわしい選択肢）が構築されている。
3. 画像編集: モデルは、参照画像内の特定の構造（例：トップレイヤーや可視の支持体のみ）をカラーコード化する必要があり、これによりピクセル空間におけるローカライゼーションをテストする。

4. 学習パラダイム

フレーム本フレームワークは、以下の2段階のアプローチを通じて学習へと拡張される：

• 教師あり微調整 (SFT): モデルは、総数を計算するために必要な順序でサブタスクの回答を明示的にリストアップする、思考の連鎖（Chain-of-Thought: CoT）データを用いて学習される。
• 検証可能な報酬を用いた強化学習 (RLVR): モデルは、最終回答への報酬とともに、ステップごとのサブタスク実行に対する報酬を用いて最適化され、階層的な推論チェーンの保持を促進する。

主な結果

1. 診断能力

• ターゲットタスクとサブタスクのパフォーマンスの分離: 最も優れた性能を示すモデルであっても、ターゲットタスク（物体計数）には成功しながら、基礎となるサブタスクには失敗することが頻繁にある。例えば、モデルは可視の物体や隠れた支持体を正しく特定することなく、正しい総数を出力する場合がある。これは「ショートカット」行動を示唆している。
• 人間とモデルの推論: 人間は強い階層構造を示し、ターゲットタスクの成功は前提となるサブタスクの成功と強く相関している（人間の総和メカニズムの精度は約69%）。対照的に、モデルはサブタスクの精度とターゲットタスクの成功との間に、弱い、あるいは存在しない相関を示す。
• エラー分析: MCQ分析により、モデルはランダムな推測ではなく、一貫したタスク固有のエラーパターン（例：隣接するカラムの結合）を示すことが明らかになった。これらのパターンは、選択肢の範囲を5つから3つに減らしても持続する。

2. 学習の有効性

• 階層的学習: サブタスクのCoT監督を用いてモデルを学習させることは、性能を大幅に向上させる。
• スケールとRLVR: 階層的学習の恩恵はモデルのスケールとともに累積する。DAPO-tight（SFTウォームアップ + RLVR）で訓練された32Bモデルは、ゼロショットのベースラインである2.9%に対し、物体計数において**62.6%**の精度を達成した。
• メカニズムの回復: 階層的アプローチ（SFT-CoTおよびDAPO-tight）で訓練されたモデルは、可視の数と隠れた数を統合する「総和メカニズム」を正常に回復する。一方で、最終的な整数回答のみで訓練されたモデル（SFT-plain）は、中間的な推論ステップを保持できず、内部的な参照チェーンにおいてゼロへと崩壊する。

意義と主張

本論文は、Spatial-IQが以下の二重の目的を果たすと主張している：

1. 診断ツール: モデルがなぜ空間タスクに失敗するのかについて、粒度の高い視点を提供する。これは、ブラックボックス型のベンチマークが見逃してしまう、知覚的、構造的、および構成的な失敗の区別を可能にする。つまり、高いターゲットタスクの精度が、必ずしも接地された空間推論を意味しないことを明らかにする。
2. 学習シグナル: 階層的な分解は、単なる評価指標ではなく、効果的な学習シグナルでもある。中間的なサブタスクをモデルに監督させることは、特に強化学習と組み合わせた場合、モデルが統計的なショートカットに頼るのではなく、前提となる能力（例：支持の推論、遮蔽の推論）を学習することを強制する。

著者らは、このアプローチが、モデルの推論構造を人間の空間認知に見られる階層的依存関係に整合させることで、より堅牢で物理的に接地されたAIの開発を支援すると結論付けている。本研究は空間推論の問題すべてを解決することを主張するものではなく、3D構造理解の領域における特定の能力を診断し、改善するための原理的なフレームワークを提示するものである。