技術的概要：「物事の所在」から「物事の用途」へ（SFI-Bench）

問題提起

現在のマルチモーダル大規模言語モデル（MLLM）は、低レベルの幾何学的知覚や事実の想起において顕著な進歩を遂げています。しかし、既存のベンチマークは、根拠に基づいた自律的知性に必要な高次認知能力の評価において、大きく失敗しています。具体的には、モデルが「物事の所在（空間配置）」の認識を超えて、「物事の用途（機能的アフォーダンスと文脈依存の有用性）」の理解へと移行できるかどうかを評価するギャップが存在します。VSI-Bench などの先行研究は幾何学的知覚をテストしますが、一貫した認知マップの構築、物体のアフォーダンスの推論、または目標指向推論のための外部知識の統合を十分に探求していません。

手法

SFI-Bench ベンチマーク

著者らは、MLLM における高度な推論を体系的に測定するために設計された、ビデオベースの評価スイートである**空間的・機能的知性ベンチマーク（SFI-Bench）**を導入しました。

• データセット構成: SFI-Bench は、ARKitScenes および ScanNet++ から供給された 134 の実世界の egocentric 室内ビデオスキャンに由来する、1,555 の専門家による注釈付き多肢選択問題で構成されています。これらのビデオは、多様な住宅、専門職、および産業環境を網羅しています。
• タスク分類: このベンチマークは、6 つの中核タスクにわたって 2 つの相補的な認知次元を評価します。
  1. 構造化された空間推論:
     • グローバルおよび条件付きカウント: 単純な列挙ではなく、属性や関係に対する論理的推論（例：同じブランドのボトルの最大数を数える）を要求します。
     • クロスビュー多段パス推論: 時間と視点にわたる空間的証拠を統合し、単一のフレームでは見えない関係を推論する能力をテストします。
     • レイアウト推論: 参照される物体が一度も同時に現れない場合の遮蔽関係について推論する、グローバルなシーンのレイアウトの構築を評価します。
  2. 機能的推論:
     • 機能的関連性: 設計や文脈に基づいて、物体間のアフォーダンス関係の推論（例：リモコンを特定のテレビにリンクさせる）をテストします。
     • 操作計画: 機器の操作方法を決定することを要求し、しばしば外部知識（例：ユーザーマニュアル）の検索を必要とします。
     • 因果仮説とトラブルシューティング: シーンの理解と外部知識源を組み合わせることで、問題を診断する能力を評価します。

作成パイプライン

データセットは、3 段階のパイプラインを通じて構築されました。

1. 自動生成: Gemini-2.5-Pro を使用して、ビデオから物体、属性、空間関係、機能的役割などの微細なメタデータを抽出し、タスク固有のテンプレートを使用して候補質問に変換します。
2. 人間による検証: 専門家アノテーター（訓練された機械学習エンジニア）が質問を検証し、視覚的証拠に対して回答を検証し、認知的複雑性を確保するために選択肢を洗練させます。
3. 品質フィルタリング: 自動および手動のチェックにより、視覚的グラウンディングなしで解決可能な質問を除去します。知識に基づくタスクの場合、回答は専門家によって検索されたマニュアルから導き出されます。

評価設定

著者らは、さまざまなプロプライエタリ（例：GPT-5、Gemini-3、o4-mini）およびオープンソースモデル（例：Qwen3-VL、InternVL、LLaVA-Video）を評価しました。

• 設定: 評価はゼロショット設定で行われました。
• ツールの使用: 外部知識を必要とする機能的タスク（操作計画、トラブルシューティング）については、ウェブ検索機能を備えたモデルが情報を検索することを許可し、他のモデルはオフラインで評価されました。
• 指標: 性能は、多肢選択問題における回答の精度によって測定されました。

主要な結果

モデルの性能

• プロプライエタリ対オープンソース: プロプライエタリモデルは一般的にオープンソースの対応モデルよりも優れています。プロプライエタリシステムの中では、推論機能付きのバリアント（例：Gemini-3.1-Pro、GPT-5.4-High）が大幅な向上を示し、Gemini-3.1-Pro が最高平均精度（73.8%）を達成しました。
• 空間的対機能的: 最先端のモデルは空間的認知マップの構築（例：レイアウト推論）において強力な能力を示していますが、機能的推論タスクでは著しく苦労しています。
• ボトルネック: グローバル条件付きカウントがすべてのモデルにおける主要なボトルネックとして浮き彫りになり、構成的および論理的推論における永続的な限界を明らかにしました。
• ツールの使用への依存: 知識に基づくタスクでは、ウェブ検索を備えたモデル（例：GPT-5）はオフラインの対応モデルよりも大幅に優れていました。しかし、著者らはツールの使用がノイズを導入することを指摘しており、推論能力が低いモデルは検索ツールなしの場合よりもツール使用時にパフォーマンスが低下することが多く、効果的なツール使用には強力な推論が前提条件であることを示唆しています。

推論メカニズムの分析

• 推論の長さ対品質: この研究では、より長い推論連鎖がより高い精度と相関しないことがわかりました。実際、モデルはしばしば意味の漂流をもたらす不必要に長い連鎖を生成します。「考えすぎ」は、特に機能的関連性タスクにおいてエラーを引き起こします。
• モデルの規模: 大規模モデル（例：235B パラメータ）は、冗長だが表面的な推論に依存する小規模モデル（例：8B）と比較して、より短く効果的な推論連鎖を生成する傾向があります。
• 時間的依存: ビデオフレームの順序をシャッフルしてもモデルの性能への影響は最小限であり、現在の MLLM は空間的表現を形成するために時間的に一貫したダイナミクスではなく、集約された視覚的証拠に依存していることを示しています。
• 視覚的グラウンディング: 生ビデオの代わりに構造化されたテキストキャプションが提供された場合、モデルの性能は著しく低下しました。これは、認知マップの構築には直接的な視覚的グラウンディングが不可欠であることを浮き彫りにしました。

主要な貢献

1. SFI-Bench: 知覚的認識から構造化された空間的および機能的推論へと評価の焦点をシフトさせる包括的なベンチマークの導入。
2. 診断的洞察: 最先端の MLLM における特定の失敗モードの特定。これには、視覚的知覚エラー、空間的不整合（例：物体の「テレポート」）、およびアフォーダンスの過剰一般化が含まれます。
3. 推論ダイナミクス: 効果的な推論とは、推論連鎖の長さではなく、知覚的証拠との整合性によって定義されるという発見。また、現在のオープンソースの推論モデル（RLVR 訓練済み）は、数学的推論能力を空間的・機能的ドメインに転移できないことが示されました。
4. 知識の統合: 自律的タスクにおける外部知識獲得の決定的な役割を強調し、操作やトラブルシューティングのシナリオにはパラメトリックメモリのみでは不十分であることを実証しました。

重要性

この論文は、真に根拠のある自律的知性を達成するには、知覚指向のモデルを超えて、統合された空間的・機能的認知を備えたシステムへと移行する必要があると主張しています。著者らは、SFI-Bench がこの方向性における進歩を測定するための診断ツールとして機能すると仮定しています。これらの知見は、将来の進展は以下の点に焦点を当てる必要があることを示唆しています。

• 時間的に一貫した一貫した認知マップの構築と維持。
• 意味の漂流を回避する堅牢な構成的推論の開発。
• 実世界の環境での意図的な行動を支援するために、視覚的知覚を動的な外部知識源とシームレスに統合すること。

この研究は、現在の MLLM が局所的な知覚においては優れているものの、グローバルな空間的記憶の維持やアフォーダンスのグラウンディングにおいては脆いままであり、マルチモーダル AI 研究における重要なフロンティアを表していることを強調しています。