SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization

技術的サマリー：SceneFunRI – タスク駆動型機能性物体の局所化における「不可視」の推論

問題定義
現在のビジョン・ランゲージモデル（VLM）は、対象物体が完全に不可視である現実世界のシナリオにおける空間推論に苦慮しています。人間は文脈と常識的知識を用いて遮蔽された機能性物体の位置を推測できますが、既存のベンチマークやモデルは、可視の手がかりや部分的な遮蔽（例：影や反射）に大きく依存しています。本論文は、視野外に完全にあり、間接的な視覚的証拠を欠く「不可視」の物体に関する推論能力を評価するギャップを特定しています。これには、タスク指示、シーンレイアウト、および常識的事前知識のみからの推論が必要です。

手法
著者は「不可視の推論（RI）」を評価するために特別に設計されたベンチマーク SceneFunRI を導入します。

• データセット構築: SceneFun3D データセットに基づき、半自動パイプラインを用いて 855 のタスク駆動型インスタンスを生成します。プロセスは以下の通りです：
  1. フレーム選択: 機能性物体がカメラの視野内に存在するが、2D 画像では完全に遮蔽され（$V_o = 0\%$）、フレームを特定します。
  2. グランドトゥルース生成: 隠れた物体の 3D ポイントクラウド注釈を 2D 画像平面に投影し、グランドトゥルースのバウンディングボックスを作成します。
  3. 品質管理: 人間の検証により、タスクに十分な文脈的手がかり（例：ナイトスタンドの位置を推測するためのベッドの存在）と明確な指示があることを確認し、初期の 1,232 候補を 855 の高品質インスタンスに絞り込みます。
• 評価指標: 標準的な交並比（IoU）は、不可視のターゲットに対しては厳しすぎると判断されます。著者は以下の指標を提案します：
  • 包含精度（CAcc@$\theta$）: グランドトゥルースのボックスが予測領域内に含まれているかを測定し、過度に大きな予測にペナルティを課します。
  • Dist: ボックスが重なり合わなくても局所化の近接性を評価するための正規化されたコーナー距離指標です。
• プロンプト戦略: 本研究は 3 つのプロンプトカテゴリを分析します：
  1. 強力な指示プロンプト: 可視の物体を無視し、不可視の領域に焦点を当てるか、または常識的ルールを適用するようモデルに明示的に指示します。
  2. 推論ベースのプロンプト: 段階的な推論を促すために、Chain-of-Thought（CoT）および自己反省を伴う CoT（CoT-SR）を利用します。
  3. 空間的除外プロセス（SPoE）: 人間の意思決定に着想を得た反復フレームワークです。モデルは画像を領域に漸進的に分割し、低確率の候補を除外し、ターゲットの位置が局所化されるまで探索空間を狭めます。

主要な結果

• モデル性能: 最強のベースラインである Gemini 3 Flash でさえ、CAcc@75 が 15.20、Dist が 28.65 と低く、人間のベースライン（CAcc@75 は 66.43）を大きく下回っています。オープンソースモデル（Qwen、InternVL、Gemma）や専門的な空間推論モデルは一般的に性能が劣っており、現在の VLM が不可視の推論に対する堅牢な能力を欠いていることを示しています。
• プロンプト分析:
  • 強力な指示: 「Hidden」プロンプト（可視の物体を無視する）は安定した改善をもたらしました。これは潜在的な推論能力を示唆しています。しかし、明示的な常識的知識を追加する「Common」プロンプトは、多くの場合性能を低下させ、言語理解と空間的グラウンディングの間の乖離を浮き彫りにしました。
  • 推論: CoT および CoT-SR は、自動的な構造化推論を欠く大規模モデル（Qwen 3.5 27B/122B）の性能を向上させましたが、本質的に構造化された推論を生成する Gemini 3 Flash などのモデルでは、利益が見られなかったか、わずかな低下が見られました。
  • SPoE: SPoE 戦略は、反復の増加に伴って Dist 指標を効果的に減少させ、モデルが不可視の位置を直接推論するよりも、低確率の可視領域を除外する方が得意であることを示しました。ただし、モデルは最適な停止点を決定することに苦慮しており、探索空間が十分に制約された後も、領域の除外を継続することがありました。
• 定性的知見: モデルは頻繁に視覚的な外観や意味的関連性が類似する物体を誤って識別し（例：電源スイッチをソケットと混同する）、一般的なタスク領域を特定できたとしても、遮蔽されたドアノブの位置などの微細な詳細を推測できませんでした。

意義と主張
本論文は、SceneFunRI が現在の VLM の根本的な限界を露呈していると主張しています。それは、完全な視覚的不確実性の条件下で、タスクの意図、常識的事前知識、および空間的グラウンディングを統合して推論する能力の欠如です。

• ベンチマークへの貢献: 可視で明示的な関係から、不可視で暗黙的な推論へと空間推論研究を拡張し、具身エージェントや現実世界の意思決定のための必要なテストベッドを提供します。
• 方法的洞察: 著者は、隠れた領域を直接推論することは大きな課題であると論じます。その代わり、本論文は、現在のモデルにとってより実行可能なアプローチは、不可視の位置の直接生成を試みるのではなく、SPoE が示したように、観測可能な領域を分析して低確率の候補を除外することであると示唆しています。
• 将来の方向性: この結果は、不確実性を認識した探索と、意味的意図と空間的グラウンディングのより緊密な結合を統合できるモデルの開発を促します。なぜなら、現在のモデルは不可視領域に関する推論において不安定なままであるためです。