テクニカルサマリー：FUSE – 能動的な機能的アフォーダンス・グラウンディング

問題定義：能動的な機能的アフォーダンス・グラウンディング

本論文は、エンボディドAIにおける決定的なギャップ、すなわち、事前に定義されたアイデンティティではなく、その「機能」に基づいてオブジェクトを特定し、相互作用する能力について取り組んでいる。既存の手法は通常、固定された視点から動作するか、十分な視覚的証拠が既に利用可能であることを前提としている。しかし、機能的なクエリ（例：「ロープを切る」「食べ物をすくう」）は、必要な識別的証拠が遮蔽されていたり、不完全であったり、あるいは初期の視点からは利用できなかったりする場合に、複数の妥当な仮説を生じさせることが多い。

著者らは、**能動的な機能的アフォダンス・グラウンディング（Active Functional Affordance Grounding）**を、エージェントが以下のステップを踏む逐次的な知覚タスクとして定義している：

1. 機能的な言語クエリから、候補となるオブジェクトの仮説を推論する（定義済みのターゲットクラスを持たない）。
2. セマンティックおよび幾何学的な曖昧さを解消するために、センシングアクション（視点）を能動的に選択する。
3. 物理的な実行の前に、機能的な意図を最もよく満たすオブジェクトを空間的にグラウンディングする。

これは、受動的なグラウンディング（時期尚早なコミットメントを招く可能性がある）、能動的なオブジェクト探索（定義されたカテゴリを探索する）、および次善の視点プランニング（既知のターゲットを想定している）とは異なるものである。

メソドロジー：FUSEフレームワーク

著者らは、情報量の多い観測を効率的に獲得するために設計された適応型フレームワークであるFUSE（Functional Understanding through Semantic–Geometric Exploration）を提案している。FUSEは、機能的なターゲットをグラウンドするために解決されていないセマンティックおよび幾何学的な証拠である、**機能的不確実性（functional uncertainty）**を最小化することで動作する。

コアコンポーネント

1. 機能的不確実性の表現:

   • セマンティック不確実性 ($U_{sem}$): 候補となるオブジェクトの仮説に対してピクセルレベルのマスクとスコアを生成するSAM3から導出される。不確実性は $1 - \text{score}$ として推定される。
   • 幾何学的不確実性 ($U_{geo}$): SSNR（Structural Signal-to-Noise Ratio）から導出される。これは、観測された画像と3Dシーン表現からレンダリングされた画像との間の勾配を比較することによって計算される。低いSSNRは、構造的モデリングが不完全または不正確であることを示す。
   • エビデンスマップ: これらのコンポーネントは、候補の関連性と幾何学的な観測不足のバランスを取る、機能的エビデンス獲得マップ ($E_t$) へと融合される。

2. 空間的エビデンス表現:

   • エージェントは、永続的かつ漸進的に洗練される3D Gaussian Splatting (3DGS) モデルを維持する。これにより、エージェントは観測を断絶したシーケンスとして扱うのではなく、視点を超えて可視性、遮蔽、および幾何学的構造について推論することができる。

3. 適応型プランニング戦略:
   FUSEは、2つのプランニングモードを切り替えるための信頼度ゲート機構を採用している：

   • アモルタイズド・プランナー（Amortized Planner）: 単一のフォワードパスでセンシングアクションの価値を予測する学習済みポリシー（CLIPバックボック + MLP）。高速であるが、未知の状態においては曖昧になる可能性がある。
   • 明示的探索（Explicit Exploration）: 3DGS表現を更新し、候補となる視点をレンダリングし、最適なアクションを選択するために完全なセマンティック・幾何学的エビデンスマップを計算する、熟慮的なプロセス。
   • 切り替えロジック: システムは、アモルタイズド・プランナーのアクション分布のエントロピーを計算する。エントロピーが低い（信頼度が高い）場合、アモルタイズド・アクションが選択される。エントロピーが高い（不確実性が高い）場合、システムは明示的探索をトリガーして、シーン表現を洗練し、再評価を行う。

4. 終了条件:
   融合されたターゲットスコア（SAM3スコア + 深さ近接スコア）が $K$ 回連続して改善しないか、センシング予算を使い果たした場合に探索は停止する。

主な貢献

本論文は、以下の4つの主要な貢献を述べている：

1. タスク定式化: 部分観測下でのターゲット発見と空間的グラウンディングを必要とする新しい逐次的知覚タスクとして、能動的機能的アフォダンス・グラウンディングを定義した。
2. ベンチマーク: 100のランダム化されたシーンインスタンス、標準化された停止基準、および静的、カノニカル、ランダム、VLMベース、および適応型の手法を比較する評価トラックを備えた、Habitatベースのベンチマークを導入した。
3. アルゴリズム: 計算コストとグラウンディングの信頼性のバランスを取るために、高速なアモルタイズド・プランニングと明示的なセマンティック・幾何学的探索を適応的に交互に実行するフレームワークであるFUSEを開発した。
4. 実証的検証: タスク条件付きのセマンティック・幾何学的エビデンス獲得が、多様な知識源にわたって能動的グラウンディングを向上させることを示す制御された評価を行った。

実験結果

実験は、提案されたHabitatベンチマーク上で、主要なアフォーダンス知識源としてCRAFT-Eを用い、他のLLMおよびVLMと比較して行われた。

• ベースラインとの性能比較:
  • 受動的/静的（Passive/Static）: 成功率はわずか 42% であった。
  • ランダム能動（Random Active）: 成功率は 56% に向上したが、大幅に多くのステップ（12.20）を必要とし、タスクの方向性に欠けていた。
  • VLM能動（VLM Active）: オラクルラベルと基盤モデルのガイダンスを使用して 65% の成功率に達したが、最終的なグラウンディングの質（SAM3スコア）において依然としてFUSEに後れを取った。
  • FUSE: 最も高い非オラクル**成功率（72%）および平均IoU（70.91%）**を達成した。
• 効率性:
  • FUSEは、同等の性能（成功率72%対70%）を維持しながら、完全な明示的探索と比較して計算コストを 1.33倍 削減した。
  • 明示的探索は意思決定の 33.41% の場合にのみ呼び出され、ルーチンなステップではアモルタイズド・プランナーに依存していた。
• 堅牢性:
  • FUSEは様々な知識ソース（CRAFT, GPT, Llama, Qwen, Sonnet, Gemini）に対して効果的であり続け、その戦略が特定のアップストリーム推論メカニズムから切り離されていることを示した。
  • 「オラクル・ラベル（Oracle-Label）」バリアントは77%の成功率を達成しており、FUSEは堅牢であるものの、初期の機能的仮説生成の質が制限要因となっていることを示唆している。
• アブレーション研究:
  • セマンティック vs 幾何学: セマンティックのみのグラウンディング（53%）は不十分であった。幾何学のみ（65%）はより良好であったが、融合されたアプローチ（72%）には及ばなかった。
  • 粒度: ピクセルレベルのセマンティックエビデンス（SAM3）が極めて重要であり、パッチレベル（CLIP）では成功率は34%に低下した。
  • 終了条件: 深さ近接性を停止基準に組み込むことで、SAM3単独よりも成功率が約5%向上した。

意義と主張

著者らは、FUSEが、定義済みのターゲットなしに「何を、どこを見るべきか」という問題を同時に解決することにより、エンボディド知覚における重要な前進であると主張している。

• 受動的グラウンディングを超えて: 機能的な理解には能動的なエビデンス獲得が必要であると論文は主張している。固定された視点や単一の観測に頼ることは、時期尚早なコミットメントと、遮蔽されたシナリオにおける失敗を招く。
• 能動的知覚における効率性: 学習された（アモルタイズド）プランニングと明示的なプランニングを適応的に切り替えることにより、FUSEは、継続的な明示的シーン再構成という法外な計算コストをかけることなく、高忠実度のグラウンディングを実現できることを示している。
• 汎用性: 本フレームワークは、異なる機能的推論バックエンドに対して堅牢であることが示されており、適応的なエビデンス獲得のメカニズムが、機能的グラウンディングタスクにおける汎用的な解決策であることを示唆している。

論文は、現在の手法は利用可能な観測から機能的推論を改善してきたものの、FUSEはそれに先立つ知覚問題、すなわち、機能的な意図を確実にグラウンドするためにどのような追加の観測が必要かを決定するという問題を明示的に解決していると結論付けている。今後の課題として、FUSEを実際のロボットプラットフォームで検証し、動的な環境や長期的なタスクへと拡張することが提案されている。