技術概要：ツールによる拡張可能な身体化能力の実現

問題定義

現在の身体知能（embodied intelligence）手法は、知覚、推論、計画、制御を同時に処理するために、主に統一されたパラメータ化された方策（例：視覚・言語・行動モデル）に依存しています。著者らは、この単一構造のアーキテクチャが、身体化された意思決定が本質的に階層的かつ不均質であるため、構造的な限界に直面していると主張しています。高レベルの計画と低レベルの制御は、機能的役割と最適化目標において大きく異なります。これらの多様な能力を単一のパラメータセットに符号化することは、以下の 3 つの重大な問題を引き起こします：

1. 不透明な結合：能力が明確な帰属なしに共同符号化されるため、選択的な呼び出しや失敗の診断が不可能になります。
2. 能力の孤立：あるモデルが学習した能力はサイロ化され、異なるシステム間で転送または再利用できません。
3. 絡み合った最適化：共有パラメータに対する競合する勾配信号により、ある能力の改善が他の能力の劣化を招くリスクがあります。

最近の進歩により空間的グラウンディングや推論は改善されましたが、これらの単一モデルは、長期的、構成的、かつ安全性が重要なタスクにおいて依然として性能が不十分です。本論文は、このギャップは能力不足ではなく構造的なものであると仮定し、特定の能力を独立して最適化可能なツールとして外部化するツールベースの身体知能への転換を動機づけています。

手法

1. 身体化ツールプロトコル（ETP）

統一フレームワークの欠如に対処するため、著者らは**身体化ツールプロトコル（ETP）**を導入しました。この標準化されたプロトコルは、能力表現と実装を分離し、ツールの登録、発見、呼び出し、実行を可能にします。

• 能力単位としてのツール：各ツール $z_m$ は、その入力・出力空間 $(X_m, Y_m)$、実現された能力のサブセット、および実行可能なマッピング $f_m$ によって定義されます。実装は学習モデル、古典的アルゴリズム、またはハイブリッドであっても構いませんが、インターフェースは一貫しています。
• レジストリベースの発見：ツールは、説明（$\rho_m$）とスキーマ制約（$\kappa_m$）を持つ能力レジストリ $R$ に管理されます。エージェントは特定の呼び出し規約ではなく、能力の必要性に基づいてレジストリを照会します。
• 分離された実行：ツールは、ランタイムフィードバックを伴う分離されたセッションで実行され、ツールの実装をエージェントの方策に結合することなく、並列呼び出しや遠隔実行をサポートします。

2. ツールベースの構築

ETP に基づき、著者らは 4 つの中核的な能力次元にまたがる100 以上の検証済みツールからなるツールベースをキュレーションしました：

• 知覚とグラウンディング：物体検出、セグメンテーション、空間的局所化、シーン理解。
• 認知と状態モデリング：状態推定、関係モデリング、アフォードアンス理解、記憶検索。
• 推論と計画：目標分解、因果推論、長期的計画。
• 実行と制御：軌道生成、把持計画、低レベルの作動。

各ツールは、軽量でデプロイが容易かつ環境に対して堅牢であるという基準で選定され、構造化された API とツールカードでカプセル化されました。

3. EmbodiedToolBench

著者らは、現在のモデルのツール使用能力を体系的に評価するためにEmbodiedToolBenchを構築しました。このベンチマークは以下の 4 つのタスクで構成されます：

• ツール必要性の認識：与えられた意思決定状態において外部ツールが必要かどうかを判断する。
• ツール選択：候補セット（意味的に類似したダミーを含む）から最も適切なツールを特定する。
• ツール実行：有効なツールクエリを構築する（ステージ 1）およびツールの出力に基づいて正しく動作する（ステージ 2）。
• ツールチェーンの構成：必要な最小限のツールを選択し、正しい依存関係の順序で配置する。

4. 評価フレームワーク

実験は、シミュレーションプラットフォーム（EB-ALFRED、EB-Habitat、EB-Navigation、EB-Manipulation）と実世界のロボットプラットフォームの両方で行われました。本研究では、8 つの代表的なオープンソースおよびクローズドソースモデルを評価し、ツール拡張の有無による性能を比較しました。

主要な結果

性能向上

• 一貫した改善：ツール拡張は、すべてのベンチマークにおいて身体化タスクの性能を一貫して向上させました。
  • EB-ALFRED：平均で**31%**の向上。Qwen3-8B などのオープンソースモデルは劇的な改善（0.20 $\to$ 0.72）を見せました。
  • EB-Navigation：平均で**36%**の向上。特に視覚（+0.40）と長期的（+0.54）のサブタスクで顕著な改善が見られました。
  • 実世界：実世界のロボットタスク（デスクトップの掃除、天秤、積み木）において、ツールを使用しないモデルは0/10の成功率でしたが、ツール拡張エージェントは大幅な成功率（例：8/10 から 9/10）を達成しました。
• ギャップの縮小：ツール拡張はオープンソースモデルの競争力を大幅に高め、ツールアクセスを持たない強力なクローズドソースモデルを上回ることを可能にしました（例：EB-ALFRED において、ツール付きの Qwen3-8B はツールなしの GPT-4o を上回りました）。

能力の境界

本研究は、どの能力が外部化から恩恵を受けるかについて明確な境界を明らかにしました：

• 高い恩恵：知覚と認知のタスクが最大の改善（オープンソースモデルで最大 +0.34）を示しました。ツールは視覚的解析や知識駆動型のタスクを効果的に支援します。
• 中程度の恩恵：推論のタスクは一貫した改善を示しました。
• 限定的な恩恵：実行能力は小さく変動の大きい改善（+0.03 から +0.19）しか示しませんでした。著者らは、精密な空間的グラウンディング、接触に富む相互作用、低レベルの物理的制御を必要とするタスクは、現在のツールインターフェースでは効果的に支援されにくいと指摘しています。

能力のボトルネック

性能向上にもかかわらず、分析はモデルがツールをどのように使用するかにある持続的なボトルネックを特定しました：

• ツール必要性の認識：モデルはツールが必要かどうかを頻繁に認識できず、一部のオープンソースモデルではリコールが 0.31 まで低下しました。
• ツール選択：意味的に類似した候補の中から正しいツールを選択することは依然として課題です（最良の CSR は約 0.74）。
• ツール実行：入力構築は一般的に高いですが、結果の活用が主要なボトルネックです。モデルは返されたツールの出力を解釈し、それに基づいて効果的に動作することにしばしば苦労します。
• ツールチェーンの構成：モデルは最小セットを選択するのではなく、不要なツールを含めて「過剰に構成」する傾向があり、正確なマルチツール調整の難しさを示しています。

意義と主張

本論文は、能力の外部化が、単一構造の身体化方策の構造的限界を克服する実行可能かつ効果的なアプローチであると主張しています。不均質な能力を独立して最適化されるツールに分離することで、このフレームワークは以下を可能にします：

1. モジュール化された再利用：専門的な能力を登録し、異なるエージェントやタスク間で再利用できます。
2. ターゲットを絞った最適化：ツールは他の能力に干渉することなく独立して改善できます。
3. スケーラビリティ：コアとなるエージェントの方策を再学習することなく、大規模で不均質なツールコレクションにシステムを拡張できます。

ただし、著者らは控えめに結論づけており、ツールの能力、特にいつ、どのツールを、どのように呼び出すかを知る能力が、真に能力のある身体化エージェントにとっての中心的なボトルネックであると述べています。この研究は、ツールの利用可能性が性能を向上させる一方で、現在のモデルによるこれらのツールの自律的な編成は、特に実行を重視するシナリオではまだ完全に信頼できないことを浮き彫りにしています。これは、身体化ツールの能力を将来の研究の重要な方向性として特定しています。