技術要約：身体性エージェントによる制御（Embodied Agents Take Control）

問題提起

自律的な身体性エージェントには、長期的なインタラクションにわたって、知覚、行動、検証、および自己修正を含む持続的な意思決定ループが必要である。現在の手法は、一般的に2つのカテゴリーに分類される。一つは学習済みポリシー（NaVidのように、ナビゲーション能力がモデルの重みに内包されているもの）であり、もう一つはゼロショット・ワークフロー（NavGPTのように、凍結された汎用モデルが人間が作成したスキャフォールディング（足場）によって導かれるもの）である。どちらのパラダイムにおいても、インタラクション・ループは外部コードや固定されたパイプラインによって制御されており、エージェントが自身の状態を動的に管理したり、エラーから回復したり、終了を判断したりする能力を制限している。

本論文では、第三のパラダイムである**エージェンティックな身体的制御（agentic embodied control）**を調査する。ここでは、汎用エージェント自体がインタラクション・ループを保持する。核心となる研究課題は、最小限のインターフェース（単眼RGBカメラと離散的なアクション）のみを備えたモデルが、ナビゲーション特有の学習、マップ、または明示的なメモリなしで、身体的ナビゲーションの高レベルな制御を維持できるかどうかである。

手法

著者らは、エージェンティックな制御をテストするために、**最小インターフェース・プローブ（minimal-interface probe）**を提案している。彼らは、既存のゼロショット・システムにおけるナビゲーション特有のスキャフォールディングを、汎用的なソフトウェアエンジニアリング・エージェントのハーネスに置き換えている。

• インターフェース: エージェントは、単一の512×512前方向きRGBフレーム（observe()）と、4つの離散的なHabitatプリミティブ（step()：前進(0.25m)、左(15°)、右(15°)、停止）のみを受け取る。
• 制約: エージェントは、深度、オドメトリ、ポーズ、マップ、ウェイポイント、または衝突フィードバックへのアクセス権を持たない。視覚的観察とその行動結果の履歴のみから、ランドマーク、進行状況、および停止条件を推論しなければならない。
• セットアップ: 本研究では、R2R-CE (Room-Across-Room Continuous Environment) の val-unseen rand100 サブセットを利用する。エージェントは、元々ソフトウェアエンジニアリング用に設計された3つの異なるソフトウェア・ハーネス（mini-swe-agent、Claude Agent SDK、Codex CLI）と、様々な最先端の視覚言語モデル（VLM）を用いて評価される。
• 実験設計: 著者らは、以下の3つの軸にわたるアブレーション研究を実施する：
  1. モデル: ハーネスとインターフェースを固定した状態で、基礎となるVLMを変化させる。
  2. ハーネス: 同一のモデルを用い、異なるエージェント・フレームワーク（オープンソース vs ベンダーSDK）を比較する。
  3. インターフェース: 最小限のプリミティブ・インターフェースと、学習済みのウェイポイント予測器が強制的な制御パスではなく「オプションのツール」として公開されているハイブリッド設定を比較する。

主な貢献

1. エージェンティックな身体的制御の実証: 本論文は、修正されていないソフトウェアエンジニアリングのハーネスを用いて、ナビゲーションにおけるエージェンティックな制御を具現化している。ナビゲーション特有の学習やスキャフォールディングを一切受けていないにもかかわらず、これらのエージェントは標準的なゼロショット・ベンチマークにおいて競争力のある性能を達成している。
2. 能力の局在化: 単一軸の介入を通じて、著者らは能力の源泉を特定している。彼らは、モデルの選択が成功の主要な要因（成功率5〜72%の範囲に及ぶ）であり、ハーネスの違いは主に記述的なものであることを見出した。さらに、学習済みのウェイポイント・モジュールを強制的な制御パスとして課すと、強力なモデルを制約し弱いモデルを救済できるが、それをオプションのツールとして公開した場合、最強のエージェントが粗い制御と細かい制御を組み合わせることが可能になり、性能、速度、および効率が向上することを示した。
3. 限界の特性化: 本研究は、短期的なエージェンティック制御と持続的な自律性の間のギャップを特定している。推論能力が物理的ハードウェアに転移する一方で、身体への意識（例：衝突検知、運動学的クリアランス）や持続的な空間メモリの欠如が、長期的なホライゾンにおける信頼できる運用を妨げていることを明らかにしている。

結果

• パフォーマンス: 厳格な最小インターフェースの下で、最先端のモデルはR2R-CEにおいて高い成功率を達成している。
  • Opus-5 (デフォルトの努力量): 成功率 (SR) 70.7 ± 3.5%
  • Fable-5 (デフォルトの努力量): SR 68.3 ± 1.5%
  • Fable-5 (最大努力量): SR 78%
  • ハイブリッド・インターフェース (Fable-5): 学習済みのウェイポイント・ツールを使用するオプションを与えられた場合、Fable-5は、最大努力量のプリミティブ実行と比較して、環境ステップを半分にし、壁時間（wall time）を25%未満に抑えつつ、76.7 ± 0.6% SRに達した。
• 比較: これらの結果は、広範なスキャフォールディング（マップ、メモリ、探索）を用いるエンジニアリングされたゼロショット・ワークフロー（例：AgenticNavのSR 55%）や、最近の工業規模の学習済みポリシー（例：Qwen-RobotNavの66–72% SR）と比較しても競争力がある。これは、最小限のインターフェースがそれらのシステムで使用されている広範なスキャフォールディングを欠いているにもかかわらずである。
• 失敗分析: 失敗は、知覚的な問題よりも、主に言語的および空間的な問題に起因している。一般的な失敗モードには、曖昧な参照対象を誤ったオブジェクト・インスタンスに結びつけること、注釈付けされた終点ではなくオブジェクトの近接性に基づいて停止すること、および「暴走検索（runaway search）」、すなわち間違った分岐から回復できないことが含まれる。重要な発見は、自己診断はできるが自己修正はできないということである。エージェントはしばしば、自身の推論における疑念を正しく特定しながらも、結局は誤ったアクションを実行してしまう。
• 物理的展開: Unitree Go2 四脚ロボットに展開した際、エージェントの推論および知覚能力は良好に転移した（例：条件付きロジックやオブジェクトの曖昧さ回避の処理）。しかし、失敗は身体への意識（例：ロボットの体がドアウェイを通過する前に回転してしまうこと）の欠如や、持続的な空間マップの不在に起因しており、これが長いルートにおけるカウントミスやハルシネーション（幻覚）を引き起こした。

意義と主張

本論文は、エージェンティックな制御はすでにゼロショット・ナビゲーションにおいて競争力があると主張しており、短期的なタスクに対して重厚なタスク特有のスキャフォールディングが必要であるという考えに異を唱えている。結果は、身体的な意思決定の能力が、ますます汎用モデルそのものの中に宿っていることを示唆している。

著者らは、自律的な身体エージェントの未来は、以下のブートストラップ・サイクルにあると主張している：

1. 現在のスキャフォールド（マップ、ウェイポイント・モジュール、エンジニアリングされたハーネス）が、成功した軌跡を生成する。
2. これらの軌跡が、教師あり微調整（SFT）や強化学習（RL）を通じて、より優れたモデルを訓練するために使用される。
3. より強力なモデルは、より少ないスキャフォールディングを必要とするようになり、最終的にシステム構成を簡素化する。

しかし、本論文は控えめに結論付けている。エージェンティックなシステムは有能な意思決定を行うことはできるが、まだ自律的な身体エージェントとして、持続的かつオープンエンドな運用ができる段階にはない。この移行には、「身体性のギャップ」を解決する必要がある。すなわち、限定的なコンテキスト管理と持続的な状態を持つハーネスを開発し、身体への意識と空間メモリをモデルに内面化させる必要がある。本研究は、モデルがループを直接制御できることを示す診断的なプローブ（探針）として機能しているが、周囲のシステムは持続的な自律性をサポートするように進化しなければならない。