Diagnosing Semantic Handoff Failures in Agent-Orchestrated Vision-Language-Action Skill Composition

技術要約：エージェントによるオーケストレーションされたVLAスキル構成におけるセマンティック・ハンドオフ失敗の診断

問題提起
長期間の家庭内タスクには、ロボットが複数の言語条件付きスキルを構成する能力が求められる。個々のスキルは、それぞれの事後条件を満たすように訓練されている場合が多いが、連続する2つのスキルの境界はしばしば未指定である。これにより、**セマンティック・ハンドオフ問題（semantic handoff problem）**が生じる。すなわち、スキルが局所的な目的（例：物体への移動）を達成したとしても、その結果としてロボット、物体、またはカメラの視界が、後続のスキルを実行できない状態（例：物体は見えるが、掴める範囲にない）にしてしまうのである。これは、個々のスキルが単独では有能であっても、長期間のロールアウトにおいて、あるスキルの終端状態が次のスキルの分布外（out-of-distribution）となるという分布シフトを引き起こす。

手法
著者らは、BEHAVIOR-1K環境内でこれらの失敗を研究・診断するために、エージェント・オーケストレートされた視覚・言語・行動（VLA）実行ハーネスを提案している。このシステムアーキテクチャは、エージェント層（タスク分解、状態追跡、検証、およびリカバリ）とエンボディメント層（VLA推論および低レベル制御）を分離している。

1. スキルライブラリと契約: システムは、クリーンなBEHAVIOR-1Kのデモンストレーションに基づき訓練された$\pi_0.5$ベースのVLAポリシーのライブラリを利用する。スキルはセマンティック契約として表現される：$s_t = (name, args, prompt, B_s, K_s, \phi_t)$。ここで、$B_s$はステップ予算、$K_s$は検証間隔、$\phi_t$は期待される事後条件である。
2. Plan-Act-Verify-Replan ループ: エージェントは、制限されたループ内でスキルを実行する。毎$K_s$ステップごとに、マルチビューVLM検証器（ヘッドカメラおよびリストカメラのビューを使用）が、事後条件$\phi_t$が保持されているかを確認する。
   • 検証された場合、エージェントは次のスキルへと進む。
   • 検証に失敗した場合、または不確実な場合は、エージェントは同一エピソードの予算内でリカバリ（再計画または再試行）をトリガーする。
   • システムは「ハンドオフを意識した」事後条件を強制する。例えば、move_toスキルは、ターゲットが単に見えるだけでなく、後続のpick_up_fromの準備が整うよう「腕が届く」距離にあることを要求する。
3. 診断的評価プロトコル: 著者らは、同じスキルチェックポイントを用いて2つのプロトコルを比較している：
   • 孤立ベンチマーク: クリーンで精査されたスキル境界のスナップショット（デモンストレーションから復元されたもの）からスキルを実行する。
   • 構成ロールアウト: 各スキルが前のスキルの実際の終端状態から開始される、エンドツーエンドの実行を行う。
4. トレース分析: ハーネスは、スキルの試行、検証器の決定、および再計画の再生可能なトレースを記録する。失敗した試行は、ターゲット・グラウンディング（物体が見つからない/見えない）、制御実行（把握/駆動の失敗）、または次スキルへの準備不足（次のステップのための状態が準備されていない）のいずれかの特定の原因に自動的に分類される。

主な結果

• 能力のギャップ: 個々のスキルは、クリーンなスナップショットから孤立して評価された場合、高い成功率（77～100%）を示す（例：open_doorは100%、pick_up_fromは96.5%）。しかし、エンドツーエンドのロールアウトで構成された場合、タスク成功率は大幅に低下し（多くのタスクでほぼゼロ）、参照されるスキルシーケンス全体での進捗スコアは平均19.5%であった。
• 失敗の帰属: 診断トレースは、失敗が純粋な生のスキル能力の欠如によるものではないことを明らかにしている。むしろ、それらは**転送失敗（transfer failures）**に起因している：
  • 次スキルへの準備不足: ナビゲーションが掴めるポーズの手前で停止したり、ドアを開ける動作によって次のターゲットが視界から外れたりする。
  • ターゲット・グラウンディング: 以前のアクションによって物体が観測不能、あるいは曖昧になる。
  • 制御実行: 接触を伴う操作は、連鎖した状態においては単独時よりも頻繁に失敗する。
• アブレーションによる知見: ナビゲーションの検証器を厳格化し、単なる可視性ではなく「腕が届く」ハンドオフを厳密に要求するようにしたところ、さらなる準備不足の失敗が表面化し、再ナビゲーションの試行がトリガーされた。これにより、主要なボトルネックは、連鎖した初期条件から次のスキルに対して準備された状態に到達できないというVLAの能力不足であることを裏付けた。

意義と主張
本論文は、エージェント層を単なるコントローラーとしてではなく、長期間のロボティクスにおける診断器具として位置づけている。その主要な貢献は、限りなくゼロに近いタスク成功率を、実行可能な、トレースに裏付けられた証拠へと変えたことにある。著者らは以下のことを主張している：

1. スナップショットの能力は、構成的な堅牢性を保証しない。 孤立したスキルの成功と、連鎖した状態での失敗との間のギャップは、標準的なクリーンなデモンストレーションデータのスケーリングだけでは解決できない特定の分布シフトである。
2. VLAライブラリには新しい学習目標が必要である。 信頼性の高い長期間の実行を可能にするためには、VLAポリシーは「乱れた」連鎖状態の分布に対する堅牢性を学習し、局所的な事後条件だけでなく、**次スキルの準備性（next-skill readiness）**を明示的に最適化する必要がある。
3. 検証は不可欠である。 本研究は、マルチビューVLM検証とハンドオフを意識した事後条件の組み合わせが、標準的な記号的述語や単一スキルのベンチマークが見逃してしまうセマンティック・ハンドオフの失敗を検出するために不可欠であることを示している。

著者らは、彼らのフレームワークが、単に最先端のタスク完了率を主張するのではなく、現在のモデルが欠いている具体的な準備能力やグラウンディング能力を特定することによって、VLAスキルライブラリを改善するためのロードマップを提供すると結論づけている。