技術要約: GuideFetch

問題提起

本論文は、ナビゲーションと物体の回収の両方を必要とする支援タスクにおいて、異種混合マルチロボットチームを調整するという課題に取り組んでいる。具体的には、視覚障害者が目的地（例：座席）へ移動するためにガイド犬（ガイドロボット）を必要とする一方で、別の支援ロボットが同時に物体（例：コーヒーカップ）を回収し、同じ場所へ届けるというシナリオを対象としている。

既存のアプローチでは、ナビゲーション（経路探索、安全性）とマニピュレーション（把握、配送）を別々のシステムとして開発することが多い。大規模言語モデル（LLM）はタスクの分解や能力に応じた割り当てに使用されてきたが、決定的なギャップが残っている。それは、LLMによる計画が構文的に有効であっても、割り当てられたロボットが必ずしも必要な能力を備えているとは限らず、また、滑らかなコントローラーの軌道が必ずしもタスクの成功（例：把持の失敗や物体の落下）を保証するわけではないという点である。本論文は、異種混合チームにおいては、調整は単なる独立したスキルシーケンスの実行を超えなければならないと主張している。すなわち、記号的な進捗が検証された物理的な完了に対応していることを確認し、時間的な依存関係を管理し、「計画の妥当性」と「ミッションの成功」を区別する必要がある。

手法

著者らは、タスクの仕様化とロボットの実行および物理的検証を切り離す調整フレームワークであるGuideFetchを導入している。本システムは、GRUtopia上に構築されたInternUtopiaシミュレーション環境内で動作し、ガイド役としてUnitree Go2、フェッチャー（回収役）としてZ1アームを備えたUnitree B2を使用する。

コアアーキテクチャ

1. LLMプランニングとスキーマインスタンス化:

   • LLM（具体的にはローカルで提供されるQwen3.5モデル）が、自然言語の指示と選択されたスケジュール（逐次または並列）を受け取る。
   • LLMは、スケジュール条件付きの4アクション・スキーマをインスタンス化する。アクションは、navigate（移動）、move（移動）、grasp（把持）、carry（運搬）という固定された語彙から抽出される。
   • 出力は、ステップインデックス、ロボットの担当者、スキル、ターゲット、およびパラメータを含むJSONオブジェクトとして構造化される。

2. 決定的バリデーションと正規化:

   • 実行前に、決定論的なバリデータが、登録されたシーンレジストリ（$\Omega$）に対してロボット、スキル、ターゲットのエイリアスを正規化する。
   • バリデータは以下を確認する：
     • 期待される4つのアクションがすべて存在すること。
     • 担当者が要求されたスキルを有していること（例：ガイド役は把持できない）。
     • ターゲットがシーンに登録されていること。
     • アクションの構造が選択されたスケジュールに従っていること（例：並列計画は、ナビゲーションとモーションの同時開始から始まる必要がある）。
   • 無効な割り当ては即座に拒否される。このバリデーションフェーズにおいて、フォールバックやリプレイは行われない。

3. コンパイルと実行:

   • 検証されたレコードは、公称的な依存レベルを定義するタスクグラフ（$G=(V, E)$）へとコンパイルされる。
   • 逐次スケジュール (Sequential Schedule): フェッチャーがミッション全体を実行する。目的地（空の状態）を訪問し、ピックアップ地点に戻り、把持し、持ち上げ、そして配送する。
     rea 並列スケジュール (Parallel Schedule): ガイド役が目的地（空の状態）へナビゲートしている間に、フェッチャーが同時にピックアップ地点へ移動し、把持、持ち上げ、運搬を行う。
   • 実行は共有されたシミュレーションクロックの下で行われる。ブランチはローカルな状態イベントに基づいて進行する。ガイド役はフェッチャーを待たず、フェッチャーも自身のブッチ内の依存関係が満たされている限り、ガイド役を待たない。

4. 状態ベースの検証:

   • ミッションの成功は、計画の妥当性や軌道の滑らかさから想定されるものではない。それは、コントローラーまたはシミュレータの状態から計算されるブール変数によって決定される：
     • $b_{visit}$: 最終ステーションへの到着。
     • $b_{pickup}$: ピックアップステーションへの到着。
     • $b_{grasp}$: 物体との両側接触。
     • $b_{lift}$: 物体が少なくとも30 mm上昇すること。
     • $b_{retain}$: 物体の保持（20 mmの上昇、フレームの80%での接触、および1.0秒間における傾き17°未満）。
     • $b_{delivery}$: 物体を保持した状態での最終ステーションへの到着。
   • 運用上の成功（$y_{op}$）は、これらすべての条件の論理積（AND）である。

主な貢献

• GuideFetchフレームワーク: 異種混合ロボットチームのために、LLMプランニングと決定論的バリデーション、および状態ベースの物理的検証を統合したシステム。
• スケジュール条件付きスキーマ: LLMが特定の実行スケジュール（逐次または並列）に制約された計画を生成する手法であり、出力が特定のロボット能力によって実行可能であることを保証する。
• 妥当性と完了の分離: 記号的な計画の妥当性と、検証された物理的なミッションの完了を明示的に分離し、終端状態チェックによって成功を判定する。
• 制御された比較研究: スクリプトによるプランナーとオンラインLLMプランナーの両方を用い、90組の適合したシーン/シード組み合わせ（計360回の実行）にわたる厳格な評価を実施。

実験結果

研究は、Home、Supermarket、Hospitalの3つの環境で、各シーンにつき30のシードを用いて実施された。

• 計画の妥当性: 180件のオンラインLLM応答はすべて、フォールバックやリプレイなしで初回試行時にバリデーションを通過した。すべてのオンライン計画は、対応するスクリプト計画と一致しており、LLMが要求されたスキーマを一貫して生成していることが示された。
• 運用成功率:
  • 逐次実行: 90件中72件の成功（80.0%）。
  • 並列実行: 90件中71件の成功（78.9%）。
  • 成功率の差は、すべてフェッチャーのマニピュレーション失敗（把持、持ち上げ、または保持）に起因しており、ナビゲーションやプランニングのエラーではない。すべての並列実行において、ガイド役は目標に到達した。
• メイクスパン（時間効率）:
  • 両方のスケジュールが成功した56件において、並列実行は平均メイクスパンを164.78秒から96.79秒へと短縮し、41.3%の削減（1.70倍の高速化）を実現した。
  • 高速化の割合はシーンによって異なり、Homeでは39.5%、Supermarketでは19.1%、Hospitalでは48.6%であった。
  • HomeおよびSupermarketにおける高速化は、時間的な重複（同時モーション）によるものである。Hospitalにおいては、フェッチャーの長い未積載状態での帰還行程を排除したことによる効果も含まれる。
• 失敗分析: すべての運用上の失敗は、輸送前のマニピュレーション（把持、持ち上げ、保持）中に発生した。計画のバリデーション、ピックアップへの到着、またはガイドのナビゲーションにおける失敗は発生しなかった。

重要性と主張

本論文は、GuideFetchが、終端目的を変更することなく、異種混合の役割特化とアクションのオーバーラップが支援ミッションを大幅に短縮できることを実証したと主張している。

主な主張は以下の通りである：

1. 妥当性 $\neq$ 成功: 記号的に妥当なLLMの計画や滑らかなコントローラーの軌道だけでは、タスクの完了を保証するには不十分であり、物理的な状態検証が必要である。
2. 並行性のメリット: ロール割り当てがロボットの能力を尊重し、かつ状態チェックが進行を制御している限り、ナビゲーションと回収の並列実行は実現可能であり、かつ効率的である。
3. LLMの堅牢性: テストされたスキーマとテンプレート内において、LLMはスクリプトによるベースラインと一致する、妥当で実行可能な計画を一貫して生成した。
4. ボトルネックの特定: 現在の設定におけるミッション完了の制限要因は、ナビゲーションやプランニングではなく、マニピュレーションの安定性（把理および保持）である。

著者らは、言語インターフェースがテストされたテンプレートと固定されたアクション・インベントリに限定されていること、およびシミュレーション環境が背景物理を無効化した登録ルートを使用していることを挙げ、控えめなトーンを維持している。彼らは、本システムが未構造の現実世界への展開準備ができていると主張しているのではなく、LLMプランニング、異種混合の調整、および物理的検証の交差を研究するための制御されたフレームワークを提供していると述べている。