技術要約：ロボットのタスクおよびモーションプランニングのための、デュアルLLMモジュールを用いた階層的プロンプティング

問題提起

サービスロボットを家庭環境に統合するには、不正確、不完全、または文脈依存的な自然言語の指示を解釈できるシステムが必要である。従来のタスクおよびモーションプランニング（TAMP）システムは、手動で定義された記号的ルール（例：PDDL）に依存しているが、人間の環境におけるオープンボキャブラリーの性質への対応には苦慮している。一方で、大規模言語モデル（LLM）は創発的な推論能力を示すものの、ロボティクスに直接適用する際には重大な限界に直面する：

1. 物理的接地性の欠如： 標準的なLLMは本質的に物理法則に接地しておらず、運動学的に、あるいは幾何学的に実行不可能な「幻覚（ハルシネーション）」を含む計画を生成することが多い。
2. モノリシックなプロンプティングの問題： 現在のプロンプティング戦略では、単一のモデルインスタンスに対して、抽象的な論理（例：「果物とは何か？」）と精密な空間数学（例：「皿に対して座標はどこか？」）の両方を処理することを強いることが多い。これは「トークンの枯渇」や、モデルが空間的な正確性よりもタスクの論理を優先してしまうといった、推論の混乱を招く。
3. 知覚と行動のギャップ： 高レベルのセマンティックプランニングと低レベルの幾何学的実行との間に乖離があり、特にオブジェクトの形状やワークスペースの制約が変化する非構造化環境において顕著である。

手法

著者らは、デュアルモジュール・プロンプティング・アーキテクチャを用いて、高レベルのタスクプランニングと低レベルの空間推論を分離する、階層的で言語駆動型のフレームワークを提案している。システムはテーブルトップ環境内で動作し、以下のコンポーネントを統合している：

1. ビジョンモジュール

システムは、オブジェクト知覚のために YOLOX-GDRNet パイプラインを利用する：

• 検出（Detection）： YOLOXが入力画像内のオブジェクトを検出し、2Dバウンディングボックスとクラスラベルを提供する。
• 姿勢推定（Pose Estimation）： 関心領域（ROI）はGDR-Netニューラルネットワークによって処理され、カメラフレームに対する6Dポーズ（3次元の移動ベクトルとクォータニオンによる方位）を予測する。
• 幾何データ： システムは、空間推論に情報を与えるために、検出されたオブジェクトの事前計算された3Dモデルおよび直径にアクセスする。

2. 高レベルLLMエージェント（タスクプランナー）

• アーキテクチャ： Llama3.2:70B モデルを用いたPython LangChainによって実装されている。
• プロンプティング戦略： エージェントは ReAct形式のループ（思考、行動、観察）を通じて動作する。反復的な推論をサポートするために、相互作用の履歴を保持するメモリを維持する。
• ツール： エージェントは、オブジェクトリストの取得、ピックアップ、配置、および解放のためのツールへのアクセス権を持つ。エージェントは全体的なタスクの論理とシーケンスを担当するが、精密な座標計算は委譲する。

3. 低レベルLLMサブモジュール（配置推論器）

• アーキテクチャ： これもLlama3.2:70Bを動力源とする、別個の特化したサブモジュールである。
• 機能： このモジュールは、3Dの空間制約と幾何学的な実現可能性を扱う。モジュール性は確保されており、高レベルエージェントの内部ロジックは関知しない。
• プロンプティング戦略： オブジェクト名、ポーズ、および幾何学的特性（例：直径）からなる構造化された入力を用いたフューショット・プロンプティングを利用する。
• 目的： 空間的な言語（例：「〜の左に」）を一貫した幾何学的変換へとマッピングし、オブジェクト配置のための具体的な3D座標を決定することであり、これにより高レベルプランナーが低レベルの座標計算によって圧倒されるのを防ぐ。

主な貢献

本論文は、主に3つの貢献を述べている：

1. デュアルモジュール・アーキテクチャ： 生成されるロボット計画の信頼性を向上させるために、高レベルのタスクプランニングと低レベルの空間推論を分離する新しいフレームワーク。
2. 特化した空間サブモジュール： 標準的なLLMにおける物理的接地性の欠如に直接対処するために設計された、3D空間制約と幾何学的実現可能性を扱う専用コンポーネント。
3. 実証的検証： 24の実世界およびシミュレーションシナリオにおけるフレームワークの有効性の実証。非構造化環境における複雑な人間によるコマンドの実行において、大幅な改善を示した。

評価および結果

システムは、単純な空間コマンド、高レベルの指示、および実行不可能な要求を含む24のテストシナリオで評価された。

定量的結果

• 全体的な成功率： システムは**86%**の全体的なタスク成功率を達成した。
• シナリオの内訳：
  • 単純なコマンド（16シナリオ）： 成功率87.5%、タスクあたり平均4ステップ。
  • 高レベルのコマンド（5シナリオ）： 成功率80.0%、タスクあたり平均6ステップ。
  • 実行不可能なシナリオ（3シナリオ）： 不可能であることを正しく特定する成功率100%、不可能性を判断するまでに平均5ステップ。
• プランニング時間： 平均プランニング時間はタスクあたり5ステップであった。

定性的および空間的分析

• 人間による評価： 3人の独立した評価者が、初期コマンドと最終的なシーンの整合性を1〜10のスケールで評価した。平均スコアは6.86であり、明確な空間関係を持つタスク（例：「フルーツのボウルを作って」は9.67）では高く、曖昧なタスク（例：「塩辛いスナックを作って」は3.00）では低くなった。
• 空間推論の精度： 配置推論器は、「〜の上」および「〜の隣」の関係において最も高い精度（最も低い座標分散）を示した。「前」や「後ろ」といった奥行きに基づく関係についてはパフォーマンスが一定しておらず、より高い分散を示した。
• 物理ロボットによる試行： PAL Robotics Tiago マニピュレータを用いた実験により、システムが混雑した環境においてもターゲットとなるオブジェクトを確実に特定し、ユーザーの意図を推論できることが確認された。観察された失敗は、セマンティックまたはタスクレベルの推論ではなく、低レベルの実行（モーションプランニングおよびキャリブレーションエラー）に限定されていた。

重要性と主張

著者らは、彼らの階層的アプローチが自然言語と3D幾何学的関係の間の溝を効果的に埋め、ゼロショット配置に適した堅牢な「空間文法」を示すと主張している。論文は以下のように断言している：

• モジュール性が鍵である： 空間幾何学の推論を専用のサブモジュールに隔離することで、高レベルプランナーが座標計算の複雑さによって失敗することを防ぐ。
• 表現力よりも実現可能性： フレームワークは、広範なアクションの表現力を犠牲にしてでも、物理的な実現可能性を優先し、実ロボット上での実行の信頼性を高めている。
• 今後の方向性： システムは有望ではあるものの、著者らは、実世界での有用性が物理的な実現可能性と環境の汎用性に制約されていることを認めている。彼らは、動的な具現化された設定内で予測を洗練させるために、幾何学的事前知識と物理シミュレータを統合することを今後の課題として挙げている。

本論文は、LLMの記号的な柔軟性と、接地された空間知覚を融合させることが、直感的かつ汎用的な人間とロボットの協調に向けた有望な道筋を提供すると結論付けている。