InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

技術要約：「InteLiPlan：家庭用ロボットの自律走行のためのインタラクティブで軽量なLLMベースのプランナー」

問題提起
大規模言語モデル（LLM）と視覚言語モデル（VLM）のロボティクスへの統合は、エンボディドAI（身体性AI）を進展させてきたが、これらのモデルを家庭内での自律走行に展開するにあたっては、依然として重大な課題が残っている。現在のアプローチの多くは、膨大なデータセット、オフボードの計算リソース、または手作業によるドメイン仕様（例：PDDL）に依存しており、これらはスケーラビリティやリアルタイムの展開を制限している。さらに、既存のプランナーはしばしばロボットの運動学や幾何学的制約を考慮できておらず、意味的には正しいものの、物理的には実行不可能な計画を生成してしまうことが多い。加えて、純粋な自閉型システムは、部分的な観測性、曖昧なユーザー指示、および実行失敗に対して脆弱であり、広範な再学習や人間の監視なしには堅牢なリカバリメカニズムを欠いている。

手法
著者らは、オンボードのリアルタイム計算リソースのみを使用して完全に動作するように設計された、軽量でロボットに依存しないフレームワークであるInteLiPlanを提案する。このシステムは、自然言語のコマンド、視覚的知覚、および運動の実現可能性を橋渡しする、中央集約型のマルチモーダル・プランナーとして機能する。

• マルチモーダル入力定式化： プランナーは主に3つの入力を受け取る：

  1. ユーザーコマンド ($T_{user}$): 自然言語による要求またはリカバリのためのガイダンス。
  2. 視覚的観察 ($f_{seen}$): オンボードのRGB-Dカメラ（物体検出用のYOLOを使用）から得られた、ターゲットオブジェクトの存在と位置を示すテキスト形式のフィードバック。
  3. 実現可能性スコア ($f_{score}$): R-LGPを用いた到達可能性グラフを利用して生成されるバイナリ信号であり、ターゲットへの全身衝突回避可能な軌道が存在するかどうかを判定する。
  4. 履歴 ($T_{hist}$): 文脈を維持するための会話および過去の失敗状態の記録。

• アーキテクチャとファインチューニング： コアとなるのは、ファインチューニングされた軽量LLM（具体的にはMistral 7BおよびDeepseek 8B）である。ゼロショット・プロンプティングや大規模なエンドツーエンドの学習に頼るのではなく、著者らはパラメータ効率の高いファインチューニングである**低ランク適応（LoRA）**を採用している。訓練データセットは、マルチモーダルな会話としてフォーマットされた純粋なテキストの例（例：<history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>）で構成されており、出力は直接的なアクション・プリミティブのシーケンス（例：go, pick, place）となる。このアプローチにより、モデルはロボット固有のデータを必要とせずに、マルチモーダルな制約から実行可能なAPIコールへのマッピングを学習することができる。

• ヒューマン・イン・ザ・ループ（HITL）メカニズム： 本フレームワークの重要なコンポーネントは、人間の介入を通じた失敗への対処能力である。システムは、失敗を「プランニング（視覚/実現可能性）」、「タスクの混乱（曖昧さ）」、および「実行失敗」に分類する。失敗を検知すると、ロボットは問題のコンテキストをユーザーに報告する。その後、人間は修正ガイダンスを提供することができ、LLMはそれを用いて再計画を行う。このメカニズムにより、複雑で部分的に観測可能な家庭環境における安全性と堅牢性が確保される。

主な貢献

1. 軽量なオンボード・プランニング： 特定のマルチモーダル構造を用いてファインチューニングされた7BパラメータのLLMが、クラウドへの依存を排除し、オンボードハードウェア（NVIDIA RTX 2070）上で完全に動作しながら、最先端のプランニング性能を達成できることを実証した。
2. ロボットに依存しないパイプライン： 本フレームワークは、異なるロボットの形態に対して再学習を必要としない。ロボットの能力を共有されたスキルセットに抽象化し、実現可能性チェックに到達可能性グラフを使用することで、同一のモデルがToyota Human Support Robot (HSR) と ANYmal D（Unitree Z1アーム付き）の2つの異なるプラットフォームに成功裏にデプロイされた。
3. インタラクティブな失敗リカバリ： 自己回復や高レベルのタスクプランニングのみに焦点を当てた先行研究とは異なり、InteLiPlanは、コーナーケース（例：曖昧な参照、照明に起因する視覚の失敗）に対する人間のガイダンスを明示的に統合しており、失敗シナリオにおけるタスク完了率を大幅に向上させている。
4. テキスト化されたマルチモーダルデータ： 視覚的および幾何学的制約をLLM訓練用のテキスト信号に変換する手法を導入し、生のセンサーデータを直接処理することなく、物理的な実現可能性について推論することを可能にした。

実験結果
本フレームワークは、シミュレーションおよび実世界のロボットにおいて、タスクプランニング成功率、失敗説明、および失敗リカバリの3つの指標で評価された。

• 失敗に対する堅牢性： 「fetch me（〜を持ってきて）」タスクにおいて、InteLiPlanはリカバリを必要とするシナリオで95%の成功率を達成した。対照的に、プロンプトベースのベースライン（Mistral-Prompt, Deepseek-Prompt）は、未知の物体やリカバリを必要とするコマンドに直面すると、成功率が大幅に低下した（例：100%から約50%以下へ）。
• 汎用性： 本手法は、既知および未知のコマンド/オブジェクトの両方において、「失敗のない」シナリオで100%の成功を達成した。「失敗」シナリオにおいても、ファインチューニングされたモデル（Mistral-Ours）は、タスクの混乱や実行失敗の処理において、プロンプトベースの対照群を一貫して上回った。
• スケーラビリティ（SayCanベンチマーク）： SayCanデータセットの101のタスクで評価した際、InteLiPlan (Mistral-7B) は83%のプランニング成功率と82%の実行成功率を達成した。この性能は、504Bパラメータを持つPaLM-SayCanシステム（プランニング84%、実行74%）に匹敵するものであり、より少ないパラメータ数かつロボット固有の訓練データなしで達成された。
• クロスエンボディメント（形態横断性）： システムは、追加のファインチューニングなしにHSR（11自由度）およびAnytree（12自由度）の両方のプラットフォームにわたって正常に汎用化した。
• レイテンシ（遅延）： システムは、オンボードのリソース上で7秒未満で実行可能なアクションシーケンスを生成する。実現可能性のチェックが最も時間を要するコンポーネントである（約5秒）。

意義と主張
本論文は、InteLiPlanがLLMの推論能力とロボットシステムの物理的制約の間の決定的なギャップを埋めるものであると主張している。軽量でファインチューニングされたLLMを、構造化されたマルチモーダル入力パイプラインおよびヒューマン・イン・ザ・ループのリカバリメカニズムと組み合わせることで、著者らは、堅牢で解釈可能、かつデプロイ可能な家庭用ロボットの自律走行への道を示した。本研究は、高レベルのプランニングには必ずしも巨大なモデルや膨大なデータセットを必要とせず、効果的な統合（知覚、実現可能性チェック、および人間のガイダンス）によって、軽量なモデルがより大規模な最先端システムに匹敵する信頼性を達成できることを強調している。著者らは、本アプローチが従来のタスクドメイン定義の労力を軽減し、リソース制約のある現実世界のロボットアプリケーションに対する実用的なソリューションを提供すると結論付けている。