技術要約: EvoPlan

問題定義

本論文は、部分的に既知で動的な環境において、自然言語によるロボットタスクを実行する際の課題に取り組んでいる。そこでは、タスクのプロンプトには明示されていない暗黙的な規範（例：安全規則、社会的嗜好）を満たす必要がある。著者らは、標準的な手法を無効にする3つの核心的な困難を特定している：

1. 部分観測性と動態: 世界モデルは不完全であり、エージェントの軌跡をオンラインで追跡する必要がある。そのため、完全に指定された環境に依存するプランナーは失敗する。
2. プロンプトの未指定性: 自然言語によるタスクは、規範的な要求を省略することが多い。プロンプトの明示的な目標のみを最適化するプランナーは、目標は達成しても、暗黙の規範（例：赤信号を無視して目的地に到達する）に抵触する可能性がある。
3. 単一クラスのデータ: 利用可能な事前データは、すべての記録されたトレースが「許容可能」である未注釈の運用ログのみである。違反のラベル、好みのペア、あるいは規範の記号的仕様は存在しないため、標準的な報酬シェーピング、行動クローニング、または嗜好ベースの強化学習は適用できない。

手法: EvoPlan フレームワーク

EvoPlanは、大規模言語モデル（LLM）を形式検証および進化計算的探索と統合した、ニューロ・シンボリック・フレームワークである。これは以下の3つの明確な段階で動作する。

1. オフライン制約マイニング（進化型STLフィッティング）

システムは、未注釈のデモンストレーションデータから、単一のグローバルな**信号時相論理（Signal Temporal Logic: STL）**制約 $\Phi_{mob}$ を学習する。

• 反事実的合成 (Counterfactual Synthesis): データが単一クラス（すべてが許容可能）であるため、システムは手続き的な摂動（例：速度超過、混雑）とLLMベースの違反生成器を用いて、負のクラス（$D^-$）を生成する。これにより、問題を教師あり分類タスクへと変換する。
• 進化探索: LLM駆動の進化型探索（AlphaEvolveに着想を得たもの）が、信号原子（速度、クリアランス、衝突までの時間など）の文法を用いてSTL式を進化させる。適合度関数は、正の集合（$D^+$）に対する堅牢性を最大化しつつ、負の集合（$D^-$）に対する充足性を最小化し、複雑さにペナルティを課す。
• 汎用性: この単一の手順により、コード化されたルール（例：nuPlanログからの「赤信号で止まる」）と、集団の嗜好（例：SCANDテレオペレーションデータからの社会的間隔）の両方を復元できる。

2. 進化的PDDLプラン合成

システムは、離散的なアクションシーケンスを生成するために進化的PDDLプランナーを採用する。

• 提案メカニズムとしてのLLM: 単独のプランナーとしてではなく、LLMが固定されたドメインと問題に対してPDDLプランを提案および修復を行う。
• バリデータ・カスケード: プログラマティックなカスケード（PDDL構文チェック、VALシミュレーション、目標到達可能性、およびSTL堅牢性チェック）が候補をスコアリングする。
• 反復的修復: LLMは、バリデータからの具体的なフィードバック（例：「アクションXが前提条件Yに失敗した」）に基づいて、次の変異を決定する。これにより、「検証済みプレフィックス（接頭辞）」が反復を通じて単調に成長することが可能になる。
• 不整合への堅牢性: システムは、オープンワールドのシナリオや語彙の不整合（例：目標が「加熱された」に対し、アクションが「トーストする」）を、検証前に述語・記号マップを導出するLLMを使用することで処理する。

3. 制約付き実行ループ

実行時、システムは離散的なPDDLプランと連続的なロボット実行を橋渡しする。

• ウェイポイント展開: 各PDDLアクションは、ナビゲーション層（例：Nav2）に送られ、ウェイポイントシーケンスが生成される。
• シールド（遮蔽）: ウェイポイントシーケンスは、学習されたグローバルSTL制約 $\Phi_{mob}$ に対してチェックされる。
• 違反時の再計画: シーケンスが $\Phi_{mob}$ に抵触する場合、そのアクションは拒否される。システムはプランの検証済みプレフィックスを確定し、現在の世界状態に基づいて初期状態を更新し、新しいサフィックス（接尾辞）を生成するためにプランナーを再起動する。これにより、安全性や実現可能性が損なわれた場合にのみプランナーが再活性化される、クローズドループシステムが構築される。

主な貢献

1. データ駆動型STLマイニング: 反事実的な負の例を合成することにより、単一クラスのデモンストレーションデータから単一のグローバルなモビリティ制約を抽出する手法。これはルールベースおよび嗜好ベースの両方の領域に適用可能である。
2. 進化的PDDLソルバー: 検証されたループ内でLLMを使用して提案と修復を行うプランナー。語彙の不整合やオープンワールドにおける信念の成長に対しても堅牢性を示す。
3. 制約付き実行アーキテクチャ: PDDLプランをウェイポイントにコンパイルし、学習されたSTL制約に対して検証を行い、違反時に再計画をトリガーする実行時ループ。これにより、基礎となるポリシーを再学習することなく安全性を確保する。
4. ローカル展開: すべてのLLM呼び出しを含むパイプライン全体が、ローカルにホストされたオープンウェイトモデル（Qwen3-32B）上で動作し、クラウドへの依存なしにロボットへの展開を可能にする。

実験結果

著者らは、3つのベンチマークを用いてフレームワークを評価している：

• STL制約転移（シールド）:
  • 運転 (nuPlan $\to$ Bench2Drive): 抽出されたルールベースの制約により、Qwen2.5-VL運転ポリシーにおける赤信号違反が77%、衝突が71%減少し、総合的なドライビングスコアが向上した。
  • 社会的ナビゲーション (SCAND $\to$ HA-VLN-CE): 抽出された嗜好ベースの制約により、屋内ナビゲーションタスクにおける回避可能な接触が、PointNavで82%、MLPで93%減少した。これは、安全性の分布における「不安全なテール」を効果的に圧縮している。
• プランニング性能 (ALFWorld Text):
  • オープンワールドのALFTextベンチマークにおいて、EvoPlanは未知のタスクに対して98.5%の成功率を達成し、強力なベースライン（例：NL-PDDLの94%、Direct LLMの約20%）を上回った。
  • 決定的なことに、目標の語彙がアクションモデルの語彙と一致しない場合でも、この性能（98.5%）を維持した。これは他の手法が大幅に低下したのと対照的である。
  • また、深さ10を超える最適なプランを必要とするタスクも解決した。
• エンドツーエンド実行 (Gazebo):
  • 9〜15人の歩行者が存在するシミュレーションされた工場環境において、システムは緩やかな劣化を伴いつつピック・アンド・ドロップ・ミッションを完了した。1件のミッションは極端な密度により失敗したが、クリアランスの閾値が違反された際に再計画を行うことで、パーソナルスペースへの露出を低く抑え、4/5回の試行で衝突を回避した。

重要性と主張

本論文は、EvoPlanが「両者の良いとこ取り」のアプローチを提供すると主張している。すなわち、プランの生成と修復にはLLMの流暢さと文脈理解を活用しつつ、実行可能性と安全性を保証するために記号的検証とデータ由来の時相論理に依存するというものである。

著者らは、システムがニューラルモデルを「検証なしの権威」としてではなく、**「候補の生成器」**として扱うことを強調している。運用ログから直接制約を学習することで、手動で書かれた安全仕様やラベル付けされた違反データの必要性を回避している。実験結果は、このニューロ・シンボリック・ループがオープンワールドの動態や語彙の不整合に対して堅牢であることを示唆しており、クラウドインフラを必要としない、安全で適応的なロボットプランナーを展開するための道筋を示している。