From LLM-Generated Specifications to Learned Quadruped Locomotion

=== 技術要約：LLM生成仕様から学習された四足歩行制御へ ===

問題提起

深層強化学習（RL）は、四足歩行ロボットの機敏な移動を可能にしてきたが、その性能は報酬関数の手動設計に大きく依存している。これらの報酬設計には、局所的な項（追従、姿勢、エネルギー）のバランスを取るための高度な専門知識が必要であり、第一原理に基づく設計よりも経験的なチューニングに頼ることが多い。さらに、数値的な局所報酬は、望ましいグローバルな時間的挙動を明示的に記述できないという欠点がある。これは、歩行、トロット、バウンドといった歩容の違いが、接地タイミングや支持パターンに大きく影響するマルチゲイト（多種歩容）移動において特に重要である。Signal Temporal Logic (STL) のような形式的な仕様は、解釈可能性と定量的なロバスト性を提供するものの、それらを記述するには依然として多大な専門知識を必要とする。一方で、自然言語から報酬コードを直接生成する近年の大規模言語モデル（LLM）を用いたアプローチは、複雑な時間的制約に必要な構造的な厳密さに欠けることが多い。本論文は、LLMを用いて解釈可能な時間的構造を持つ報酬仕様を生成しつつ、その数値パラメータをエキスパートデータに基づいて接地させるという課題に対処する。

手法

著者らは、LLMを用いてパラメトリックSignal Temporal Logic (PSTL) 仕様の「構造」を生成し、エキスパートの軌跡を用いて「パラメータ」をインスタンス化およびフィルタリングするパイプラインを提案する。

1. LLMによる仕様生成:

   • モデル（GPT-5.5およびQwen 3.6）に対し、自然言語による移動目標と制約付きSTL文法を用いてプロンプトを入力する。
   • 決定的な手法として、LLMにはコマンド追従、安全性、および歩容構造のための「記号的な構造（テンプレート）」のみを提案させ、数値的な閾値や時間定数は後で推定すべき記号的なパラメータとして残す。これにより、LLMが恣意的な値を捏造することを防ぐ。
   • 以下の2つの設定を探索する：
     • ゲイト・アウェア（Gait-Aware / 歩容考慮型）: プロンプト内で、フルード数が遷移する速度領域に基づき、3つの速度レジーム（ウォーキング・トロット、トロット、バウンド）を定義する。LLMは各レジームに対して個別の仕様を生成する。
     • ゲイト・アグノスティック（Gait-Agnostic / 歩容非考慮型）: プロンプトで特定の歩容を指定せず、ロボットが接地パターンを自律的に発見できるようにする。

2. データ・グラウンディングとエキスパート整合性フィルタリング:

   • 生成されたPSTLテンプレートの数値パラメータは、各レジームにおける50個のエキスパート軌跡のデータセットから推定される。
   • フィルタリング機構を適用する：生成された仕様は、エキスパートの軌跡に対する中央値のロバスト性が非負（$Q_{0.50}(R_\phi) \ge 0$）である場合にのみ保持される。これにより、エキスパートの挙動によって系統的に違反されている仕様を排除し、報酬信号が実演された能力と一致するようにする。

3. 報酬構築と学習:

   • 保持された仕様は、STLのロバスト性意味論を用いて、滑らかで有限履歴の報酬関数へと変換される。
   • アクティブな仕様に対するロバスト値は、ソフトミン関数を用いて集約され、大きな大きさによる支配を防ぐために $\tanh$ を通じて正規化される。
   • 最終的なスカラー報酬は、安全性、追従、およびパターンの項の加重和となる。
   • ポリシーは、MuJoCo XLA (MJX) シミュレーション環境内のBarkour四足歩行ロボットを用い、近接方策最適化（PPO）を使用して学習される。

主な貢献

1. LLM-エキスパート・ハイブリッド・パイプライン: LLMが解釈可能な移動仕様の記号的構造を生成し、エキスパートデータがその数値パラメータを接地させる新しいフレームワーク。
2. エキスパート整合性フィルタ: エキスパートのデモンストレーションされた挙動と矛盾する（中央値のロバスト性が0未満の）LLM生成仕様を排除し、系統的に違反される制約が報酬に導入されるのを防ぐメカニズム。
3. 定式化の比較評価: 歩容構造を明示的に規定する場合（ゲイト・アウェア）と、創発的な挙動を許容する場合（ゲイト・アグノスティック）が、学習された移動にどのように影響するかについての調査。
4. ベンチマーク: 手動設計のヒューリスティック、直接的なLLM生成報酬コード（Text2Reward）、およびエキスパート切り替えオラクルとの包括的な比較。

結果

研究では、コスト・オブ・トランスポーテーション（CoT）、生存率、コマンド成功率、および歩容一致を含む指標を用い、前方速度0.3 m/sから2.1 m/sまでの範囲で性能を評価している。

• ゲイト・アグノスティック（歩容非考慮型）の性能:

  • GPT-5.5およびText2Reward（ゲイト・アグノスティック）は、全速度域において低いCoTを維持しつつ、100%の生存率とコマンド成功率を達成した。
  • しかし、視覚的な確認により重大な欠陥が判明した。これらのポリシーは、低速域（0.3 m/s）を含む全速度域において「バウンドに近い」接地パターンを学習していた。これは不自然で高頻度な脚の動きと垂直方向の振動を引き起こしており、高い定量的な成功スコアが必ずしも動的に適切な制御を保証しないことを示している。
  • Qwen 3.6（ゲイト・アグノスティック）は、速度 $\ge 1.6$ m/s において生存に失敗した。

• ゲイト・アウェア（歩容考慮型）の性能:

  • Qwen 3.6 (ゲイト・アウェア): 全速度域（0.3–2.1 m/s）で100%の生存率とコマンド成功率を達成し、高速域でターゲットとなる「バウンド」歩容を正常に一致させた。
  • GPT-5.5 (ゲイト・アウェア): 低・中速域の歩容は良好に捉えたが、速度 $\ge 1.9$ m/s でコマンド追従に失敗した。
  • Text2Reward (ゲイト・アウェア): 高速域（1.9–2.1 m/s）で完全に失敗し、すべてのロールアウトが終了した。
  • 手動設計（ヒューリスティック）: 最高速度（2.0–2.1 m/s）において追従精度を失った。

• ロバストネス・ホライゾン ($H$) のアブレーション解析:

  • 短い時間的ホライゾン（$H \in \{1, 5\}$）の方が、一般に、より安定し成功しやすいポリシーをもたらした。
  • 長いホライゾン（$H=20, 30$）は、しばしば性能を低下させた。これは、STLの「常に（$G$）」演算子がウィンドウ内の最小値に依存するため、過去の違反が報酬信号の中に長く残り続け、クレジット割り当てを困難にするためである。

• モデル比較:

  • GPT-5.5とQwen 3.6の相対的な性能は、制御設定に強く依存した。GPT-5.5はゲイト・アグノスティックの設定で優れていた一方、Qwen 3.6はマルチゲイトの設定、特に高速域においてそれを上回った。

意義と主張

本論文は、LLM生成とポリシー学習の間の中間表現として時間論理を挿入することが、直接的な報酬コード生成（Text2Reward）と比較して、特に高速移動において明確な利点を提供することを主張している。STLベースのアプローチ（特にマルチゲイト設定におけるQwen 3.6）は、直接的なコード生成が失敗した高速の「バウンド」歩容を正常に学習できた。

しかし、著者らは以下の点において、研究結果に対して慎重な立場をとっている：

• 普遍的な優位性の不在: どちらのタスク設定（ゲイト・アウェア vs アグノスティック）および全ての評価基準においても、単一の報酬定式化が普遍的に支配的であるということはない。
• 定量的指標の限界: ゲイト・アグノスティックのポリシーが低速域でバウンド歩容を採用した例に見られるように、高いコマンド追従成功率が、意図された歩容構造や自然な動きの回復を保証するわけではない。
• シミュレーションの制約: 著者らは、評価がシミュレーション（MJX）内に限定されていることを明記している。ドメインランダム化は使用されているが、学習されたマルチゲイト挙動のシミュレーションから実機への転移可能性（sim-to-real transferability）はまだ確立されていない。

本研究は、LLMが形式的な仕様の「構造」を提案することには効果的であるが、その「パラメータ」および「妥当性」は、堅牢で解釈可能かつ効果的な移動ポリシーを生成するために、エキスパートデータによって厳密に接地される必要があることを示している。