LaGO: Latent Action Guidance for Online Reinforcement Learning

技術要約：LaGO – オンライン強化学習のための潜在的アクション・ガイダンス（Latent Action Guidance）

問題提起
大規模言語モデル（LLM）は、プランニングや逐次的な意思決定において顕著な可能性を示しているが、既存のアプローチの多くは、LLMを直接的なコントローラー、明示的な高レベルプランナー、あるいは世界モデルのシミュレーターとして使用することに依存している。これらの手法は、LLMに対して精密なアクション、詳細な計画、または正確な将来の軌跡の生成を要求する。しかし、この要求は実用においては過度に強力すぎる場合が多い。LLMの能力には大きなばらつきがあり、たとえ小さな予測誤差であっても、精密な実行と長期間の推論を必要とする強化学習（RL）の設定では、時間の経過とともに誤差が蓄積し、制御性能の低下を招く。その結果、LLMを主要なコントローラーとして直接利用することは、特に観測やアクションが自然に言語や視覚形式で表現されていないベクトル化された環境においては、信頼性に欠ける。

手法
これらの課題に対処するため、著者らは**LaGO（Latent Action Guidance for Online Reinforcement Learning）**を提案する。これは、事前学習済みのLLMを明示的なコントローラーとしてではなく、潜在的なアクション・プライア（行動事前分布）を通じた「ソフト」なガイダンスの源泉として活用する2段階のフレームワークである。

1. ステージ1：オフライン・プライア学習
   本フレームワークは、オフラインのエキスパート・データセット（$D$）から潜在的な方策プライアを学習することから始まる。事前学習済みのLLMバックボーン（$F_\phi$）を使用し、デモンストレーションからの非テキスト的な状態・アクション系列を、学習可能な投影モジュール（$E_s$ および $E_a$）を介して潜在表現へと変換する。これらの埋め込みは、テキストによるタスク記述（$x$）と共にLLMに入力される。新しく追加されたアクション・ヘッド（$G_\theta$）は、軌跡の接頭辞（$\tau_t$）とタスク記述が与えられた際に次のアクション（$a_{t+1}$）を予測するように、教師ありファインチューニングを通じて訓練される。目的関数は、エキスパート・データの負の対数尤度を最小化することであり、これにより、最適なコントローラーではなく、粗い行動の事前知識を捉えた潜在的な方策プライア $\pi_K(a_{t+1} | x, \tau_t)$ を作成する。

2. ステージ2：潜在的ガイダンスを用いたオンラインRL
   第2ステージでは、訓練された潜在的プライア $\pi_K$ を凍結し、オンラインRL方策 $\pi_\psi(a|s)$（例：PPOやSAC）を導くために使用する。RLエージェントは環境と相互作用してロールアウトを収集するが、方策の最適化はプライアに向けて正則化される。総学習損失は以下のように定義される：
   $$L_{online} = L_{PG} + \beta L_{prior}$$
   ここで、$L_{PG}$ は標準的な方策勾配の目的関数であり、$\beta$ はプライアの影響度を制御する。

   • 離散アクション空間の場合、プライアの予測アクションに対する負の対数尤度がプライア損失となる。
   • 連続アクション空間の場合、プライア損失はプライア分布と現在のモデルの方策との間のクロスエントロピー項として実装され、これは（固定されたプライアのエントロピーを除いて）KLダイバージェンス正則化と等価な最適化信号として機能する。

この設計により、RL方策は、LLMが相互作用中に正確な決定を下すことを要求することなく、LLMにエンコードされた構造的知識の恩恵を受けることができる。

主な貢献

• 新規フレームワーク： LaGOは、事前学習済みLLMの知識を潜在的な行動プライアとしてオンラインRLに活用する手法を導入し、LLMを直接的なコントローラーとして使用する際の厳格な精度要求を緩和する。
• 2段階のアーキテクチャ： オフラインのプライア学習（エキスパート・データによる教師ありファインチューニング）とオンラインの方策最適化（正則化による）を分離することで、プライアがスタンドアロンのエージェントとして機能するには不十分な精度であっても、システムがLLMの知識を利用することを可能にする。
• 汎用性： 本フレームメントは、プライアの正則化項を特定のアクション空間に適応させることで、離散および連続の制御ドメインの両方で動作するように設計されている。

実験結果
著者らは、CLEVR-Robot（離散制御）とMeta-World（連続制御）の2つのベンチマークを用いてLaGOを評価した。実験では、LaGOを「Vanilla PPO」と比較し、Real、Rephrase、Easy、Hardの4つのタスクカテゴリについて検証した。

• 性能向上： LaGOは、報酬と成功率の両方において、一貫してVanilla PPOを上回った。
  • CLEVR-Robotにおいて、平均成功率は**15.1%から27.2%**に上昇した。
  • Meta-Worldにおいて、平均成功率は**2.7%から15.2%**に上昇した。
• 汎用性： 「Easy」および「Hard」の未知のタスクを含むすべてのタスクカテゴリにおいて改善が見られ、これはプライアが単なる記憶ではなく、汎用的なガイダンスを提供していることを示唆している。
• LLMの品質の影響： Meta-WorldにおけるLlama-2-7BプライアとTinyLlama-1.1Bプライアを比較したアブレーション研究により、より強力な事前学習済みモデルほど、より効果的な潜在的プライアが得られることが示された。Llama-2-7Bを用いたLaGOは一貫して最高の性能を達成したが、TinyLlamaプライアは時としてVanilla PPOを下回る結果となり、基盤モデルの品質の重要性が浮き彫りになった。

意義と主張
本論文は、LaGOが、事前学習済みLLMの知識を強化学習に統合するためのシンプルかつ実用的なフレームワークであることを主張している。主な意義は、LLMが直接的なコントローラーを務めるには精度が不十分な場合であっても、LLMがオンラインの意思決定とプランニングを改善できることを示した点にある。LLMを明示的なプランナーではなく、ソフトな潜在的ガイダンスの源泉として扱うことで、本フレームワークは、事前学習中に獲得された豊かな帰納バイアスと世界知識を活用しつつ、誤差の蓄積というリスクを軽減している。

著者らは、事前学習済みLLMにエンコードされた知識と汎化能力は、プランニングやRLのための強力なプライアとして機能し得ると結論付けている。さらに、基盤モデルが向上するにつれて、このガイダンスの有効性は自然に高まり、相互作用中の精密なアクション生成を必要とせずに、複雑な意思決定タスクにおいてLLMを活用するためのスケーラブルな道筋を提供するだろうと示唆している。