When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

技術要約：LLMはいつ、逐次的なRLタスクにおける十分な方策最適化器となり得るのか？

問題提起
強化学習（RL）は、環境との相互作用を通じて期待リターンを最大化する方策を生成することを中心的な目標として確立してきました。しかし、標準的なRLアルゴリズム（PPO、SAC、DQNなど）は、膨大な環境相互作用を必要とし、ハイパーパラメータ調整、モデルアーキテクチャの選択、およびアルゴリズムの選択への依存性による脆弱性があるため、計算集約的であることがしばしばあります。本論文は、大規模言語モデル（LLM）が、標準的なRLアルゴリズムのドロップイン・リプレイスメント（代替）として機能する効果的な「ブラックボックス」方策最適化器になり得るかどうかを調査しています。具体的には、著者らは以下の問いを投げかけています：LLMに対し、状態空間、行動空間、および報酬関数のPythonによる記述のみを与えた場合、LLMは、典型的なRLに見られる広範な設計決定やサンプル非効率性を伴うことなく、期待リターンを最大化する方策を生成し、洗練させることができるでしょうか？

手法：プロンプトによる方策最適化（PromptPO）
著者らは、LLMが実行可能なPythonコードとして方策を生成する反復フレームワークである**Prompted Policy Optimization (PromptPO)**を導入しています。このプロセスは以下のように動作します：

1. 入力： LLMは、環境の状態空間、行動空間、および報酬関数のPython形式による記述を受け取ります。決定的なのは、モデルフリーの設定でこの手法を評価するために、著者らが明示的な遷移ダイナミクスを提供することを避けている点です。
2. 評価関数の生成： 方策生成の前に、LLMはFeedbackクラスを実装するように促されます。このクラスは、軌跡レベルの統計量（平均報酬、最小値/最大値など）を要約し、RLアルゴリズムが時間差誤差（TD誤差）を使用するのと同様に、生の報酬信号を超えた監督を提供します。
3. 方策の生成： LLMは、期待リターンを最大化するように観測値を受け取り行動を出力する、Pythonで実装された方策クラスを生成するように促されます。
4. 反復的な洗練：
   • $N$ 個の候補方策がLLMからサンプリングされます。
   • 各方策は環境内でロールアウト（試行）されます。
   • 最も優れたパフォーマンスを示す方策（リターンに基づく）が選択されます。
   • LLMは、新しい方策のパフォーマンスを過去の試行と比較した自然言語による考察（リフレクション）を受け取ります。
   • このフィードバックと過去の最良の方策の履歴を用いて、LLMは次ラウンドのための新しい方策を生成します。
   • コードの実行エラーが発生した場合、LLMは関連するコード・アーティファクトを再実装するように促されます。

著者らは、すべての実験においてGemini 3 Proを使用しています。この手法は、明示的にそれらを使うようプロンプトを与えなくても、ルールベースのプランからバリューイテレーションのようなプランニングアルゴリズムに至るまで、様々な最適化戦略を実装するコードを合成するLLMの能力に依存しています。

主な貢献

• フレームワークの導入： LLMを、直接的な行動やパラメータベクトルを出力するのではなく、実行可能なコードを出力する方策最適化器として扱う手法としてのPromptPOの提案。
• 実証的なベンチマーク： 4つの異なるドメイン（困難な探索環境であるNoiseWorld、Point Maze、ロボット操作のMeta-World、連続制御のMuJoCo、および実世界の制御タスクであるPandemic Mitigation、Glucose Monitoring、Traffic Control）にわたる包括的な評価。
• 十分条件の分析： LLMベースの最適化が十分であるシナリオと、失敗するシナリオの特定。これらは、環境に関する事前知識や最適化戦略を活用できる能力と特に関連付けられています。

実験結果
本研究では、19の環境においてPromptPOを標準的なモデルフリーRLベースライン（PこそPPO、SAC、DQN/QR-DQN、TD3）と比較しています：

• 探索環境： PromptPOは、19の環境中15の環境全体で、最高のRLベースラインと同等またはそれを上回る性能を示しました。NoiseWorld（ランダムに生成されたグリッドワールド）およびPoint Mazeにおいて、PromptPOは強力な探索能力を示しています。特にNoiseWorldでは、PromptPOは環境からのフィードバック更新を必要とせずに最適なパフォーマンスを達成することが多く、これは、生成されたコード内にプランニングアルゴリズム（例：バリューイテレーション、ダイクストラ法）を直接実装するために、事前知識を活用していることを示唆しています。
• ロボティクス（Meta-World vs. MuJoCo）：
  • Meta-World： PromptPOは、すべてのタスクにおいてRLよりも大幅にサンプル効率が高く、「Pick and Place」タスクでは最終的なRLの性能を上回りました。ここでの行動空間は、エンドエフェクタの変位を含みます。
  • MuJoCo： PromptPOは標準的なRLアルゴリズムに及びませんでした。著者らは、これを微細な連続制御（関節トルク）の要求に起因するものと考えており、現在のLLMはそれらを効果的に推論することに苦慮しています。
• 実世界の制御： パンデミックのロックダウン規制、インスリン投与、自動運転車の交通制御を含むタスクにおいて、PromptPOは大幅にサンプル効率が高く（例：Pandemic Mitigationにおいて60倍以上）、同じトレーニング予算内でPPOよりも高い最終リターンを達成することがよくあります。
• 方策のタイプ： 明示的な指示なしに、PromptPOは調整された比例制御器、ルールベースのヒューリスティック、およびプランニングアルゴリズムを含む多様な方策のタイプを自律的に生成し、環境の性質に合わせて戦略を適応させます。

意義と主張
本論文は、LLMベースの方策最適化が、多くの逐次的決定プロセスにおいて、標準的なRLに代わる十分かつしばしばより優れた選択肢であることを主張しています。特に、LLMが環境に関する事前知識や効果的な最適化戦略を活用できる場合に顕著です。

• サンプル効率： PromptPOの主な利点は、最適化と制御に関する構造的知識をエンコードした膨大なデータセットで事前学習されたLLMに由来する、そのサンプル効率の高さにあります。これにより、広範な環境相互作用の必要性が軽減されます。
• アクセシビリティ： PromptPOは、標準的な手法よりも少ないハイパーパラメータとアルゴリズム設計決定を必要とするため、RLへの参入障壁を下げ、深いRLの専門知識を持たない実務家にとっても利用しやすくします。
• 限界： 著者らは、この手法が現在、微細な連続制御（MuJoCoの関節トルクなど）を必要とする環境や、報酬関数がPython関数（例：RLHFを通じて学習されたもの）ではなく、解釈不可能なニューラルネットワークである環境においては苦戦することを謙虚に認めています。
• 汎化性能： 結果は、PromptPOの成功が、環境に関する特定の知識（ランダムに生成されたNoiseWorldでの成功が示す通り）よりも、効果的な最適化戦略に対する事前知識に由来している可能性が高いことを示唆しています。

結論として、LLMはすべての領域で人間の能力を凌駕する段階にはまだ至っていないものの、幅広い設定において高性能な方策を生成するための実用的かつ強力なツールであり、実世界のアプリケーションにおけるRLのより広範な採用を促進する可能性があると述べています。