技術要約：Natural Language Actor-Critic (NLAC)

問題提起

大規模言語モデル（LLM）エージェントは、ツール利用、ウェブブラウジング、およびマルチターン対話を含む、複雑で長期的なインタラクションを担うことが増えています。LLMはシングルターンのタスクには長けていますが、動的なプランニングや、長期的なシーケンスにおけるクレジット割り当て（credit assignment）には苦慮します。PPOやGRPOなどの従来のポリシー勾配（policy gradient）を用いた強化学習（RL）アプローチは、報酬が疎（sparse）であることや、長い軌跡内の特定の行動に対してどのようにクレジットを割り当てるべきかという困難さにより、不安定性やサンプル効率の低さに直面することがよくあります。

既存のアクター・クリティック法は、クリティックを学習させることでより密なフィードバックを提供しようと試みています。しかし、標準的なスカラー値のクリティックは、言語アクション空間には不適切です。これらは豊かな失敗モードを単一の数値に圧縮してしまい、「言語ポリシーがいかにしてアクションを洗練させるべきか」という指針をほとんど提供できません。自然言語による価値（natural language values）を用いた過去の試み（例：Natural Language Reinforcement Learning, NLRL）は、オンポリシーのロールアウトをインコンテキストで集計することに依存していたため、限界がありました。このアプローチは、軌跡が長くなり環境のダイナミクスが複雑になるにつれてスケーラビリティを失い、グリッドワールドのような単純な環境に限定されてしまいます。

手法：Natural Language Actor-Critic (NLAC)

本論文では、生成的なLLMクリティックを用いて自然言語空間で価値を生成する、新しいアルゴリズムである Natural Language Actor-Critic (NLAC) を提案しています。NLACは、オンポリシーサンプルのインコンテキスト集計に依存することなく、汎用的かつスケーラブルなオフポリシー学習を可能にします。

コア構成要素

このフレームワークは、異なるプロンプトを使用して、単一の基礎となるLLMから3つの異なる機能コンポーネントをインスタンス化します。

1. 言語サクセサーモデル ($M^\pi$):
   スカラーの収益を予測する代わりに、クリティックは将来のロールアウトのコンパクトなテキスト要約を予測するように訓練されます。これはサクセサー関数として機能し、状態 $s_t$ とアクション $a_t$ を受け取り、将来の軌跡 $(s, a)_{t+1:T}$ と最終的な報酬に関するテキスト記述の分布を生成します。これは、1ステップの遷移からブートストラップを行う Language Bellman Backup ($B_L$) を用いて訓練されます。このバックアップは、即時の次状態とアクションを、ブートストラップされた将来の記述と組み合わせ、将来の記述を「割引（discount）」することで即時の結果を強調します。これにより、完全なオンポリシーの軌跡を必要とせずに、時間差学習（temporal-difference learning）を介したオフポリシー学習が可能になります。

2. 言語エバリュエーター ($E$):
   特定のアクションを評価するために、クリティックは（サクセサーモデルによって生成された）複数のサンプリングされた将来の記述を集約し、テキストによる批評（critique）を生成します。この批評は、アクションの最適性についてコメントし、予測された将来の結果に基づいた正当性を提示します。このステップは、追加の訓練なしに、テキストをインコンテキストで推論するというLLM固有の能力を活用しています。

3. リファインメント・ポリシー ($\pi_r$):
   ポリシーの改善は、自己リファインメント（self-refinement）パラダイムを通じて行われます。すべての可能なアクションを列挙することは（大規模なトークン語彙においては）不可能であるため、ベースとなるポリシーはまず初期のアクションを生成します。その後、リファインメント・ポリシーは、このアクションとエバリュエーターからのテキストによる批評を受け取り、クリティックの予測に従ってより優れていると期待される洗練されたアクション $a^r_t$ を生成します。

学習アルゴリズム

アルゴリズムはオフポリシー形式で動作します。

• ポリシー評価: 言語サクセサーモデルは、Language Bellman Backupによって生成されるターゲット分布と、自身の予測する将来の記述との間のダイバージェンスを最小化するように訓練されます。これには、テキスト出力に対するクロスエントロピー損失（KLダイバージェンス）が使用されます。
• ポリシー改善: ベースとなるポリシーは、リファインメント・ポリシーから生成された洗練されたアクションからの蒸留（distillation）を通じて更新されます。目的関数は、クリティックによる評価と状態に条件付けられた、リファインメント・ポリシーが生成する洗練されたアクションの対数尤度を最大化することです。

主な貢献

1. 言語空間におけるスケーラブルなオフポリシー学習: NLACは、オンポリシーのロールアウトのインコンテキスト集計に依存することなく、自然言語空間での汎用的な価値学習を行う最初の研究です。Language Bellman Backupを介して言語サクセサーモデルを訓練することで、スケーラブルなオフポリシー学習を実現しました。
2. 解釈可能で実行可能な批評: 本手法は、スカラー値の代わりに、なぜアクションが最適でないのかを説明し、改善策を提案する自然言語の批評を採用しています。これにより、スカラー信号よりも効果的にポリシーのリファインメントを導くために、LLMの推論能力を活用しています。
3. 理論的収束: 著者らは、学習された言語表現とサクセサー特徴量（successor features）を結びつける理論的分析を提供しています。緩やかな実現可能性の仮定の下で、言語クリティックが単調なマッピングを介して真のスカラーQ関数を回復できることを証明し、最適なポリシーへの収束を保証しています。
4. 長期的タスクにおける経験的な優位性: NLACは、複雑なタスクにおいて既存のファインチューニング・ベースライン（PPO, GRPO, RFT）やプロンプティング手法（ReAct）を凌駕することを実証しました。

実験結果

著者らは、以下の3つのベンチマークでNLACを評価しました。

• 数学的推論 (MATH500-Hard): シングルステップのタスクであり、NLACは他のファインチューニング手法と同等の性能を示し、生成的な報酬モデルを用いた自己蒸留へと効果的に還元されました。
• 戦略的対話 (20 Questions): 一貫したプランニングを必要とするマルチターンゲームです。NLACは 26.0%の勝率 を達成し、PPO (17.2%) や GRPO (18.4%) を大幅に上回りました（GPT-5を用いたプロンプティング・ベースラインは30.2%でしたが、NL_ACの小型モデルはファインチューニングされたベースラインを上回りました）。
• ツール利用と対話 ($\tau$-Bench): APIコールと厳格なポリシーガイドラインを含むカスタマーサービス・タスクです。NLACは小売シナリオで 0.42、航空シナリオ（学習時未経験）で 0.22 の勝率を達成し、他のすべてのファインチューニング・ベースラインを上回りました。特筆すべき点として、NLACはPPOと比較して収束に必要な勾配ステップ数が少なくなりました。

定性的分析により、NLACの自然言語クリティックが、特定の失敗モード（例：ツール呼び出し制限の違反や線形探索戦略の使用）を正確に特定し、スカラー報酬では伝えられない実行可能な修正案を提供できることが示されました。

意義と主張

本論文は、NLACが既存のオンポリシー手法と比較して、LLMエージェントのためのより スケーラブルで安定した学習パラダイム を提供すると主張しています。価値学習をスカラー空間から自然言語空間へと移行することで、この手法は長期的なタスクにおけるクレジット割り当ての問題をより効果的に解決します。著者らは、このアプローチがLLMの固有の推論能力をより良く活用し、ポリシー更新の「理由」を理解し、明確にすることを可能にすると述べています。

著者らは、ベースとなるLLMが妥当な未来を生成し、プロンプティングを通じてアクションを洗練させる能力に依存しているという限界も認めています。非常に複雑なタスクに対しては、この依存関係を取り除くために、タスクを階層的に分解する必要がある可能性があると示唆しています。しかし、現在の結果は、NLACが対話やツール利用のドメインにおいてエージェントを訓練するための強力な代替手段であることを示唆しています。