論文「Co-Evolution of Policy and Internal Reward for Language Agents」の技術的サマリー

本論文は、大規模言語モデル（LLM）エージェントが長期的なタスクを実行する際における「スパースで遅延した報酬」という根本的な課題に対処するため、Self-Guide（自己誘導）と呼ばれる新しい手法を提案しています。この手法は、エージェントが推論時（推論段階）と学習時の両方で使用可能な「自己生成された内部報酬」を創出し、方策（Policy）と内部報酬を共進化させる枠組みを構築するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

課題：スパース報酬とクレジット割当の難しさ

LLM エージェントは、Web ナビゲーション、科学実験、物理的相互作用など、長期的な対話環境で動作しますが、多くの場合、タスクの最終結果（成功/失敗）のみが報酬として与えられます。

• スパースな報酬: 中間ステップごとのフィードバックが欠如しており、どの中間判断がタスクの達成に寄与し、どの判断が不要または有害だったかを特定するのが困難です。
• 既存手法の限界:
  • 事後クレジット割当: 軌跡収集後に評価し直す手法は、推論時の意思決定を直接支援しません。
  • 外部報酬モデル: 別途学習されたプロセス報酬モデル（PRM）を使用する手法は、計算コストが高く、方策の分布と乖離（ドリフト）するリスクがあります。
  • 推論と学習の分離: 多くの手法では、推論時のガイダンスと学習時の報酬信号が分離されており、相互に強化し合う構造になっていません。

2. 提案手法：Self-Guide

Self-Guide は、エージェント自身が生成する「言語による自己誘導信号（verbal self-guidance signal）」を、推論時の行動指針と学習時の内部報酬の両方に転用するユニークなアプローチです。

2.1 基本的な仕組み

エージェントは各ステップ $t$ で、以下の 2 段階の生成を行います：

1. 自己誘導信号の生成 ($z_t$): 現在の軌跡（これまでの行動と観測）に基づき、「進行状況は順調か」「軌道から外れていないか」などを自然言語で評価します。
   $$z_t \sim \pi_\theta(\cdot \mid h_{t-1}, o_t)$$
2. 行動の生成 ($a_t$): 生成された自己誘導信号 $z_t$ を文脈として含め、次の行動を決定します。
   $$a_t \sim \pi_\theta(\cdot \mid h_{t-1}, o_t, z_t)$$

2.2 内部報酬への変換

学習時には、この言語信号 $z_t$ をスカラー報酬 $r^{sg}_t$ に変換して、スパースな環境報酬 $R_{env}$ に加算します。

• 変換関数 $g(\cdot)$: 言語評価を数値化します（例：「ポジティブ」→ +0.1, 「ニュートラル」→ 0, 「ネガティブ」→ -0.1）。
• 統合報酬:
  $$R(\tau; u) = R_{env}(\tau) + \lambda(u) \sum_{t=1}^{T} r^{sg}_t$$
  ここで、$\lambda(u)$ はトレーニング段階 $u$ に応じて変化する係数です。

2.3 ステージ別信頼スケジュール（Stage-Wise Trust Schedule）

自己生成された報酬は初期段階では不正確であるため、安定的な学習のために 4 つのフェーズで信頼度 $\lambda(u)$ を制御します（図 1, 式 10 参照）。

1. フェーズ I（ウォームアップ）: $\lambda=0$。自己誘導信号は行動のガイダンスとしてのみ使用し、報酬には含めません。エージェントが環境報酬のみでガイダンスの質を安定させます。
2. フェーズ II（活性化）: $\lambda$ を 0 から 1 へ線形に増加。自己誘導を内部報酬として徐々に導入し、最適化の衝撃を緩和します。
3. フェーズ III（フル稼働）: $\lambda=1$。方策と内部報酬が相互に強化し合う共進化ループが最大限に機能します。
4. フェーズ IV（アニーリング）: $\lambda$ を 1 から 0 へ減少。最終的な方策が真の環境目的関数 $R_{env}$ に忠実であることを保証し、内部報酬のバイアスを除去します。

3. 主要な貢献

1. Self-Guide の提案: 推論時の自己ガイダンスと学習時の内部報酬を統合した、新しい自己生成報酬の形式を提案しました。
2. 安定化のためのスケジュール設計: 自己生成報酬の不安定性を克服し、学習を安定させるための「ステージ別信頼スケジュール」を開発しました。
3. 共進化の検証: 複数のベンチマークにおいて、方策と内部報酬を同時に進化させることが、環境報酬のみのベースラインや、単なる推論時のガイダンスよりも優れた性能をもたらすことを実証しました。

4. 実験結果

4.1 評価環境とモデル

• ベンチマーク: ALFWorld（家庭内タスク）、ScienceWorld（科学実験）、WebShop（E コマース）。
• ベースラインモデル: Qwen3-1.7B, Qwen3-4B, Qwen2.5-7B-Instruct。
• 比較対象: ReAct（プロンプティング）、Reflexion、GRPO（強化学習ベースライン）。

4.2 主な結果

• 推論時の効果: 学習なしで ReAct に Self-Guide を追加するだけで、ALFWorld などの構造化された環境では成功率が大幅に向上しました（例：Qwen3-4B で 42.4% → 87.8%）。ただし、WebShop のような複雑な環境では、事前知識がない場合の限界が見られました。
• 学習時の効果（GRPO との比較）:
  • GRPO w/ SG: 推論時の自己誘導のみを使用しても、ベースラインの GRPO よりも性能が向上しました。
  • GRPO w/ SG & GR（完全版）: ステージ別スケジュールを用いて内部報酬を併用した場合、最も高い性能を達成しました。
  • 改善率: Qwen3-4B を使用した場合、ベースラインの GRPO に対して平均で約 8% の改善が見られました（ALFWorld で +10.2%、WebShop で +10.2% など）。
• エラー分析: 自己誘導は、特に「ループ行動（同じ行動の繰り返し）」や「不要な探索」を大幅に減少させることが確認されました。

4.3 アブレーション研究

• スケジュールの重要性: 学習初期に内部報酬を即座に導入すると（Immediate Full Reward）、性能が低下することが確認されました。ウォームアップとアニーリングの構造が必須であることを示しています。
• オフライン蒸留の限界: 大規模モデルから自己誘導をオフラインで蒸留し、学習に転用する手法は、オンラインのロールアウト分布とのミスマッチにより失敗しました。これにより、方策と内部報酬をオンラインで共進化させる必要性が裏付けられました。

5. 意義と結論

本論文は、言語エージェントが単に「より多くの経験を集める」だけでなく、「行動と学習の過程で自らの内部報酬を生成・洗練する能力」を獲得することで、長期的なタスクの解決能力を向上できることを示しました。

• 技術的意義: 外部の報酬モデルや評価者に依存せず、エージェント自身の推論プロセスから密な報酬信号を創出する「自己完結型」の学習フレームワークを確立しました。
• 実用的意義: 複雑な長期的タスクにおいて、スパースな報酬問題に対する実用的かつ効率的な解決策を提供し、GRPO などの現代的な RL 手法との親和性も高いことを示しました。

この研究は、エージェントが「自分自身を評価し、その評価に基づいて行動を修正する」という人間に近い学習メカニズムを LLM エージェントに実装する重要な一歩となります。