技術的サマリー：長期言語エージェントのためのマイルストーン誘導方策学習（BEACON）

問題定義

強化学習（RL）を通じて、数十の逐次判断を必要とする長期タスクを実行するように言語エージェントを訓練する際、GRPO などの軌道レベルの最適化手法に内在する 2 つの根本的な限界に直面します：

1. クレジットの誤帰属： 現在の手法は、最終的な結果のみに基づいてクレジットを割り当てます。その結果、その後の行動が失敗に導いた場合、初期の正しい行動さえも罰せられます。これにより、下流の確率的な要因に応じて、同一の状態 - 行動ペアに対して矛盾する勾配信号が生成され、タスクの視野が広がるにつれて勾配の競合と学習の崩壊を引き起こします。
2. サンプル効率の低さ： タスクの視野が長くなるにつれ、成功する軌道は希少になります。重要なのは、重要なサブゴールを達成したものの最終目標を達成できなかった軌道が、完全な失敗と同じゼロ報酬を受け取る点です。これにより、「部分的な成功」からの貴重な学習信号が破棄され、有用な勾配を提供しないサンプルの割合が高くなります。

プロセス報酬モデル（PRM）やモンテカルロ価値推定など、クレジット割り当てを高密度化する既存の試みは、過大な注釈コストや計算オーバーヘッドをもたらすか、長期設定では効果が薄れる状態の再帰パターンに依存しています。

手法：BEACON フレームワーク

著者らは、長期タスクの構造的構成要素を活用して、フェーズ間でのクレジット割り当てを分離するフレームワークであるBEACON（Benchmarking Environment for Action-Oriented Navigation）を提案します。中核となる仮定はマイルストーンマルコフ性です：意味的なサブゴール（マイルストーン）が達成された時点で、将来の軌道分布は、完全な実行履歴ではなく、残りのサブゴールに主に依存します。

BEACON は、3 つの統合されたメカニズムを通じて機能します：

1. マイルストーン境界における軌道の分割

軌道を平坦なシーケンスとして扱うのではなく、BEACON はサブゴールの完了を示す観測可能な状態遷移（例：物体の把持、ウェブページへの到達）に基づいて、それをセグメントに分割します。マイルストーン検出器 $\Phi$ は、学習モデルや手動注釈を必要とせず、環境からのフィードバックからこれらの遷移を識別します。

• 結果： 軌道は、マイルストーン $M_k$ によって境界付けられたセグメント $Seg_k$ に分割されます。

2. 時間的報酬整形

サンプル効率の低さに対処するため、BEACON はセグメント内で部分的な進捗にクレジットを与えるために整形された報酬を割り当てます。

• メカニズム： マイルストーンに到達するセグメント内の行動には、時間的減衰（$\gamma^{t_k - t}$）を伴う正の報酬が割り当てられます。マイルストーンに到達しないセグメント内の行動にはゼロ報酬が割り当てられます。
• 効果： これにより、希薄な終端信号が高密度なフィードバックに変換され、最終タスクが失敗した場合でも、サブゴールを完了した軌道からエージェントが学習することを保証します。

3. 二重スケール優位性推定

クレジットの誤帰属を解決するため、BEACON は 2 つのスケールで優位性を推定します：

• 軌道レベルの優位性（$A_{traj}$）： 全体のタスク成功との整合性を維持するため、最終結果に基づいて（GRPO と同様に）グローバルに計算されます。
• セグメントレベルの優位性（$A_{seg}$）： 同じマイルストーンに到達した他の軌道とのみ比較することで、セグメントの収益を局所的に計算します。
• 分散の隔離： 比較グループを同じマイルストーン履歴を共有する軌道に制限することで、$A_{seg}$ は後続のセグメントによって導入される分散から局所的な行動の質を隔離します。これにより、初期の正しい行動が後の失敗によって罰せられることが防がれます。
• 組み合わせ： 最終的な優位性は重み付き和となります：$\hat{A} = A_{traj} + \lambda \cdot A_{seg}$。

主要な貢献

1. 限界の診断： 本論文は、クレジットの誤帰属（長期タスクでは勾配更新の 40% 以上が矛盾する信号を含む）とサンプル効率の低さ（部分的な成功がゼロ報酬となること）を、長期 RL における性能崩壊の根本原因として実証的に特定・定量化しました。
2. BEACON フレームワーク： 軌道を分割し、時間的報酬整形を適用し、二重スケール優位性推定を活用して、局所的な行動の質を下流の分散から分離する、マイルストーン誘導の方策学習フレームワークの導入。
3. 理論的保証： マイルストーンマルコフ性の下では、セグメントレベルの優位性が局所的な行動の質を下流の分散から隔離し、クレジットの誤帰属を直接解決することを示す証明。
4. 実証的検証： 3 つの多様なベンチマーク（ALFWorld、WebShop、ScienceWorld）における包括的な評価により、既存のベースラインとは異なり、BEACON がタスクの視野に応じて効果的にスケーリングすることを示しました。

実験結果

実験は、ALFWorld、WebShop、ScienceWorld において Qwen2.5-1.5B および Qwen2.5-7B モデルを使用して実施されました。

• 長期タスクにおける性能： ALFWorld において、BEACON は長期タスクで**92.9%の成功率を達成し、GRPO が達成した53.5%**をほぼ倍増させました。対照的に、GRPO は短期タスクの 76.7% から長期タスクでは 53.5% へと急激に劣化しました。
• サンプル効率： BEACON は、他の手法が破棄する部分的な成功からの学習信号を正常に抽出し、有効なサンプル利用率を（GRPO の）**23.7%から82.0%**に向上させました。
• 勾配の質： ゼロ優位性比率（ほぼゼロの優位性を受け取るサンプル）は、GRPO の約 55% から BEACON の約 10% に低下し、矛盾する行動比率も大幅に減少しました。
• SFT との比較： BEACON は、オラクル軌道における教師あり微調整（SFT）を上回りました（91.4% 対 43%）。これは、獲得が単なる模倣ではなく、方策最適化によってオラクルよりも優れた戦略を発見したことに起因することを確認しました。
• ロバスト性： BEACON は、短期、中期、長期の視野にわたって堅牢な性能を維持しますが、GRPO や GiGPO などのベースラインは、タスクの長さが増すにつれて顕著な劣化を示しました。

意義と主張

本論文は、マイルストーンにアンカーされたクレジット割り当てが、長期言語エージェントの訓練における効果的なパラダイムであると主張します。エージェント的タスクに内在する構造的構成要素を利用することで、BEACON は、決定シーケンスの増加に伴う体系的な性能崩壊を克服します。

著者らは、この手法が高価なプロセス報酬モデルや追加の学習済みクリティカルを必要としないことを強調しています。代わりに、観測可能な状態遷移を利用して精密なクレジット割り当てを提供し、エージェントが部分的な成功から効率的に学習し、勾配の競合を解決できるようにします。結果は、構造的な事前知識（マイルストーン）が、ウェブナビゲーション、具象制御、科学実験などの複雑な多段階タスク向けのより能力の高い自律システムへの道を開くために、言語エージェントにおける RL のスケーリングに不可欠であることを示唆しています。