技術要約: Gated-BEPO

問題提起

長期間の環境において大規模言語モデル（LLM）エージェントを訓練するには、効果的なクレジット割り当て（credit assignment）、すなわち、軌跡（trajectory）中に取られた個々の行動に対して、疎な終端報酬（成功または失敗）をどのように紐付けるかという課題が必要である。GRPOのような既存のクリティックフリー（critic-free）手法は、通常、軌跡レベルの全ステップに対して同一の軌跡レベルのアドバンテージを割り当てる。この粗い属性付けは、成功した軌跡における非効率的な行動を強化し、失敗した軌跡における有用な行動を罰することになり、学習を遅延させ、最終的なパフォーマンスを制限する。

最近のステップレベルの手法は、状態や履歴のマッチング（例：GiGPO, HGPO）や、グラフベースの距離指標（例：GraphGPO）を用いてステップのグループを構築することで、この問題を精緻化しようと試みている。しかし、これらのアプローチには以下の具体的な限界がある：

1. ステップのクレジットとエピソードのクレジットを、適応的なメカニズムなしに固定重みで融合する場合が多い。
2. グラフベースの手法は、同一の観測が異なる潜在的な隠れ状態に対応している**知覚的エイリアシング（perceptual aliasing）**に陥ることがあり、これが脆弱な価値推定につながる可能性がある。
3. ローカルなステップレベルの比較が、粗い軌跡の結果を上書きまたは補完するのに十分に信頼できるかどうかを判断するための、エビデンスに基づいたメカニズムを欠いている。

手法: Gated-BEPO

Gated-BEPO（Confidence-Gated Bellman Credit Assignment）は、経験的なロールアウトグラフからステップレベルのクレジットを導出し、ローカルな信頼度に基づいてそれを軌跡レベルのクレジットと適応的に融合させる、クリティックフリーの手法である。

1. 経験的グラフの構築

各ロールアウトグループ（同じ初期タスクから生成された一連の軌跡）に対して、本手法は同一の観測された状態を共有状態グラフへと統合する。このグラフは、観測された遷移（エッジ）の多重性を保持する。終端状態（成功、失敗、中断）は、値がゼロとなる吸収状態として扱われる。

2. Bellman 固定点による価値推定

クリティック・ネットワークを学習する代わりに、Gated-BEPOは**平均バックアップ・ベルマン固定点（mean-backup Bellman fixed point）**を用いて、経験的グラフから状態価値を直接推定する。

• 初期化: 値はモンテカルロ・リターンによって初期化される。
• 更新: 非終端状態 $s$ の値は、観測された出力遷移の平均によって更新される：
  $$V^{(k+1)}(s) = \frac{1}{|E(s)|} \sum_{(r, s') \in E(s)} [r + \gamma V^{(k)}(s')]$$
  ここで、$E(s)$ は出力エッジのマルチセットである。この演算子は縮小写像であり、現在のポリシーの経験的な行動分布を反映する一意の固定点を保証する。
• 時間差（TD）残差: 固定点に到達した後、本手法は各遷移に対してTD残差を計算する：$\delta_i = r_i + \gamma V(s'_i) - V(s_i)$。これらの残差は、特定の遷移が、その状態から出力されるエッジの経験的な平均よりも優れているか、あるいは劣っているかを測定する。

3. 一般化アドバンテージ推定（GAE）

TD残差は、即時的およびダウンストリームの影響を捉えるために、GAEを用いて元の軌跡に沿って逆方向に伝播される：
$$\hat{A}^{FP}_i = \delta_i + \gamma \lambda \hat{A}^{FP}_{next(i)}$$
これにより、ロールアウトグループ全体で標準化された固定点ステップ・アドバンテージ（$\hat{A}^{FP}$）が得られる。

4. Confidence-Gated クレジット混合

核心となる革新は、ローカルなベルマン信号をどの程度信頼すべきかを決定する適応的なゲーティング・メカニズムである。

• ゲートの定義: バイナリゲート $\rho(s)$ は、状態 $s$ が十分なローカル・エビデンスを持つ場合にのみ活性化される：
  1. 繰り返しの訪問（$n(s) \ge n_{min}$）。
  2. 観測された分岐（$|Succ(s)| \ge b_{min}$、すなわち複数の異なる後続状態）。
• 混合ルール: 最終的なアドバンテージ $\hat{A}_i$ は、アウトカム・アドバンテージ（$\hat{A}^{out}$）と固定点アドバンテージ（$\hat{A}^{FP}$）の加重和である：
  $$\hat{A}_i = \eta_i \hat{A}^{out}_i + w \rho(s_i) \hat{A}^{FP}_i$$
  • 信頼できない状態 ($\rho=0$): 本手法はアウトカム・アドバンテージに完全に依存する（$\eta_i = 1$）。
  • 信頼できる状態 ($\rho=1$): 固定点アドバンテージが活性化され、より情報量の多いステップ信号が粗い軌跡の結果に圧倒されるのを防ぐために、アウトカム・アドバンテージがダウンウェイトされる（$\eta_i = \eta_{min}$）。

主な貢献

1. クリティックフリー・ベルマン固定点推定器: 学習された価値ネットワークを訓練することなく、経験的ロールアウトグラフから直接状態価値とステップレベルのアドバンテージを導出する手法。これにより、グラフ距離法と比較してノイズと知覚的エイリアスへの感度を低減する。
2. Confidence-Gated 混合: ローカルなグラフのエビデンス（分岐と繰り返し）を用いて、ステップレベルのクレジットの適用を制御するゲーティング・メカニズム。これにより、サポートされていないローカルな推定がポリシーの更新を破壊することを防ぎつつ、信頼できるステップ信号が粗い軌跡の結果によってかき消されないようにする。
3. 経験的検証: 様々なLLMバックボーン（Qwen2.5, Qwen3）を用い、テキストベース（WebShop, ALFWorld）および視覚言語（Sokoban）環境において一貫した改善を実証した。

実験結果

実験は、Qwen2.5 (1.5B, 7B) および Qwen3 (1.7B) モデルを用い、WebShop、ALFWorld、および Visual Sokoban で行われた。

• パフォーマンスの向上: Gated-BEPOは、GRPO、GiGPO、HGPO、GAGPOを含む強力なベースラインを一貫して上回った。
  • ALFWorld (1.5B) において、HGPOに対して成功率を2.78%向上させた。
  • WebShop (1.5B) において、HGPOに対して成功率を3.51%、GRPOに対してタスクスコアを6.9%向上させた。
  • Visual Sokoban において、GRPOやGiGPOを大幅に上回る80.03%の成功率を達成した。
• 学習速度: 学習曲線は、軌跡レベルの手法と比較して、より速い収束と高い最終成功率を示している。
• エイリアスに対する堅牢性: ALFWorldを用いた制御実験（拡張された状態情報なしの生の観測を使用）において、GraphGPOは知覚的エイリアスにより学習に失敗したが、Gated-BEPOは効果を維持した。これは、マージされたグラフ上の最短経路距離ではなく、遷移固有のTD残差を使用していることに起因する。
• アブレーション研究:
  • 全ての3つのコンポーネント（固定点クレジット、Confidence Gate、アウトカム・ダウンウェイト）がパフォーマンスにプラスに寄与した。
  • 「Mean」ベルマン・バックアップは、「Max」や「Softmax」バックアップよりも優れていることが判明した（これらは稀な遷移を増幅させてしまうため）。
  • 異なる後続状態を必要とするバイナリゲートは、連続的な信頼度スコアや繰り返しのみに基づくゲートよりも効果的であった。

意義

本論文は、Gated-BEPOが、エージェントにおけるクリティックフリーRLの根本的なトレードオフ、すなわち「軌跡レベルの成果の安定性」と「ステップレベルの学習の粒度」のバランスという課題に対処していると主張している。経験的グラフから値を導出し、ローカルなエビデンスに基づいてその適用をゲートすることで、本手法は長期タスクにおけるポリシー最適化のためのより信頼性の高い信号を提供する。これは、システムが、ローカルな比較が経験的に支持されている状態とそうでない状態を区別できる限り、学習されたクリティックの計算コストや不安定さを伴わずに、きめ細かなクレジット割り当てが可能であることを示している。