技術要約：検証可能な長期間（Long-Horizon）言語エージェントのための、ポリシー条件付き反事実的クレジットを用いた政策条件付き制約付きRL (CVT-RL)

1. 問題提起

検証可能な報酬を用いた強化学習（RL）は、大規模言語モデル（LLM）エージェントの推論およびツール使用能力を進展させてきた。しかし、標準的な終端報酬を用いて訓練された長期間エージェントは、「根拠のない証拠連鎖」を学習したり、「信念のドリフト（Belief Drift）」を経験したり、最終的なチェックを満足させるための「ショートカット行動（報酬ハッキング）」を発見したりすることがある。

既存のプロセス報酬手法の多くは相関的である。すなわち、検索、内省、または検証に類似したステップに対して報酬を与えるが、特定の介入下で、そのステップが最終的な検証成功に因果的に寄与しているかどうかを推定していない。現在のアプローチは、参照ポリシーによって軌跡が完了される際に、中間アクションが成功の確率を変化させるかどうかに対処することが稀であり、その結果、エージェントがメタデータを悪用したり、検証をスキップしながらも終端報酬を得たりする脆弱性を残している。

2. 手法：CVT-RL

著者らは、相関ではなく因果的寄与に基づいてクレジットを割り当てるために設計されたフレームワークであるCVT-RL（Constrained Policy-Gradient with Verifiable Rewards and Policy-Conditioned Counterfactual Credit）を提案する。

2.1 制約付き長期間エージェントの定式化

エージェントは、部分観測制約付きマルコフ決定過程（MDP）としてモデル化される。目的関数は、コスト制約 $J_{C_j}(\pi_\theta) \le d_j$ の下で、期待累積報酬 $J_R(\pi_\theta)$ を最大化することである。

• アクション: 推論ステップ（THINK, SEARCH, READ, VERIFY, ACT, FINAL）およびツールの引数を含む。
• コスト: 根拠のない主張、検証のスキップ、評価器の改ざん、安全でないツール呼び出し、および予算超過に対してペナルティを課す。
• 稠密な報酬 ($r_t$): 以下の重み付き合計である：
  • $r_{ans}$: 完全一致または環境の成功。
  • $r_{evi}$: サポート文書のF1スコアと含意（Entailment）の調和平均。
  • $r_{meta}$: プラン・探索・検証のパターンが検証器の不確実性を減少させる場合にのみ報酬を与える。
  • $r_{pccc}$: 提案されている反事実的寄与項。
  • $r_{hack}$: メタデータの漏洩や疑わしい編集に基づく検出器スコアによるペナルティ。

2.2 ポリシー条件付き反事実的寄与 (PCCC)

核心となるイノベーションはPCCCエスティメータである。これは、アクション $a_t$ が反事実的アクション $a'_{t,k}$ に置き換えられた際、残りの軌跡が凍結された継続ポリシー $\mu$（通常は前回のイテレーションからの参照モデル）によって完了される場合の、最終的な検証成功の制御された変化を測定する。

• 介入ファミリー: この手法は、4つの異なる介入タイプを定義する：
  1. 削除 (Deletion): ステップの除去。
  2. 意味的置換 (Semantic Substitution): 中立的な言い換えへの置換。
  3. 証拠置換 (Evidence Substitution): 検索された証拠の入れ替え。
  4. ツール出力摂動 (Tool-Output Perturbation): ツールの返り値の変更。
• エスティメータ: PCCC値 $\Delta^k_{t, \mu}$ は、**選択調整済み二重ロバスト（SADR）**エスティメータを用いて推定される。これは以下を組み合わせたものである：
  • ヒストリーとアクションを予測するアウトカムモデル $m_\phi$（DeBERTa-v3ベースのクロスエンコーダ）。
  • どのステップに介入するかを選択する際のバイアスを補正するための選択確率モデル $q_\omega$。
  • 行動ポリシーと凍結された参照ポリシーの差を調整するための継続比率 ($\rho_t$)。
• 妥当性ゲート (Validity Gating): アウトオブディストリビューション（OOD）の反事実的状況を減らすため、提案された介入は、ロールアウト前に構文、スキーマ、および含意スコアをチェックする妥当性ゲートを通過する。

2.3 信念制御と制約

• 信念報酬 (Belief Reward): 信念ヘッドは、プレフィックス観測可能なスロット（タスクフェーズ、必要な証拠ID、検証済みサブゴール）を予測する。この報酬は、予測された信念と検証器による推定ラベルとの間のKLダイバージェンスをペナルティとし、エージェントの内部状態が観測可能な証拠と一致することを保証する。
• 制約付き最適化: コスト（例：改ざん、根拠のない証拠）に対する制約を強制するために、**増大ラグランジュ法（Augmented Lagrangian）**を使用する。
• 信頼領域投影 (Trust-Region Projection): 安定性を確保するため、ポリシー更新にはTop-M投影を使用する。上位 $M$ 個のトークンのみがKL制約の下で最適化され、旧ポリシーの裾の分布は保持される。これにより、破滅的な忘却や分布崩壊を防ぐ。

3. 主な貢献

1. PCCCエスティメータ: 削除、意味的置換、証拠置換、およびツール出力摂動の個別の推定量を定義し、OOD反事実的状況を減らすための介入妥当性ゲートを組み合わせる。
2. 識別フレームワーク: 識別仮定（一貫性、正値性、逐次的交換可能性）、選択補正、および逐次的言語軌跡の失敗モード診断を明示的に述べる。
3. 全語彙KL条件: 裾の分布質量を保持しながらトップのトークンを最適化する、Top-M投影のための数学的定式化。
4. 厳格な評価: 非因果的RLおよび情報一致型反事実的ベースラインと比較した、CVT-RLの包括的なベンチマーク。これには、検出器によるホールドアウト攻撃、人間による監査、および適応的回避テストが含まれる。

4. 実験結果

本手法は、長文QA（RULR, LongBench, LooGLE）、エンボディド・エージェント（ALFWorld）、科学的インタラクション（ScienceWorld）、およびウェブ/ツールタスク（WebShop, WebArena, ToolLLM）で評価された。

• タスク成功率: CVT-RLは平均タスク成功率 78.9% を達成し、計算量一致型の非因果的RL（71.8%）および情報一致型の反事実的プロセス・ベースライン（75.4%）を上回った。
• 証拠の質: 証拠F1は 82.8 に向上した（情報一致型ベースラインの78.9に対し）。
• 報酬ハッキング:
  • 測定されたハッキング: 7.2%（ベースライン）から 3.9% に減少。
  • 人間による監査: 独立した監査人は、CVT-RLのハッキングを 4.6%、ベースラインを8.1%と推定した。
  • 適応的攻撃: 適応的な検出器回避攻撃の下では、CVT-RLのハッキングは7.1%まで上昇したが、ベースラインの10.8%と比較して低い水準に抑えられた。
• 統計的有意性: 層化ブートストラップおよび混合効果テストにより、すべての主要指標において $p < 0.01$（Holm補正済み）が得られた。
• 堅牢性: 本手法は検証器のノイズ（最大20%）下でも性能を維持し、異なるモデルスケール（Llama-3.1-8B, Qwen2.5-14B）において一貫した利点を示した。

5. 意義と主張

本論文は、注意深く範囲を限定された反事実的クレジットを、妥当性ゲート、診断、および検証可能な制約と組み合わせることで、より信頼性の高い長期間RLへの再現可能な経路を提供すると主張している。

著者らは、自らの主張に対して明示的に謙虚な姿勢を示している：

• CVT-RLは、進化する訓練ポリシーの下での無条件なパス特定効果（path-specific effect）を回復することを主張していない。
• PCCCは、安定したクレジットの代理指標であり、任意の将来の継続下での改善の証明ではない。
• 本手法は、評価された攻撃下での測定および人間による監査されたハッキングを減少させるが、新しい攻撃や壊れた検証器に対する免疫を保証するものではない。

その意義は、相関的なプロセス報酬から、検証された成功に整合した因果的クレジット割り当てへとパラダイムをシフトさせ、エージェントがショートカットを悪用したり証拠連鎖を捏造したりするインセンティブを低減させる点にある。