技術要約: TCPO (Turn-Level Credit Policy Optimization)

問題定義

検証器（Verifier）による誘導型のマルチターン強化学習（RL）において、大規模言語モデル（LLM）は、各ターン後に受け取る検証器のスコアに基づき、出力を反復的に洗練させていく。この設定は、結果のみを監視する手法と比較して密なフィードバックを提供するが、「検証器のスコア」と「ターンレベルのクレジット（貢献度）」の間には根本的な不一致が存在する。

検証器のスコアは現在の出力の絶対的な品質を測定するものであるが、ターンレベルのクレジットは、その特定のターンが全体の洗練プロセス（軌跡）に対してどれだけの限界的な寄与をしたかを測定しなければならない。既存のアプローチは、この「スコアからクレジットへの変換」問題を効果的に解決できていない：

• **軌跡レベルの手法（Trajectory-level methods）**は、最終的な成功をすべてのトークンに伝播させるため、有用な修正と、失敗した試行や成功後の退行を混同してしまう。
• **生のターン・スコア（Raw turn scores）**は、状態の質を報酬としてしまい、限界的な改善を評価しない。
• **隣接するスコアの差（Adjacent score differences）**は局所的な変化を捉えることはできるが、過去最高の状態を更新するターンと、将来の成功を可能にするものの現在は改善していないターンを区別することができない。

核心となる課題は、ターンごとの信号を得ることではなく、既存の検証器スコアを、即時的な進展、状態の維持、および遅延的な貢献を正確に反映する、最適化可能なターンレベルのクレジットへと変換することである。

手法: TCPO

TCPO（Turn-Level Credit Policy Optimization）は、検証器による誘導型のマルチターン強化学習のために設計されたクレジット割り当て手法である。これは追加の人間のラベルや学習されたクリティック（Critic）を使用せず、ベースとなるマルチターンのロールアウトを変更することなく動作する。代わりに、3つの参照ベースの比較を通じて、検証器のトレースをターンレベルのアドバンテージ（優位性）へと変換する。

1. 回顧的クレジット (Retrospective Credit)

このコンポーネントは、現在のターンのスコアを、そのターンより前に達成された最高スコア（$m_{i,k} = \max_{t<k} r_{i,t}$）と比較する。これにより、クレジットを以下の3つの信号に分解する：

• 改善 (Improvement): 歴史的な最高値を上回るターンを報酬とする（$\Delta_{i,k} > 0$）。
• 維持 (Preservation): さらなる改善はないものの、成功した状態を維持するターンを報酬とする（軌跡がすでに成功しており、スコアが安定している場合に有効）。
• 退行ペナルティ (Regression Penalty): 成功状態に到達した後に、検証器のスコアを下げてしまうターンにペナルティを与える。

2. 後知恵による遅延クレジット (Hindsight Delayed Credit)

これは、成功前の非改善ターン（現在のスコアが歴史的な最高値を超えていないターン）に対処する。これらのターンは、将来の修正を可能にするために不可欠な場合がある。

• TCPOは、該当する非改善ターンを特定し、その実現された将来の最高スコア（$u_{i,k} = \max_{t \ge k} r_{i,t}$）を、同じプロンプトとターンインデックスを持つ他の適格な軌跡の平均将来最高スコアと比較する。
• これにより、非改善のターンが、他のピア（仲間）と比較して、より良い将来の結果をもたらしたか、あるいは悪い結果をもたらしたかを示す遅延信号を提供する。

3. 固定履歴による反事実的推定 (Fixed-History Counterfactual Estimation)

後知恵による推定がノイズになりやすい高サプライザル（高驚愕度）かつ非改善のターンにおける曖昧さを解消するため、TCPOは予算制の反事実的アプローチを採用する：

• 選択 (Selection): 高いサプライザル（不確実性）を持つターンが精緻化のために選択される。
• 推定 (Estimation): 現在のターンまでの履歴を固定し、$M$ 個の代替出力をサンプリングする。これらの代替出力は検証器によってスコア付けされる。
• クレジット割り当て (Credit Assignment): クレジットは、元の出力のスコアと代替出力の平均スコアとの差である。これにより、後の修正が混入することなく、現在の出力の選択による効果のみを分離する。
• 統合 (Integration): この反事実的信号は、代替出力がスコアの変動を示した場合にのみ、後知恵の推定を精緻化するローカルな精緻化として機能し、独立したオラクルとしては機能しない。

最適化

得られる生のターン信号は、回顧的クレジットと遅延クレジットを組み合わせたものである。これはプロンプト・ターン・グループ内で正規化され、軌跡の早い段階での有用な修正を促すために、初期ターン・プライア（$\gamma^{k-1}$）によって重み付けされる。これらのターンレベルのアドバンテージは、対応するレスポンスの全トークンにブロードキャストされ、GRPOスタイルのクリップされた目的関数を用いて最適化される。

主な貢献

1. 問題の定式化: 本論文は、スコアからクレジットへの変換を、検証器による誘導型のマルチターン強化学習における中心的な課題として明示的に定式化し、出力の品質と限界的な寄与を区別している。
2. TCPOアルゴリズム: 以下の要素を用いてターンレベルのアドバンテージを構築する、クレジット割り当て手法を導入した：
   • 即時的な進展と状態維持のための回顧的参照。
   • 非改善ターンの遅延的な貢献のための後知恵による参照。
   • 高サプライザルなターンを精緻化するための固定履歴による反事実的参照。
3. 実証的検証: 数学的推論、コード生成、およびインタラクティブ・エージェント・タスク（AppWorld）における検証を通じて、TCPOが、わずかな追加訓練コストで強力なベースラインと同等またはそれ以上の性能を示すことを実証した。

実験結果

実験は、数学（MATH-500, AIME）、コード（LiveCodeBench, HumanEval）、およびエージェント（AppWorld）のタスクにおいて、Qwen3-4B および DeepSeek-R1-Distill-Llama-8B を用いて行われた。

• パフォーマンス: TCPOは、すべてのベンチマークとモデルスケールにおいて、最高の、あるいは同等の best-turn Pass@8 を達成した。
  • Qwen3-4B において、TCPOは MT-GRPO に対して、MATH-500 で +4.4、AIME で +2.2、LiveCodeBench で +1.6、HumanEval で +0.6 ポイントの向上を実現した。
  • DeepSeek-R1-Distill-Llama-8B では、さらに大きな利得があり、タスク全体で MT-GRPO を +6.2 から +1.2 ポイント上回った。
• 効率性: TCPOは一般に成功までの平均ターン数を減少させており、これはより効率的な精細化の軌跡を示している。
• エージェント・タスク: AppWorldにおいて、TCPOはタスクレベルの目標達成率（TGC）およびシナリオレベルの目標達成率（SGC）を向上させ、状態を持つツール利用エージェントへの転移性を証明した。
• アブレーション研究:
  • 3つのクレジット成分（回顧的、後知恵、反事実的）のいずれかを削除すると、パフォーマンスの低下を招き、これら3つの組み合わせが必要であることが確認された。
  • 反事実的バジェット (Counterfactual Budgeting): 高サプライザルなターンを選択して反事実的推定を行うこと（Top-L）は、訓練オーバーヘッドをわずか 1.03倍〜1.05倍 に抑えつつ、大幅な利得（例：MATH-500 で +1.8）をもたらしたが、ランダムな選択ではほとんど恩恵が得られなかった。

意義と主張

本論文は、スコアからクレジットへの変換が、検証器による誘導型のマルチターン・ポリシー最適化における中心的な要素であると主張している。TCPOの意義は、以下の点にある：

• 出力の品質を、その解決パスへの寄与から切り離すことができる。
• 学習された価値モデルや追加の人間の注釈を必要とせずに、有用な修正、状態の維持、および有害な退行を区別できる。
• 複雑なマルチターン推論チェーンにおけるクレジットの曖昧さを解消するための、計算効率の高いメカニズム（選択的な反事実的推定による）を提供する。

著者らは、密な検証器スコアが利用可能であっても、その有用性は、回顧的、後知恵、および反事実的な参照を通じて適切なターンレベルのクレジットへと変換されたときに初めて解き放たれると結論付けている。TCPOは、この変換が多様な領域において成功率と効率性の堅牢な向上につながることを示している。