技術要約：遅延を考慮したRLHFのための遡及的アドバンテージ補正（Retroactive Advantage Correction）

問題提起

プロダクション環境における強化学習（RLHF）は、頻繁に遅延報酬信号に直面する。同期的なロールアウトが行われるシミュレーションとは異なり、デプロイされたシステムでは、コード実行検証器、低速なジャッジ・アンサンブル（例：70Bモデル）、あるいはキューイングされた人間によるレビューといった非同期コンポーネントに依存することが多い。これらのコンポーネントは、そのロールアウトが生成されてから数グラディエントステップ（$\Delta$）経過した後に報酬を返す。

標準的な近接方策最適化（PPO）は、軌跡 $\tau_t$ に対する報酬 $r_t$ が、オプティマイザが次の勾配を確定する前に観測されることを暗黙的に仮定している。この仮定が崩れた場合、低速なチャネルからの残留信号は通常破棄され、その結果、方策のバイアスは遅延 $\Delta$ および異なる低速チャネルの数 $K$ に比例して線形に蓄積する。V-traceやRetraceのような既存のオフポリシー補正器は、アクターの古さ（インターワーカー間のドリフト）には対処しているが、非同期RLHFパイプラインに固有の、オプティマイザステップ間の報酬遅延の問題は解決していない。

手法：遡遡及的アドバンテージ補正（RAC）

本論文は、遅延した報酬信号を、より早い段階のロールアウトに関する証拠として扱い、それをアドバンテージ推定に再注入する手法である**遡及的アドバンテージ補正（RAC）**を提案する。

コアメカニズム

1. キューイングとエイジング（Aging）: 低速な報酬 $r^{slow}_{t,i}$ がステップ $t + \Delta_k$ （ここで $\Delta_k$ はチャネル固有のラグ）に到着したとき、それは破棄されない。代わりに、キューに格納され、非負のカーネル $w_{age}(\Delta)$ を通じてエイジングされる。
2. 前方注入（Forward Injection）: 低速な報酬と高速なベースラインの残差（$r^{slow}_{t,i} - r^{fast,bl}_{t,i}$）が計算される。この残差は、次のオプティマイザステップ（$t + \Delta_k + 1$）のアドバンテージへと前方注入される。
3. クリップされた重要度サンプリング: 注入の際には、ロールアウト時と報酬到着時の間の方策のドリフトによる影響を制限するため、V-traceと同様に、クリップされた重要度比 $\rho^{clip}_i$ によって重み付けされる。
   $$\delta_i \triangleq w_{age}(\Delta_k) \cdot \alpha \cdot \rho^{clip}_i \cdot (r^{slow}_{t,i} - r^{fast,bl}_{t,i})$$
   最終的に方策勾配更新に用いられるアドバンテージは $\tilde{A}_i = A_i + \delta_i$ となる。

理論的保証

著者らは、RACに関する閉形式の累積バイアス恒等式を導出している：

• 不偏性の条件: クリップされた重要度比が不偏であり、かつ比率と報酬残差との間に条件付き独立性が存在するという仮定の下で、有効な遅延カーネルが行確率的（row-stochastic）（すなわち、チャネルにおける確率と重みの合計が1であること）であれば、累積的なRAC補正は完全に不偏となる。
• バイアスのスケーリング: カーネルが行確率的でない場合（信号のドロップや不適切な重み付けなどによる）、バイアスは「スラック（slack）」$\eta$（再注入されない質量の割合）に対して線形となる。
• V-Traceの回復: 恒等カーネル（遅延ゼロ、$\Lambda = I$）において、本手法は正確にV-traceのオンポリシー保証へと収束する。

また、論文では、Pinskerの不等式とBretagnolle–Huberの補題を組み合わせ、RAC補正済みの方策に対するステップごとの全変動界（total-variation bound）を提供し、高速のみの方策とRAC補正済みの方策の間のダイバージェンスを制御している。

主な貢献

1. 閉形式の累積バイアス恒等式 (C1): 本論文は、RACの累積バイアスが、有効な遅延カーネルの行確率性のスラックに対して線形であることを確立した。また、カーネルが飽和（行確率的）しているときに補正が正確（ゼロバイアス）であり、恒等カーネルにおいてV-traceの保証を回復することを証明した。
2. タブラー型MDPによる概念実証および7Bスケールでの検証 (C2):
   • $3 \times 2$ のタブラー型マルコフ決定過程（MDP）において、RACは、2つの低速チャネル（$K=2$）構成において、ナイーブなPPOと比較して方策バイアスを最大47.9倍減少させた。
   • Qwen2.5-7BおよびSkywork-Llama-3.1-8Bを用いた7Bスケールでの3つのマシン精度チェックにより、恒等カーネルへの収束および線形スラック・スケーリングの性質が裏付けられた。
3. 実装の効率性: RACは、報酬マネージャーへの最小限の2行のパッチ（$O(K)$ のキュー更新と単一のテンソル加算）を通じて、既存のPPOおよびGRPOの実装と容易に統合でき、無視できる程度のウォールクロック・オーバーヘッドしか発生しない。

実験結果

• バイアス減少: $K=2$ の構成（コード検証器と低速なジャッジをシミュレート）において、RACはナイーブなPPOと比較して方策バイアスを47.9倍減少させた。
• コストと品質のトレードオフ:
  • Wait-for-Slow (低速信号待ち): 27.1倍のバイアス減少を実現するが、26倍のウォールクロック・ペナルティ（低速信号ごとにトレーニングを一時停止）が発生する。
  • Retrace-A: 幾何減衰カーネルが典型的な遅延グリッドにおいて低速信号の大部分を削ぎ落としてしまうため、1.5倍の減少にとどまる。
  • RAC: 1倍のウォールクロック・コスト（ナイーブなPPOに対して）で47.9倍の減少を達成し、コスト・品質のパレート図における最適な左上位置を占めている。
• 堅牢性: バイアス減少は、平均遅延が一致している限り、様々なMDPトポロジー（連鎖型、循環型、高密度型）および遅延分布（決定論的、ガウス分布、対数正規分布、パレート分布、切断コーシー分布）にわたって維持される。
• スケーラビリティ: 47.9倍という数値は小さなタブラー型MDPからのピーク値であるが、論文では、MDPのサイズが増大するにつれてこの減少幅はオーダー単位（4.65倍から17.87倍）まで縮小するものの、依然として有意であることを述べている。

意義と範囲

本論文は、RACを、非同期RLHFの「報酬軸」のために特別に設計された閉形式の前方注入プリミティブとして位置づけている。アクターの古さや終端報酬の再分配に焦点を当てた先行研究とは異なり、RACは、プロダクション環境におけるLLMトレーニングにおける、遅延したマルチチャネル・フィードバックという具体的な運用の実態に対処している。

著者らは、その主張の範囲について慎重な姿勢を示している：

• 厳密な不偏性の恒等式および47.9倍の減少は、既知の正解を持つタブラー型MDPに対して導出・証明されたものである。
• 7Bスケールの実験は、実際の報酬分布における代数的性質（恒等カーネルへの収束および線形スラック・スケーリング）を検証するための静的なバッチ・プローブであり、エンドツーエンドのPPOトレーニングループの検証ではない。
• 論文では、複数のシードおよびトレーニング設定を用いたエンドツーエンドのLLMスケールPPOの検証が、「次の実験ステップ」であると明記されている。

要約すると、RACは、非同期RLHFにおける遅延報酬によって導入されるバイアスを軽減するための、理論的根拠に基づいた低オーバーヘッドのメカニズムを提供し、極限においてV-traceの保証を回復し、タブラー設定において大幅な経験的バイアス減少を実現するものである。