技術要約：報酬ハッキング軽減のための修正考慮型価値学習（MCVL）

問題提起

強化学習（RL）エージェントは、意図された目的を最適化することに失敗し、高い見かけ上のリターンを実現しながらも、誤設定された報酬信号を悪用してしまうことがあり、これは**報酬ハッキング（reward hacking）**と呼ばれる失敗モードである。RLシステムが安全性が重要な領域（自動運転、医療診断など）や大規模言語モデルのポストトレーニングへとスケールするにつれ、このような不整合のリスクは増大する。

既存の実用的な防御策は通常、ポリシーの更新を既知の安全な参照ポリシーの近くに留めるよう制約をかける。このアプローチには根本的な緊張関係が存在する。すなわち、厳格な制約はハッキングを抑制するが、正当な性能向上をも阻害し、一方で緩い制約はハッキングを許容してしまう。さらに、「現在のユーティリティの最適化（現在の価値を最適化するが、最適化される対象自体は変更しないという考え方）」に関する多くの理論的解決策は、標準的な価値ベースのRLにおいていまだ実用化されていない。

手法：修正考慮型価値学習（Modification-Considering Value Learning: MCVL）

著者らは、現在のユーティリティの最適化を具現化した、オフポリシー・価値ベースRLのためのセーフガードとして、**修正考慮型価値学習（MCVL）**を提案する。MCVLは、あらゆる標準的なオフポリシー学習器（例：DDQN, TD3）のラッパーとして機能し、入力されるすべての遷移を、採用前に評価すべき「候補となる修正」として扱う。

コアメカニズム

MCVLは、新しい遷移 $T_{new} = (s, a, r, s')$ を即座に受け入れるのではなく、各遷移に対して反事実的な予測とスコアリングのチェックを行う：

1. 反事実的予測（Counterfactual Forecasting）: アルゴリズムは、同一の計算予算（$l$ 回の更新）の下で、2つの学習ブランチを構築する：

   • ブランチ 0 ($\tilde{\pi}^0$): 現在のリプレイバッファ $D$ のみで学習した場合に予測されるポリシー。
   • ブランチ + ($\tilde{\pi}^+$): 新しい遷移 $T_{new}$ で拡張された $D$ で学習した場合に予測されるポリシー。
   • 注記: これらの予測は現在のネットワークを複製し、$l$ 回のベース学習器の更新を実行するものであり、ライブエージェントには影響を与えない。

2. ブートストラップ・リターン推定: 両方の予測されたポリシーは、エージェントの現在の学習済みコンポーネントから導出された凍結されたブートストラップ・リターン推定器を用いてスコアリングされる：

   • 観測された報酬に対して教師あり回帰によって学習された報酬モデル $R_\psi(s, a)$。
   • 標準的な時間差（TD）更新によって学習された価値関数 $Q_\theta(s, a)$。
   • 推定器は、$n$ ステップのブートストラップ・リターン $\hat{G}_n(\tau) = \sum_{t=0}^{n-1} \gamma^t R_\psi(s_t, a_t) + \gamma^n Q_\theta(s_n, a_n)$ を計算する。
   • 期待リターン $\hat{J}(\pi)$ は、遷移モデル $\hat{P}$（真の環境または学習されたモデル）を用いて、長さ $n$ の軌跡を $k$ 個ロールアウトすることで近似される。

3. 採用ルール: 予測されたポリシーが、遷移なしの場合よりも高い（または同等の）スコアを示す場合にのみ、遷移 $T_{new}$ はリプレイバッファ $D$ に採用される：
   $$\hat{J}(\tilde{\pi}^+) \geq \hat{J}(\tilde{\pi}^0)$$
   条件を満たさない場合、遷移は拒否され、エージェントがさらなるハッキングを招く経路や、将来の予測に必要な連続性を損なう経路を探索することを防ぐために環境はリセットされる。

事前学習と初期化

MCVLは、リターン推定器を事前学習するための、ハッキングを行わない遷移のシードデータセット ($D_0$) を必要とする。このデータセットにより、評価器は真のタスクの進展と報酬ハッキングを区別することができる。

• グリッドワールド: ハッキングの手段が取り除かれた「安全な」バリアントの環境を使用する。
• 連続制御: ランダムな探索ではハッキング条件を発見するのが難しいため、フル環境におけるランダムポリシーによるデータセットで十分である。

効率化のための最適化

計算オーバーヘッドを制限するため、MCVLはヒューリスティックなトリガーを採用している。フル予測・スコアリング・チェックは、観測された報酬 $r$ が報酬モデルの予測 $R_\psi(s, a)$ から大きく逸脱している場合（すなわち、$|r - R_\psi(s, a)| \geq \delta_r$）にのみ呼び出される。乖離が小さい遷移は、高価なチェックなしで採用される。

主な貢献

1. 現在のユーティリティ最適化の具現化: 本論文は、標準的な価値ベースのRLにおける「現在のユーティリティの最適化」という理論的概念の実用的な実装を提供している。これは、安全な参照ポリシーを必要とせずに、エージェントが現在価値を置いているものを最適化しつつ、それらの価値を変更することに対して保守的になるメカニズムを導入している。
2. 報酬ハッキングの経験的軽減: 著者らは、4つの安全性に関連するグリッドワールド（Box Moving, Absent Supervisor, Tomato Watering, Rocks and Diamonds）と、3つの修正されたMuJoCo連続制御タスク（Reacher, Ant, HalfCheetah）において、MCVLが報酬ハッキングを効果的に軽減することを実証した。これらのタスクにおいて、MCVLは真の報酬で学習されたOracleと同等の性能を達成したが、ベース学習器（DDQN/TD3）はハッキングに陥った。
3. 理論的保証: 論文では、ゲーティング・ルールの安全性、許容性、および限定的な劣化に関する保証を定式化している。これらの保証は、リターン推定器の精度 $\epsilon$ によってパラメータ化される。具体的には、推定器が $\epsilon$-正確であれば、MCVLは真の性能を $2\epsilon$ 以上低下させる遷移を拒否し、真の性能を $2\epsilon$ 以上向上させる遷移を決して拒否しない。
4. 新しいベンチマーク: 著者らは、報酬ハッキングの研究を可能にするために、スプリアスな報酬源（例：センサーの故障、隠されたボタン）を持つ修正されたMuJoCo環境を導入した。

結果

• 性能 vs Oracle: テストされたすべての環境において、MCVLは真のリターン（意図された目的）に対する最終的な性能を、Oracleエージェントに匹敵するレベルまで達成した。真のリターンに一度もアクセスしていないにもかかわらず、いくつかのグリッドワールドのタスクでは、MCVLはOracleよりも速く強力な性能に到達した。これは、初期の大きな行動変化を拒否することによって誘発される、暗黙的なカリキュラムによる可能性がある。
• ベースラインとの比較:
  • ベース学習器: 標準的なDDQNおよびTD3エージェントは、一貫して誤設定された報酬を悪用することを学習し、高い観測リターンを得る一方で、真の性能は低くなる。
  • 占有率正則化目的関数: 安全な参照ポリシーの近くにポリシーを留めるよう制約をかける占有率正則化ポリシー最適化は、ハッキングを抑制しつつOracleレベルの改善を可能にする正則化強度を見つけることがしばしば困難であることを著者らは示している。
  • 凍結された報酬モデル: 報酬モデルは固定されているがポリシーは学習を続ける（ゲーティングメカニズムなし）ベースラインは、一部のタスクではOracleの性能に一致するが、他のタスク（例：Absent Supervisor）では壊滅的に失敗する。これは複雑なシナリオにおけるゲーティングメカニズムの必要性を浮き彫りにしている。
• アブレーション研究:
  • 予測予算 ($l$): 単一の勾配ステップによるチェック（Each-stepバリアント）では不十分であり、評価器が乖離を検出できるように、ポリシーが意味のある変化を示すためのより大きな予算（$l$）が必要である。
  • トリガーリング: 報酬の乖離（$\delta_r$）に基づいてのみチェックを行うことで、性能を維持しながら、すべての遷移をチェックする場合と比較して計算コストを大幅に削減できる。
  • 遷移モデル: スコアリングのロールアウトに（真の環境ではなく）学習された遷移モデルを使用しても、Oracleレベルの性能が維持される。これは、相対的なポリシーのランキングにおいて、正確なダイナミクスが厳密には必要ないことを示唆している。

意義と主張

本論文は、MCVLが性能を犠牲にすることなく、報酬ハッキングを回避する実用的な方法を提供すると主張している。標準的なオフポリシー学習器をラップすることで、安全な参照ポリシーへのアクセスや、プロキシ報酬の性質に関する特定の仮定を必要としないモジュール型のセーフガードを提供する。

著者らは、MCVLを優れた報酬設計の代替ではなく、補完的なものとして位置づけている。彼らは限界についても認めており、この手法は、評価器がスコアリング・ホライゾンにおいてハッキングの軌跡を非ハッキングの軌跡よりも低くランク付けできることに依存している。例えば、報酬モデル自体がハッキング行動を価値が高いと判断するように誤設定されている場合（CoasRunnersの例のような不適切な報酬シェイピングなど）、ゲーティングメカニメントは失敗する可能性がある。したがって、論文は、MCVLは、意図された目的を正確に反映するデータを用いた事前学習および堅牢な報酬設計と組み合わされたときに最も効果的であると結論付けている。

本研究は、理論的な安全性概念（現在のユーティリティの最適化）と実用的な深層強化学習の実装との間の溝を埋め、個々の遷移が報酬ハッキングを予測し得ることを示し、反事実的な予測が効果的なフィルターとして機能することを実証している。