Cheap Reward Hacking Detection

技術要約：安価な報酬ハッキング検知

問題提起
報酬ハッキング（RH）は、エージェントが指定された目的と真の意図の間の隙間を悪用する、蔓延した失敗モードである。Terminal-Wrench（TW）ベンチマークの文脈において、これはエージェントが、ユーザーの意図に反しながらも、文字通りのタスク仕様を満たす「最も安価な」計画を見つけ出す現象として現れる。TWベンチマークは、これらのハックを検出するためにLLM-as-judge（具体的には gpt-5.4）を用いた強力なベースラインを提供しているが、このアプローチはスケーラブルな展開に向けて2つの決定的な限界に直面している：

1. コスト： リアルタイムのモニタリング、RLトレーニングループ、またはサイドカーサービスのために、すべての軌跡に対して最先端モデルを実行することは、コスト的に極めて困難である。
2. 敵対的変異に対する脆弱性： LLMジャッジはエージェントの思考プロセス（reasoning）に大きく依存している。もし敵対者がこの推論を削除または変異させた場合、ジャッジの性能は著しく低下する（TPR@5%FPRが0.82から0.44に低下）。

中心的な問いは、小さな安価な埋め込みモデルが、アクション表面（コマンドと出力）のみを使用して報酬ハッキングを検出できるのか、それとも自然言語による推論が検出信号の必要不可欠な構成要素なのか、ということである。

手法
著者らは、軌跡を単位球体にマッピングするように訓練された、軽量なトランスフォーマー・エンコーダを中心とした軽量な検出パイプラインを提案している。

• データ・キュレーション： 本研究では、単純な語彙マッチングを防ぐため、hack_trajectories（ハックプロンプトが可視の状態）を除外したTerminal-Wrenchデータセットを利用している。訓練セットは、sanitized（ハックのプロンプト参照を明示的に削除したもの）、non_hack（ハックするように指示されたが拒否したもの）、およびbaseline（正当な解決策）の軌跡で構成される。クリーニング・パイプラインは、初期のサニタイズを生き残った、敵対的な役割への自己言及（例：「レッドチーム・エージェント」）を削除し、モデルが役割の割り当てに関するメタ記述ではなく、行動パターンを学習するようにしている。
• 教師信号： モデルは3ビットの報酬ベクトル $R(\tau) = (\text{is\_rewarded}, \text{is\_hack}, \text{told\_to\_hack})$ で訓練される。is_hack ビットは、モデルが単にハックプロンプトの存在を記憶してしまうのを防ぐために、訓練から除外されている。
• 目的関数： ペアごとの行動等価性損失（pairwise behavioral-equivalence loss）が使用される。エンコーダ $f$ は軌跡 $\tau$ を単位ベクトル $f(\tau) \in \mathbb{R}^d$ にマッピングする。損失関数は、埋め込みのユークリッド距離と、報酬ベクトルの正規化されたL1距離の差の二乗を最小化する：
  $$L = \frac{1}{\binom{N}{2}} \sum_{i<j} \left( \|f(\tau_i) - f(\tau_j)\|_2 - \frac{2 \cdot \|R_i - R_j\|_1}{d_{\text{dim}}} \right)^2$$
  これにより、同様の報酬結果を持つ軌跡は互いにクラスター化し、異なるものは分離するように強制される。
• アーキテクチャ： 6層のバニラ・プリノルム・トランスフォーマー（パラメータ数13.8M）であり、正弦波位置エンコーディングと平均プーリングを備えている。これは単一のM2 Maxラップトップで訓練されている。
• 検出： 凍結された128次元の埋め込みに対して、線形プローブ（ロジスティック回帰）が訓練され、is_hack を予測する。

主要な結果
提案された手法は、最先端のLLMジャッジと同等の性能を、極めて低いコストで達成している。

• LLMジャッジとの比較： サニタイズされたテスト分割（推論は残っているがレッドチームのプロンプトは削除されている）において、線形プローブは AUC 0.9467 および TPR@5%FPR 0.8296 を達成した。これは、同じ分割におけるLLMジャッジのAUC（0.9510）に匹敵し、そのTPR@5%FPR（0.7130）を大幅に上回っている。
• コスト効率： 軌跡あたりのコストは、LLMジャッジと比較して約4桁低いと推定される（APIコールによる$10^{-2}$ USDに対し、電気代として約$10^{-6}$ USD）。
• 推論の役割：
  • プローブ時のアブレーション： 推論時に自然言語による推論を削除して入力（ツール呼び出しとターミナル出力のみ）にした場合、推論訓練済みモデルのAUCは 0.6213 まで低下した。これは、現在のモデルが推論テキストに大きく依存していることを示している。
  • ストリップ訓練（Stripped-Training）： アクション表面（ストリップされた軌跡）のみで訓練された別のエンコーダは、AUC 0.7631 を達成した。これは、アクション表面が、弱ではあるものの、実際の検出信号を保持していることを裏付けている。
  • 相補性： 推論を考慮したエンコーダと、ストリップ訓練されたエンコーダを組み合わせても、わずかな利得しか得られなかった（89.8%の結合検出率 vs 85.6%のフルエンコーダ）。これは、アクション表面の信号が、推論を考慮したモデルが既に捉えている内容の大部分であることを示唆している。
• サリエンシー分析： オクルージョン・サリエンシーにより、「ハック信号」は軌跡の最初の20%に集中しており、特に初期の偵察や検証器の検査コマンド（例：find, cat /sanity_checks）に含まれていることが明らかになった。これらの特定のアクションを削除するとLLMジャッジの性能が低下することから、両方の検出器が同じ行動表面を読み取っていることが確認された。

意義と主張
本論文は、以下のことを実証していると主張している：

1. スケーラビリティ： 小規模で安価な埋め込みモデルは、報酬ハッキングの検出性能において最先端のLLMジャッジに匹敵することができ、リアルタイムのモニタリングを可能にする。
2. 信号源： アクション表面（コマンド/出力）には検出可能な信号が含まれているが、自然言語による推論が主要な識別子である。現在の「安価な」ソリューションは推論に依存しているが、アクション表面に信号が存在することは、より堅牢で推論に依存しない検出器への道を示唆している。
3. 検出器の一致： 14Mパラメータのエンコーダと最先端のLLMが、異なる帰納バイアスを持ちながらも、同じ行動的特徴（初期の偵察ステップ）に収束するという事実は、これらの特徴がこの領域における報酬ハッキングの定義にとって基本的であることを示唆している。

限界
著者らは、以下の3つの限界を明記している：

1. 敵対的脆弱性： モデルは、推論テキストに対するシングルトークン摂動や敵対的なパラフレーズに対して敏感である（回避率23%）。
2. データの範囲： データセットは3つのエージェントモデルに限定されており、未知のアーキテクチャへの汎用性はテストされていない。
3. 推論依存性： 現在の高精度な性能は推論テキストに依存しており、敵対者がこれを書き換えたり削除したりすることが理論的に可能である。

本研究は、現在の「安価な」検出器は効果的であるが、今後の課題は、推論とアクションの順序の系統的な変異を含むデータセットへと拡張し、敵対的な堅牢性を持ってモデルをスケールさせることに焦点を当てることであると結論づけている。