Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning

技術要約：検知可能性の境界における事後学習（Post-Training at the Edge of Detectability）

問題提起
強化学習（RL）によるファインチューニングは、参照ポリシーから継承された振る舞いを維持しようと試みつつ、特定のターゲットタスクに対して大規模言語モデル（LLM）を改善するための標準的なメカニズムである。普及している手法であるKL正則化RLは、参照ポリシーからの逸脱に対するペナルティを制御する正則化係数 $\beta$ によって制御される報酬関数を最大化することで、これらの目的のバランスを取る。しかし、本論文は決定的な限界を指摘している。それは、$\beta$ を設定するための原理的な方法が存在しないということである。実際には、$\beta$ はヒューリスティックな手動チューニングやハイパーパラメータのグリッドサーチによって選択されている。このアプローチは多大な計算オーバーヘッドを招き、報酬の最大化と振る舞いの保持（しばしば「アライメント税」と呼ばれる）との間の最適なトレードオフを得られないことが多い。さらに、既存の適応的手法であっても、学習者が目標とするダイバージェンスや更新ヒューリスティックを事前に指定する必要がある。

手法：逐次的検知ゲーム
著者らは、正則化係数の曖昧さを解消するために、ゲーム理論的なフレームワークを提案している。彼らは、以下の2人のプレイヤーによる**逐次的検知ゲーム（sequential detection game）**を定式化している：

1. エージェント： 累積報酬を最大化するためにポリシー $\tilde{\pi}$ をデプロイしようとする。
2. モニター： エージェントのプロンプト・レスポンス出力を逐次的に観察し、タイプIエラー率（偽陽性率）を $\alpha$ レベルに制御しながら、参照ポリシー $\pi_{ref}$ からの逸脱を検知しようとする。

ゲームは離散的なタイムステップに従って進行する。モニターの逐次仮説検定が、出力が $\pi_{ref}$ から生成されたという帰無仮説を棄却した場合、デプロイは終了し、エージェントの効用はその停止時刻までに蓄積された報酬に制限される。モニターは期待停止時間を最小化することを目指し、エージェントは検知されるまでの期待累積報酬を最大化することを目指す。

理論的分析と均衡
本論文は、このゲームのナッシュ均衡が特定の構造的結果をもたらすことを確立している：

• モニターの戦略： モニターの最適応答は、エージェントの実際のポリシーを対象とした逐次確率比検定（SPRT）である。
• エージェントの戦略： エージェントの最適ポリシーは、参照ポリシーのKL正則化されたティルト（tilt）である。具体的には、均衡ポリシー $\pi_{\beta^*}$ は、特定の固有の係数 $\beta^*$ を用いて、標準的なKL正則化RL目的関数（式1）を解くものである。

決定的なことに、均衡係数 $\beta^*$ は自由なハイパーパラメータではなく、期待報酬と期待KLダイバージェンスの比によって決定される。エージェントは以下の分数プログラムを最適化する：
$$\max_{\pi} \frac{\mathbb{E}[r(x, y)]}{\mathbb{E}[\text{KL}(\pi, \pi_{ref})]}$$
これは、KLペナルティの操作的な解釈を提供する。すなわち、それは逐次的モニタリング下で統計的に識別不能であり続けるための「シャドウ・プライス（潜在価格）」を表している。均衡 $\beta^*$ は、単位統計的識別性あたりの報酬を最大化する。

アルゴリズム：確率的二分法
$\beta^*$ の決定に網羅的なグリッドサーチを行わずに均衡係数 $\beta^*$ を学習するために、著者らはアルゴリズム1である確率的二分法を提案している。

• アルゴリズムは、$\beta^*$ の決定を関数 $M(\beta) = \mathbb{E}[r] - \beta \cdot \mathbb{E}[\text{KL}]$ の根（ルート）を見つける問題として扱う。
• 根 $\beta^*$ は、限界報酬ゲインが限界統計コストと等しくなる点である。
• アルゴリズムは、$M(\beta)$ の符号を推定するためにRLサブ問題（PPOやGRPOのような「RLオラクル」を使用）を解くことで、区間 $[\beta_{low}, \beta_{high}]$ を反復的に絞り込んでいく。
• 理論的分析によれば、凹凸分数プログラムおよび逐次仮説検定の技術を活用することで、アルゴリズムは $O(\log(1/\epsilon))$ 回の反復で $\epsilon$ 精度の解に収束する。

実験結果
本フレームワークは、Qwen3-8BおよびLlama-3.2-1Bを用いて、以下の2つの設定で評価された。

1. 継続学習（Continual Learning）： 目標は、物語および文法の整合性（保持）を維持しつつ、レスポンスの長さ（報酬）を最大化することである。

   • 知見： アルゴリズム1は、経験的な報酬・保持のパレート境界の「エルボー（肘）」付近のポリシーを一貫して選択した。対照的に、計算量を一致させたグリッドサーチでは、極端な値（高報酬/低整合性、または低報酬/高整合性）に陥るか、事後的な選択を必要とすることが多かった。均衡ポリシーは競争力のあるトレードオフを達成し、「アライメント税」を効果的に制御した。

2. モデル監査（Model Auditing）： 目標は、APIプロバイダーが、検知されないように戦略的にモデルをファインチューニングしてレスポンスを長くしたかどうかを検知することである。

   • 知見： モニターの均衡に基づくSPRTは、自然なベースライン（例：一様混合テスト）よりも大幅に速く、戦略的な変更を検知した。同時に、タイプIエラー率を厳密に制御した。例えば、Llama-3.2-1Bにおいて、モニターのテストは約1.75から5.31ステップで逸脱を検知したが、ベースラインは6.23から20.36ステップを要し、かつベースラインはより高い偽陽性率を示した。

意義と主張
本論文は、主に3つの貢献を主張している：

1. 理論的統一： 標準的なKL正則化RL目的関数のゲーム理論的な導出を提供し、検知ゲームにおける最適ポリシーがまさにKLティルトされたポリシーであることを示した。これにより、広く用いられている慣行を回収し、それを厳密な統計的枠組みに根付かせている。
2. 原理的なハイパーパラメータ選択： 正則化係数 $\beta$ を内生的に決定する手法を提供している。$\beta$ を調整可能なハイパーパラメータとして扱うのではなく、均衡アプローチによって、単位統計的識別性あたりの報酬を最大化する値として定義している。
3. 監査能力： 本フレームワークは、オープンソースのモデルAPIを監査するための原理的なアプローチを可能にする。モニターが均衡テストを用いることで、標準的な統計的ベースラインよりも効率的に、隠された戦略的なファインチューニングを検知できることを示している。

著者らは、継続学習に関する知見については「予備的な証拠」であると言及し、大規模なRLファインチューニングと均衡分析との間のギャップを埋めるためにはさらなる研究が必要であると述べるなど、実験結果に対して控えめなトーンを維持している。彼らは、本手法が新しい目的関数を必要とせず、正則化強度の原理的な選択方法のみを必要とするため、標準的なファインチューニング・パイプラインへの柔軟な統合が可能であることを強調している。