技術的概要：検証可能報酬を用いた強化学習におけるデータ所属性の監査

1. 問題定義と動機

検証可能報酬を用いた強化学習（RLVR）は、大規模言語モデル（LLM）の重要なトレーニング段階として浮上しており、特に DeepSeek-R1 や Kimi-k2.5 のようなモデルにおける推論能力の向上に不可欠です。従来の教師あり微調整（SFT）や選好に基づくアライメント（RLHF）とは異なり、RLVR はモデル自身から候補回答を生成し、ルールベースの検証器（例えば、正しい数学の答えやコードの実行結果）を満たすものを強化します。

このパラダイムは、データ露出監査に対して独自の課題を生み出します。既存のメンバーシップ推論攻撃（MIA）は通常、モデルが固定されたターゲット文字列（例えば、SFT における特定の回答や RLHF における選好された回答）に過剰適合していることを検出することに依存しています。しかし、RLVR はあらかじめ定められた回答への最適化を行わず、代わりに検証器を通過する任意の回答を生成する確率を最大化するように方策を最適化します。その結果、固定されたターゲット文字列が存在しないため、標準的な尤度ベースの MIA は機能しません。

本論文は、固定されたターゲット回答が存在しない場合でも、特定のプロンプト（多くの場合、独自のベンチマークや非公開のパイプライン）が RLVR 後のトレーニングに使用されたかどうかを監査する必要性に焦点を当てています。

2. 手法：行動の乖離に基づく監査（DIBA）

著者は、ホワイトボックスかつクエリレベルの監査フレームワークである**DIBA（Divergence-in-Behavior Auditing）**を提案します。DIBA は、公開された RLVR 微調整モデル（$\pi_{ft}$）と、RLVR 以前の参照チェックポイント（$\pi_{ref}$）を比較することで動作します。

核心的洞察

著者は、RLVR が固定された文字列に適合するわけではありませんが、以下の 2 つの次元に沿って観測可能な行動の痕跡を残すことを観察しました。

1. 報酬側の証拠: RLVR は、プロンプトに対する検証可能な成功の達成頻度を変更します。
2. 方策側の証拠: RLVR は、参照方策に対する生成された軌道の確率分布において、行動のドリフトを引き起こします。

DIBA フレームワーク

DIBA は、与えられたクエリ $q$ に対して複数の確率的ロールアウト（$N$ サンプル）から信号を集約し、安定した監査信号を生成します。これは 2 つの軸に沿って特徴量を構築します。

• 報酬側信号（アドバンテージ）:

  • ルールベースの検証器 $R$ を用いて、微調整モデル（$FT_{score}$）とベースモデル（$Base_{score}$）の期待報酬を計算します。
  • $s_{Adv} = [ \frac{1}{N}\sum R(o^{ft}_i), \frac{1}{N}\sum R(o^{ref}_i) ]$。
  • これは RLVR がモデルのタスク解決能力を向上させたかどうかを捉えます。

• 方策側信号（乖離）:

  • K3 乖離: 不偏 KL 乖離推定量を用いて、微調整モデル自身のロールアウトにおける $\pi_{ft}$ と $\pi_{ref}$ のトークンレベルの乖離を測定します。
  • 信頼度シフト: $\log \pi_{ft} - \log \pi_{ref}$ の対数尤度比と、Zlib 正規化された変種を計算し、モデルの信頼度と冗長性の変化を捉えます。
  • 重要なのは、参照モデルが単なる固定ターゲットの較正器ではなく、対照比較のための能動的なベースラインとして機能することです。

予測

これらの特徴量は連結され、スタッキング予測器（ランダムフォレスト＋ロジスティック回帰）に入力され、プロンプトレベルの所属スコアを出力します。

3. 主要な貢献

1. RLVR 監査の体系的な研究: 本論文は、RLVR における露出リスクが、固定ターゲットへの適合ではなく、プロンプト条件付きの行動痕跡とより強く関連していることを確立しました。
2. DIBA の提案: 参照モデルに対する報酬側の変化と方策側の行動乖離を分析することで露出信号を推定する、比較的な監査フレームワークです。
3. 包括的な評価: 著者は RLVR 監査の境界を特徴付け、いつ成功するか（能動的学習の痕跡）といつ失敗するか（既に習得されたプロンプトや飽和した報酬）を特定しました。また、視覚言語モデル（VLM）や様々な転移設定への分析も拡張しました。

4. 実験結果

パフォーマンス

• ホワイトボックス設定: DIBA は、較正済みおよび自己生成バリアントを含む LOSS、Zlib、Min-K% などの強力な転移ベースラインを一貫して上回ります。
  • AUC: 様々なモデル（Qwen-3B/7B）およびアルゴリズム（GRPO、DAPO）において、約0.8を達成します。
  • 高精度領域: ベースラインよりも 1 桁高いTPR@0.1%FPRを達成します（例：DAPO-3B で 0.154 に対し、ベースラインでは約 0.01）。
• 特徴量分析:
  • **FT スコア（報酬）**は全体的なランキング（高い AUC）を提供しますが、低 FPR 領域では機能しません。
  • 乖離は、高精度検出（低 FPR）において最も効果的な特徴量であり、方策ドリフトの重要性を浮き彫りにします。
  • 報酬信号と方策信号の組み合わせは、相乗的な改善をもたらします。

監査領域と境界

• 能動的に学習されたプロンプト: RLVR が非自明な行動変化を引き起こすここでは、DIBA が最も効果的です。
• 既に習得されたプロンプト: 検出は最も弱くなります。ベースモデルが既にプロンプトを完璧に解決している場合、RLVR は最小限の追加更新しか引き起こさず、検出可能な痕跡を残しません。
• 未学習のプロンプト: モデルがタスクを全く学習できない場合も、検出は弱くなります。
• トレーニングダイナミクス: 監査信号の強さは、トレーニング報酬とテスト報酬の間のギャップの拡大と相関しており、トレーニングが進むにつれて段階的に現れます。

転移性と一般化

• モデルサイズ: 同じ RLVR アルゴリズム内でのモデルサイズ間（3B 対 7B）の転移は堅牢です。
• アルゴリズムの不一致: 異なる RLVR アルゴリズム間（例：GRPO から DAPO へ）の転移は、特に高精度領域において不安定です。
• グレーボックス設定: 慎重に選ばれたシャドウデータを用いれば、正確な分布一致がなくても DIBA は有用です（AUC > 0.7）。
• マルチモーダル（VLM）: DIBA は視覚言語モデルにも拡張可能です（AUC 約 0.7）が、視覚エンコーダからのノイズにより、高精度検出（TPR@0.1%FPR）は困難です。
• タスク転移: 指示追従およびツール使用データセットにおいて、信号は維持されます。

緩和策

• 正則化: KL 正則化（$\beta$）を増加させても保護効果は限定的です。これは往々にして真のプライバシー保護ではなく、未学習（アンダーフィッティング）をもたらします。
• 事後の曖昧化: 出力を言い換えることでテキストレベルの監査可能性を低下させる（AUC/TPR を低下させる）ことができますが、監査者がモデルの重みまたは対数オッズにアクセスできる場合、露出を排除することはできません。

5. 意義と主張

本論文は、DIBA をホワイトボックス RLVR 準拠設定における実用的な監査者として位置づけています。その主な意義は、メンバーシップ推論のパラダイムを「固定ターゲットへの適合」から「行動乖離の検出」へと移行させる点にあります。

著者は以下を主張します。

1. 露出は検出可能である: RLVR トレーニングは、固定ターゲット文字列がなくても、標的を絞った監査を通じて表面化できる、観測可能なプロンプト固有の痕跡を残します。
2. 文脈が重要である: データ露出の監査可能性は均一ではありません。トレーニングが観測可能な報酬変化と行動のシフトを引き起こす場合に最も強く、ベースモデルが既に能力を有している場合に最も弱くなります。
3. 限界: この手法は設定に敏感（RL アルゴリズムとモデルファミリーに依存）であり、ベースモデルによって既に完璧に解決されたプロンプトの使用を検出することはできません（「既存の知識」の限界）。

この研究は、新興の RLVR パラダイムにおける重要なプライバシーリスクを浮き彫りにしており、推論能力向上のために使用される独自のプロンプトスイートが露出監査に対して脆弱であることを示唆しています。これにより、RLVR トレーニングに対する新たなプライバシー保護戦略が必要とされています。