論文要約：Detecting RLVR Training Data via Structural Convergence of Reasoning

本論文は、検証可能な報酬を用いた強化学習（RLVR）によって訓練された推論モデルにおいて、トレーニングデータがベンチマークに汚染されているかどうかを検出する新しい手法「Min-kNN Distance」を提案するものです。従来の事前学習や教師あり微調整におけるデータ検出手法が、RLVR の特性上機能しないという課題に対し、推論経路の構造的収束（Structural Convergence）に着目した黒箱（Black-box）検出器を開発しました。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義と背景

背景

近年、大規模言語モデル（LLM）の推論能力は、数学、コーディング、記号論理などの「検証可能な答え」を持つタスクにおいて劇的に向上しています。この向上の主要な駆動力は、**RLVR（Reinforcement Learning with Verifiable Rewards）**です。RLVR では、モデルが生成した推論経路（Chain-of-Thought）の最終答えが正解かどうかを報酬としてフィードバックし、モデルを最適化します。

課題

RLVR によってモデルの性能が向上する一方で、トレーニングデータにベンチマーク問題が含まれている可能性（汚染）が懸念されています。

• 既存手法の限界: 従来のトレーニングデータ検出手法は、事前学習や教師あり微調整（SFT）において、トークンレベルの確率（Perplexity など）や統計的痕跡に基づいて機能します。しかし、RLVR は「正解への報酬」に基づいてモデルを微調整するため、従来の確率ベースの信号は効果的ではありません。
• ブラックボックス化: 多くのオープンソースの RLVR モデルは、ベースモデルやトレーニングデータへのアクセスを制限しており、汚染の有無を評価する信頼できるツールが不足しています。

目的

RLVR 訓練中に特定の例（プロンプト）が遭遇したかどうかを、モデルの内部状態やトレーニングデータにアクセスせずに（ブラックボックスで）検出する手法の開発。

2. 手法：Min-kNN Distance

著者らは、RLVR 訓練によってモデルの推論行動に特有の「構造的収束」が生じることを発見し、これを検出のシグナルとして利用しました。

核心的な発見：推論経路の構造的収束

• 既知のプロンプト（Seen）: RLVR 訓練中に遭遇したプロンプトに対して、モデルは多様な推論経路を生成するのではなく、少数の硬直的な構造的モード（Structural Modes）に収束します。つまり、同じプロンプトに対する複数の生成結果が、構造的に非常に類似したものになります。
• 未知のプロンプト（Unseen）: 訓練データに含まれていないプロンプトでは、生成される推論経路の多様性が保たれ、構造的な収束は起こりません。
• 収束の性質: この収束は、特に記号論理や代数推論の部分（数式変形、標準的な数学的操作など）で顕著に現れます。

検出アルゴリズム：Min-kNN Distance

この「構造的収束」を定量化するために提案された手法です。

1. サンプリング: 対象のプロンプト $x$ に対して、RLVR 微調整済みモデルから $m$ 個の生成結果（コンプリート）$O(x) = \{o_1, o_2, \dots, o_m\}$ をサンプリングします。
2. 編集距離の計算: 生成されたすべてのペア間の正規化された編集距離（Normalized Levenshtein Edit Distance）$D_{ij}$ を計算します。
3. 最小近傍距離の抽出: 各生成結果 $o_i$ について、他の生成結果との最小距離（Nearest-Neighbor Distance）$NN_i(x)$ を求めます。
4. スコアの算出: 得られた $m$ 個の最小距離をソートし、最も小さい $k$ 個の距離の平均値を「Min-kNN Distance」として定義します。
   $$\text{Min-kNN}(x) = \frac{1}{k} \sum_{t=1}^{k} NN^{(t)}(x)$$
5. 判定:
   • 既知のプロンプト: 生成結果が構造的に類似しているため、編集距離が小さく、Min-kNN Distance の値は低くなる。
   • 未知のプロンプト: 生成結果が多様であるため、編集距離が大きく、Min-kNN Distance の値は高くなる。

この手法は、モデルのトークン確率や内部パラメータへのアクセスを一切必要とせず、サンプリングのみで動作する完全なブラックボックス手法です。

3. 主要な貢献

1. RLVR による推論行動の体系的分析:
   RLVR 訓練が推論経路の構造空間に「収束」を引き起こすことを初めて体系的に実証しました。特に、記号推論成分が硬直化し、少数の構造的パターンに集約される現象を明らかにしました。
2. Min-kNN Distance の提案:
   トークン確率に依存せず、推論生成の構造的類似性を定量化する単純かつ効果的なブラックボックス検出器を提案しました。
3. 広範な実験による有効性の検証:
   複数の推論モデル（1.5B〜32B パラメータ）、異なる RL アルゴリズム（GRPO, DAPO, PPO）、および様々なトレーニング設定（パラフレーズ、蒸留、コード/数学タスク）において、既存のメンバーシップ推論攻撃（MIA）手法や RL 汚染検出手法を凌駕する性能を示しました。

4. 実験結果

評価設定

• モデル: 公開された RLVR 微調整モデル（SimpleRL, DAPO-Qwen, JustRL 等）および制御された RL-MIA ベンチマーク。
• ベースライン: Perplexity (PPL), Min-K% Prob, Self-Critique などの既存手法。
• 指標: ROC 曲線下面積（AUC）。

結果

• 性能: Min-kNN Distance は、すべての評価モデルで最も高い AUC を達成しました（平均 AUC 0.70）。これは、最良のベースライン手法と比較して17% の相対的な改善です。
• ロバスト性:
  • アルゴリズム非依存: GRPO, DAPO, PPO など、異なる RL 手法で訓練されたモデルでも安定して機能します。
  • モデルスケール非依存: 1.5B から 32B までのモデルサイズで同様の性能を発揮します。
  • パラフレーズ耐性: 訓練プロンプトが言い換え（パラフレーズ）された場合でも、AUC は 0.72 から 0.71 とわずかに低下するのみで、表面レベルの形式に依存しない構造シグナルを検出できることが示されました。
  • 蒸留モデルへの適用: RLVR 教師モデルから蒸留された学生モデルに対しても、RLVR による構造的収束が部分的に転移しているため、検出が可能です。
• 比較: 確率ベースの手法（PPL, Min-K% など）は、RLVR 環境ではランダムなレベル（AUC 0.5 前後）の性能しか示せず、Min-kNN Distance の優位性が際立ちました。

付随的な分析

• ハイパーパラメータ: サンプリング数が増えるほど検出性能は向上し、温度パラメータが高いほど（生成の多様性が保たれるほど）検出シグナルが強まることが確認されました。
• 二段階汚染分析: 事前学習汚染が低いデータセットにおいて、RL 段階の汚染検出がより容易であることを示しました。

5. 意義と結論

本論文は、RLVR 訓練モデルにおけるデータ汚染検出という重要な課題に対し、従来の確率論的アプローチとは異なる「構造的収束」という新しい視点を提供しました。

• 透明性の向上: 公開モデルのトレーニングデータがベンチマークと重複しているかどうかを、外部から容易に検証できる手段を提供します。
• 評価の信頼性: 過剰適合やデータ汚染による虚偽の性能向上を特定し、モデルの真の汎化能力を評価する基盤を築きます。
• 実用性: 内部情報にアクセスできない状況（ブラックボックス）でも適用可能であり、オープンソースコミュニティや実社会でのモデル監査に即座に活用できます。

結論として、RLVR によって引き起こされる推論経路の構造的収束は、トレーニングデータ露出を検出するための強力かつモデル非依存のシグナルであり、Min-kNN Distance はその検出を可能にする実用的なツールです。