技術概要：トレーニングフリーの RLVR データ選択のための単一ロールアウト隠れ状態ダイナミクス

問題定式化

本論文は、**検証可能報酬を伴う強化学習（RLVR）*における重要なボトルネック、すなわち大規模なラベルなしプールから高影響度のトレーニングインスタンスを選択する課題に取り組んでいる。RLVR は非常にデータ効率的であり、ごく少数の例から大幅な推論の向上をもたらす可能性があることが知られているが、その性能はどの*例が選択されるかに極めて敏感である。

既存のデータ選択パイプラインは、通常、以下のいずれかに依存している：

1. トレーニング時のシグナル: 候補プール上で部分的なファインチューニングまたは RL を実行し、最適化ダイナミクス（報酬の軌跡、勾配分散など）を観察する。
2. 真値への依存: 候補プール全体に対する検証可能な報酬または正解へのアクセスにより、インスタンスをランク付けする。

これらの要件は、アノテーションにコストがかかり、数千の候補に対する試行トレーニングが計算資源の浪費となる専門分野（例：医療 QA）など、リソースが限られた領域ではしばしば非現実的である。著者らは、ラベル、検証可能な報酬、トレーニング時の最適化シグナルが一切存在しない大規模なラベルなしプール上で選択を行わなければならないプレ RL 体制を定式化した。

手法：SHIFT

著者らは、トレーニングもラベルも不要なワンショットのセレクターであるSHIFTを提案する。SHIFT は、トレーニングを実行することなく、推論時の隠れ状態ダイナミクスを活用して、下流の RLVR に対するインスタンスの有用性を推定する。

中核メカニズム：推論誘起表現シフト（RIRS）

中心的な仮説は、推論トレース中のモデルの内部ダイナミクスが、その学習ポテンシャルを符号化しているというものである。

1. 単一決定論的ロールアウト: 各候補インスタンス $x$ に対して、SHIFT は貪欲デコーディング（$T=0$）を用いて単一の決定論的推論トレースを実行する。
2. アンカー抽出: 推論トレースの開始時（$s(x)$）と終了時（$e(x)$）の隠れ状態を特定する（具体的には、Chain-of-Thought セグメントの開始と終了）。
3. RIRS 計算: 推論誘起表現シフトは、これらの状態間の差分として計算される：
   $$\Delta(x) = e(x) - s(x)$$
   大きさ $\|\Delta(x)\|_2$ は、インスタンスの有用性（情報量）の軽量な代理指標として機能し、より大きなシフトはモデルの内部計算のより強い関与を示唆すると仮定される。

選択アルゴリズム：品質重み付き最遠方第一コアセット

選択された部分集合が高品質かつ多様であることを保証するため、SHIFT は拡張特徴空間における貪欲な選択戦略を採用する：

1. 特徴構築: 各インスタンスは、初期コンテキスト（$s(x)$）と推論変換（$\Delta(x)$）の両方を捉える連結ベクトル $\phi(x) = [s(x); \Delta(x)]$ で表現され、単位球面上に正規化される。
2. 有用性スコアリング: 有用性スコア $\tilde{q}(x)$ は、RIRS の大きさから導出される（安定化のため対数変換される）。
3. 貪欲選択:
   • 集合 $S$ を、最も高い有用性を持つインスタンスで初期化する。
   • 現在の集合からの距離と有用性の積を最大化する次のインスタンス $x^*$ を反復的に選択する：
     $$x^* = \arg\max_{x \in U \setminus S} \tilde{q}(x) \cdot \min_{x' \in S} \|\phi(x) - \phi(x')\|_2$$
     これにより、情報量（高い RIRS）とカバレッジ（RIRS 拡張空間における多様性）のバランスが取られる。

主要な貢献

1. 問題の定式化: 選択時にラベル、報酬、トレーニングシグナルが一切利用できない厳密なプレ RL 設定における RLVR データ選択問題を定義した。
2. SHIFT フレームワーク: 推論時の隠れ状態ダイナミクス、特に RIRS 指標に基づくトレーニングフリーのセレクターを導入した。
3. アルゴリズム的革新: 大規模なラベルなしプールにスケーリング可能な、単一ロールアウトの品質重み付き最遠方第一コアセットアルゴリズムを開発した。
4. 実証的検証: 超低予算（データの 0.1%–4%）下で、数学的推論および医療 QA のベンチマークにおいて、トレーニングフリーのベースライン（多様性サンプリング、難易度ヒューリスティック、不確実性ベースの手法）に対して一貫した改善を実証した。

実験結果

著者らは、Qwenモデル（1.5B および 1.7B）を用いて、2 つの領域で SHIFT を評価した：

• 数学的推論（MATH-500 & AMC）: 2% の予算下で、SHIFT は MATH-500 で62.67%、AMC（OOD）で**38.55%**の精度を達成し、ランダムサンプリング（+8.94 / +12.77）および他のベースラインを大幅に上回った。特に、OOD である AMC ベンチマークでは、フルデータの RLVR 参照値を上回った。
• 医療 QA（MEDQA & Transfer）: 0.1% の予算下で、SHIFT は MEDQA で**50.35%**を達成し、ランダム（45.28%）および他のヒューリスティックを上回った。臨床的に困難なサブセット（MedXpertQA）への転移において特に強力な性能を示し、データの 0.1% だけでフルデータの性能にほぼ匹敵した。

アブレーションと分析

• RIRS の妥当性: 相関分析により、RIRS は単に入力/出力の長さの代理指標ではないことが確認された（応答長さとのスピアマン $\rho \approx 0$）。
• 有用性の相関: パイロット研究により、プレ RL における RIRS ランキングと実際の下流 RLVR Gain の間に強い正の相関（スピアマン $\rho = 0.818$）があることが示された。
• アブレーション: RIRS ベースのカバレッジ（$\phi_{s+\Delta}$）または品質重み付け（$\tilde{q}(x)$）のいずれかを除去すると性能が低下し、多様性と有用性の両方のシグナルが相補的であることを確認した。
• 計算効率: SHIFT は候補ごとに決定論的ロールアウトを 1 回のみ必要とするため、自己整合性ベースライン（約 32 回の確率的ロールアウトが必要）に比べて選択時のコストが大幅に低い。

意義と主張

本論文は、SHIFTが、アノテーションコストと計算制約のために従来は非現実的とされていたシナリオにおいても、効果的な RLVR 適応を可能にすると主張している。トレーニングシグナルではなく推論誘起隠れ状態ダイナミクスを通じて「影響力のある」例を同定することにより、SHIFT は以下を可能にする：

• アノテーションおよびトレーニングオーバーヘッドの劇的な削減: データの 1% 未満で強力な性能を達成する。
• アクセシビリティ: 真値ラベルが希少な専門分野（例：医療）において、RL 適応を実用的にする。
• 一般化: 標準的な多様性または難易度ベースの選択と比較して、より困難な分布外評価設定への転移を改善する。

著者らは慎重な立場を維持しており、RIRS は理論的なブロックレベルのダイナミクスに動機付けられた経験的代理指標であり、形式的な導出ではないことを認めるとともに、より広範なモデルファミリーにおける頑健性や、安全性に敏感なエラー層別化は今後の研究課題として残されているとしている。