IRDS: Interpretable RLVR Data Selection via Verifier-Coupled Sparse Autoencoder Coverage

技術的概要：IRDS – 検証器結合スパースオートエンコーダのカバレッジによる解釈可能な RLVR データ選択

1. 問題定義

検証可能報酬を用いた強化学習（RLVR）は、特に数学分野において大規模言語モデル（LLM）の推論能力を向上させるための支配的なパラダイムとなっています。しかし、RLVR は大きなデータ非効率性に悩まされています。既存のデータ選択手法は、以下の 3 つの重要な要件を同時に満たすことに失敗しています：

1. 失敗の関連性: モデルが現在失敗しているインスタンスを選択すること。
2. 学習可能性: モデルがまだ学習できるインスタンスを選択すること（つまり、グループ相対勾配が消失する「全失敗」と「全解決」の尾部を避けること）。
3. 非冗長性と解釈可能性: 冗長性なく異なる弱点を網羅する多様な部分集合を選択しつつ、選択プロセスが人間によって監査可能であることを保証すること。

現在のアプローチは通常、これらを個別に対処しています：スカラー手法は難易度でランキング付けしますが冗長性を無視し、多様性手法は埋め込みを使用しますが検証器のシグナルを欠き、勾配ベースの手法は密で解釈不可能なパラメータ空間で動作します。

2. 手法：IRDS

著者は、IRDS（Interpretable RLVR Data Selection：解釈可能な RLVR データ選択）を提案します。これは、検証器シグナルと結合されたスパースオートエンコーダ（SAE）クラスタ基底に基づいて、トレーニングインスタンスの非冗長な部分集合を選択するオフライン手法です。

A. SAE クラスタ座標
IRDS は、表面特徴（トークン長など）や密な隠れ状態の代わりに、モデルの最終層の活性化に基づいてトレーニングされたスパースオートエンコーダを用いてインスタンスを表現します。

• SAE トレーニング: BatchTopK SAE が、ターゲットモデルの凍結された活性化を用いて、大規模な数学コーパス（OpenMathInstruct-2）上で教師なしでトレーニングされます。辞書の方向は認識可能な概念（幾何学、約数の数え上げなど）に対応します。
• クラスタリング: コーパスレベルの座標を作成するために、個々のスパース潜在変数は、存在と残差方向を連結したグラフハイブリッド表現を用いて $F=256$ の意味クラスタにクラスタリングされます。各インスタンスは、これら 256 のクラスタにわたる活性化質量のベクトルによって要約されます。

B. 検証器結合カバレッジ目的関数
IRDS は、SAE 座標空間上で難易度と学習可能性のバランスを取るメトリックを構築します。

• 難易度重み ($d_i$): ベータ事後分布を用いて、検証器の成功回数 ($s_i$) から導出されます。モデルが頻繁に失敗する ($s_i$ が低い) 場合、この値は高くなります。
• 学習可能性重み ($r_i$): これも成功回数から導出され、グループ相対優位性の分散が最大化される中間的な成功率 ($s_i \approx G/2$) でピークに達します。これにより、全失敗と全解決の尾部が重み付け下げられます。
• メトリックの構築: この手法は、難易度重み付き共分散 ($\Sigma_d$) と学習可能性重み付き共分散 ($\Sigma_r$) を計算します。その後、ホワイトニングされたメトリック $M = (\Sigma_r + \rho I)^{-1/2} (\Sigma_d + \rho I) (\Sigma_r + \rho I)^{-1/2}$ を形成します。$M$ の主要な方向は、難易度が学習可能性質量を上回る SAE クラスタを特定します。
• 設計ベクトル: 各インスタンスは、SAE ブロック（学習可能性とメトリック $M$ によって重み付けされる）と、勾配情報（SAE 座標に対して残差化された勾配ブロック）を組み合わせた設計ベクトル $\phi_i$ にマッピングされます。

C. 部分集合選択
選択問題は、設計ベクトルのグラム行列の対数行列式を最大化するサイズ $K$ の部分集合 $S$ を見つけるD-最適設計問題として定式化されます。
$$S^* = \arg \max_{|S|=K} \log \det \left( \lambda I + \sum_{i \in S} \phi_i \phi_i^\top \right)$$
この目的関数は、Sherman-Morrison ランク 1 更新を用いた貪欲アルゴリズムによって解かれ、$(1 - 1/e)$ の近似保証を提供します。これにより、選択された部分集合が冗長性なく多様で高価値な方向を網羅することが保証されます。

3. 主要な貢献

1. 初の SAE ベース RLVR 選択: IRDS は、スパースオートエンコーダクラスタ基底に基づいた初の RLVR データ選択手法であり、選択プロセスを「多項式ルートの代数」などの認識可能な問題モチーフに対して監査可能にします。
2. 検証器結合カバレッジ目的関数: 著者は、SAE 基底上で難易度重みと学習可能性重みを分離することで、失敗の関連性と学習可能性を同時に最適化する新しい目的関数を設計し、貪欲な対数行列式最大化によってこれを解きました。
3. 実証的な優位性と効率性: 実験により、IRDS が複数のモデルとベンチマークにおいて最先端の精度を達成しつつ、軌道ベースのベースラインよりも 1 桁以上安価であることが示されました。

4. 実験結果

この手法は、6 つの数学推論ベンチマーク（MATH500、AIME、AMC、OlympiadBench などを含む）において、3 つの指示調整モデル（Qwen3-4B、Qwen3-1.7B、Llama-3.1-8B-Instruct）で評価されました。

• 精度向上: IRDS は 3 つのモデルすべてで最高全体の精度を達成し、最も強力なベースライン（LIMR）を Qwen3-4B で +3.9 pp、Qwen3-1.7B で +4.0 pp、Llama-3.1-8B で +0.5 pp 上回りました。
• 競技ベンチマーク: 向上は、より小さく困難な競技サブセットで特に顕著でした（例：Qwen3-4B における AIME24 で +11.4 pp）。
• コスト効率: IRDS の選択プロセスは、8 GPU ノードで約 7 時間（SAE トレーニングとスコアリングを含む）を要しましたが、軌道ベースのベースライン（LIMR）は 70 時間（1 桁以上多い）を要しました。
• アブレーション研究:
  • 学習可能性重み ($r_i$) を除去すると、パフォーマンスが崩壊し（最大 -19.1 pp）、学習可能性を無視して単に「難しい」インスタンスのみを選択することが有害であることを確認しました。
  • SAE クラスタ基底は、特に強力なベースモデルにおいて重要であり、密な勾配射影を上回ることが判明しました。
  • 勾配ブロックは、わずかながら非冗長な改善を提供しました。
• 解釈可能性: 監査により、選択された部分集合が表面のアーティファクト（トークン長など）ではなく、高難易度のコンテンツ方向（特定の数学モチーフなど）と整合していることが確認され、選択はラベルのシャッフルに対して頑健でした。

5. 意義と主張

この論文は、RLVR における検証器結合データ選択は、ドメイン内精度を犠牲にすることなく監査可能にできることを IRDS が実証していると主張しています。不透明な密な埋め込みや表面特徴から、解釈可能な SAE クラスタへと選択基底をシフトさせることで、研究者はモデルがどの「問題モチーフ」でトレーニングされているかを正確に検証できます。

著者は、IRDS を RLVR における「データ非効率性」というボトルネックへの解決策として位置づけており、以下の特性を持つ手法を提供します：

• 監査可能: 選択は人間が読み取れる問題タイプに追跡可能です。
• 効率的: オンラインの軌道ベースの手法よりも大幅に安価です。
• 効果的: さまざまなアーキテクチャやデータ予算においてモデルのパフォーマンスを一貫して向上させます。

論文は限界を認め、この手法は重み推定のために凍結されたモデルに依存していること（更新後にドリフトする可能性）、SAE トレーニングのためにモデルの活性化へのアクセスが必要であること、そして現在主に GRPO レシピ下での数学 RLVR において検証されていることを指摘しています。