技術的サマリー：内在的勾配ノルム報酬による LLM の検証器不要 RL（VIGOR）

1. 問題定義

検証可能報酬を用いた強化学習（RLVR）は、数学やコーディングなどの推論タスクにおいて、大規模言語モデル（LLM）のポストトレーニングパラダイムとして強力な手法として浮上しています。しかし、RLVR は、数学の答えの完全一致チェックやコードのユニットテストなど、外部のドメイン固有の検証器に大きく依存しています。この依存性は、そのような検証器が存在しない、または構築が困難な新しいタスクやドメインへのスケーラビリティを制限します。

既存の検証器不要の代替手法は、重大な課題に直面しています：

• 多数決法（Majority Voting Methods）： これらは複数のサンプル間の合意から疑似ラベルを導出します。これらは通常、最終的な答えが信頼性を持って抽出され正規化できると仮定するため、オープンエンドな生成への適用性が制限されます。
• 内在的シグナル法（Intrinsic Signal Methods）： これらはエントロピーや自己確信度などの内部モデルシグナルを使用します。有望ではあるものの、トレーニングが進行するにつれて脆くなり、報酬の劣化、不安定性、および性能の崩壊を引き起こす可能性があります。

核心的な課題は、自由形式の出力に広く適用可能で、強化学習中に安定しており、補助コンポーネントなしにポリシーモデル自体のみに依存する検証器不要の報酬シグナルを開発することです。

2. 手法：VIGOR

著者らは、ポリシーモデルの内部トレーニングダイナミクスのみを使用して報酬を計算する手法であるVIGOR（Verifier-free Intrinsic Gradient-Norm Reward：検証器不要内在勾配ノルム報酬）を提案します。

核心的な直感

この手法は、一次最適化理論に基づいています。損失ランドスケープにおいて、より小さな勾配ノルムは、通常、現在のパラメータが定常領域の近くにあることを示し、より穏やかな更新と滑らかなトレーニングダイナミクスを意味します。VIGOR は、教師あり強制負対数尤度（NLL）勾配の $\ell_2$ ノルムを小さくする完了が、現在のポリシーとより整合しており、より高い報酬を受けるべきであると仮説立てています。

アルゴリズム手順

与えられたプロンプト $x$ に対して、ポリシー $\pi_\theta$ は $G$ 個の完了 $\{y_i\}_{i=1}^G$ のグループをサンプリングします。報酬計算は以下のように行われます：

1. 勾配ノルム計算： 各完了 $y$ について、平均トークンレベル NLL $\ell_{mean}(x, y)$ を計算します。勾配 $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$ を、モデルを更新することなく、現在のパラメータ $\theta$ に対して計算します。勾配はスカラーシグナルとして機能するように計算グラフから切り離されます。
2. 長さ補正（$\sqrt{T}$ スケーリング）： 生の勾配ノルム $\|g\|_2$ は、品質が向上しなくてもシーケンス長さ $T$ が増加するにつれて縮小するという系統的バイアスを示します。この「長さハッキング」に対抗するため、シグナルを $\sqrt{T}$ でスケーリングします：
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   負の符号は、勾配ノルムの最小化を報酬最大化の目的に変換します。
3. ランクベース正規化： 異なるプロンプト間での報酬スケールを安定させ、比較可能性を確保するため、グループ内の生シグナルをソートし、ランクベースの報酬 $R_{GN} \in [-1, +1]$ にマッピングします。最悪の完了（最も高い勾配ノルム）は $-1$を受け取り、最良の完了（最も低い勾配ノルム）は$+1$ を受け取ります。
4. ポリシー最適化： これらのランク正規化された報酬は、グループ相対ポリシー最適化（GRPO）フレームワーク内でグループ相対アドバンテージ $\hat{A}_i$ を計算するために使用されます。ポリシーは目的関数を最大化するように更新され、より低い勾配ノルムを持つ完了が促進されます。

3. 主要な貢献

• VIGOR フレームワーク： 教師あり強制勾配の $\ell_2$ ノルムをポリシー整合性とトレーニング安定性の代理指標として利用する、新規の検証器不要内在報酬メカニズム。
• 長さ補正： 平均化されたトークンレベル勾配ノルムに内在する系統的な長さバイアスを中和し、モデルが報酬最大化のために長さのインフレを悪用するのを防ぐ $\sqrt{T}$ スケーリング因子の導入。
• ランクベース整形： 絶対的な勾配の大きさではなく、グループ内の相対的な順序に依存することで、プロンプト間での報酬スケールを安定させる正規化技術。
• 実証的検証： 数学的推論とコード生成ベンチマークにおいて、VIGOR が最先端の検証器不要ベースライン（特に RLIF/INTUITOR）を上回ることを示す広範な実験と、安定したトレーニングダイナミクスを維持すること。

4. 実験結果

実験は、それぞれMATHデータセットとCodeContestsデータセットでトレーニングされたQwen2.5-3B-BaseおよびQwen2.5-7B-Baseモデルで行われました。

数学における性能（MATH でトレーニング）

• Qwen2.5-7B： VIGOR は、INTUITOR ベースラインに対して平均数学精度を**+3.31%向上させました。具体的には、MATH500 で76.20%、AMC で44.42%**を達成しました。
• クロスドメイン転移： 数学データのみでトレーニングした場合、VIGOR は INTUITOR ベースラインに対して平均コード精度を**+1.91%**向上させ、効果的なクロスドメイン転移を示しました。
• 安定性： 後期段階で精度の回帰を示した INTUITOR と異なり、VIGOR はトレーニング全体を通じて安定した向上を維持しました。

コードにおける性能（CodeContests でトレーニング）

• Qwen2.5-3B： VIGOR は、平均コード性能を 16.98% から**23.64%**に向上させました。
• クロスドメイン転移： コードデータでのトレーニングは、数学の平均を 48.34% から**56.57%**に向上させました。
• 注記： CodeAvg 指標において、VIGOR（23.64%）は特に CRUX ベンチマークにおいて INTUITOR（25.43%）をわずかに下回りました。著者らは、正解性が勾配の滑らかさでは完全に捉えられない離散的なアルゴリズム的選択に依存することが多いコンペティティブプログラミングの性質をその理由として挙げています。

トレーニングダイナミクス分析

• 安定性： VIGOR は、時間経過とともに高報酬サンプルが正解性と整合しなくなる（報酬劣化）という問題に苦しんだ INTUITOR に比べて、より安定したトレーニングダイナミクスを示しました。
• 長さ制御： VIGOR は長さのインフレを効果的に抑制しました。INTUITOR が生成長さの顕著な増加を示したのに対し、VIGOR は実質的に短い出力を生成し、長さハッキングではなく推論の質に最適化を集中させました。
• ランク - 精度単調性： 勾配ノルムランキングとタスク精度の間に強い単調な関係があることが分析で確認されました。VIGOR によって上位にランク付けされた完了は、一貫して高い精度を達成しました。

除去実験（Ablation Studies）

• $\sqrt{T}$ 補正なし： このコンポーネントを削除すると、特に 3B モデルにおいて壊滅的な劣化を引き起こし、ほぼゼロの精度と深刻な長さハッキングをもたらしました。
• ランク整形なし： ランク正規化を削除すると、特に 7B モデルにおいて不安定性が生じ、生勾配の大きさにおける極端な外れ値の影響により、MMLU-Pro パフォーマンスが大幅に（8.90%）低下しました。

5. 意義と限界

意義：
本論文は、VIGOR が外部ラベルや補助モデルに依存しない、堅牢な検証器不要の RL ポストトレーニング代替手段を提供すると主張しています。損失ランドスケープの内在幾何学（勾配ノルム）を活用することで、ドメイン間（数学からコード、その逆）で一般化し、他の内在的手法が失敗する場所でトレーニング安定性を維持する、安定したシグナルをポリシー最適化に提供します。

限界：

• タスク範囲： この研究は主に検証可能な推論タスクを対象としています。追加の制約なしに、よりオープンエンドな生成設定（長文作成や対話など）に VIGOR がどの程度転移するかは不明です。
• 計算コスト： VIGOR は自動微分によるサンプルごとの勾配ノルム計算を必要とし、尤度やエントロピーのようなフォワードのみのシグナルと比較して、無視できないオーバーヘッドをもたらします。
• 代理指標の性質： 勾配ノルムは代理目的関数です。著者らは、それが下流の有用性を一貫して追跡するとは限らず、潜在的な不一致や報酬の悪用に対する余地が残っていると認めています。