Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs

この論文「Sparse but Critical: A Token-Level Analysis of Distributional Shifts in RLVR Fine-Tuning of LLMs（重要だがスパース：LLM の RLVR 微調整における分布シフトのトークンレベル分析）」は、大規模言語モデル（LLM）の推論能力を向上させる「検証可能な報酬を用いた強化学習（RLVR）」のメカニズムを、トークンレベルの分布変化の観点から体系的に解明した研究です。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定

近年、GRPO や DAPO などの RLVR 手法により、LLM の数学的推論や論理的推論の性能は劇的に向上しました。しかし、これらの改善がなぜ、どのように起こるのか、その背後にあるメカニズムは未解明なままでした。
既存の評価は、精度や報酬値などの「応答レベル（全体）」の指標に依存しており、モデルの行動がどのように変化しているかという「メカニズム」への洞察が不足していました。特に、ベースモデル（事前学習済みモデル）と RL 微調整済みモデルの間で、トークンレベルの予測分布がどのように変化し、その変化がどの程度推論性能の向上に寄与しているのかが不明確でした。

2. 手法と分析アプローチ

著者らは、RLVR 微調整がベースモデルの次のトークン分布に与える影響を、以下の 3 つの主要な分析を通じて体系的に調査しました。

1. トークンレベルの分布シフトの特性化:
   • ベースモデルと RL モデルの条件付き分布間のジェンセン・シャノン（JS）ダイバージェンスを計算し、分布の変化が序列全体にわたってどのように分布しているかを分析しました。
   • エントロピー、位置集中性、確率質量の再配分などを分析しました。
2. クロスサンプリング介入（Cross-Sampling Interventions）:
   • ベースモデルと RL モデルのトークン選択を相互に交換する実験を行いました。
     • 前方クロスサンプリング: ベースモデルの生成中に、RL モデルが選択したトークンを一部挿入する。
     • 逆方向クロスサンプリング: RL モデルの生成中に、ベースモデルが選択したトークンを一部挿入する。
   • これにより、スパースな分布シフトが推論性能にどの程度機能的に重要かを検証しました。
3. 微細な分布メカニズムの解明:
   • 変化が大きい位置において、RL が「新しいトークンを発明」しているのか、それとも「既存の候補トークンの確率を再配分（再ランク付け）」しているのかを、Top-k オーバーラップやランクシフト分析を通じて調査しました。
   • さらに、ダイバージェンス重み付けされたアドバンテージ信号を用いた診断的介入も試みました。

3. 主要な結果と発見

A. 分布シフトは「スパースかつ標的的」である

• 極めて高いスパース性: RL 微調整により、分布が有意に変化するトークンの割合は非常に少ないことが判明しました。DAPO 手法では約 83%、SimpleRL 手法では 98% 以上のトークン位置で、ベースモデルと RL モデルの JS ダイバージェンスはほぼゼロでした。
• 位置集中性: 変化はランダムではなく、応答の冒頭（高レベルの分岐決定）と末尾（回答フォーマットや終了行動）に集中する傾向がありました。
• SFT との対比: 教師あり微調整（SFT）は分布全体にわたって広範な変化をもたらしますが、RLVR は極めて局所的で選択的な変化しか引き起こさないことが確認されました。

B. 少数のトークン決定が性能を支配する（クロスサンプリング実験）

• 前方介入: ベースモデルの生成において、わずか 1〜10% のトークン（例：AIME 2024 で約 4%）を RL モデルの選択に置き換えるだけで、ベースモデルの性能から RL モデルの性能まで回復させることができました。場合によっては、単独の RL モデルよりも高い精度を達成することもありました。
• 逆方向介入: 逆に、RL モデルの生成において、わずか数％のトークンをベースモデルの選択に戻すだけで、性能はベースレベルまで急激に低下しました。
• 結論: RL 微調整の性能向上は、序列全体の分布変化ではなく、スパースな高影響トークン決定に依存していることが実証されました。

C. 微細なメカニズム：「発明」ではなく「再配分」

• 変化が大きい位置であっても、RL モデルはベースモデルではありえなかった「新しいトークン」を突然発明することは稀でした。
• 代わりに、ベースモデルの分布内ですでに確率的に存在していた候補トークン（特に Top-3 以内）の順序を入れ替えたり、確率質量を再配分したりすることで、より効果的な推論経路へ誘導していました。
• ただし、より探索的な設定（clip-higher あり）では、低確率トークンの促進もわずかに見られました。

D. ダイバージェンス重み付けアドバンテージ

• トークンレベルの分布ダイバージェンスに基づいて学習信号（アドバンテージ）を重み付けする実験を行いました。高ダイバージェンスまたは低ダイバージェンスのトークンに重点を置くことで、ベースラインを上回る性能向上が得られる可能性を示唆しました。

4. 論文の意義と貢献

1. RLVR のメカニズム解明: RLVR がモデルの行動を「ハマー（金槌）」のように全体的に書き換えるのではなく、「スカルペル（メス）」のように局所的かつ精密に修正するプロセスであることを初めて定量的に示しました。
2. 推論経路の感度: 推論タスクにおいて、局所的に意味的に同等に見えるトークン選択の違いが、その後の生成経路を大きく変え、最終的な正解率に決定的な影響を与えることを示しました。
3. 今後の RL 設計への示唆:
   • 学習リソースを「重要なトークン決定点」に集中させることで、より効率的な微調整が可能になる可能性があります。
   • ダイバージェンスに基づく重み付けや、スパースな更新を促進する正則化手法など、新しい RL 目的関数の設計指針を提供します。
4. 解釈可能性の向上: 単なるブラックボックスとしての性能向上ではなく、どのトークンがどのように変化して推論能力が向上したかを理解するための枠組みを提供しました。

結論

この研究は、RLVR による LLM の推論能力向上が、広範な分布変化によるものではなく、スパースで構造化された確率の再配分によって達成されることを明らかにしました。RL 微調整は、ベースモデルが既に持っている潜在的な能力を、少数の重要な決定点において「解き放つ（unlock）」役割を果たしていると言えます。この知見は、より効率的で解釈可能な LLM のポストトレーニング手法の開発に重要な道筋を示しています。