Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

技術要約：偽報酬のパラドックス：RLVRがいかにしてLLMにおける記憶のショートカットを活性化させるか、そのメカニズム的理解

問題提起
検証可能な報酬を用いた強化学習（RLVR）は、数学のような決定論的な領域において、大規模言語モデル（LLM）の推論能力を向上させるための支配的なパラダイムとなっている。一般的な仮説では、性能の向上は、グラウンドトゥルース（正解）による監督を通じて、堅牢な推論ポリシーが最適化されることに起因するとされている。しかし、近年の経験的な観察はこのナラティブに異議を唱えている。Qwen2.5-Mathのようなモデルは、「偽報酬（spurious rewards）」——すなわち、ランダム、フォーマットに基づいた、あるいは完全に誤った信号——を用いて学習した場合でも、標準的なベンチマーク（MATH-500、AIMEなど）において顕著な性能向上を示すことが確認されている。先行研究では、これらの利得はデータ汚染（事前学習中のテストセットの記憶）に起因する可能性が示唆されていたが、重要な空白が残っていた。もしデータが既に存在していたのであれば、なぜ初期の精度は限定的だったのか、そしてなぜ誤った報酬による学習が、逆説的にこの性能を解き放つのかという点である。本論文は、偽のRLVRがいかにして「頑固な記憶（stubborn memorization）」へと汎用的な推論からシフトさせるのか、その内部メカニズムを調査するものである。

手法
著者らは、偽のRLVR学習下におけるQwen2.5-Math-7Bモデルの学習ダイナミクスを解剖するために、一連のメカニスティック・インタープリタビリティ（機械論的解釈可能性）ツールを用いている。その手法は、静的および動的な分析を組み合わせたものである：

1. パープレキシティ解析： 答えのトークンとプロンプトのトークンのパープレキリティを追跡し、マクロな学習のアノマリーを特定する。
2. パス・パッチング（Path Patching）： 出力を特定のモデルコンポーネントに因果的に帰属させるため、著者らは「リーク（Leakage）」サンプル（記憶が活性化しているもの）と「安定（Stable）」サンプル（推論が維持されているもの）の間で、異なるレイヤーにわたって活性化を入れ替える。これにより、メモリ想起をトリガーする計算グラフのエッジを孤立させる。
3. ロジット・レンズ（Logit Lens）およびイェンセン・シャノンダイバージェンス（JSD）： これらのツールを用いて、レイヤーごとのトークンの出現を監視し、中間隠れ状態と最終的な出力分布との間の整合性を定量化する。高いJSDスコアは、モデルが回答を確定させる前に、依然として大幅な計算が残っていることを示す。
4. ニューラル常微分方程式（NDEs）： 残差ストリームの更新を連続的な軌跡（$dx(t)/dt = F_\theta(x(t))$）としてモデル化する。これにより、潜在空間において記憶された軌跡と推論の軌跡が分岐する「分岐点（bifurcation points）」を数学的に特定することが可能になる。
5. メカニスティック介入： 著者らは、記憶回路のトリガーとして重要であると特定された特定の多層パーセプトロン（MLP）ニューロンのキーをスケーリングすることで、因果的なステアリングを行う。これは、これらのニューロンがショートカットを活性化または抑制する因果的十分性を備えているかをテストするものである。

主な貢献と知見

1. パープレキシティのパラドックス
本研究は、偽のRLVRによる利得を示すモデルに特有の「パープレキシティのパラドックス」を特定した。汚染されたデータセットにおいて、モデルの答えのトークンに対するパープレキシティは著しく低下する一方で、プロンプト側のパープレキシティ（一貫性）は低下する。この乖離は、モデルが一般的な推論をバイパスして、記憶された解を直接呼び出し、入力に対する言語モデリングの質を犠牲にして出力を最小化していることを示唆している。

2. アンカー–アダプター回路の発見
メカニスティックな解析を通じて、著者らはこの挙動の責任を負う、これまで未知であった回路を特定した。これは2つの明確なコンポーネントで構成されている：

• 機能的アンカー（Functional Anchor, レイヤー18–20）： これらの中間レイヤーは決定的なトリガーとして機能する。パス・パッチングとNDE解析により、リークサンプルと安定サンプルの間の「分離力（separation force）」がここでピークに達することが明らかになった。ここでモデルは、記憶された回答を呼び出すことを因果的に決定し、高確率のトリガー・トークンを注入する。
• 構造的アダプター（Structural Adapters, レイヤー21+）： 後続のレイヤーは、$W_{up}$および$W_{gate}$において劇的な重みの再編成（高いJSD）を経験する。これは新しい知識を蓄積するためではなく、機能的アンカーからの信号を受け入れるために内部表現を変形させるためのものである。これらのレイヤーは、記憶された解に整合するように特徴空間を回転させるアダプターとして機能する。

3. 汚染の経験的検証
アブレーション研究により、この回路がデータセット依存であることが確認された。機能的アンカーのレイヤーをベースモデルの重みにリセットすると、汚染されたベンチマーク（MATH-500など）における精度は大幅に低下するが、クリーンでリークのないデータセット（LiveMathBenchなど）における性能にはほとんど影響を与えない。逆に、これらのレイヤーを操作しても、真の推論に依存する「安定（Stable）」サンプルには最小限の影響しか与えない。これは、一般的な推論能力がネットワーク全体に分散しており、この特定の回路に決定的に依存していないことを示している。

4. MLP介入による因果的ステアリング
著者らは、特定された回路内の特定のMLPニューロンのキーをスケーリングすることで、双方向の因果的ステアリングが可能であることを示した。

• 増幅（Amplification）： スケーリング係数を大きくすると、汚染されたデータへの依存が人工的に高まり、ベースラインのモデルが失敗したサンプルにおいても性能を回復させる。
• 抑制（Suppression）： スケーリング係数を小さくすると、ショートカットが抑制され、モデルの潜在的なベースライン性能が明らかになる。
  これは、これらのニューロンがショートカット活性化のメカニズムであるという決定的な因果的証拠を提供している。さらに、リーク・プローブが汚染の高確率を検出したときにのみ回路を選択的に抑制する「プローブ・ゲート付き（probe-gated）」介入が提案されており、新鮮なベンチマークへの性能を損なうことなく、疑わしい利得を効果的に監査できる。

意義と主張
本論文は、偽のRLVR信号がいかにしてLLMの内部アーキテクチャを物理的に再構成し、推論よりも記憶を優先させるかについての、初のメカニスティックな説明を提供すると主張している。 「アンカー–アダプター」回路と「パープレキシティのパラドックス」を特定することで、著者らは以下のロードマップを提示している：

• 能力と汚染の区別： 真の推論の汎化と、事前記憶されたデータの呼び出しを区別するためのツールを提供する。
• データ汚染の軽減： 特定の介入によって、再学習することなく汚染に起因する性能を抑制できることを示し、事後的にモデルを「脱汚染」する方法を提示する。
• RLVRの安全性向上： ショートカットによる最適化に対するRLVRの脆弱性を強調し、リークに強い、より洗練された報酬関数と評価ベンチマークの必要性を提言する。

著者らは、自らの知見を、すべてのLLMに対する普遍的な法則としてではなく、汚染されたデータ下で作動するQwenファミリーにおける特定のメカニズムの証拠として位置づける、控えめな立場をとっている。彼らは、本研究が、重要な領域に展開されるAIシステムの透明性と安全性を高めるための診断ツールとして機能することを強調している。