💬 NLP

Taming Extreme Tokens: Covariance-Aware GRPO with Gaussian-Kernel Advantage Reweighting

本論文は、トークン確率と優位性の共分散に基づくガウスカーネル優位性再重付けにより極端なトークン更新を動的に低減することで、トレーニングを安定化させ推論性能を向上させるハイパーパラメータ不要な手法である共分散認識型 GRPO を紹介する。

原著者： Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

原著者： Cheng Wang, Qin Liu, Wenxuan Zhou, Muhao Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

非常に賢いものの、少しカオスなロボットに複雑な数学パズルを解くよう教える場面を想像してください。このロボットは、問題解決のためにさまざまな方法を試し、各試行に対して「スコア」を得て、次にうまくいくよう脳を調整することで学習します。

この論文は、このロボットを教える新しい方法として、「共分散を考慮した GRPO とガウスカーネルによる優位性再重み付け」を導入しています。これは言いにくいので、簡単な物語を使って分解してみましょう。

問題：「ワイルドカード」生徒

ロボットが使用する標準的な手法（GRPOと呼ばれる）は、10 人の生徒（ロボットの 10 通りの異なる推測）の話を聞き、そのフィードバックを平均化する教師のようなものです。

しかし、著者たちはある欠陥に気づきました。時折、1 人または 2 人の生徒が、実際には間違っているのに極めて自信満々に答えを叫んだり、純粋な偶然で非常に高いスコアを得たりすることがあるのです。ロボットの脳内では、これらの「ワイルドカード」な答えが、巨大でノイズの多い信号を作り出します。

結果: ロボットは混乱します。それは、車の前にリスが飛び出してきた瞬間にアクセルを踏み込み、次に急ブレーキをかけるドライバーのように、新しいことへの挑戦（探索）をやりすぎるほど大胆になったり、古い悪い習慣に固執するほど臆病になったりと、激しく揺れ動きます。これにより、ロボットの「自信メーター」（エントロピーと呼ばれる）が暴走し、効果的に学習できなくなります。

解決策：「穏やかなフィルター」

著者たちはこれを修正するための新しい手法を開発しました。これは、ロボットの学習プロセスのためのスマートなノイズキャンセリングヘッドフォンのようなものです。

「雰囲気」の測定（共分散）:
まず、システムはロボットが答えに対してどの程度自信を持っていたか、そしてその答えが実際にどの程度良かったかとの関係を調べます。
- 通常の状況: ロボットが適度な自信を持って正解した場合、それは良い信号です。
- 問題点: ロボットが極めて自信を持っていたのに間違えた場合（またはその逆）は、「ワイルドカード」な信号となります。
ガウスカーネル（ソフトフィルター）:
ここが魔法のパートです。著者たちはガウスカーネルと呼ばれる数学的なツールを使用します。これは、小さな小石（正常で有用な学習信号）は簡単に通すが、巨大な岩（極端でノイズの多い信号）は捕捉する篩（ふるい）だと想像してください。
- 悪い信号を完全に削除する（有用な情報を捨ててしまう可能性がある）のではなく、このフィルターは極端なものの音量を優しく下げるように作用します。
- それは、教師が「あの生徒の答えは非常に大きくて極端だったので、少しだけ彼らの話を減らそう。しかし、良い助言をしている静かで安定した生徒の声は依然として聞こう」と言うようなものです。

結果：より落ち着き、賢くなったロボット

このフィルターを使用することで、ロボットは部屋の中で最も大きく、最も極端な声に気を取られなくなります。

安定性: ロボットの「自信メーター」は安定したままです。新しいことを試すことを恐れるあまり臆病になったり、無謀になったりと激しく揺れ動くことがありません。
パフォーマンスの向上: ロボットがノイズに混乱しないため、実際には数学の問題を解くのが上手くなります。この論文は、15 億と 70 億の「脳細胞」を持つ 2 つの異なるサイズのロボットでテストしたところ、AIME やオリンピック問題などの難しい数学ベンチマークにおいて、この新しい手法が従来の標準手法を一貫して上回ったことを発見しました。

要約

この論文は、AI に推論を教える際、極端な反応はしばしば進歩の敵であると主張しています。「ソフトフィルター」を使用して最も極端で不安定な学習信号の音量を自動的に下げることで、AI はより滑らかに学習し、バランスを保ち、最終的には以前よりも難しい問題を解決できるようになります。

この論文が主張していないこと:

これは医療診断や臨床用途に機能すると主張していません。
これは一般的な会話や創造的ライティングに機能すると主張していません（テストは厳密に数学のみを対象としました）。
これは 70 億パラメータを超えるモデルに機能すると主張していません（テストはそれまでのサイズまでしか行われていません）。

技術的サマリー：共分散感知 GRPO による極端トークンの制御

問題提起

グループ相対方策最適化（GRPO）は、特に数学的およびコーディングタスクにおいて、大規模言語モデル（LLM）の推論能力を向上させるための標準的なアプローチとなっています。しかし、GRPO は、探索（新たな推論戦略の探索）と活用（既知の良質な解の洗練）の間のトレードオフをバランスさせるという点で、決定的な限界に直面しています。

本論文は、この不均衡が訓練中の方策のエントロピー動力学に本質的に起因していることを特定しています。Cui ら（2025a）の理論的知見に基づき、著者らは方策エントロピーの変化が、トークンの対数確率とそれに対応するアドバンテージ推定値との間の共分散によって支配されることを指摘しています。実証分析により、極端な共分散値を持つトークンのごく一部が、方策更新を不均衡に支配していることが明らかになりました。これらの外れ値はエントロピーの不安定性を引き起こし、最適でない解に対する過剰な自信（過剰な活用）または不安定な訓練ダイナミクス（過剰な探索）を招き、最終的には下流タスクのパフォーマンスの低下を招きます。

手法

提案される解決策は、トークンレベルの共分散に基づいてアドバンテージ信号を動的に再重み付けする、ハイパーパラメータ不要の最適化手法である**共分散感知 GRPO（CW-GRPO）**です。

1. 理論的基盤

この手法は、自然方策勾配更新下における方策エントロピーの変化（ $\Delta H$ ）が、トークンの対数確率とアドバンテージとの間の負の共分散に概ね比例するという観察に基づいています：
$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$
この共分散における極端な値は、エントロピーを安定したバランスの取れた状態から遠ざけます。

2. ガウスカーネルによるアドバンテージ再重み付け

極端なトークンの不安定化効果を緩和するため、著者らは再重み付けメカニズムを導入します：

共分散の計算: 応答 $i$ 内の各トークン $t$ について、中心化された対数確率と中心化されたアドバンテージとの間の共分散を計算します：
$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$
ガウス重み付け: 共分散の絶対値が大きいトークンを抑制するために、ガウスカーネルを適用します。バンド幅は、共分散分布の実証標準偏差（ $\sigma$ ）に設定されます：
$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$
この関数は、エントロピーの崩壊や爆発を引き起こす可能性のある「外れ値」トークンをソフトにフィルタリングする一方で、中程度の共分散を持つトークンからの学習信号は保持します。
正規化: バッチ全体の期待損失の大きさを維持するために、重みを正規化します。
修正された目的関数: トークンレベルの損失は、標準的な GRPO 目的関数を適用する前に、アドバンテージ $\hat{A}_i$ に再重み付け因子 $\tilde{w}_{i,t}$ を乗算することで更新されます。

主要な貢献

極端トークンの特定: 本論文は、極端な共分散値を持つトークンのごく一部が、バニラ GRPO における方策更新とエントロピー不安定性を不均衡に駆動することを実証的に示しています。
ハイパーパラメータ不要の最適化: 提案された CW-GRPO 手法は、追加の調整可能なハイパーパラメータを必要とせず、ガウスカーネルを使用して極端な更新を自動的にダウンウェイトします。
安定化されたエントロピー動力学: 極端な共分散更新を抑制することで、この手法は訓練を通じて方策エントロピーを適切なレベルに維持し、探索と活用のバランスを効果的に取ります。

実験結果

著者らは、Open-RS訓練データセットと 5 つの数学的推論ベンチマーク（AIME24、MATH-500、AMC23、Minerva、OlympiadBench）を使用して、2 つのモデル規模（1.5B および 7B）で CW-GRPO を評価しました。

性能向上:
- 1.5B モデル（DeepSeek-R1-Distill-Qwen）: CW-GRPO は、ベースモデルに対して平均**+6.4%、バニラ GRPO に対して+2.7%**の向上を達成しました。AMC23 および Minerva で顕著な gains が観測されました。
- 7B モデル（Qwen2.5-Math）: CW-GRPO は、ベースモデルに対して平均**+4.3%、バニラ GRPO に対して+2.4%**の向上を達成し、AMC23 および OlympiadBench で大幅な gains を示しました。
エントロピーの安定性:
- バニラ GRPO は顕著なエントロピー不安定性を示し、訓練が進むにつれてパフォーマンスが低下しました（例：エントロピーが変動するにつれて、MATH-500 のスコアは 85.0% から 79.8% に低下しました）。
- CW-GRPO は訓練チェックポイント全体で一貫したパフォーマンスを維持しました（MATH-500 で 86.2%–87.0%）。これは、極端な共分散値を制御することが、安定したかつ優れた推論パフォーマンスと相関することを裏付けています。

意義と主張

本論文は、そのアプローチが手動でのハイパーパラメータ調整を必要とせず、GRPO における探索と活用のバランスを取るための原理的なメカニズムを提供すると主張しています。エントロピー不安定性の根本原因である極端なトークンレベルの共分散更新に直接対処することで、この手法はより堅牢な方策最適化を可能にします。

著者らは、この研究を推論のためのより安定した強化学習への一歩として位置づけ、極端な更新を抑制することが、異なるモデルアーキテクチャおよび数学的ベンチマーク全体で一貫した下流タスクの改善をもたらすことを実証しています。また、実験は最大 7B パラメータのモデルで行われ、主に数学的推論に焦点が当てられていたことを限界として認め、広範な適用性を確認するためには、より大規模なモデルや多様なタスクでのさらなる検証が必要であると示唆しています。