🤖 machine learning

F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare

本論文は、高成功度の更新を重み付けすることで、標準的なグループベースのアルゴリズムが一般的な解に過剰適合し、稀な正解経路を軽視する傾向を緩和する難易度認識型強化学習手法 F-GRPO を提案し、これにより計算コストを増加させることなく、さまざまなベースラインにおいて数学的推論性能を大幅に向上させる。

原著者： Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniil Plyusov, Alexey Gorbatovski, Boris Shaposhnikov, Viacheslav Sinii, Alexey Malakhov, Daria Korotyshova, Daniil Gavrilov

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「F-GRPO: Don't Let Your Policy Learn the Obvious and Forget the Rare（F-GRPO：あなたのポリシーに明らかなことを学ばせ、希少なものを忘れないようにせよ）」を、平易な言葉と創造的な比喩を用いて解説したものです。

全体像：「グループ学習」の問題

あなたが AI モデルという「生徒」に、難しい数学の問題を解く方法を教えていると想像してください。学習を助けるために、あなたは 1 つの答えだけを示すのではなく、彼らに同時に8 つの異なる試行（「グループ」）を生成させます。その後、その 8 つの試行を見て比較し、生徒にこう伝えます。「ねえ、あなたの答えのほとんどは間違っていたけど、これだけは正解だったよ。次はこの方法で解く可能性を高めよう。」

この手法はグループ相対方策最適化（GRPO）と呼ばれます。これは、教師が実際にグループが生み出したものに基づいてのみフィードバックを与える、学習グループのようなものです。

問題点：
この論文は、もしあなたの学習グループが小さすぎれば、正しい答えが全く見つからないかもしれないと主張しています。しかし、グループのサイズが「ちょうど良い」大きさ（小さすぎず、巨大すぎず）であれば、奇妙なことが起こります。

グループは正しい答えを見つけます。
教師は「その一つ、よくやった！」と言います。
生徒はそのたった一つの特定の正解に興奮しすぎて、問題を解く他の方法を見つけようとするのをやめてしまいます。彼らはその単一の解決法に執着し、そこに至る他のすべての正当な方法を忘れてしまいます。

AI の世界では、これを分布の鋭化（Distribution Sharpening）と呼びます。AI は1 つの一般的な答えを見つけるのが非常に上手になりますが、希少で創造的、あるいは困難な答えを見つける能力を失ってしまいます。これは、最も一般的なテスト問題の解答例を暗記した生徒が、教師がトリッキーで珍しい質問をされたときに完全に失敗してしまうようなものです。

核心的な発見：「ジャスト・ミドル」の罠

著者たちは数学的な証明を行い、この「忘却」がグループサイズが中程度のときに最も頻繁に起こることを示しました。

極小グループ（サイズ 2）グループはいかなる正しい答えも見つけられないことが多いです。教師は「今回は何も機能しなかった」と言うため、生徒は習慣をあまり変えません。彼らは安全で多様性を保ちますが、あまり学びません。
巨大グループ（サイズ 128 以上）グループは、希少なものを除くすべての可能な正解を見つけます。教師は「見て、一般的なものと希少なものの両方を見つけましたね！」と言います。生徒はすべてを学びます。しかし、これをコンピュータで行うには高すぎます（お金と時間がかかりすぎます）。
中規模グループ（サイズ 8-16）これが罠です。グループは一般的な正解を見つけます（したがって教師はフィードバックを与えます）が、希少な正解を見逃してしまいます。生徒は「一般的な答えだけが重要だ」と考え、希少なものを探索するのをやめてしまいます。

比喩：
1,000 枚の硬貨が入った瓶から、特定の希少な硬貨を探している状況を想像してください。

2 枚の硬貨を掴めば、おそらく希少な硬貨は見つかりません。何も学びません。
500 枚の硬貨を掴めば、間違いなく希少な硬貨が見つかります。すべてを学びます。
10 枚の硬貨を掴めば、一般的な硬貨は見つかるかもしれませんが、希少な硬貨は見逃してしまいます。するとあなたは「希少な硬貨など存在しない」と結論付け、それを探すのをやめてしまいます。

解決策：F-GRPO（「難易度認識型」コーチ）

著者たちは、F-GRPOと呼ばれる修正策を提案しました。彼らは、グループが多くの正解を見つけると、AI が過度に自信を持ち、希少なものを無視し始めることに気づきました。

そこで、Focal Lossと呼ばれる手法に触発された「難易度重み」を追加しました。

仕組み：

従来の方法：グループが 8 個のうち 5 個の正解を見つけると、教師は大きな「ハイタッチ」を与え、AI にその答えに強く集中するよう伝えます。
新しい方法（F-GRPO）教師はグループを見て、「おや、5 つの正解を見つけましたね！今はそれくらい簡単ですね。このフィードバックの音量を下げましょう」と言います。
- グループが少ない正解しか見つけなかった場合（激しい struggle だった場合）、教師は音量を上げ、「これは難しかった、うまくいったことに注意深く注目せよ！」と言います。
- グループが多くの正解を見つけた場合（簡単だった場合）、教師は音量を下げ、AI が明らかな解決法に執着しすぎないようにします。

結果：
「簡単な」グループの音量を下げることで、AI は探索を続けることを余儀なくされます。簡単な答えを見つけたからといって、希少で困難な解決策を探すのをやめることはなくなります。

実験が示したもの

チームは、数学の問題や論理パズルを用いて、Qwen や Llama などの複数の AI モデルでこれをテストしました。

「希少」テスト： 1 回ではなく 256 回の試行を与えた場合、AI がいかなる正解も見つけられるかを検証しました。
- 修正なしの場合： AI が簡単な答えを見つけるのが上手になるにつれ、希少な答えを見つける能力は低下しました。
- F-GRPO の場合： AI は簡単な答えを向上させつつも、希少な答えを見つける能力を高く維持しました。
「迷路」テスト：正解の経路が1 つだけある迷路を使用しました。この単純なケースであっても、従来の手法では、AI が早期に幸運を掴むと経路を忘れてしまいました。F-GRPO は AI を軌道に乗せ続けました。
効率性：これらの結果は、グループサイズを増やすことなく達成されました。AI に 100 個の答えを生成させる必要はなく、すでに生成された 8 個の答えをどのように聞くかを変えるだけで済みました。

まとめ

この論文はこう述べています：「あなたの AI が明らかな答えに甘んじさせないこと」。

AI が試行のグループから学習する際、グループサイズが中程度であれば、希少で困難な解決策を忘れがちです。著者たちは、簡単で成功率の高いグループの重要性を下げる「音量ノブ」（F-GRPO）を作成することでこれを修正しました。これにより、AI は探索を続け、困難で希少な問題を解決する能力を失わないことが保証されます。

技術的概要：F-GRPO：方策が「自明な解」を学習して「稀な解」を忘却するのを防ぐ

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、推論タスクにおける大規模言語モデル（LLM）の事後学習のための標準的なパラダイムとなっている。しかし、増加する証拠は、RLVR がしばしばベースモデルですでにアクセス可能な解へと出力分布を鋭化させ、解の多様性を狭めることで pass@k（k が大きい場合）などの指標におけるパフォーマンスを低下させる可能性を示唆している。

現代のほとんどの RLVR システム（Group Relative Policy Optimization: GRPO など）は、優位性（advantage）を推定するためにグループサンプリング（1 つのプロンプトあたり N 個の応答をロールアウト）に依存している。小規模なグループ（N=2）は計算効率が良く、大規模なグループは広範なカバレッジを提供するが、実用的な制約により N は中間的なサイズ（例：N=8）に制限されることが多い。本論文は、これらの有限のグループサイズが最適化ダイナミクスにどのように影響するかという理解における重要なギャップを特定している。具体的には、中間的なグループサイズが、「テール・ミス（tail-miss）」領域を創出する可能性があると仮定している。この領域では、更新は活性化する（混合された報酬を持つ）が、稀な正解の軌道をサンプリングできず、サンプリングされた一般的な解に確率質量が集中し、サンプリングされなかった正解の行動が抑制される結果となる。

手法

理論的解析

著者らは、テール・ミス事象（ $B_{E,N}(x)$ ）の確率を導出した。これは、グループ内に正解と誤解の両方のロールアウトが含まれる活性更新でありながら、特定の低質量な正解部分集合 $E_x$ をサンプリングし損なう事象として定義される。

非単調な挙動: この事象の確率は、グループサイズ $N$ に対して非単調である。小規模な $N$ は、しばしば不活性な更新（すべて正解、またはすべて誤解）をもたらすことで、不活性を通じて多様性を維持する。大規模な $N$ は稀なモードのカバレッジを確保する。しかし、中間的な $N$ は、稀な正解領域を見逃す活性更新の確率を最大化する。
再分配メカニズム: カテゴリカル方策の枠組みを用いて、著者らは確率質量がどのように再分配されるかを分析した。彼らは、総正解質量（ $Q_{pos}$ ）が増加しても、サンプリングされなかった正解質量（ $Q_{u,pos}$ ）は減少しうることを示した。これは、報酬プラスのバッチが、ベースラインの減算とソフトマックス正規化を通じてサンプリングされなかったログオッズを下方に押し下げ、結果として現在のグループでサンプリングされなかった正解を「忘却」させるためである。

提案手法：F-GRPO

計算コスト（ロールアウトサイズ）を増やすことなくこれを緩和するため、著者らはF-GRPO（Focal Group Relative Policy Optimization）を提案する。

焦点重み付け: Focal Loss に着想を得て、この手法はグループ相対優位性に対して適用される難易度認識型のスケーリング係数 $g(x)$ を導入する。
メカニズム: 重みは $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$ と定義される。ここで、 $\hat{\mu}_{pos}(x)$ はサンプリングされたグループの実験的成功率（正解のロールアウト数 $X$ を $N$ で割った値）である。
効果: これにより、実験的成功率が高いグループ（モデルがすでにそのプロンプトに対して「自明な解」を学習済みの場合）からの更新が下方に重み付けされ、稀な正解の行動がまだ過小評価されている可能性のある混合成功グループからのシグナルが保持される。これは、追加のネットワークを必要とせず報酬値を変更することなく、プロンプト内のすべてのロールアウトに対して優位性シグナルを一様にスケーリングする軽量な修正である。

主要な貢献

テール・ミス確率の導出: 本論文は、稀な正解部分集合を見逃す活性更新の確率を明示的に特徴付け、それがグループサイズに対して非単調に依存することを示した。これは、最適なグループサイズに関する矛盾する先行研究の知見を調和させるのに役立つ。
サンプリングされなかった正解質量の分析: 著者らは、理論的および実証的に、総正解質量が増加する一方でサンプリングされなかった正解質量が縮小しうることを示し、有限グループ設定における分布の鋭化の背後にあるメカニズムを説明した。
単一解検証: 各プロンプトに正確に 1 つの正解軌道のみが存在する迷路環境を用いて、1 つのプロンプトあたり複数の正解が存在しなくても pass@K の低下が発生しうることを実証した。これにより、効果はプロンプト内の多様性ではなく、ターゲットシーケンスのカバレッジに起因することを分離した。
F-GRPO アルゴリズム: GRPO、DAPO、CISPO に適用可能な単純なプラグイン再重み付け方式であり、ロールアウトコストを増やすことなく pass@256 を向上させつつ、pass@1 を維持または向上させる。

実験結果

著者らは、F-GRPO を Qwen2.5-7B、Qwen3-4B-Base、および Llama-3.2-3B-Instruct において、各種ベンチマーク（MATH500、AIME、AMC、GPQA、IFEval、SynLogic）で評価した。

カテゴリカルシミュレーション: 中間的なグループサイズが保持される正質量（ $M_{ret}$ ）を最も低くすることを確認し、焦点重み付け（ $\gamma=1$ ）がこの「集中ゾーン」における質量保持を大幅に改善することを確認した。
迷路実験: 単一解設定において、F-GRPO は学習初期における pass@K の低下を軽減し、テストされたすべてのグループサイズ（ $N \in \{4, \dots, 128\}$ ）において最終的な pass@1 および pass@256 を向上させた。
LLM ベンチマーク（N=8）:
- 数学パフォーマンス: Qwen2.5-7B において、F-GRPO は平均数学 pass@256 を GRPO の 64.1 から 70.3 に、DAPO の 69.3 から 72.5 に向上させた。
- OOD パフォーマンス: 分布外（OOD）の pass@256 も、すべての手法において一貫して向上した（例：GRPO: 55.9 $\to$ 63.3; DAPO: 58.4 $\to$ 63.6）。
- 効率性: F-GRPO（N=8）は、pass@256 において標準的な GRPO（N=32）と同等のパフォーマンスを達成し、4 倍少ない計算量でより大きなグループの恩恵を実質的に回復した。
- 一般化: この手法は、異なるオプティマイザ（GRPO、DAPO、CISPO）およびモデルスケール間で効果的に転移した。
アブレーション: 単純な学習率の低下や標準的な正則化（エントロピー/KL）では得られなかったため、改善は成功に基づく再重み付けメカニズムに特有のものであることが示唆された。

意義と主張

本論文は、グループ相対 RLVR における「鋭化」問題に対する理論的かつ実用的な解決策を提供すると主張している。中間的なグループサイズが稀な正解軌道を見逃すリスクを最大化することを特定することで、著者らは計算制約により単純に $N$ を増やすことが常に可能ではないと論じている。

F-GRPO は、以下の低コストな緩和戦略を提供する：

中間的なグループサイズを使用する際に通常失われる pass@256 パフォーマンスを回復する。
pass@1（単一サンプル精度）を維持または向上させる。
異なる RLVR 変種およびモデルアーキテクチャ間で機能する。
ロールアウト予算を増加させたり、補助ネットワークを追加したりする必要がない。

著者らは、F-GRPO を標準的な RLVR パイプラインに必要な調整として位置づけ、有限サンプルで露呈する「自明な」解のみを方策更新が無意識に強化し、堅牢な推論に必要な「稀な」正解の行動を忘却することを防ぐことを保証するものであるとしている。