CoRPO: Adding a Correctness Bias to GRPO Improves Generalization

本論文は、GRPO の欠点である誤った解の過剰評価を修正し、汎化性能を向上させるため、正解率閾値による基準値のクリッピングを導入した「CoRPO」を提案し、その有効性を示しています。

要約

「正解への偏り」で AI を賢くする：CoRPO の仕組みをわかりやすく解説

この論文は、最近話題の「AI（大規模言語モデル）に論理的な思考力を教える方法」について、新しい工夫（CoRPO）を紹介したものです。

少し専門的な話になりますが、**「先生（AI）が生徒（AI）を指導する際、間違った答えでも『クラス平均よりマシ』という理由で褒めてしまう問題」**を解決する画期的なアイデアです。

---

1. 従来の方法（GRPO）の「あるある」な失敗

まず、今までの主流だったGRPOという勉強法を想像してみてください。

• シチュエーション: 先生が 10 人の生徒に同じ数学の問題を出します。
• やり方: 先生は「正解・不正解」を絶対的な基準で見るのではなく、「その日のクラス全体の平均点」を基準にします。
• 問題点:
  • もしその日のクラスが全体的にボロボロで、平均点が「0 点」だったとします。
  • 生徒 A が「-5 点（ひどい間違い）」、生徒 B が「-2 点（少しマシな間違い）」だった場合。
  • 先生は「生徒 B は平均（0 点）より上だ！すごい！」と褒めてしまいます。
  • 結果: 生徒 B は「間違った答え」なのに「正解」として強化され、間違った思考パターンが定着してしまいます。これを論文では「間違った行動を強化してしまう」と呼んでいます。

これは、**「クラス全体がバカなら、少しだけマシなバカも天才扱いされてしまう」**という、非常に危険な状況です。

2. 新しい方法（CoRPO）の「魔法のルール」

そこで登場するのが、この論文で提案されたCoRPOという新しい指導法です。

• 新しいルール: 「クラス平均」で判断する前に、**「最低限の合格ライン（正解の基準）」**を設けます。
  • 例えば、「正解の基準は 60 点以上」と決めます。
• どう変わるか:
  • クラス平均が 0 点でも、生徒 B の点数が「-2 点（60 点未満）」であれば、**「合格ラインに達していない」**として、絶対に褒めません（むしろ減点します）。
  • 「平均よりマシ」かどうかではなく、**「本当に正解しているか」**を最優先にします。

比喩で言うと：

• GRPO（旧）: 「今日の料理が全体的にまずい中、A さんは少しだけ塩味が足りてたから、A さんは天才シェフ！」と褒める。
• CoRPO（新）: 「どんなに他の料理がまずくても、塩味が足りてなければ不合格。まずは『塩味（正解）』が出せるようにならないと、評価しない！」と厳しく指導する。

3. なぜこれが「天才」になるのか？

この「厳しさ」が、AI をより賢くします。

1. 間違った道へ迷い込まない（過学習の防止）

   • 旧方法だと、「とりあえず平均より上なら OK」という甘い基準で、AI は「間違った答え」を「正解」だと信じてしまい、その道に固執してしまいます。
   • 新方法だと、「間違っているものは間違っている」とはっきり教えるので、AI は**「まず間違いを消す」**ことに集中します。

2. どんな問題にも通用する（汎化能力の向上）

   • 実験の結果、この方法で訓練された AI は、**「プログラミングの勉強をさせたのに、数学の問題も解けるようになる」**といった、分野を超えた能力（汎化）が飛躍的に向上しました。
   • 理由: 「特定の分野のクセ（ハック）」を覚えるのではなく、「根本的な論理（正解への道筋）」を学んだからです。

3. 段階的な成長（隠れたカリキュラム学習）

   • 最初は「間違いを減らす」ことに集中し、ある程度安定してから「より良い答え」を探すようになります。
   • これは、子供に「まずは『足し算』を間違えないように教える」ことと似ており、無理に「難しい計算」を急がせるよりも、結果的に早く成長します。

4. まとめ：何がすごいのか？

この論文の核心は、**「AI の学習において、『相対的な優劣（誰よりマシ）』ではなく、『絶対的な正誤（正しいか正しくないか）』を基準にする」**というシンプルな変更が、劇的な効果を生むということです。

• GRPO: 「クラスで一番じゃなくても、平均より上なら OK！」→ 間違った方向に加速してしまう。
• CoRPO: 「60 点（正解）に達していないなら、誰より上でも NG！」→ 正しい方向へ着実に進む。

この「正解への偏り（Correctness Bias）」を加えるだけで、AI はより頑丈で、どんな新しい問題にも対応できる賢い頭脳を手に入れることができるのです。まるで、**「甘えを許さない厳格なコーチ」**がついたことで、アスリートが本来の力を発揮できるようになったようなものです。

技術概要

CoRPO: GRPO に対する正解バイアスの追加による汎化性能の向上

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）の推論能力を強化するための強化学習（RL）手法において、既存の標準手法であるGRPO（Group-Relative Policy Optimization）の根本的な限界を指摘し、それを克服する新しい手法CoRPO（Correctness-Relative Policy Optimization）を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

GRPOは、学習された価値関数（Critic）の代わりに、同じプロンプトに対して生成された複数の軌道（rollouts）の報酬平均を基準（Baseline）として利用することで、計算効率を大幅に向上させ、検証可能な報酬からの強化学習（RLVR）の標準となっています。

しかし、著者らは GRPO が以下の 2 つの根本的な限界を抱えていると指摘しています。

1. サンプリング分散によるアドバンテージの過大評価:
   GRPO は少数のサンプル（通常 4〜16 個）の平均報酬を真の期待値の推定値として使用します。サンプリング分散により、グループ平均が真の期待値よりも低く見積もられる場合、実際には平均以下の性能を持つ軌道であっても、グループ平均に対して「正のアドバンテージ」が割り当てられてしまいます。これにより、不適切な更新が行われ、過学習を招きます。
2. 順序報酬（Ordinal Rewards）における誤った強化:
   報酬が順序尺度（例：-2, -1, 1, 2 の評価）で与えられる場合、グループ内の他の失敗例よりも「少しマシ」な不正解の軌道であっても、グループ平均を上回るだけで正のアドバンテージを受け取ってしまいます。これは、学習信号を逆転させ、本来抑制すべき失敗行動を強化してしまう致命的な欠陥です。

2. 提案手法：CoRPO (Correctness-Relative Policy Optimization)

これらの問題を解決するため、著者らはCoRPOを提案しました。これは GRPO の目的関数に対する単純ながら効果的な修正です。

• 核心メカニズム: グループ平均報酬（$b_{mean}$）を、正解の閾値（$R_{min\_correct}$）でクリップ（下限設定）します。
  $$b_{CoRPO} = \max(R_{min\_correct}, b_{mean})$$
• アドバンテージの計算:
  $$A_{CoRPO}(y_i) = R(y_i) - b_{CoRPO}$$

この修正により、以下の 3 つの理想的な特性が実現されます。

1. 正解保証（Correctness Guarantee）:
   正解閾値以下の報酬を持つ軌道（不正解）は、グループ平均がどれだけ低くても、常に負のアドバンテージ（または 0）を受け取ります。これにより、誤った行動が強化されるリスクが完全に排除されます。
2. 過大評価の抑制と探索の維持:
   サンプリング分散によりグループ平均が真の期待値より低く見積もられた場合でも、閾値によってベースラインが引き上げられるため、アドバンテージの過大評価が抑制されます。これにより、過剰な利用（Exploitation）を防ぎ、効果的な探索が維持されます。
3. 二段階学習ダイナミクス:
   • 正解追求フェーズ: 政策が未熟でグループ平均が閾値を下回る場合、ベースラインは固定閾値となり、不正解を厳しく罰します。
   • 品質追求フェーズ: 政策が安定し、グループ平均が閾値を超えるようになると、ベースラインは自然にグループ平均に戻り、GRPO と同様に正解同士の間で品質競争（相対的選好）を行います。

3. 主要な貢献

1. GRPO の失敗モードの特定と分析: グループ構成の分散によるアドバンテージ過大評価と、順序報酬下での符号逆転（失敗軌道の正の強化）という 2 つの欠陥を理論的に分析しました。
2. CoRPO の提案: GRPO の効率性を維持しつつ、上記の両方の問題を単一のクリッピング操作で解決するシンプルな手法を提案しました。
3. 汎化性能の向上の実証: CoRPO が訓練分布外（OOD）のタスクにおいて、より頑健で転移可能な推論パターンを学習することを示しました。

4. 実験結果

著者らは、数学（Math）とコーディング（Coding）のタスクにおいて、Qwen3-8B をベースに GRPO と CoRPO を比較訓練しました。

• クロスドメイン転移性能の向上:
  • コーディングタスクで訓練された CoRPO モデルは、数学タスク（OOD）において GRPO よりも高い性能（Pass@16: 90.1% vs 88.8%）を示しました。これは、タスク固有のヒューリスティックではなく、汎用的な推論パターンを学習していることを示唆します。
  • 同様に、数学で訓練されたモデルもコーディングタスクで GRPO を上回りました。
• 分布の鋭化（Distribution Sharpening）:
  • GRPO は訓練データに特化しやすく（分布が狭まる）、OOD 性能が低下する傾向がありました。
  • CoRPO は、特に困難な問題において、初期段階で不正解を厳しく罰する「負の強化」を主軸に学習を進めるため、分布の鋭化が抑制され、OOD 性能が安定して向上しました。
• トレーニングダイナミクス:
  • GRPO は正と負のアドバンテージから均等に学習しますが、CoRPO は訓練初期に負の強化（不正解の排除）を優先し、徐々に高品質な正解間の競争へと移行する「暗黙的なカリキュラム学習」を実現しました。
• 少サンプルへの頑健性:
  • グループサイズを 4 と小さくした場合でも、CoRPO は 100 ステップ程度で GRPO を上回る性能を示し、サンプリング分散によるバイアスに対して頑健であることを確認しました。

5. 意義と結論

本論文は、強化学習における「相対的評価」の限界を明確に示し、「絶対的な正解性」をベースラインに組み込むことの重要性を浮き彫りにしました。

CoRPO は、追加的な計算コストや複雑な構造を必要とせず、既存の GRPO 実装に最小限の変更（max 演算の追加）を加えるだけで実装可能です。この単純な修正により、LLM の推論能力が向上し、異なるドメイン間での汎化性能が劇的に改善されることを実証しました。これは、数学やコーディングなど、正解が客観的に検証可能なタスクにおける RLVR の実用性と信頼性を高める重要な進展です。