技術要約: Agon – 暗黙的なライバル・グレーディングを用いたクロスモデルRL

1. 問題提起

現在の検証可能な報酬に基づく強化学習（RLVR）、特にグループ相対方策最適化（GRPO）のような手法は、結果ベースの報酬（すなわち、最終回答の正誤）のみに依存しています。これは明確な正解が存在するタスクには効果的ですが、推論プロセス（「トレース」）そのものを評価することには失敗します。困難な問題において、このアプローチは、モデルに対して「思考の質」ではなく「思考の量（長さ）」を増やす強力なインセンティブを与えてしまいます。モデルは、正しい答えに偶然辿り着く確率を高めるために、ヘッジ（言葉の濁し）、バックトラッキング（後戻り）、冗長な試行を追加することで「より多く書く」ことを学習してしまい、精度がわずかに向上するだけでトークン数だけが大幅に増加するという「長さの病理（length pathology）」を招きます。

推論を直接評価することは、困難です。なぜなら、「優れた思考」に対する正解（特定の洞察に満ちたステップに対するラベル）が存在しないためであり、学習されたプロセス報酬モデルは高コストで脆く、検証も困難だからです。本論文は、第二のモデルが欠落している信号を提供できると提唱しています。もし競合する方策が同じ問題に挑戦し、第一の方策を凌駕したことで報酬を得るならば、推論トレースは明示的なプロセスラベルなしに暗黙的に評価されることになります。

2. 手法: Agon

Agon（ギリシャ語で「競技」の意）は、対戦形式のヘッドトゥヘッド設定において、2つの異なる方策 $A$ と $B$ を共同で最適化するトレーニングフレームワークです。

コアメカニズム

トレーニングプロセスは、ステップごとに役割を交代する「ドラフト＆チャレンジ（起草と挑戦）」の交互作用として動作します。

1. ドラfting（起草）: 一方のモデル（ドラフター）が、プレーンな問題プロンプトから $N$ 個のロールアウトを生成します。これは、最終回答の正誤のみに基づいた標準的なGRPOアップデートを受け取ります。
2. Challenging（挑戦）: もう一方のモデル（チャレンジャー）は、ドラフターの解法の要約（生のトレースと最終回答を除いた、推論後の要約）を読み取ります。その後、チャレンジャーは問題を解決するために新しいロールアウトを生成し、ドラフターの作業を修正または改善する可能性があります。
3. 報酬: チャレンジャーは、自身の正誤とドラフターの結果の両方に依存する競争的報酬を受け取ります。
   • 正誤: 正解に対する標準的なバイナリ報酬。
   • コンバージョン・ボーナス: チャレンジャーが問題を正しく解き、かつドラフターが失敗した場合に付与される追加報酬 ($c(b_i) \cdot (1 - c(a_i))$)。これは、チャレンジャーにドラフターの誤りを特定し修正することを動機付けます。
   • オプションの長さタイブレーク: チャレンジャーが正解であり、かつ正解したドラフターよりも少ないトークンを使用した場合にボーナスを適用でき、正解性を損なうことなく簡潔さを促します。

アーキテクチャと効率性

• デュアル・アダプター・インスタンス化: 効率を維持するため、両方の方策は単一の凍結されたベースモデル上の低ランク適応（LoRA）アダプターとしてインスタンス化されます。これにより、メモリオーバーヘッドを低く抑え（ベースモデルの約2%）、両方の方策が互換性のある表現空間で動作することを保証します。
• 分岐（Divergence）: 2つのアダプターは異なる初期化（一方は標準的なゼロ初期化、もう一方は小さなガウスノイズ）が行われ、役割のローテーションによって異なる勾配ストリームを受け取ります。この構造的な分岐により、両者が異なる「盲点」を持つようになり、セルフプレイや単純な蒸留への崩壊を防ぎます。
• 推論: デプロイ時、ペアは2段階のカスケードとして動作します。一方のモデルが解法をドラフトし、第二のモデルがその要約を読んで最終回答を生成します。

理論的正当性

本論文は、単一モデルによる自己改善（セルフプレイ）は、エラーの原因となったものと同じバイアスを用いて自身の作業を再監査するため、しばしば停滞すると主張しています。異なる失敗モードを持つ第二のモデルを導入することで、Agonはこの閉じたループを打破します。「グレーダー（評価者）」は独立したエージェントであり、両方の方策が最適化されるため、ライバルの難易度が時間とともに上昇し、単一モデルのRLの天井を超えて両方の方策を押し上げます。

3. 主な貢献

1. 推論の質の再定義: 本論文は、推論の質を、競合するピア（仲間）から提供される暗黙的な報酬として再定義し、ラベルのない「優れた思考」の問題を、ヘッドトゥヘッドのゲームへと変換しました。
2. Agonレシピ: 競争的なGRPO、ドラフト＆チャレンジのロールアウト、ステップごとの役割ローテーション、および競争的報酬構造（正誤＋コンバージョン・ボーナス）を用いた新しいトレーニングレシピを提供します。これは標準的なGRPOトレーナーで実行可能です。
3. 効率的な実装: 共有ベース、デュアルアダプターのインスタンス化により、2つの競合する方策のトレーニングが、単一のモデルをトレーニングするのとほぼ同等のコストで実現されます。
4. 実験的検証: 競争 vs 協力、および情報交換の有無を交差させた2x2の実験デザインにより、敵対的な圧力とクロスモデルの情報交換の価値を分離して検証しました。

4. 実験結果

実験は DeepMath-hard スプリット（Qwen3モデルを使用）および CodeContests の競技プログラミング・サブセットに対して行われました。

• 性能向上: Qwen3-0.6Bを用いたDeepMath-hardスプリットにおいて：
  • Vanilla GRPO: 30% pass@1
  • 協力的交換（競争なし）: 46% pass@1
  • Agon (競争 + 交換): 61% pass@1
  • これは、GRPOの性能を倍増させ、訓練されていないMixture-of-Agents（MoA）のベースラインに対して約8倍の向上を示しています。
• スケーリング: 性能向上はモデルファミリー（Qwen3.5, Gemma 4）やサイズを問わず持続します。特筆すべきは、0.6BベースのAgonカスケード（61%）が、Vanilla GRPOで訓練された4Bベース（59%）を上回ったことです。
• トレースの長さ: Agonは推論の長さを大幅に短縮します。最終ステージのトレースは、Vanilla GRPOの8.1kトークンに対し、Agonでは平均3.5kトークンとなり、高い精度を達成しながらも短縮されています。これは、明示的なペナルティではなく、競争による創発的な特性です。
• アブレーション研究:
  • 競争: 競争的ボーナスを除去（協力的のみ）すると、性能は46%に低下しました。
  • 交換: 可視的な情報交換を除去（共有された相手をコンテキストから隠蔽）すると、性能は32%（Vanilla GRPOに近い値）に低下し、競争的な勾配には可視的なコンテキストの差異が必要であることを確認しました。
  • 役割ローテーション: 役割を固定（ローテーションなし）すると、性能は52%に低下し、両方のモデルがドラフトと挑戦の両方を学習することの重要性が浮き彫りになりました。

5. 意義と主張

本論文は、Agonが、プロセスラベルや個別の報酬モデルを必要とせずに、クロスモデルの情報交換と敵対的な圧力が推論能力を大幅に向上させ得ることを実証したと主張しています。

• 暗黙的グレーディング: ライバルモデルが推論トレースを暗黙的に効果的に評価できることを証明し、「ラベルのない思考」の問題を解決しました。
• セルフプレイを超えて: 異なる方策のペアが、単一モデルの自己洗練の停滞を超えて共同で向上できることを確立しました。
• 効率性: アダプターを使用することで計算効率が高く、より短く密度の高い推論トレースを生成する、2段階のカスケードによって高性能な推論が達成できることを示しました。
• 謙虚な姿勢: 著者らは、現在の実装はテキスト交換に依存しており、帯域幅に制限があることを述べています。将来的な課題として、シリアライゼーションのボトルネックを取り除くために、潜在空間での交換（例：KVキャッシュの注入）への移行を挙げています。また、本手法はクリーンな検証器を必要とすること、およびモデル間の分岐は保証されているのではなくヒューリスティックに維持されていることも認めています。

要約すると、Agonは「答えを採点する」というパラダイムから、「競争を通じて推論を採点する」というパラダイムへと転換し、モデルが単に「多く書く」のではなく「より良く考える」ことを学習できるようにしたのです。