技術要約: DARC (Decoupled Asymmetric Reasoning Curriculum)

1. 問題提起

本論文は、大規模言語モデル（LLM）の自己進化におけるセルフプレイ（self-play）フレームワークに内在する不安定性に対処している。セルフプレイ（タスクを生成する「Questioner（問い手）」と、それを解く「Solver（解き手）」による共進化ループ）は、人間の介入なしに自己改善を行うAIを実現するための有望なパラダイムであるが、既存の結合型システムには以下の2つの決定的な問題が存在する：

1. 非定常な最適化ターゲット: Questionerは、Solverの進化する性能によって決定される動的なターゲットに対して最適化される。Solverが向上するにつれ、Questionerが学習した難易度のシグナルは古くなり、あるいは不整合となり、タスクの難易度の振動的な変化と不安定なダイナミクスを引き起こす。
2. ブートストラップ誤差と自己確認バイアス: Solverは、Questionerによって生成された擬似ラベルを用いて訓練される。これらのラベルには必然的にノイズが含まれており、エラーが反復を通じて伝播・増幅することで、性能の崩壊や早期のプラトー（停滞）を引き起こす。

現在の手法は、多くの場合、密結合された共進化に依存しているが、著者らはこれが構造的に不安定になりやすいと主張している。

2. 手法: DARC フレームワーク

著者らは、自己進化を逐次的かつ分離されたフェーズへと再構成し、訓練を安定させる2段階のフレームワークである DARC (Decoupled Asymmetric Reasoning Curriculum) を提案している。

ステージ 1: Questioner の訓練（難易度校正された生成）

DARCは、ライブなSolverに対してQuestionerを最適化するのではなく、明示的な難易度レベルと外部コーパスを用いてQuestionerを訓練する。

• 入力: コーパス内のドキュメント $d$ と、目標となる難易度スカラー $\tau \in [0, 1]$。
• ポリシー: Questioner $Q_\theta$ は、$d$ と $\tau$ に条件付けられた質問 $q$ を生成する。
• 最適化: モデルは Group Relative Policy Optimization (GRPO) を用いて訓練され、以下の2つの制約を強制する報酬関数 $r_Q(q)$ を用いる：
  1. グラウンディング（根拠性）: 質問はソースドキュメント $d$ に基づいている必要がある（LLM-as-a-Judgeによって検証）。根拠のない質問には負の報酬が与えられる。
  2. 難易度の整合性: 質問の経験的な難易度（固定されたSolverによる成功率によって推定される）が、目標値 $\tau$ と一致しなければならない。
• 結果: これにより、Questionerの質問生成をSolverのリアルタイムの性能から切り離し、既知の難易度レベルを持つ安定した質問カリキュラムを作成する。

ステージ 2: Solver の訓練（非対称自己蒸留）

訓練されたQuestionerは、オフラインの質問データセットを生成する。その後、Solverはこのカリキュラムを用いて、**非対称自己蒸 distillation（自己蒸留）**メカニズムを用いて訓練される。

• 特権教師 (Privileged Teacher): 「教師」Solverは、質問 $q$ とソースドキュメント $d$ の両方にアクセスできる。教師は複数の候補回答を生成し、多数決によって擬似ラベル $a^*$ を決定する。投票の一致度が低いサンプルは、ノイズを減らすために破棄される。
• 生徒Solver (Student Solver): 「生徒」Solverは、ドキュメント $d$ にアクセスすることなく、質問 $q$ のみを用いて回答 $a^*$ を予測するように訓練される。
• 最適化: 生徒は、正解報酬 $r_S(a) = \mathbb{I}[a = a^*]$ を用いてGRPOを通じて最適化される。
• 非対称性の意義: 生徒にドキュメントなしで問題を解くことを強いることで、本フレームワークは些細なコピーを防ぎ、自己確認バイアスを軽減する。生徒はドキュメントの内容との関連性を記憶するのではなく、推論パターンを学習する必要があるためである。

理論的分析

論文では、結合されたセルフプレイにおいては、Solverの更新がQuestionerの目的関数の勾配上昇方向を逆転させ、不安定化を招く可能性があることを示す理論的分析（定理1）を提供している。対照的に、DARCのデカップルされた目的関数（固定された難易度 $\tau$ への一致）は、時間とともに変化するSolverとは独立しており、勾配更新が有効かつ安定した状態を維持することを保証している。

3. 主な貢献

1. デカップルされたアーキテクチャ: 質問生成とSolverの訓練を分離する2段階のフレームワークを導入し、結合されたセルフプレイに見られる非定常ターゲットの問題を排除した。
2. 非対称自己蒸留: ドキュメントを補強された教師が、ドキュメントを持たない生徒のために高品質な擬似ラベルを生成するという、新しい訓練スキーム。これにより、ラベルノイズと確認バイアスを低減する。
3. 難易度校正されたカリキュラム: 生成される質問の難易度を明示的に制御する能力。これにより、構造化された漸進的な学習パス（Easy $\to$ Medium $\to$ Hard）が可能になる。
4. モデル非依存性: 本フレームワークは特定のバックボーンモデルに依存しないよう設計されており、異なるアーキテクチャ間でのカリキュラムの汎用化を可能にする。

4. 実験結果

著者らは、3つのバックボーンモデル（Qwen3-4B/8B および OctoThinker-8B）を用い、9つの推論ベンチマーク（数学および一般）でDARCを評価した。

• 性能向上: DARCは、ベースモデルと比較して、すべてのベンチマークとバックボーンにおいて平均10.9ポイントの改善をもたらした。
• ベースラインとの比較:
  • DARCは、すべてのラベルフリー自己進化ベースライン（R-Zero, Absolute-Zero）およびコーパス接地型手法（SPICE）を上回った。
  • DSRCは、1%の人間によるラベル付きデータを利用する弱教師あり学習手法（R-Few）に対しても競争力のある性能を示したが、DARCは人間の注釈を一切使用していない。
  • Qwen3-8Bバックボーンにおいて、DARCは232Kの人間による注釈済みサンプルで訓練されたモデルである General-Reasoner の性能に迫る結果を出した。
• 安定性: 性能の崩壊や振動挙動を示した従来のセルフプレイシステムとは異なり、DARCは劣化することなく、検証報酬の着実な向上を示した。
• 汎用性:
  • クロス・ソルバー: あるバックボーン（Qwen3-4B）で訓練されたQuestionerは、より小さい（1.7B）およびより大きい（8B）Solverバックボーンの両方の性能を向上させるカリキュラムを正常に生成できた。
  • 記憶を超えた学習: DARCは、同じコーパスを用いた標準的なファインチューニング（Vanilla FT）よりも優れた性能を示した。これは、DARCが単なるパターン記憶ではなく、転移可能な推論能力を誘発していることを示唆している。

5. 意義と主張

本論文は、DARCが人間のデータから独立して動作する、信頼性と効率性の高い自己進化メカニズムへの重要な一歩であることを主張している。質問生成と解決策の学習を分離することで、本フレームワークは結合されたセルフプレイの構造的不安定性を解消している。

著者らは、DARCがモデルの能力を自律的に洗練させることを可能にし、人間によるアノテーションの不足というボトルネックなしに、完全な教師ありモデルの性能に近づけることを強調している。この研究は、十分なベースモデルのスケールがあれば、デカップルされたカリキュラムによる自己進化が、競争力のある推論性能を達成できることを示唆している。

認められた限界事項:
論文では、DARCが依然として外部コーパスに依存していること（完全なデータフリーではない）、擬似ラベルは本質的にノイズを含んでいること、そして現在のフレームワークは主に検証可能な回答を伴うドメイン向けに設計されており、オープンエンドなタスクへの即時の適用には制限があることを述べている。