技術要約：Question Begets Question (QbQ)

問題提起

本論文は、言語モデル（LLM）に新しい困難なスキルを教える際に繰り返し発生する3つの障害に対処している：

1. データの希少性： 複雑なタスク（例：競技数学、法的推論）のための高品質な訓練データは、しばしば限定的である。
2. 正解の推論過程（Ground-Truth Reasoning）の不在： データが存在する場合でも、正しいステップ・バイ・ステップの推論トレース（オラクル）が利用できないことが多い。
3. 学習の天井（Learning Ceilings）： モデルは、追加のデータが訓練予算に関わらずさらなる改善をもたらさない、明らかな性能の天井に達することがよくある。

著者らは、Qwen2.5-Math-7BをAIME（American Invitational Mathematics Examination）の競技問題を用いてファインチューニングするという制御された設定において、これらの問題を調査している。ベースモデルは当初、問題のわずか 5.6%（pass@1）しか解くことができず、このタスクが現在の能力を大きく超えていることを示している。

手法

提案される解決策は、合成データ生成のための Question-begets-Question (QbQ) と、訓練の構成のための Self-Evolving Curriculum（自己進化型カリキュラム） という、2つの結合されたコンポーネントで構成されている。

1. Question-begets-Question (QbQ)

QbQは、教師による推論トレースに依存することなく、多様な合成訓練データを生成するためのスケーラブルな手順である。

• プロセス： 教師モデル（GPT-5-mini）が、既存の「シード」問題を、同じ基礎的なスキルを探索しつつも異なる構造的側面を持つ新しいバリアントへと変換する。
• 構造的オペレータ： 多様性を確保し、表面的な書き換えを避けるために、教師は人間が設計した5つのオペレータに基づき条件付けられる：
  1. 一般化、その後の特殊化： 固定された数量をパラメータに置き換える。
  2. パラメータ化と総和： インデックスを導入し、集計値を求める。
  3. 問いの対象を変更する： 設定は維持するが、同じ補題を必要とする別の値を問う。
  4. 逆問題： ターゲットとなる値を固定し、パラメータについて解く。
  5. 制約層の追加： 計算をさらなるルーチンの中に埋め込む。
• 制約： バリアントは、親となる問題とは異なる答えを持たなければならない。このプロセスでは、数値のみを変更することを明示的に禁止している。
• 多様性： QbQは、標準的な合成拡張（1.25）と比較して高いVendiスコア（1.59）を達成しており、これは実効的な多様性が高いことを示している。

2. Self-Evolving Curriculum（自己進化型カリキュラム）

静的なデータセットで訓練するのではなく、このカリキュラムは $T$ ラウンド（実験では20ラウンド）にわたって、モデルの進化する能力に合わせて訓練データを動的に調整する。

• 自己評価： 各ラウンド $t$ において、現在のチェックポイント $\pi_t$ は前ラウンドの問題で評価される。問題は、$k=16$ 回のロールアウトのうち正解数 ($n$) に基づき、4つのバンドに分類される：
  • 習得済み (Mastered): $n=16$
  • 概ね正解 (Mostly Right) [シード・バンド]: $8 \le n \le 15$
  • 時々正解 (Sometimes Right): $1 \le n \le 7$
  • 一度も正解なし (Never Right): $n=0$
• シーディング戦略： 極めて重要な点として、カリキュラムは次ラウンドのQbQ生成のためのシードとして、「概ね正解」（$8 \le n \le 15$）のバンドから問題を選択する。これは、問題が勾配の分散を提供するのに十分なほど困難でありつつ、強化学習のためのポジティブな信号をモデルが頻繁に得られるようにするための、意図的な設計上の選択である。
• 訓練 (GRPO)： モデルは、新しく生成されたバリアントに対して Group Relative Policy Optimization (GRPO) を用いて訓練される。
  • オラクル推論なし： 訓練には、問題文と最終的な答えのみを使用する。ステップ・バイ・ステップの解法や教師による推論トレースはモデルに提示されない。これにより、蒸留に関する懸念や、オラクルが利用不可能な設定への対応を回避している。
  • 報酬： 二値の正誤報酬に加え、フォーマット遵守に対する小さなボーナスを与える。
• 進化： 訓練後、問題は再評価される。「習得済み」となった問題は破棄され、「概ね正解」のまま残ったものが次ラウンドのQbQ生成のシードとなる。バンドを下回った問題は破棄される。これにより、訓練分布がモデルの能力とともに進化することを保証する。

主な貢献

1. QbQ手法： 静的な拡張でよく見られる多様性の崩壊を回避し、多様な合成訓練問題を生成するための、スケーラブルなオペレータベースの手法。
2. 天井の特定： 静的な訓練（実データ＋合成データ、および非カリキュラム型のQbQの両方）は、データ量が増えても性能のプラトー（停滞）に達すること（それぞれ約12.5%と14.5%で頭打ち）を文書化。
3. 自己進化型カリキュラム： 同一のデータ予算下で性能の天井を打破する、新しい反復的カリキュラム。これにより、pass@1を5.6%から 16.5% へと引き上げ、20ラウンド後も飽和の兆候は見られなかった。
4. 直感に反する訓練原理： モデルは、最も困難な失敗（Hardest Failures）ではなく、概ね正解できる（Near-successes）問題のバリアントで訓練されたときに最も向上するという発見。このアプローチは、訓練中に一度も遭遇しなかったより困難な問題への汎化も可能にする。

実験結果

実験は、1,005件の過去のAIME問題を用いて Qwen2.5-Math-7B に対して行われ、テストには保持されたAIME 2025/2026の問題が使用された。

• ベースライン：
  • ベースモデル: 5.62% pass@1.
  • 元のデータに対するSFT + GRPO: 11.53% pass@1.
  • 静的拡張 (実データ + 5k合成): 12.05% pass@1.
  • QbQ 非カリキュラム型 (6k合成, シャッフル済み): 14.44% pass@1.
• 主要な結果 (QbQ カリキュラム):
  • 16.46% ± 0.45% pass@1 を達成。
  • 静的な手法とは異なり、性能は3,000回のGRPOアップデートを通じて停滞することなく向上し続けた。
  • 非カリキュラム型QbQ（全く同じデータと計算量を使用）に対して 2.02ポイント の差をつけており、これによりカリキュラムによる構成が改善の源泉であることを特定している。
• 汎化性能：
  • 初期モデルの精度が0%であり、かつシードとして一度も選択されなかった499件の「困難な」実問題のサブセットにおいて、カリキュラム訓練済みモデルはpass@1を0.0%から 5.3% へと向上させた。

意義と主張

本論文は、強化学習によるファインチューニングで見られる見かけ上の学習の天井は、モデルのアーキテクチャに固有のものではなく、訓練分布から生じるものであると主張している。 「ニア・サクセス（惜しい成功）」に基づいて動的にカリキュラムを精査し、QbQを通じて多様なバリアントを生成することで、モデルは正解の推論トレースにアクセスすることなく、効果的に学習を継続できる。

著者らは、このアプローチが以下の点を実現していると強調している：

• 高価または入手困難な専門家の推論トレースを必要としない。
• 教師モデルからの知識蒸留に関する懸念を軽減する。
• 訓練ループ中に遭遇したよりも困難な問題への汎化が可能であることを示す。
• モデルは最も困難な失敗から学ぶという従来の直感に疑問を投げかけ、代わりに「能力の境界（主に解決できる問題）」での訓練が、この領域におけるスキル獲得においてより効果的であることを示唆している。