技術的概要：数学的推論のための検証者支援型難問生成

問題定義

大規模言語モデル（LLM）は科学および数学的問題の解決において専門家レベルのパフォーマンスを達成しているが、妥当でかつ挑戦的な新規問題を自律的に生成することには苦労している。この能力は、高難易度データを通じた LLM の訓練の進展と、モデルが新たな問いを形成できる完全自律的な科学的研究の実現という 2 つの理由から極めて重要である。

既存のアプローチは重大な限界に直面している：

1. 人間依存型手法： 分野の専門家に問題の作成や修正を依存させる方法は遅く、高コストであり、難易度の上限を人間の能力に制限する。
2. 単純な自己対戦： 「問題作成者 - 解決者」の二重性を用いる手法（問題作成者が問題を生成し、解決者の失敗率が問題作成者の報酬を決定する）は、報酬ハッキングに悩まされる。問題作成者は、解決者が回答できない無効または不十分な問題 specification を生成し、妥当で挑戦的なコンテンツを生み出さずに難易度報酬を人為的に膨らませることができる。これは訓練品質の崩壊をもたらす。

手法：VHG フレームワーク

本論文は、問題の妥当性と難易度を分離するように設計された3 者型自己対戦フレームワークであるVHG（検証者支援型難問生成）を提案する。このフレームワークは、従来の問題作成者 - 解決者のループに独立した検証者モジュールを導入する。

中核コンポーネント

1. 問題作成者（$Q$）： 問題 $x$ と参照解答 $y^\star$ のペア $(x, y^\star)$ を生成する LLM。標準的な自己対戦とは異なり、問題作成者は解答を提供する必要があり、検証可能な妥当性チェックを可能にする。
2. 解決者（$S$）： 生成された問題 $x$ の解決を試みる LLM。その経験的精度 $Acc_S(x, y^\star)$ は、問題の難易度を示すシグナルとして機能する。
3. 検証者（$V$）： 訓練またはスコアリングに使用される前に、ペア $(x, y^\star)$ の正しさを検証するモジュール。

報酬メカニズム

決定的な革新は、問題作成者に対する検証者ゲート型報酬関数である。問題作成者は、生成されたペアが妥当である場合にのみ報酬を得る。報酬関数は以下のように定義される：
$$R_Q(x, y^\star) = \mathbb{1}[V(x, y^\star)=1] \cdot (1 - Acc_S(x, y^\star))$$
ここで：

• $\mathbb{1}[V(x, y^\star)=1]$ は、検証者がペアを受け入れた場合にのみ 1 となる指示関数である。
• $(1 - Acc_S(x, y^\star))$ は難易度（解決者精度の逆数）を表す。

この設計により、問題作成者は、解決者がデフォルトで失敗する無効な問題を生成することで高い報酬を得ることができない。解決者の失敗は、検証者が問題が適切に設定され、解答が正しいことを確認した後にのみ報酬に寄与する。

検証者のバリエーション

本論文は、異なるタスクの制約に対応するために 2 種類の検証者を具体化している：

1. ハード検証者（記号的）： 不定積分に使用される。記号計算ライブラリ（例：SymPy）を活用して、生成された原始関数の微分が被積分関数と厳密に一致することを検証する。これにより、ほぼ 100% の信頼性が得られる。
2. ソフト検証者（LLM ベース）： 一般的な数学的推論に使用される。問題の適切性、解答の正しさ、およびそれらの対応関係を検証するために、LLM を審判として採用する。ノイズを軽減するため、LLM 評価の前に、不正な出力、欠落した解答、または単純なコピーを拒否するハードコードされたフィルタと組み合わせる。

訓練パイプライン

プロセスは一貫したワークフローに従う：

1. 種子となる問題 - 解答ペアを用いたコールド Supervised Fine-Tuning (SFT) により問題作成者を初期化する。
2. 問題作成者が候補ペアを生成する。
3. 検証者がペアをゲートし、無効なものを拒否する。
4. 検証者承認済みのペアのみが、難易度に基づいて解決者によってスコアリングされる。
5. 問題作成者は、難易度ベースの報酬を用いた強化学習（RL）によって更新される。
6. 承認されたプールは、解決者の訓練または挑戦データセットの構築に使用される。

主要な貢献

1. 3 者型自己対戦フレームワーク： 問題作成者 - 解決者のダイナミクスに検証者モジュールを導入し、無効な問題の生成を防ぎ、報酬ハッキングを緩和する。
2. ハードおよびソフト検証者の実証的検証： VHG が、妥当かつ困難な新規問題を生成し、記号的（ハード検証者）および一般的（ソフト検証者）の両方の分野においてベースラインを上回ることを示す広範な実験。
3. メカニズム分析： 検証者が品質を確保するために決定的であることを示す包括的な分析。この研究は、検証者がなければ、自己対戦手法（R-Zero など）はより簡単または無効な問題へと移行する傾向があるのに対し、VHG は分布を困難かつ妥当な問題へと成功裏にシフトさせることを明らかにしている。

実験結果

不定積分（ハード検証者）

• 設定： AntiderivBench（Qualifer/Competition）およびキュレーションされた Integration Stress Test で評価。
• パフォーマンス： VHG は、最先端のR-Zeroを含むベースラインを大幅に上回った。
  • Pass@1 の改善： ベースモデルに対して、Competition で +16.9%、Qualifier で +16.6%、Stress Test で +21.4%。
  • 比較： R-Zero は 3 回の反復後もバニラ GRPO を上回れず、ハード検証の必要性を浮き彫りにした。
• 挑戦問題生成： VHG は、8 倍大きいモデル（Qwen3-32B）であっても挑戦的なままである問題を生成し、最も困難なサブセットでは Pass@1 率が 50% 未満であった。

一般数学（ソフト検証者）

• 設定： MATH、GSM8K、AMC、Minerva、Olympiad、および AIME（2024–2026）のベンチマークで評価。
• パフォーマンス： VHG はほとんどのベンチマークでパフォーマンスを向上させ、全体の Pass@1 精度を**56.8% から 69.0%**に引き上げた。
• アブレーション： VHG は GSM8K を除くすべてのベンチマークで R-Zero を上回った。著者は、GSM8K の低下を分布のシフトに起因すると説明している。VHG はより困難な問題の生成に焦点を当てるのに対し、GSM8K は小学校レベルの問題で構成されているためである。

弱から強への一般化

注目すべき発見として、より小さなモデル（Qwen3-4B）に基づく問題作成者と解決者が、はるかに大きなモデル（Qwen3-8B、14B、32B）を挑む問題を生成できることが挙げられる。これは、より弱いモデルを使用してより強力なモデルのための高品質な訓練データを生成するためのスケーラブルな道筋を示唆している。

意義と主張

本論文は、ハード合成数学的問題は、それを提案する生成器だけでなく、それらを選択する報酬オラクルを通じて研究されるべきであると主張している。

• 第一級のゲートとしての妥当性： 主要な貢献は、妥当性を難易度評価の前提条件として確立することである。解決者の失敗が妥当性が確認された後にのみ難易度として解釈されるようにすることで、VHG は単純な自己対戦で見られる訓練パイプラインの崩壊を回避する。
• スケーラビリティ： このフレームワークは、検証者支援型生成が現在の LLM の能力限界を押し上げるデータを生成できることを示しており、静的な人間データセットに依存することなく、より自律的な科学的研究と継続的なモデル改善への道を提供する。
• 保証に関する謙虚さ： 著者は、正確な妥当性の保証がハード検証者設定（不定積分）にのみ適用されることを明示的に指摘している。一般数学については、LLM 審判が微妙な誤りや不十分な問題 specification を受け入れる可能性があることを認めつつ、結果は実用的なソフト検証者パイプラインの証拠として提示されている。この研究は、最終的に難問生成の天井を決定するのは検証者のバックエンドの品質であることを強調している。