MathDuels: 大規模言語モデル（LLM）の「問題作成者」と「解き手」としての能力を評価する論文の技術的概要

本論文「MathDuels: Evaluating LLMs as Problem Posers and Solvers」は、静的な数学ベンチマークの限界を克服し、最先端の LLM の能力をより深く評価するための新しい自己対戦（self-play）型ベンチマーク「MathDuels」を提案するものです。

以下に、問題提起、手法、主要な貢献、結果、そして意義について詳細にまとめます。

---

1. 背景と問題提起

従来の数学推論ベンチマーク（MATH, GSM8K など）や競技問題（AIME など）は、モデルの能力向上に伴い急速に飽和状態に達しています。

• 静的ベンチマークの限界: 固定された問題セットでは、モデルがその問題に特化して学習（汚染）したり、能力が天井に達して区別がつかなくなったりする。
• 人間による問題作成の限界: 最強のモデルを区別できるほど難しい問題を作成するのは、人間にとってますます困難になっている。
• 既存アプローチの不足: 単に「解く」能力のみを評価する従来のベンチマークでは、モデルが「新しい難しい問題を作成する」能力（創造性や問題設定力）を見逃している。

これに対し、著者らは歴史的な数学の対決（タルターリアとフィオールの対決）に着想を得て、モデル同士が互いに問題を出し合い、解き合う「MathDuels」を提案しました。

2. 手法：MathDuels プロトコル

MathDuels は、モデルを「問題作成者（Author）」と「解き手（Solver）」の二重の役割で評価する自己対戦フレームワークです。評価プロセスは以下の 4 つのフェーズで構成されます。

2.1 フェーズ 1: 問題生成（Generation）

各モデルは、指定された数学ドメインに基づき、3 段階のパイプラインを通じて問題を生成します。

1. メタプロンプティング: 問題を作成する前に、「どのような問題が難しいか」を論じるためのプロンプトを生成させる。
2. 問題生成: 生成されたメタプロンプトを用いて、実際の問題文（$q$）と正解（$g$）を作成する。
3. 難易度増幅（Difficulty Amplification）: 生成された問題をさらに難化させるための変換を施す。

• 特徴: 人間の介入を最小限に抑え、モデル自身が「難しさ」の定義を探索させる。

2.2 フェーズ 2: 解答（Solving）

各モデルは、自身が作成した問題以外の、他の全モデルが作成した問題に挑戦します。

• 各モデルは最終回答と推論過程（trace）を返します。
• 正解判定は、記号的な等価性チェック（Symbolic Verification）により行われます。

2.3 フェーズ 3: 検証（Verification）

解けなかった問題や、回答に不一致がある場合、独立した「検証者モデル（Verifier）」が介入します。

• 妥当性チェック: 問題が一意に定義されているか（ill-posed ではないか）を確認。
• 正解の選定: 複数の回答から正しい答えを特定し、作者の正解が誤っていた場合でも、検証者が正しい答えに上書きします。
• フィルタリング: 検証に失敗した（曖昧な）問題はスコアリングから除外されます。

2.4 フェーズ 4: ランキング（Ranking）

結果を基に、**ラッシュモデル（Rasch Model）**を用いて評価を行います。

• 解き手能力（Solver Ability, $s_m$）: モデルが問題を解く能力。
• 問題難易度（Problem Difficulty, $d_p$）: 問題の難しさ。
• 作成者品質（Author Quality, $R^{author}_m$）: 各モデルが作成した問題の平均難易度から導出されます。
• 総合評価: 解き手能力と作成者品質を等しく重み付けし、総合レーティング（Composite Rating）を算出します。
  $$R_m = \frac{1}{2} R^{solve}_m + \frac{1}{2} R^{author}_m$$

3. 主要な貢献

1. 二重役割評価プロトコルの提案: モデルを「問題作成者」と「解き手」の両方で評価し、自動的な問題妥当性フィルタリングを実装した初のベンチマーク。
2. 能力の分離（Decoupling）の発見: 19 種類の最先端モデルを用いた実験により、「問題を解く能力」と「難しい問題を作成する能力」は部分的に独立していることを実証。単一の役割（解くだけ）の評価では見えない能力の差を明らかにしました。
3. 飽和しないアリーナ設計: より強力なモデルが参入すると、それらが生成する問題が既存のトップモデルを破るようになり、ベンチマークの難易度が参加者の強さに合わせて共進化（co-evolve）します。これにより、固定された天井に達することが防がれます。
4. 公開リーダーボード: 新モデルのリリースに合わせて更新されるパブリックリーダーボード（mathduels.ai）の提供。

4. 実験結果

19 社の最先端モデル（OpenAI, Google, Anthropic, xAI など）を用いた実験結果は以下の通りです。

• 解き手と作成者の乖離:
  • 最も高い「解き手レーティング」を持つモデル（GPT-5.4-high）が、必ずしも最も高い「総合レーティング」を持つわけではありませんでした。
  • 例：Gemini-3.1-Pro-high は解き手能力は 2 位でしたが、作成した問題の難易度が極めて高く（平均正解率 62.9%）、作成者能力で他を圧倒し、総合 1 位となりました。
  • Grok-4.20-high は解き手能力と作成者能力の差が最も大きく、この二つの能力が独立していることを示唆しました。
• 問題の難易度分布:
  • 生成された問題の約 39% は全モデルに解かれましたが、残りの「解けない問題の尾部」がモデル間の差を明確にしました。
  • 新規参入の強力なモデル（Gemini-3.1-Pro-high など）が作成した問題の 27.6% は、それまでのトップ 3 モデルを破る難易度であり、既存のトップモデルの弱点を露呈させました。
• ドメインごとの傾向:
  • 離散数学（Discrete Mathematics）が最も難易度が高く、確率統計が最も易しかったです。これは分野の本質的な難易度というより、生成パイプラインが「構造が明示されていないが、解法を見つける必要がある」ような離散問題を生成しやすいことによるものです。

5. 意義と将来展望

• 評価のパラダイムシフト: 静的なテストセットからの脱却と、モデル同士の動的な対話による評価への移行。
• 数学的創造性の評価: 単なる計算能力や知識の再生産だけでなく、「どのような問題が難しいか」を理解し、それを設計する創造的な能力を評価できる点で画期的です。
• 将来の応用: この自己対戦フレームワークは、数学に限らず、競技プログラミングや科学質問応答など、他の分野でも「難しい課題を生成する能力」を評価する手段として拡張可能です。
• 今後の課題: 問題数の増加による信頼区間の縮小、最終回答チェックから証明ベースの検証への移行、など。

結論

MathDuels は、LLM が数学の最前線に到達するにつれて、単に問題を解くだけでなく、新しい課題を創出する能力が重要になるという洞察に基づいています。このベンチマークは、モデルの能力を多角的に評価し、静的な指標では捉えきれない「数学的創造性」の進捗を追跡するための強力なツールとなります。