💬 NLP

MathDuels: Evaluating LLMs as Problem Posers and Solvers

该论文提出了名为 MathDuels 的自博弈基准，通过让模型同时扮演出题者和解题者的双重角色，利用自适应难度机制和 Rasch 模型评估，有效解决了传统静态数学基准难以区分前沿大模型能力的问题，并揭示了出题与解题能力的部分解耦特性。

原作者： Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiqiu Xu, Shibo Jin, Shreya Arya, Mayur Naik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何测试人工智能（AI）数学能力的论文，标题叫《MathDuels》（数学决斗）。

为了让你轻松理解，我们可以把现在的 AI 数学测试比作**“做旧试卷”，而这篇论文提出的新方法则是“让 AI 互相出题、互相考试”**。

1. 为什么需要新方法？（旧试卷的困境）

想象一下，现在的 AI 就像是一群超级学霸。

旧方法（静态测试）： 就像老师拿出一套固定的试卷（比如以前的奥数题），让所有学霸来做。
问题： 这些学霸太聪明了，很快就把这套卷子做完了，甚至能背下答案。这时候，试卷就失去了区分谁更厉害的作用，因为大家都能拿满分。这就叫“天花板效应”——试卷太简单，测不出真正的差距。
现状： 人类老师想不出更难的新题了，因为现在的 AI 已经接近人类数学家的水平，人类很难再编出能难倒它们的题目。

2. 新方案：MathDuels（数学大乱斗）

这篇论文提出了一种像**“古罗马角斗场”**一样的新玩法。

核心玩法： 不再让 AI 只做“考生”，而是让它们身兼两职：
1. 出题人（Author）： 每个 AI 都要自己编一道数学题，而且要尽量难，难到让别的 AI 做不出来。
2. 解题人（Solver）： 每个 AI 也要去解别的 AI 出的题。
比喻： 这就像是一场**“武林大会”**。
- 以前是：大家轮流去考同一个固定的“通关秘籍”。
- 现在是：每个高手都要自己设计一个陷阱（出题），然后去闯别人的陷阱（解题）。
- 谁赢了？ 不仅要看谁解题快（解题能力），还要看谁设计的陷阱最刁钻、最难被破解（出题能力）。

3. 这个“决斗”是怎么进行的？

整个过程就像是一个自动化的流水线：

出题阶段（设计陷阱）：
- AI 先想：“我要出个什么题能难倒别人？”（这叫“元提示”，相当于先写个出题大纲）。
- 然后生成题目和答案。
- 为了增加难度，AI 还会进行“难度强化”，把题目改得更烧脑。
解题阶段（闯陷阱）：
- 所有的 AI 互相交换题目，尝试解答。
- 如果一道题，别的 AI 都做错了，说明这道题出得真好（难度高）。
裁判阶段（验货）：
- 为了防止有人出“无解”的烂题或者题目本身有错，有一个专门的“超级裁判 AI"来检查。
- 如果题目本身有问题，直接作废；如果题目没问题但答案错了，裁判会修正答案。
打分阶段（排座次）：
- 系统用一种数学模型（拉什模型，Rasch Model）来计算分数。
- 解题分： 看你解开了多少别人的难题。
- 出题分： 看你出的题有多难（如果别人都解不开你的题，你的出题分就高）。
- 总分： 两者各占一半。

4. 发现了什么有趣的事情？

论文测试了 19 个顶尖的 AI 模型，发现了一个惊人的现象：

“解题王”不一定是“出题王”：
- 有些 AI 解题能力超强（像是一个超级计算器），但它出的题却很简单，别人都能做出来。
- 有些 AI 解题可能不是第一，但它出的题非常刁钻，连最强的解题 AI 都做不出来。
- 比喻： 就像**“做题家”和“命题人”**的区别。有的学生擅长考试，但让他出题，他可能只会出课本原题；有的学生虽然考试不是第一，但他特别擅长设计陷阱，能考倒所有人。
难度会“自动进化”：
- 以前是试卷难度固定，AI 变强了，试卷就显得太简单。
- 现在，只要有一个更强的 AI 加入，它就会出更难的题，把整个“考场”的难度拉高。
- 比喻： 就像**“军备竞赛”**。你造出更厉害的盾，我就造更锋利的矛。这个“数学竞技场”永远不会因为大家太强而停止，它会随着 AI 变强而自动变难。

5. 总结与意义

这篇论文的核心思想是：不要只让 AI 做题，要让 AI 互相“搞事情”。

以前： 我们担心 AI 会不会做这道题。
现在： 我们看 AI 能不能创造出一道让对手做不出来的题。

这种方法不仅能更公平地给 AI 排名，还能发现 AI 在“创造力”和“解题力”上的不同。随着新模型不断加入，这个“数学角斗场”的难度会永远保持在人类和 AI 能力的极限边缘，不会像旧试卷那样过时。

一句话总结：
这就好比不再让运动员在固定的跑道上赛跑，而是让他们互相设计障碍赛——谁设计的障碍最难，谁就是真正的“数学之王”。

这是一份关于论文 《MathDuels: Evaluating LLMs as Problem Posers and Solvers》 的详细技术总结。

1. 研究背景与问题 (Problem)

随着前沿大语言模型（LLM）在静态数学基准测试（如 MATH、GSM8K）上的表现接近天花板，现有的评估方法面临以下核心挑战：

评估区分度下降：静态题库无法有效区分顶尖模型的能力差异，因为模型解决固定问题的能力已趋于饱和。
动态性不足：即使是基于竞赛题目的动态评估（如 AIME），其更新速度也赶不上模型能力的提升速度，导致新模型很快就能“刷满”旧题库。
人类出题瓶颈：人类专家难以持续生成足够困难且能区分最强模型的研究级数学问题。
单一角色偏差：现有评估仅将模型视为“解题者（Solver）”，忽略了模型作为“出题者（Author/Poser）”的能力，而这两者可能代表不同的数学智能维度。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 MathDuels，一个基于**自博弈（Self-Play）**的评估框架。该框架让模型同时扮演“出题者”和“解题者”双重角色，通过对抗性互动来动态调整评估难度。

核心流程 (The MathDuels Protocol)

评估过程分为四个自动化阶段：

问题生成 (Generation)：
- 每个参与模型 $m$ $m$ 根据给定的数学领域（如代数、拓扑等），通过三阶段流水线生成 $K$ $K$ 个问题：
  - 元提示 (Meta-prompting)：模型先思考“如何构造一个难题”，生成提示词。
  - 问题生成：利用生成的提示词构造具体的数学问题陈述 $q$ 和标准答案 $g$ 。
  - 难度放大 (Difficulty Amplification)：模型尝试对问题进行变体修改，增加推理深度。
- 设计原则：最小化人工干预，让模型自主探索“困难”的定义。
解题 (Solving)：
- 除作者外的所有其他模型尝试解决该问题。
- 通过符号验证（Symbolic Verification）判断答案是否正确，生成二元结果矩阵 $Y$ （ $y_{mp}=1$ 表示模型 $m$ 正确解决了问题 $p$ ）。
验证 (Verification)：
- 如果至少有一个解题者回答错误，或者存在分歧，会触发独立的验证器（Verifier）。
- 验证器检查问题是否良构（Well-posed），并从候选答案中选出正确答案。
- 若问题被判定为无效（如歧义、无解），则从评分中剔除。
排名与评分 (Ranking)：
- Rasch 模型 (项目反应理论)：联合估计所有模型的解题能力 ( $s_m$ ) 和所有问题的难度 ( $d_p$ )。
  - 正确概率公式： $P(y_{mp}=1) = \sigma(s_m - d_p)$ 。
- 评分体系：
  - 解题评分 ( $R^{solve}_m$ )：基于解题能力 $s_m$ 的 Elo 评分。
  - 出题评分 ( $R^{author}_m$ )：基于该模型所出题目的平均难度 $\bar{d}_p$ 。
  - 综合评分 ( $R_m$ )： $R_m = 0.5 \times R^{solve}_m + 0.5 \times R^{author}_m$ 。
- 防作弊机制：如果作者自己的题目被验证器判定为错误（即作者给出了错误答案），该题目的难度在计算作者评分时会被截断，防止通过生成“高难度但错误”的问题来刷分。

3. 主要贡献 (Key Contributions)

提出双角色自博弈协议：首个将 LLM 同时作为“出题者”和“解题者”进行联合评估的基准，并引入了自动化的问题有效性过滤机制。
揭示能力解耦现象：通过实验证明，解题能力与出题能力是部分解耦的（Partially Decoupled）。最强的解题者不一定是最好的出题者，反之亦然。单一角色的基准测试会掩盖这种差异。
抗饱和设计：基准难度随参与者实力的增强而协同进化（Co-evolve）。更强的模型会生成更难的问题，从而击败之前的强者，避免了传统基准在固定天花板上的饱和。
公开排行榜：提供了一个动态更新的公共排行榜（mathduels.ai），随着新模型发布自动更新。

4. 实验结果 (Results)

研究在 19 个前沿模型（包括 GPT-5 系列、Gemini 3.1、Claude Opus 等）上进行了评估：

能力解耦的实证：
- GPT-5.4-high 是最强的解题者（Solve Rating 最高），但在综合排名中并非第一。
- Gemini-3.1-Pro-high 是最强的出题者（其生成的题目平均正确率最低，仅为 62.9%），因此获得了最高的综合排名。
- 这表明“解题”和“出题”是数学能力的两个不同维度。
动态难度提升：
- 新加入的强模型（如 Gemini-3.1-Pro-high 和 GPT-5.4-high）生成的题目，有 27.6% 能击败之前的“前三”强手，而旧模型生成的题目仅有 8.0% 能做到这一点。
- 这证明了新模型不仅解题更强，还能通过出题暴露旧模型的弱点，自动推高评估天花板。
领域难度差异：
- 离散数学（Discrete Mathematics）是最难攻克的领域（平均正确率 82.5%），因为其结构往往不显式，需要 solver 自行发现框架。
- 概率与统计（Probability & Statistics）相对最容易（92.2%），因为往往遵循经典模板。
鲁棒性：
- 验证器（Verifier）在不同骨干模型间具有高度一致性（97.5% 的排除决策一致，99.4% 的答案选择一致）。
- 生成流水线越复杂（3 步流程），生成的题目越难，错误率越高，证明了基准主要测试的是推理能力而非计算能力。

5. 意义与展望 (Significance)

评估范式的转变：MathDuels 标志着从“静态测试”向“动态对抗”评估的转变。它不再依赖人类专家不断出题，而是利用模型自身的生成能力来维持评估的区分度。
全面的能力画像：通过解耦“出题”与“解题”，该框架能更细致地描绘模型在数学创造力（构造问题）和逻辑推理（解决问题）上的具体强弱项。
未来方向：
- 可扩展至其他领域（如编程竞赛、科学问答）。
- 从“答案验证”向“证明验证”演进，以奖励更严谨的推理过程。
- 随着 LLM 能力逼近数学前沿，这种自博弈框架将成为追踪模型进步的关键工具。

总结：MathDuels 通过引入“自博弈”机制，成功解决了静态数学基准饱和的问题，揭示了 LLM 在出题和解题能力上的差异，为评估下一代 AI 的数学智能提供了一个动态、抗饱和且多维度的新标准。