Elementary Math Word Problem Generation using Large Language Models
本文提出了名为 MathWiz 的基于大语言模型的数学应用题生成系统，该系统仅需输入题目数量、年级和类型即可自动生成高质量题目，并通过广泛实验验证了其在语法和多样性方面的优势，同时指出模型在严格遵循年级和题型要求方面仍存在不足。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 MathWiz 的“智能数学出题小助手”。它的目标很简单：利用最新的人工智能技术，自动为小学生生成高质量的数学应用题（比如“小明有 3 个苹果，吃了 1 个，还剩几个？”这种），而且还能根据老师的要求，指定题目是适合几年级、考的是加法还是减法。
为了让你更容易理解，我们可以把这项研究想象成开一家“数学题目定制工厂”。
1. 以前的工厂 vs. 现在的 MathWiz 工厂
以前的做法（人工或旧技术）：
想象一下，以前老师想出题，得自己一笔一划写，非常累。早期的自动出题机器像个笨拙的学徒，老师必须给它提供“半成品”（比如先给个算式3+2=5，或者给个开头句子），它才能接着写。而且，它经常写出的题目要么太简单，要么逻辑不通，甚至不符合年级要求（比如让一年级学生做小数除法）。MathWiz 的做法（大语言模型）：
MathWiz 就像是一个拥有超级大脑的“天才厨师”。你不需要给它半成品，只需要给它一张“菜单”（指令）：- “我要 5 道题。”
- “给一年级学生做。”
- “主题是‘单数字加法’。”
这个“天才厨师”就能立刻变出 5 道新鲜出炉、符合要求的数学题。它不需要你教它怎么说话，因为它在“上学”（预训练）时已经读遍了全世界的书。
2. 工厂的升级过程（实验步骤）
为了让这个“天才厨师”真正好用，研究团队对它进行了一系列的“特训”：
第一步：选对厨师（LLM 选择）
团队试了好几个不同的“大脑”（如 Llama-2, Mistral 等），最后发现 Llama-2 这个“大脑”最适合做数学题，而且反应速度也合适。第二步：学会听指挥（提示词工程）
刚开始，厨师可能听不懂复杂的指令。团队尝试了不同的“说话方式”（提示词模板），比如“假装你是个数学老师”或者“用对话的方式”。最后发现，用一种清晰、结构化的“指令单”（Prompt），厨师能最准确地理解需求。第三步：增加菜品种类（提高多样性）
有时候，厨师为了求稳，会反复做同一道菜（比如总是写“小明买苹果”）。为了让题目更有趣，团队调整了厨师的“烹饪参数”（如 Temperature, Top-k 等），就像给厨师加了一点“随机性调料”，让他能想出更多样化的场景（比如从“买苹果”变成“数袜子”或“分糖果”）。第四步：名师带教（微调与少样本学习）
虽然厨师很聪明，但为了更精准，团队给它看了一本自己编写的“教材”（MathWizard 数据集），里面包含了符合美国小学数学大纲（Common Core）的 4000 道题目。
此外，团队还尝试了“少样本学习”（Few-shot prompting），就像在考试前给厨师看几道例题（比如：“看，这是 5 道一年级的加法题，请模仿这个风格再出 5 道”）。实验发现，给 5 道例题的效果最好。第五步：人类反馈与纠错（RLHF 与可解性检查）
这是最关键的一步。- 人类反馈： 团队让人类老师给厨师出的题打分（“这道题出得好”或“这道题太偏了”），让厨师学习人类的喜好。
- 可解性检查（守门员）： 有时候，厨师会写出逻辑不通的题（比如“我有 5 个苹果，朋友又给了我一些，现在我有几个？”——没告诉给了几个，没法算）。团队请了另一个更强大的 AI（Gemini）当**“守门员”**。每道题生成后，先过一遍守门员，如果守门员说“这题没法算”，就直接扔掉，让厨师重做。
3. 成果与遗憾
做得好的地方：
- 质量高： 生成的题目语法正确、没有错别字，而且大部分都能算出答案。
- 多样性好： 题目场景丰富，不再千篇一律。
- 数据集贡献： 团队还创建了一个包含 4000 道题目和详细错误标注的公开数据集，这对未来的研究很有帮助。
还存在的问题（遗憾）：
- “年级感”不强： 虽然厨师很努力，但它偶尔还是会“超纲”。比如给一年级学生出涉及小数的题目，或者给三年级出太简单的题目。这就像让一个天才厨师偶尔还是会忘记客人的年龄，给小孩端上了太辣的菜。
- 评估的局限： 用 AI 来评价 AI 出的题，有时候会“自卖自夸”，不如人类老师看得准。
4. 总结
这篇论文的核心就是：我们造了一个能自动给小学生出数学题的 AI 系统。
它不像以前的工具那样需要老师提供很多背景信息，只要告诉它“几年级”和“考什么”，它就能生成题目。虽然它现在偶尔还会“超纲”或“跑题”，但通过不断的“特训”（微调）和“守门员”（可解性检查），它已经能生成非常高质量的题目了。
未来的方向：
团队计划给这个系统装上“检索增强”（RAG）功能，就像给厨师配一本实时的“教学大纲字典”。这样，厨师在出题前可以先查字典，确保题目绝对符合年级要求，不再“超纲”。
简单来说，MathWiz 正在努力从一个“聪明的写手”进化成一个“懂教学大纲的资深数学老师”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。