💬 NLP

Towards Pedagogically Aligned LLM Tutors for Math Mistake Remediation

本文提出了一种结合监督微调与直接偏好优化（DPO）的两阶段对齐流水线，通过在具有教学增强的数据集上进行训练，旨在创建能够有效纠正数学错误并遵循支架式教学等教学策略的开源大语言模型导师，从而实现与闭源基准模型相媲敌的性能。

原作者： Kseniia Petukhova, Tien Dat Nguyen, Ekaterina Kochmar

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Kseniia Petukhova, Tien Dat Nguyen, Ekaterina Kochmar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但过于热心的助教。这位助教读遍了图书馆里所有的数学书，能瞬间解决任何问题。然而，当学生犯错时，这位助教的本能是立即喊出正确答案和完整的解题过程。虽然这对于得到正确答案很有帮助，但它并不能真正帮助学生学会如何独立解决问题。

这篇论文讨论的是如何将这位热心的助教培养成一名真正的导师，而不是仅仅做一个“答案解析器”。

问题所在：“答案手册”陷阱

作者发现，标准的 AI 模型（大语言模型）擅长交谈和解决数学问题，但在“教学法”（即教学的艺术）方面表现糟糕。如果你要求它们帮助一个做错数学题的学生，它们经常会：

泄露天机： 它们太快地给出了最终答案。
产生幻觉： 它们有时会凭空捏造题目中并不存在的数字或事实。
错失重点： 它们无法精准地指出学生究竟在哪里出错了。

一位优秀的导师，就像一位人类教练一样，会使用一种叫做**“脚手架”（scaffolding）**的技术。想象一下你在盖房子；你不会直接把做好的屋顶递给建筑工，而是给他们一把梯子、几件工具，并提示一下横梁应该放在哪里，让他们自己完成最繁重的体力活。AI 需要学习做到这一点：引导学生走向答案，而不是直接把答案递给他们。

解决方案：两阶段训练营

研究人员构建了一个特殊的训练流水线来解决这个问题，他们称之为“两阶段对齐流水线”。你可以把它看作是 AI 的两步训练营。

第一阶段：课堂模仿（监督微调）
首先，他们让 AI 观看数千个真实（以及模拟的）人类导师与学生之间的对话示例。这就像是让 AI 进入一个教室，通过观察和模仿最好的老师来学习。它学习的是导师的“风格”：提问、提供提示，并且不泄露答案。

第二阶段：“好与坏”的味道测试（直接偏好优化）
这是最聪明的部分。研究人员创建了一个庞大的“偏好对”数据集。

“好”导师： 一个能够温柔引导学生、发现具体错误并保持事实准确性的 AI 回复。
“坏”导师： 一个主题相同但质量略有“下降”的回复。比如，它可能不小心泄露了答案，或者产生了幻觉，或者完全忽略了学生的错误。

然后，他们使用了名为**直接偏好优化（DPO）**的技术。想象一位评委在品尝两块饼干：一块很完美，另一块则稍微烤焦了或者缺了糖。评委告诉烘焙师：“我更喜欢第一块。”AI 通过数百万次的这种对比来学习，从而理解从教学角度来看，究竟是什么让一个回复变得“好”，而不仅仅是从数学角度来看。

秘密配方

为了让 AI 变得更好，研究人员测试了在训练期间给它提供不同的“小抄”：

仅提供对话： AI 必须自己猜测学生是对还是错。
“正确性标记”： 一个简单的“是/否”按钮，告诉 AI：“嘿，这个学生错了。”
黄金解法： 给 AI 提供正确的答案解析。

他们发现，当 AI 知道正确答案并且知道学生错了时（即“黄金解法”设置），它的事实准确性会大大提高。这就像一位随身带着答案解析的人类导师；他们可以更快地发现错误，而不会不小心编造新的数学规则。

结果：击败顶级选手

团队将他们的新型“教学对齐”AI 与以下对象进行了对比测试：

基础模型： 未经训练的原始 AI。
现有的教学 AI： 其他已经设计用于教学的模型。
“专有基准模型”： 一个非常强大、昂贵的闭源 AI（类似于顶级的商业产品）。

结论：

事实核查： 他们的模型产生的错误事实比其他模型少得多。
教学风格： 它在发现错误和引导学生而不透露答案方面表现得更好。
重大胜利： 在人类测试中，他们的开源模型（任何人都可以使用和研究的模型）被评定为优于那款昂贵的、闭源的“黑盒”模型。

局限性（不足之处）

作者坦诚地说明了其缺陷：

“评委”问题： 他们使用其他的 AI 来为这些导师进行评分。有时“评委”AI 会与人类评估员产生分歧。用计算机来完美衡量“好的教学”是非常困难的。
合成数据： 训练数据主要由其他 AI 生成，而非真实的教师。虽然这种方式具有可扩展性，但可能会错过现实课堂中一些琐碎且细微的复杂情况。
他们真的学到了吗？ 该研究衡量的是 AI 看起来“像不像一个好老师”，而不是学生是否真的学到了更多数学知识。他们并没有测试学生的考试成绩是否提高了，而只是测试了 AI 听起来是否像一个更好的老师。

总结

简而言之，这篇论文表明，你可以通过训练，将一个聪明但笨拙的 AI 变成一名耐心、准确且乐于助人的数学导师。通过结合模仿和“好坏对比测试”的两步走过程，他们创造出了一个比目前市面上许多昂贵的闭源模型更擅长教学的开源 AI。这是迈向“不仅能给出答案，还能真正帮助我们理解答案”的 AI 的重要一步。

技术摘要：迈向面向数学错误纠正的教学对齐大语言模型导师

问题陈述

尽管大语言模型（LLMs）在推理和自然语言生成方面展现出强大的能力，但若不进行针对性的适配，它们往往不适合直接部署在教育场景中。标准的 LLM 经常无法遵循有效的教学策略，例如通过苏格拉底式提问引导学生，或提供有针对性的提示而不提前泄露最终答案。现有的辅导模型通常依赖于对教学行为的监督模仿或基于标量奖励的整体强化学习，这限制了对特定教学属性（如事实准确性、错误识别以及解题揭示程度）的显式控制。本文旨在解决的核心挑战是：如何使 LLM 与既定的真人辅导实践相对齐，从而创建出不仅事实准确，而且在纠正数学错误方面具有教学合理性的系统。

方法论

作者提出了一个两阶段教学对齐流水线，旨在将 LLM 的响应与期望的教学行为相对齐。

1. 数据构建

本研究通过整合现有的辅导语料库与合成数据，构建了一个全面的数学错误纠正数据集：

指令微调数据：作者利用 MathDial 和 SocraTeach，将对话预处理为“导师-学生”轮次，其中导师的响应作为金标准目标。
合成偏好数据：为了解决高质量教学偏好数据的匮乏问题，作者借鉴了 RMBoost 方法，并结合 MR-GSM8K 和 PRM800K 进行改进。
- 来自这些数据集的 LLM 生成解法被视为学生的回答。
- 使用 GPT-5 生成符合特定教学准则（事实性、错误识别、针对性、避免揭示答案和清晰度）的高质量导师响应。
- 使用 GPT-4.1 生成这些响应的“退化”变体，通过故意违反特定准则来创建偏好对（优选 vs. 非优选）。
- 数据集包含正确和错误学生解法的案例，以防止模型总是假设存在错误。
- 最终数据集包含超过 146,000 个用于监督微调（SFT）的实例和 29,390 个用于直接偏好优化（DPO）的偏好对。

2. 训练流水线

对齐过程涉及两个不同的阶段：

阶段 1：监督微调 (SFT)：使用 LoRA 技术在教学对话数据上对基座模型（Qwen3-4B 和 Qwen3-8B）进行微调。此阶段旨在建立生成流畅、具备上下文感知能力的导师响应的基准。
阶段 2：直接偏好优化 (DPO)：使用合成的偏好对对 SFT 模型进行进一步对齐。采用了加权 DPO 目标函数，其中教学维度（事实性、错误识别、针对性、揭示答案）的权重设为 1.0，而清晰度的权重设为 0.5，这反映了作者的观察：清晰度的退化并不总是等同于教学失败。

3. 输入配置

研究调查了四种输入配置，以确定外部信息获取如何影响性能：

V1：仅对话上下文。
V2：上下文 + 表示学生正确性的二元标志。
V3：上下文 + 金标准解法。
V4：上下文 + 正确性标志 + 金标准解法。
作者指出，虽然 V4 假设了在实际部署中未必能实时获取的信号，但它作为一个上限，反映了标准的人类辅导实践（即导师拥有正确解法）。

核心贡献

数据集构建：创建了一个用于数学错误纠正的大规模数据集，该数据集结合了真实的教学对话与通过多个教学维度生成的合成偏好对。
输入配置分析：系统研究了提供正确性标志和金标准解法如何影响模型的数学事实准确性和教学质量。
两阶段对齐：证明了结合 SFT 与 DPO 可以有效地使开源模型符合教学原则，其表现优于基座模型及现有的专门化辅导模型。
资源发布：发布了合成数据集、训练好的模型及代码，以促进该领域的进一步研究。

实验结果与评估

自动评估

模型在 1,000 个测试样本上针对四个教学维度进行了评估：错误识别、错误定位、提供引导和可操作性。

事实性：获取金标准解法和正确性标志（V4）显著提高了事实准确性。表现最好的模型 Qwen3-8B + DPO V4 实现了 60.10% 的事实性得分（在针对数值幻觉进行定向重训练后提升至 70.10%）。
教学质量：在 GPT-5 的评估下，Qwen3-8B + DPO V4* 模型在大多数维度上均优于现有的开源基线（SocraticLM, TutorRL-7B）以及经过微调的专有 GPT-4.1-nano 模型。
评估者分歧：观察到评估者之间存在显著差异。GPT-5 倾向于惩罚那些揭示答案的响应（降低了“可操作性”得分），而 LoMTL（一个较小的 2B 模型）则经常对这类响应给出高分。这凸显了当前自动化评估器在处理精细化教学维度时的不可靠性。

人类评估

一项由 10 名标注员（NLP 专业学生及教授）参与的人类评估，将表现最好的开源模型（Qwen3-8B + DPO V4*）与其 SFT 版本、基座模型以及一个强大的专有基线（GPT-5）进行了对比。

表现：在 35.3% 的案例中，DPO 对齐模型优于 SFT 版本；在 54.3% 的案例中，其表现优于 GPT-5 基线。
定性发现：标注者指出，基座模型往往缺乏连贯性和事实准确性。SFT 模型提高了清晰度，但有时会泄露答案。DPO 模型因其能够在不揭示最终答案的情况下提供有效的脚手架支持而更受青睐，而 GPT-5 则经常被批评为过度揭示解法。
一致性：标注者间的一致性（Fleiss' $\kappa$ ）为 0.55，表明存在中度一致性。

意义与局限性

论文认为，基于偏好的教学对齐是提高 LLM 导师性能的一种有效策略，特别是当结合了对解法正确性和金标准答案的显式访问时。结果表明，智能辅导系统可能受益于模块化设计，即由独立的组件分别处理任务求解、验证和反馈生成，而不是依赖于单一的整体模型。

作者对其研究范围保持了审慎的态度：

评估局限性：本研究侧重于导师响应的质量，而非直接的学生学习效果。作者承认，评估实际的教学有效性需要进行带有前测和后测的受控用户研究，而这超出了本文的研究范围。
数据局限性：偏好数据是合成的，由 LLM 生成。虽然这提供了可扩展性，但作者指出，这可能会编码特定模型的风格偏差，且无法完全捕捉人类自然教学互动的多样性。
评估器可靠性：自动化评估器（GPT-5 vs. LoMTL）之间的显著分歧，强调了在没有人工监督的情况下，难以可靠地评估教学质量的现状。

总之，这项工作证明了开源模型通过在具有教学结构的数据上进行两阶段流水线对齐，可以实现与强大的专有基线相竞争的性能，同时提供更高的透明度和可复现性。