Error as a Lens: Probing LLM Reasoning through Synthetic Misconception Generation

技术摘要：将错误作为透镜：通过合成误解生成探测大语言模型的推理能力

问题陈述
教育技术应用程序（包括个性化辅导、教师培训和教育研究）依赖于获取有针对性的合成误解。然而，获取大规模、带标签的真实学生错误语料库受到隐私法规、机构审查委员会（IRB）限制以及存储可识别评估数据的伦理敏感性的严重制约。虽然大语言模型（LLM）提供了一条可扩展的路径来生成合成错误，但存在一个关键差距：现代 LLM 可以轻松生成任意错误答案，但它们难以生成与特定、指定的认知失败模式相一致的错误。核心挑战在于创建一个框架，以生成（i）真正错误、（ii）与特定认知失败模式一致而非任意错误、且（iii）在不同学科中表现稳定的错误答案。

方法论：GA/EA 框架
作者提出了一种双智能体框架，旨在生成针对分类学的合成错误。该系统将错误解决方案的起草与其类别一致性的验证解耦。

1. 错误分类学：该框架利用基于修订版布鲁姆分类学（Anderson 等人，2001）调整的五类错误分类法。保留的类别包括：

   • E1（心理笔误/粗心作业）：在整体正确的轨迹中出现的算术或转录失误。
   • E2（知识缺口）：缺失定义、术语或公式。
   • E3（误解）：错误的心理模型或缺失的概念。
   • E4（错误选择）：错误的问题分类或选择了错误的解题过程。
   • E5（结构性盲区）：未能区分组件及其相互作用。
     （注：描述次优但正确答案的类别已被排除，因为它们不代表错误的最终答案。）

2. 智能体架构：

   • 生成智能体（GA）：一个预训练的 LLM，负责根据特定的目标错误类别起草候选错误解决方案。作者采用单个多类别 GA，而非五个专用智能体，以防止“漂移”到相关类别，因为专用智能体缺乏区分相邻失败模式的跨类别上下文。
   • 审查智能体（EA）：一个评估 GA 草案的裁判，基于两个维度：(a) 响应是否真正错误，以及 (b) 是否匹配目标错误类别。EA 在评估时不查看 GA 的上下文示例，以防止表面模式匹配。

3. 流程配置：本研究评估了八种流程配置（P0–P8），这些配置在三个设计维度上有所不同：

   • 答案基础：GA 是否接触正确答案。
   • 条件设定：GA 是否接收扩展的少样本示例或外部教科书摘录。
   • 反馈循环：EA 是否将拒绝信号（包括草案和理由）反馈给 GA 以进行迭代再生（最多五次尝试）。
   • EA 实现：比较提示式 LLM 裁判与在 1,600 个人工标注示例上训练的微调 BERT-base-uncased 分类器（P8）。

实验设置
该框架在 TheoremQA 数据集上进行了评估，这是一个涵盖数学、物理、电气/计算机科学和财务的定理驱动问答数据集。

• 一级（验证基准）：在所有 9 种流程和 3 个后端（OpenAI o3/GPT-4o 混合、GPT-5、GPT-5-mini）上对 20 个问题进行全面测试，允许无限次重试并进行最终人工验证。
• 二级（规模运行）：在 GPT-5 上运行 200 个问题，限制为 5 次尝试，以评估大规模下的成本和延迟。
• 指标：主要指标是目标错误率，定义为既错误又符合请求错误类别的生成比例。正确答案或承认无知（认知拒绝）的响应被视为失败。

关键结果

1. 目标生成的难度：目标错误生成比自由形式的错误答案生成要困难得多。朴素基线（P0）在所有后端上的表现均低于上限 23–39 个百分点。
2. “结构性盲区”瓶颈：E5 类（结构性盲区）被证明是所有配置中最难的目标，尤其是对于较弱的后端。该类要求模型在保持表面连贯推理的同时，全局性地错误构建问题框架，这与简单的算术失误（E1）或公式替换（E2）截然不同。
3. 设计维度的影响：
   • 答案基础：向 GA 提供正确答案通常提高了较强后端（GPT-5）的性能，但降低了较弱后端（o3+GPT-4o）的性能，因为较弱模型难以抑制正确的轨迹，导致“部分正确”的推理未能通过类别一致性检查。
   • 反馈循环：EA 反馈循环（P3）提供了最显著且一致的提升，特别是对于较弱后端。它允许 GA 偏离被拒绝的草案，这是简单的基于温度的采样无法可靠实现的。
   • 脚手架：扩展示例和外部教科书摘录（P4–P7）在强后端上并未比更精简的 P1/P3 配置产生明显的改进，在某些情况下甚至稀释了类别信号。
4. 后端差异：后端之间的差距巨大且不对称。GPT-5 实现了约 0.82 的平均目标错误率，而 GPT-5-mini 和 o3+GPT-4o 落后 12–14 个百分点。这一差距是由抑制正确答案并在反馈下多样化草案的能力驱动的，而非原始的问题解决准确率。
5. 微调与提示式 EA：微调的 BERT 分类器（P8）提供了一种部署权衡。它实现了接近单次通过的接受率（高效率），并在最弱的后端上优于提示式 EA，但其适应性较差，且未能在 GPT-5 上缩小 E5 的差距。

意义与主张
本文提出了一项主要的方法论贡献和一项次要的经验观察：

1. 方法论贡献：作者提出了一种可扩展、可重用的方案，用于在缺乏真实学生语料库的领域构建分层合成错误数据集。通过将起草与评判解耦，并将人工监督移至“裁判”端（或使用微调分类器），该框架允许任何预训练 LLM 充当“替代学生”，以生成受控的误解。

2. 经验观察：目标错误生成本质上是一个可控性问题，而非知识获取问题。结果表明，答案基础和迭代反馈循环对于生成特定错误类型比提供扩展上下文或教科书内容更为关键。

局限性与范围
作者明确指出，该框架生成的是针对分类学的合成错误，而非经过实证验证的类学生错误。本研究未测量生成的表面形式是否与真实学生实际产生的内容相匹配。评估依赖于单一分类法和闭源模型，“目标错误率”作为基于正确性的基准的补充指标呈现，揭示了标准准确率指标所遗漏的行为（受控失败模式）。该工作将自己定位为构建下游教育应用的实用工具，但需附带说明：真实学生的验证仍是必要的未来步骤。