💬 NLP

Simulating Students' Java Programming Errors with Large Language Models

本文证明了大型语言模型，特别是 Claude Sonnet 4，能够有效地模拟学生多样且真实的 Java 编程错误，为教育研究和智能辅导系统提供了一种替代收集真实提交内容的规模化方案。

原作者： Ali Keramati, Jie Cao, Iman Mohammadi, Mark Warschauer, Yang Shi

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Keramati, Jie Cao, Iman Mohammadi, Mark Warschauer, Yang Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在为一门大型编程课做准备的老师。你知道学生们会犯错，但你无法准确预知他们究竟会犯什么样的错误，直到你真正开始授课并收集他们的作业为止。这是一个缓慢且昂贵的过程。

这篇论文提出了一个简单的问题：我们能否利用一个超级聪明的 AI（大语言模型，简称 LLM）来扮演一个困惑的学生，从而为我们提前生成这些错误？

以下是他们实验的拆解，使用了日常类比进行解释。

目标：“假学生”测试

研究人员想看看 AI 能否编写出看起来完全像是初学者编写的 Java 代码——特别是指那些包含逻辑错误的代码。

逻辑错误就像是在写食谱时写道“加入适量盐”，却忘了实际把盐加进去。计算机可以运行这段代码，但结果是错误的，因为思维过程出了问题。
挑战在于： 如果你只是要求 AI“写一段代码”，它通常会写出完美的代码。如果你要求它“破坏代码”，它往往会做出一些随机且愚蠢的错误（比如在应该放句号的地方放了一个逗号），而这些并不是真实学生会犯的错误。目标是让 AI 犯下符合逻辑且真实的错误。

实验：“味觉测试”

研究人员从一个真实的课堂（CodeWorkout）中提取了 37 个不同的编程问题。他们让五个不同的 AI 模型尝试解决这些问题，但使用了三种不同的“指令风格”（提示词）来试图强迫 AI 犯错：

直接命令 (IO)： “这是题目，给我一个错误的答案。”
出声思考 (CoT)： “思考步骤，决定你可能会在哪里出错，然后写出错误的逻辑代码。”
自我修正循环 (Self-Refine)： “写一个错误的答案，然后评价它，接着稍微修改它，使其变成另一种形式的错误答案。”

随后，他们将 AI 生成的“伪造错误”与真实学生犯下的 74,000 个错误进行了对比。

衡量优秀“伪造品”的两大准则

为了具有实用价值，AI 的错误必须通过两项测试：

多样性（多样性测试）： AI 是否制造了许多不同种类的错误，还是只是反复重复同一种错误？（想象一位厨师试图制作 10 块烤焦的饼干。如果它们看起来完全一样，那就缺乏多样性）。
对齐（“真实性”测试）： AI 的错误看起来是否像是一个人类真正会犯的错误？（如果 AI 写的错误方式是人类永远不会想到的，那么它就不是一个好的模拟）。

他们的发现

1. AI 可以犯错，但并非所有 AI 都表现一致
所有的 AI 模型都能生成各种各样的错误。然而，有些模型比其他模型做得更好。

Gemini 2.5 Pro 像是一位混乱的艺术家：它制造了极其丰富的错误种类（高多样性），但其中许多错误很奇怪，看起来不像真实的学生错误。
GPT-4o 像是一位谨慎的学生：它总是重复非常相似的错误（低多样性）。
Claude Sonnet 4 是这组模型中的**“金发姑娘”（最完美平衡者）**。它找到了最佳平衡点：它既能制造足够多样的错误，同时这些错误又非常接近真实学生编写的代码。

2. “出声思考”的小技巧很有帮助
当研究人员要求 AI 在写代码之前“逐步思考”（思维链）时，生成的错误变得更加真实。这就像是 AI 在模拟一个学生产生困惑的过程，而不仅仅是随机地破坏代码。

3. “难度”因素
研究人员观察了问题的“困难程度”（基于学生解决该问题的尝试次数）。

简单问题： AI 在模仿学生方面做得很好。
困难问题： 随着问题变得越来越难，AI 的错误变得更加多样化（它尝试了许多不同的错误路径），但也变得不再那么像真实的学生。这就像一个新手演员试图演绎一场复杂的戏：他们可能会尝试许多不同的诠释，但都无法精准捕捉到人类表演的细微差别。

4. “盲测”（人类专家）
研究人员雇佣了人类专家来观察混合了真实学生代码和 AI 生成代码的样本，且专家并不知道哪些是真实的，哪些是 AI 生成的。

结果： 专家被误导了 83.7% 的时间。他们认为 AI 生成的代码是由人类编写的。
反转： 专家实际上认为 AI 的错误比真实学生的错误更具“合理性”（更真实）。为什么呢？因为 AI 制造的是“干净”的错误（例如经典的教科书式错误），而真实的学生往往会犯下混乱、复杂的错误，甚至同时包含多个错误。AI 就像是一个“理想化”的困惑学生，而真实的学生则要凌乱得多。

核心结论

这篇论文证明了 AI 可以作为学生的“替身”，来生成真实的编程错误。

Claude Sonnet 4 目前是最好的“学生模拟器”。
更难的问题会让 AI 变得更有创意，但会降低其对人类行为的还原度。
权衡关系： 你可以拥有一个能制造极多种类错误的 AI，也可以拥有一个制造极真实错误的 AI，但很难同时完美兼顾两者。

研究人员认为，这对教师和教育软件开发者来说是一个强大的工具。与其等待数年去收集成千上万个真实的错误来训练系统，不如利用这些“伪造”的错误来构建更好的辅导工具，并帮助教师预判学生可能在哪里卡壳。

技术摘要：利用大语言模型模拟学生的 Java 编程错误

问题陈述

理解学生错误对于编程教育至关重要，特别是通过识别逻辑错误来揭示潜在的误解和错误的推理策略。然而，为新设计的任务获取具有代表性的真实学生错误集既缓慢又昂贵，因为这需要大量的课堂部署和数据积累。虽然大语言模型（LLMs）为模拟学习者行为提供了一条可扩展的路径，但当前的方法面临一个关键差距：通用提示往往会产生正确的解法，而随机破坏策略产生的错误则缺乏教学价值。核心挑战在于不可区分性——即生成的错误必须是以初学者特有的方式出错（反映了部分理解和特定的误解），而非表面层面的噪声。此外，现有的评估基础设施往往优先考虑绝对的正确性，而非错误模式的多样性和一致性。

研究方法

本研究利用了 CodeWorkout 数据集，该数据集包含来自弗吉尼亚理工大学本科生的超过 74,000 份独特的学生 Java 提交记录，涵盖 37 个入门级编程问题。

实验设计

数据准备： 作者对原始日志进行了过滤，仅保留可编译但逻辑错误的（逻辑错误）代码，剔除了语法错误和完全正确的提交。问题根据每个问题学生提交的总量被分为三个挣扎等级（低、中、高），以此作为经验学习难度的代理指标。
LLM 模拟： 对五种 LLM 进行了评估：Google Gemini 2.5 Pro, OpenAI GPT-5, OpenAI GPT-4o, Anthropic Claude Sonnet 4, 以及 xAI Grok Code Fast 1。
提示策略： 为每个模型/问题组合测试了三种不同的策略：
- 输入-输出 (IO)： 直接指令，不包含中间推理过程。
- 思维链 (CoT)： 模型在生成代码前先阐述逻辑失误的原理。
- 迭代自我优化 (Iterative Self-Refine)： 一个迭代循环，其中批评者提供反馈，优化者重写代码（最多进行四次迭代）。
评估指标：
- 多样性 (RQ1)： 通过生成的错误代码之间的平均成对 Zhang–Shasha (ZSS) 树编辑距离进行衡量。较高的距离表示更高的结构变异性。
- 一致性 (RQ2)： 通过 LLM 生成的代码与最接近的真实人类提交之间的最近邻编辑距离进行衡量。较低的距离表示对真实学生错误的高保真度。
- 定性验证： 通过盲审专家注释研究（ $N=401$ ）将合成错误（Claude Sonnet 4 配合自我优化）与真实错误进行对比。专家对合理性（1–5 级 Likert 量表）进行评分，执行来源归属（图灵测试），并将错误分类为八种逻辑错误分类法。

关键结果

1. 多样性 (RQ1)

所有模型都展示了生成多样化错误代码的能力，但性能因模型和策略的不同而显著变化。

Gemini 2.5 Pro 和 Claude Sonnet 4 表现出最高的多样性，其平均编辑距离经常超过 60，尤其是在使用 CoT 提示时。
GPT-4o 产生的错误模式最为同质化（多样性最低）（距离约为 25–40）。
提示影响： 策略以不同方式调节多样性；例如，自我优化减少了 Claude Sonnet 4 的多样性，但在其他语境下却增加了多样性。

2. 一致性 (RQ2)

模型模仿真实学生错误的能力各异，且与多样性之间存在明显的权衡关系。

Claude Sonnet 4 实现了最平衡的表现，在所有策略下都保持了相对较低的编辑距离（最佳情况为 16.35，使用自我优化），表明其与人类错误具有高度的一致性。
Grok Code Fast 1 在使用自我优化时达到了绝对最小距离（16.22），但在其他提示下的方差较大。
GPT-5 和 Gemini 2.5 Pro 的一致性较差，距离经常超过 80，表明它们的错误与真实的学生模式存在显著偏差。
人类评估： 注释者将 83.7% 的 LLM 生成提交误判为人类编写。令人惊讶的是，LLM 生成的错误获得的合理性评分（4.27）显著高于真实错误（3.78）。这归因于 LLM 生成的是“干净”的、单一目的的逻辑漏洞（例如，条件逻辑、边界错误），这些错误类似于教科书式的误解；而真实的学生代码通常包含弥散的、多重故障或策略层面的错误，这些错误更难被清晰地分类。

3. 挣扎等级作为调节变量 (RQ3)

编程任务的难度（挣扎等级）影响了多样性和一致性。

多样性： 更高的挣扎等级诱发了 LLM 更多样化（异质化）的错误输出，因为更难的问题开启了更多的失败路径。
一致性： 相反，随着挣扎等级的增加，LLM 生成的代码与真实错误之间的一致性降低（编辑距离增加）。模型在处理高难度问题时，难以重现类学生式的逻辑错误，从而偏离了真实的统计行为。

重要性与贡献

本文声称 LLM 可以作为学生在生成逻辑错误方面的可扩展代理，但必须根据应用目标管理特定的权衡：

平衡模拟： Claude Sonnet 4 被确定为最平衡的模型，它在生成多样化错误模式和保持对真实学生错误的高保真度之间提供了折衷方案。
教学效用： 本研究验证了合成错误在功能上与真实错误是不可区分的。这支持了将合成数据集成到以下领域：
- 智能辅导系统 (ITS)： 用于训练系统诊断多样化的误解，而不必仅仅依赖稀缺的人类数据。
- 可教智能体 (Teachable Agents)： 让学习者通过纠正 AI 生成的错误来进行练习，从而促进间接学习。
- 教师专业发展： 向教育者展示集中且多样化的预期误解，以便进行更好的教学规划。
设计考量： 研究结果强调了多样性–保真度权衡。擅长多样性的模型（如 Gemini）可能缺乏一致性，而具有高一致性的模型可能多样性较低。此外，“挣扎等级”是双重调节变量：它增加了模拟错误的广度，但降低了它们对真实学生行为的代表性。

作者总结道，虽然 LLM 为增强教育技术中的学生数据提供了广阔前景，但其使用需要根据目标是追求广泛的误解覆盖还是精确逼近观察到的课堂错误分布，来仔细选择模型和提示策略。