A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming
本文通过一项大规模课堂研究介绍了 ProgFeed 数据集，旨在证明与测试用例反馈或无反馈相比，自然语言 AI 生成的反馈能显著提高入门编程课程中的学生完成率和解题收敛性，从而强调了反馈的形式与有效性相较于仅仅是反馈的存在本身而言具有至关重要的意义。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在第一次学习烹饪一道新的、复杂的食谱。你尝试了一下，结果味道非常糟糕。你需要知道为什么失败了，以便进行修正。
这篇论文是关于计算机科学课堂上的一次大型实验，学生们正在学习如何“烹饪”（编写代码），并使用一位特殊的“AI大厨”（大语言模型）来提供帮助。研究人员想要观察哪种类型的“大厨建议”实际上能帮助学生最快、最成功地修复他们的“菜肴”。
以下是他们所做的工作以及研究发现的详细分解，使用了简单的类比：
实验设置：三种类型的厨师
当学生在编写代码时出错时，他们被随机分配到以下三组之一：
- 沉默组（无 AI）： 这些学生只会看到一个红灯显示“错误”和一个绿灯显示“正确”（就像一个简单的及格/不及格成绩）。他们必须靠自己去弄明白剩下的部分。
- “坏食材”组（测试用例反馈）： AI 给他们一个导致菜肴失败的具体“坏食材”示例。例如，如果代码本应是将数字相加，AI 可能会说：“如果你输入 5 和 5，结果是 12 而不是 10。”这就像是向他们展示了一个弄坏了汤的特定食材，但并没有告诉他们如何修复它。
- “提示”组（自然语言反馈）： AI 会给出一个简短、友好的句子来解释问题。例如，“你忘了告诉计算机把这些数字加起来。”这就像是大厨在耳边低语：“嘿，你漏掉了说明书里的一个步骤。”
研究结果：哪种效果最好？
1. “提示”组胜出
获得友好、自然语言提示的学生更有可能最终完成正确的“食谱”，而且他们完成的速度更快。
- 类比： 把代码想象成一个迷宫。“提示”组得到了一张地图，上面写着：“你走错方向了；在这里左转。”这帮助他们快速找到了出口。
2. “坏食材”组陷入困境
令人惊讶的是，给学生一个具体的错误示例（“坏食材”组）并没有真正帮助到他们。事实上，他们的表现甚至不如完全没有任何帮助的一组。
- 类比： 想象一下，AI 递给学生一片焦掉的面包，并说：“这就是你的早餐失败的原因。”学生看着那片焦面包，但因为他们是初学者，他们并不知道如何阻止烤面包机在下一片时再次烧焦。他们不断进行随机尝试，却经常犯同样的错误。
3. “坏食材”的质量很重要
研究人员发现，“坏食材”示例只有大约三分之二的时间是有用的。有时 AI 给出的示例实际上是错误的或者不合逻辑。当示例正确时，初学者仍然很难有效地利用它。
核心启示
这项研究的主要教训是：如何提供反馈与提供反馈本身一样重要。
- 自然语言提示充当了向导的角色，将晦涩难懂的计算机错误转化为初学者能够理解的直白英语。
- 原始数据示例（如测试用例）就像是在没有说明书的情况下递给某人一个损坏的发动机零件。如果学生本身不懂如何修理发动机，那么这个损坏的零件只会让他们感到困惑。
研究人员得出结论：对于初学者来说，简单、清晰的解释远比复杂的工程技术示例更强大。他们还发布了本次实验的所有数据（称为 PROGFEED），以便其他研究人员未来可以研究学生是如何学习以及如何构建更好的 AI 老师。
简而言之： 如果你在教初学者，不要只是展示错误，要用通俗易懂的话解释为什么会发生这个错误。这是帮助他们成功的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。