AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
本研究表明，基于提示词的大型语言模型无需微调即可可靠地识别开放式学生数学回答中的概念类别，在识别正面特征和深度概念理解方面达到了高准确率，同时也强调了需要专家在环的支持以及具有语言显性特征的提示词，以应对在验证缺失特征或解决歧义方面的挑战。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在教室内，最珍贵的时刻往往不是学生得到正确答案的时候，而是他们解释如何得出答案的时候。教师早已深知，要真正理解一个学生的思维，必须透过最终的数字，看到其背后的推理过程。这就是形成性评估的核心：在学习发生的过程中进行检查，以便调整教学，帮助学生继续前进。然而，这存在一个实际问题。当学生写下他们的想法、画图或创建自己的应用题时，教师面临着需要阅读和解读的如山般的文本。在忙碌的校园生活中，深入进行这项工作所需的时间几乎是不存在的。因此，许多教师最终只能对最终答案进行评分，从而错过了隐藏在学生解释中的丰富见解。
多年来，研究人员一直试图构建能够阅读这些解释并识别其中思维模式的计算机。早期的尝试往往以失败告终，因为它们依赖于僵化的规则，或者需要大量的预标记数据来进行学习。大型语言模型——一种在海量文本上训练、能够理解并生成人类语言的强大计算机系统——的出现，重新开启了这个课题。这些模型可以遵循用纯英文编写的指令，而无需针对每个特定任务进行重新训练。但一个关键的疑问仍然存在：一个擅长语言处理的机器，真的能理解数学中特定的、往往是微妙的逻辑吗？它能否区分出一个学生是真的掌握了概念，还是仅仅在猜测，或者只是使用了正确的词汇却误用了其含义？
多特蒙德工业大学的一位研究人员致力于在数学教育的背景下回答这个问题。他们想知道，这些新的人工智能工具是否能够可靠地识别开放式数学回答中特定的学生思维类型，以及它们是否能做得足够好，以至于能在真实的课堂中发挥作用。该研究侧重于两个主要领域：自然数和分数。研究人员收集了来自五、六年级学生的数千份书面回答。这些学生被要求完成的任务包括解释为什么一个分数以某种方式运作，或者为给定的数学等式创建一个属于自己的应用题。目标是观察在人类专家的指令引导下，人工智能是否可以将这些回答分类到有意义的类别中，例如“展示了深度理解”、“存在特定的误解”或“未提供理解证据”。
研究人员测试了四种不同的开源人工智能模型，即学校可以在自己的服务器上托管以保护学生隐私的技术版本。他们将人工智能的评分与人类专家的评分进行了对比。结果令人惊喜。在超过 13,000 份编码后的回答中，人工智能模型与人类专家达到了高度的一致性，能够正确识别学生思维的主要类别约 82% 的时间。这种表现跨越了不同类型的数学问题和不同的模型，保持了一致性。人工智能在识别学生正确解释概念（例如，理解乘法涉及将物品分组在一起）或学生出现明显的、特定的推理错误方面表现得尤为出色。
然而，研究也揭示了机器遇到瓶颈的地方。当任务要求人工智能执行简单的算术检查时——例如，验证学生故事中的数字是否确实相加正确——这些模型就会感到吃力。当学生的回答非常简短或模糊，或者学生使用的语言具有歧义时，它们也会遇到困难。在这些棘手的情况下，人工智能倾向于进行猜测，往往假设学生比实际情况理解得更多。研究人员发现，人工智能的表现大致相当于一名具备知识但不具备专业经验的人类阅读者（例如实习教师），但它无法达到资深专家的水平，后者能够瞬间识别出深层的概念错误或验证计算。
最重要的发现不仅在于人工智能是否有效，还在于它是“如何”工作的以及在何处需要帮助。研究人员发现，当学生的回答在语言表达上明确时，人工智能最为可靠。如果一个学生使用清晰的词汇来描述一种分组结构，人工智能就能轻松捕捉到。如果学生表达含糊，人工智能就会迷失。这表明，测试题目本身的设计至关重要；那些促使学生写得更清晰、更完整的题目，会从人工智能工具中获得更好的结果。此外，研究得出结论，这些人工智能工具不应被视为教师的替代品。相反，它们是一个强大的催化剂。它们可以承担阅读和分类数千份回答的繁重工作，标记出那些需要人工介入的案例。这让教师能够专注于最困难的情况，并基于对全班理解程度更清晰、更有条理的观察来做出最终的教学决策。
研究人员强调，人工智能是教师的工具，而非其判断力的替代品。该系统的设计旨在形成一个循环：机器提供分析初稿，然后由人类教师进行审查，纠正错误并加入只有人才能提供的必要背景信息。这种方法既尊重了教学的复杂性，又承认了人类时间的实际限制。通过利用人工智能处理初步的分拣工作，教师有可能参与到每一位学生的深度概念思维中，而不仅仅是关注少数几个人。这项研究证实，虽然人工智能目前还无法取代大师级教师的细致理解，但它已经达到了一个水平，使得在数学领域实现深度、个性化的形成性评估成为学校可以实现的现实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。