🔬 physics

Using LLMs to Detect Growth in Computational Thinking in Introductory Physics

本研究表明，大型语言模型能够通过模拟人类对数据实践和问题解决类书面解释的评估，有效地规模化评估入门级物理课程中学生计算思维的成长情况，尽管这两种方法在可靠评估诸如系统思维等复杂构念方面都面临挑战。

原作者： Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Sean Savage, Anand Shanker, Grace Michlitsch, N. Sanjay Rebello

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，物理学的世界不仅仅是黑板上的一堆公式，而是一个宏大的、交互式的电子游戏，其中的自然法则就是游戏的底层代码。几十年来，教师们一直试图让学生不再仅仅是死记硬背规则，而是开始亲自编写代码。这种技能被称为“计算思维”（Computational Thinking）。它不仅仅是关于打字速度快慢或了解计算机语法，而是关于如何将一个巨大的、混乱的现实世界问题（比如一场车祸或一颗行星的轨道）拆解成计算机能够理解的微小、逻辑化的步骤。这就像是一个同时精通“人类语言”和“机器语言”的翻译官，思考如何描述一个掉落的苹果，以便让机器人能够精准预测它的落点。

教育工作者面临的一个重大问题是：我们如何知道学生是否真的在提升这种“翻译”能力？传统上，教师使用选择题进行测试，这种方式易于评分，却无法展示学生的思维过程。要观察真实的思维，学生必须用文字写出答案。但问题在于：阅读数百篇手写论文既耗时、缓慢又昂ó。这就像是在时钟滴答作响的过程中，试图靠手工去批改一百万篇论文。现在，一种新型的“超级阅读者”出现了：人工智能（AI），特别是大语言模型（LLMs）。这些就是那些能写故事或与你聊天的聪明计算机。一个迫切的问题是：这些 AI 机器人能否像人类教师一样，识别出学生思维能力的成长，而且不需要喝咖啡休息？

这篇由普渡大学研究人员撰写的论文，旨在回答这个问题。他们想看看 AI 是否可以作为一个庞大且不知疲倦的助教，来追踪学生在一个学期内计算思维的成长过程。他们不仅要求 AI 进行评分，还要求它寻找学生写作中的特定“超能力”：他们能否处理数据？他们能否拆解问题？他们能否理解复杂的系统是如何协同工作的？

为了测试这一点，研究人员在物理课中收集了 936 名学生的数据，在这门课中，学生们学习使用 Python 进行编程。在课程开始前和结束时，学生们针对物理问题回答了开放式问题，例如解释一个弹跳弹簧的图表，或设计一个雪橇滑下山坡的模拟实验。首先，一个专家团队阅读了一小部分这些论文，并根据严格的评分标准给出了分数。这建立了一个关于“人类认为什么是好答案”的“金标准”。随后，他们将完全相同的论文输入到一个 AI 模型（具体为 GPT-4o-mini 的多模态版本）中，并要求该模型使用相同的规则进行评分。

结果非常令人振奋。AI 表现得像是一个非常称职的助手。对于一些定义明确的技能，如处理数据（数据实践）和拆解代码步骤（计算问题解决），AI 的评分与人类专家的评分几乎完美契合。当研究人员观察这 936 名学生的整体情况时，AI 成功捕捉到了人类发现的相同大趋势：到学期结束时，学生在处理数据和解决计算问题方面的能力有了显著提升。事实上，AI 证实了学生在这些领域取得了巨大的飞跃，其中数据技能的进步尤为显著。

然而，这个故事并非一个完美的“AI 完胜”的故事。研究人员发现，人类和 AI 在处理最复杂的技能——“系统思维”（Systems Thinking）时都遇到了困难。这是一种观察系统中的所有微小部分如何相互作用从而创造出宏观图景的能力。由于这个概念非常模糊且难以界定，甚至连人类专家之间有时也会产生分歧，而 AI 在匹配人类专家方面也遇到了挑战。这篇论文表明，AI 在这里并不是“笨”，而是这项任务本身就很难被清晰地定义。

此外，关于设计雪橇模拟实验的一个特定问题还出现了一个有趣的转折。学生在课程开始前就已经在这个主题上表现得非常出色了，以至于他们无法进一步提升。这就像是要求一位专业厨师提高刀工，而他使用的已经是世界上最锋利的刀具了。分数触及了“天花板”，这意味着没有空间来衡量增长，而 AI 也正确地识别出那里并没有发生进步。

最后，这项研究表明，AI 是检查学生如何学习成为计算物理学家的一个可行且强大的工具。它可以规模化地阅读数千篇论文，并发现与人类相同的模式，从而让教师免于淹没在文书工作中。但它同时也提醒我们，AI 的表现取决于我们赋予它的规则。对于那些即使是人类也会产生分歧的、复杂且混乱的思维领域，我们仍然需要细致的设计和人类的监督。AI 并不是在取代教师；它是在为教师递上一把“超级放大镜”，让他们能够看清正在发生的成长。

技术摘要：利用大语言模型检测入门级物理教学中计算思维的增长

问题陈述
随着计算成为继实验和理论之外物理教育的“第三支柱”，教育者面临着培养真实的计算思维（CT）而非肤浅编程技能的挑战。开放式书面回答为学生的推理过程以及物理定律与代码的整合提供了丰富的窗口，但大规模评估这些回答需要耗费大量资源，且往往存在评分者间信度的问题。相反，多项选择题缺乏捕捉心理模型所需的深度。生成式人工智能（Generative AI）的日益普及进一步使评估复杂化，因为学生可能利用其来规避认知投入。本研究旨在解决在大规模学生参与的物理课程中，如何建立一种可扩展且可靠的方法来评估复杂的、开放式的计算思维评估。具体而言，本研究调查了大语言模型（LLMs）是否能有效模拟人类对学生计算思维实践增长情况的评估。

研究方法
本研究采用前测/后测设计，研究对象为美国中西部一所大型大学工程物理课程中的 936 名学生。该课程高度整合了计算内容，要求每周进行基于 Python 的实验。

工具开发： 基于 Weintrop 等人的计算思维分类法开发了三个开放式调查问题，涵盖四个领域：数据实践（DP）、计算问题解决实践（CPP）、建模与模拟实践（MSP）以及系统思维实践（STP）。
- Q25： 解读 Python 生成的能量-位置关系图（涉及 DP, CPP, STP）。
- Q26： 追踪弹性碰撞 Python 脚本中的算法逻辑（涉及 CPP, STP）。
- Q27： 为雪橇模拟提出参数（涉及 MSP, STP）。
人类基准： 开发了专门的量表，根据每个 CT 实践和物理正确性在 0–2 分范围内进行评分。三位研究人员对 50 名学生（300 个回答）的子集进行了独立编码，通过在达成操作性定义共识后进行多数票决，以建立“地面真值”（Ground Truth）。计算了评分者间信度（Fleiss' $\kappa$ ）。
LLM 验证： 通过 API 部署了一个多模态大语言模型（GPT-5.4-mini）。该模型接收调查图像、提示文本和学生回答。通过使用结构化提示词，将模型设定为专家级物理教育研究者角色，并提供精确的人类量表，模型生成了理由说明和分数。为确保一致性，将温度（Temperature）设置为 0.2，每个回答经过三次独立运行评估，最终得分由多数票决定。
分析： 将 LLM 在 50 人子集上的评分与人类基准进行对比以计算一致性。随后，将经过验证的 LLM 流水线应用于完整数据集（ $N=936$ ），以检测增长趋势。

关键结果

人类可靠性： 人类编码者在明确任务上达到了实质性一致（MSP $\kappa=0.80$ , DP $\kappa=0.80$ ）以及物理正确性方面（ $\kappa=0.73$ ）。对于更复杂的系统思维（STP）构念，一致性较低（ $\kappa=0.51$ ），反映了其固有的认知难度。
学生增长（人工评分）： 对人类评分子集的分析显示，学生在数据实践（ $d=1.03$ ）、计算问题解决（ $d=0.52$ ）和系统思维（ $d=0.45$ ）方面有显著增长。物理正确性呈现小到中度的增长（ $d=0.31$ ）。在建模与模拟实践（ $d=0.00$ ）方面未观察到显著增长，这归因于“天花板效应”，即学生在进入课程前已具备足够的先验知识，从而在初始提示题中获得了高分。
LLM 表现： 在明确定义的实践方面，LLM 与人类评分者表现出实质性一致（DP $\kappa=0.90$ , MSP $\kappa=0.78$ , CPP $\kappa=0.69$ ）。对于复杂的、多组件构念，一致性较低（物理正确性 $\kappa=0.53$ ，STP $\kappa=0.48$ ），这与观察到的人类评分者较低的信度相吻联。
可扩展性： 当应用于完整数据集时，LLM 成功重现了人类评分者识别出的宏观趋势，检测到 Q25 和 Q26 中 DP 和 CPP 的显著增长，并证实了 Q27 中 MSP 缺乏增长的情况。

核心贡献

验证了 LLM 用于 CT 评估的可行性： 本研究证明，LLM 可以作为评估开放式 CT 评估的可扩展机制，其一致性水平可与人类专家媲美，尤其是在定义明确的实践领域。
提供 CT 增长的经验证据： 研究为计算密集型物理课程中特定 CT 领域（DP, CPP, STP）的学生增长提供了定量证据，同时强调了在学生拥有高先验知识的领域测量增长的难度。
识别了评估局限性： 研究指出，人类和 AI 评分者在处理复杂的集成构念（如系统思维）时都存在困难，这表明目前的量表和提示词可能需要改进，以区分“识别系统组件”与“解释其相互作用”。

意义与主张
作者主张，LLM 为定性物理教育研究中的可扩展性问题提供了切实可行的解决方案。研究认为，LLM 不仅仅是实现了评分自动化，而且能够可靠地检测大规模人群中的关键教学趋势（如数据实践的增长）。然而，作者对于评估高度集成的构念保持了审慎态度；他们得出结论，虽然 LLM 的表现与人类专家相当，但对于像 STP 这样复杂构念的评分差异源于构念本身的难度，而非模型的缺陷。因此，本文认为 LLM 对于可扩展的形成性评估是有效的，但在评估复杂推理时需要精心的量表设计和人类监督。该研究并非声称 LLM 已经解决了复杂推理的评估问题，而是指出它们为大规模学生参与课程中的 CT 评估提供了一条可行的路径。

技术摘要：利用大语言模型检测入门级物理教学中计算思维的增长

类似论文