Analyzing Undergraduate Problem-Solving in Physics Through Interaction With an AI Chatbot

把物理课想象成一个巨大的、嘈杂的健身房，学生们正试图学习如何杂耍沉重的电锯。几十年来，老师们一直知道，专家（专业人士）和初学者（新手）不仅杂耍的方式不同，连思考方式也不同。专业人士脑海中有一张秘密地图，能帮助他们规划动作、检查平衡并在空中进行调整。但在传统的课堂上，老师只能看到最终结果：电锯是砸在了地上，还是没有？在掉落之前发生的那些混乱且无形的思考过程，仍然是一个谜。这是一个大问题，因为如果你看不见一个学生是如何思考的，你就无法帮助他们修复那张“地图”。

于是，一位新教练登场了：人工智能（AI）。不要把 AI 仅仅看作一个只会给出答案的机器人，而要把它看作一位“苏格拉底式”的导师——这是一个高级词汇，指的是那种从不直接告诉你答案，而是通过提出完美的问题来引导你自己发现答案的教练。它就像一个拒绝说“向左转”，而是问“你看到主街的路标了吗？”的 GPS。这种方法旨在构建学生自己的心理地图。科学家们面临的大问题是：这位 AI 教练是否真的能帮助学生更好地杂耍，以及我们是否能通过倾听他们向教练提出的问题，来了解他们的思考方式？

---

在这项研究中，普渡大学的研究人员决定在真实的“物理健身房”里测试这位 AI 教练。他们为 150 名正在修读一门高难度力学课程的一年级科学系学生开发了一个定制聊天机器人。这个聊天机器人并没有只是分发作业，而是扮演了一个人类助教的角色。它提出了一个棘手的场景：一个由巨型弹簧发射的人类炮弹，学生必须计算表演者是否能越过一面 15 英尺高的墙。难点在于，聊天机器人不会直接解决问题，它会问：“你的计划是什么？”或者“我们有哪些数据？”然后等待学生的回答。

研究人员想知道两件事。首先，学生对这位 AI 教练的感觉如何？它让他们觉得自己更聪明了还是更有信心了？其次，研究人员能否通过分析学生向机器人提出的问题，来了解他们的解题能力？他们将聊天记录视为一张藏宝图，寻找关于学生思维如何从“我迷失了”演变为“我搞定了”的线索。

学生的看法
当学生完成课程后，他们填写了一份调查问卷。结果非常令人鼓舞。在 1 到 5 分的量表中，学生给出的评分是 4.0 分（满分 5 分），认为聊天机器人有助于他们理解实际的物理概念和技能。他们觉得机器人帮助了他们学习如何独立应对问题。整体有效性评分略低，约为 3.4 分，这表明虽然机器人在学习方面表现出色，但它并不是让一切都变得简单或有趣的魔杖。一些学生仍然觉得任务具有挑战性，机器人并没有完全消除这种挣扎，但它确实帮助他们应对了这种挣扎。

问题的演变
这里是故事变得真正有趣的地方。研究人员查看了对话记录，将学生提出的每一个问题都视为他们大脑在那个时刻的一个快照。他们将问题分为两类：“宽泛型”（例如“我不知道从哪里开始”或“我该怎么办？”）和“具体型”（例如“我应该在这里使用能量守恒定律吗？”或“弹簧的高度重要吗？”）。

在对话的最开始，大多数学生处于迷茫状态。最初的问题中只有约 10–15% 是具体的；其余都是寻求帮助的宽泛请求。但随着对话的进行，神奇的事情发生了。学生开始提出更敏锐、更具针对性的问题。到对话的第四轮时，约有 58% 的问题是具体的。到课程结束时，100% 的学生都在提出具体且聚焦的问题。就好像 AI 教练成功地引导他们从在迷雾中盲目游荡，转向了在一条笔直、明亮的道路上行走。

与成功的联系
研究人员接着问：提出更好的问题是否意味着更高的成绩？他们将学生问题的具体程度与他们预期的课程成绩进行了对比。他们发现了一个“轻微的正相关”（统计学上的说法，指两者同步变化），数值为 0.43。

用通俗易懂的话来说，这意味着什么？提出更具体、更详细问题的学生，往往预期会有更高的成绩。例如，许多认为自己能拿“A”的学生，其问题中有超过 80% 被归类为具体型。相反，那些不断提出宽泛、模糊问题的学生，预期的成绩则较低（大约是“C”）。

然而，研究人员谨慎地表示，这不能被称为一个完美的规则。数据有些分散。一些提出非常具体问题的学生，预期的成绩仍然处于中等水平；也有一些预期高分的学生提出了令人惊讶的宽泛问题。这表明，虽然提出好问题是优秀解题者的一个强有力信号，但它并不是唯一的衡量标准。其他因素，比如你已经掌握了多少知识，或者你有多努力，也都发挥着巨大作用。

总结
这项研究表明，AI 聊天机器人可以成为物理教学的强大工具，不仅是通过给出答案，更是通过引导学生提出正确的问题。聊天机器人帮助学生从感到迷茫转向像专家一样思考。虽然提出具体问题是成功的一个迹象，但它只是拼图中的一块。研究人员承认，这是一个规模较小的测试，仅涉及一种类型的题目，因此他们需要进行更多研究，以观察这是否适用于所有人及所有主题。但就目前而言，看来拥有一位不是说“这是答案”而是问“你的计划是什么？”的 AI 教练，是帮助学生学习如何杂耍那些物理电锯的一个非常好的方法。