From Artifact to Instrument: Upper-Level University Student–GenAI Interactions During Problem Solving in an Advanced Mathematics Course
这项定性研究探讨了高年级数学系学生如何通过开发策略性提示、批判性验证和自适应工作流,将生成式人工智能从一种对话式人工制品转化为可靠的数学工具,并最终形成一个用于理解学生在高级 STEM 问题解决过程中与人工智能交互的新型框架。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你刚刚得到一个全新的、超级聪明的机器人助手。它说话像人类一样,回答即时,而且听起来极其自信。你让它解决一道难题,它立刻回馈给你一段长篇大论、辞藻华丽的解释。但问题在于,这个机器人有点像个魔术师,有时能从帽子里变出一只兔子,但有时变出来的却是一只神情困惑的松鼠。它很擅长表现得博学,但它并不总是真的“懂”数学。
这正是蒙大拿州立大学和伊利诺伊大学芝加哥分校的研究团队所观察到的现象。他们给一组由 21 名高级数学系学生(主要是高年级本科生和研究生)组成的团队出了个难题:利用这些“生成式人工智能”(Generative AI)工具来解决数值线性代数课程中的复杂问题。
研究人员不仅仅是在观察 AI 是否得到了正确答案。他们想看看学生们是如何学会驯服这个机器人的。他们发现,学生们并没有坐享其成让 AI 代劳。相反,他们建立了自己的心理“护栏”,将 AI 从一个喋喋不休、不可靠的艺术品转变为一种严肃的数学工具。
以下是他们实现这一目标的三个主要手段,分为三个步骤:
1. “提示词工程师”式的改造
起初,学生们把 AI 当作普通的聊天机器人。他们提出简单的问题,而 AI 给出的回答往往过于笼统、过于冗长,或者干脆就是错的。学生们很快意识到,你不能像和朋友聊天那样去跟这个机器人交流;你必须使用它的“数学语言”。
他们开始使用策略性提示词工程(Strategic Prompt Engineering)。这就像是给一个非常听话但又非常死板的实习生下达一套非常具体的指令。
- 链式提示(Chain Prompting): 他们不再问一个大问题,而是将其拆解。“先做这一步。现在,检查那一步。现在,尝试另一个角度。”
- 角色扮演(Role-Playing): 他们告诉 AI:“扮演一名向教授解释问题的、持怀疑态度的博士生。”突然间,AI 不再那么闲聊了,而是变得严谨起来。
- 要求形式化(Demanding Formalism): 他们强制要求 AI 引用特定的定理并使用严格的格式。如果 AI 试图陷入模糊的故事中,学生们就会把它拉回到数学轨道上。
论文指出,如果没有这些特定的、经过工程设计的提示词,AI 就只是一个“对话式人工制品”——一个酷炫的玩具,但对于严肃的数学研究并无用处。但通过正确的提示词,它就能变成一种“数学工具”。
2. “信任但验证”的舞蹈
第二个关键点是学生们学会了认识论警觉(Epistemic Vigilance)。这是一个高级说法,意思就是:“不要相信你听到的每一句话,即便它听起来很有底气。”
学生们发现,AI 是一个“易错的助手”,而不是“数学之神”。他们发现 AI 可能会给出正确的最终数字,但解释过程却是胡言乱乱语,或者因为丢掉了一个负号而导致结果错误。
- “高风险”规则: 在一个有趣的时刻,一组学生实际上问 AI:“我应该信任你来应对一场高风险的数学考试吗?”AI 诚实地回答道:“不,你不应该把我当作唯一的真理来源。我可能会犯错。”
- 交叉检查: 学生们并不只是接受答案。他们利用自己的数学技能来复核 AI 的工作。如果 AI 说一个矩阵是可逆的,他们会亲自检查。如果 AI 给出了一个涉及他们还没学过的先进概念的奇怪且复杂的解释,他们就知道出问题了。
论文认为,这些学生成功地将 AI 定位为辅助工具而非权威。他们把 AI 当作一个偶尔会产生幻觉的计算器,并要求自己始终掌握驾驶权。
3. “工具差距”的现实检验
最后,学生们遇到了一个与数学无关、而与金钱和技术有关的障碍。他们注意到免费 AI 工具与付费工具之间存在巨大的效用差距(Utility Gap)。
- 免费版的挣扎: 一些免费工具甚至无法正确绘制图表或显示数学公式(它们只会打印出一堆乱码数字)。其他工具则有严格的对话长度限制,会在学生处理复杂问题的中途强行中断。
- 付费版的优势: 付费版本(或大学提供的版本)可以处理更长的对话,正确渲染数学符号,并提供更详细的解释。
论文指出,这造成了一种数字鸿沟。如果你只能接触到免费且受限的版本,你学习和解决问题的能力会在软件的故障和限制面前受到物理层面的限制。这就像是用一把有时会掉头的锤子去做高级木工活。
这意味着什么
研究人员在观察了 21 名学生完成六个小组项目并调查了其中 15 名学生后指出,这里的真正教训不在于 AI 本身,而在于学生。
这些高级学生并没有让 AI 代替他们思考。相反,他们学会了如何塑造 AI。他们通过以下方式将一个混乱的、基于概率的聊天机器人变成了一个纪律严明的工具:
- 精心设计他们的问题。
- 警觉地检查每一个答案。
- 根据工具的局限性调整他们的工作流程。
论文明确排除了这些学生只是在被动消费答案的可能性。事实上,研究人员发现,如果学生在没有这些护栏的情况下任由 AI 做功,他们的学习效果反而会变差。这项研究中的学生恰恰相反:他们是主动的导演,而非被动的乘客。
然而,论文也谨慎地指出,这是一项针对高级学生的调查,他们已经掌握了大量的数学知识。研究人员认为,这种“驯服”策略可能并不适用于那些还没有足够数学知识来识别 AI 是否在撒谎的初学者。对于那些初学者来说,AI 可能就是一个陷阱。
所以,下次当你看到一个机器人解决数学问题时,请记住,机器人并不是英雄。英雄是那个知道如何提出正确问题、检查工作并让机器人守本分的那个人类。AI 只是工具;人类才是主人。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。