💻 computer science

Teaching Students to Question the Machine: An AI Literacy Intervention Improves Students' Regulation of LLM Use in a Science Task

一项针对116名中学生进行的对照研究表明，一个时长两小时的简短人工智能素养研讨会显著提高了他们在科学任务中批判性调节与大语言模型交互的能力，从而使其具备更有效的查询策略，并比未经培训的同龄人表现出更好的性能。

原作者： O. Clerc, R. Abdelghani, C. Desvaux, E. Poisson, P. Y. Oudeyer, H. Sauzéon

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： O. Clerc, R. Abdelghani, C. Desvaux, E. Poisson, P. Y. Oudeyer, H. Sauzéon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一群初中生如何驾驭一个非常聪明、非常自信、但偶尔会犯糊涂的机器人助手。这个机器人（一个 AI 聊天机器人）可以写故事、解数学题、解释科学原理，但它有时会编造事实或给出模棱两可的答案。教育工作者面临的大问题是：一节短小的课程能否教会学生如何约束机器人，而不是盲目跟随它的引导？

奥利维尔·克莱克（Olivier Clerc）及其同事的这篇论文给出了肯定的回答：“可以”，但同时也提出了重要的注意事项。以下是他们实验过程的拆解，用简单的语言呈现。

背景设定： “机器人驾驶员教育”

研究人员收集了来自法国一所中学、年龄在 13 至 15 岁之间的 116 名学生。他们将学生分为两组：

对照组： 这些学生直接参加科学测试，并可以使用 AI 机器人协助完成。
工作坊组： 这些学生首先参加了一个为期两小时的“AI 素养工作坊”。可以把它想象成 AI 的“驾驶员教育课”。他们不仅学习了 AI 是什么，还学习了 AI 是如何思考的、为什么有时会撒谎，以及——最重要的一点——如何识别它给出错误答案的情况。他们练习了如何提出更好的问题，以及如何在意识到“等等，这不对劲，重试一下”时进行干预。

两天后，两组学生使用相同的 AI 进行科学测试。研究人员密切观察了学生是如何与机器人互动的。

实验过程： “陷阱”提示词

为了测试学生，研究人员设置了一个陷阱。对于每个科学问题，计算机都会给学生提供一个建议提示词（一个预先写好的问题来询问 AI）。

优秀的提示词： 这些提示词清晰且包含所有必要的细节。
“陷阱”提示词： 这些提示词含糊不清且缺失关键信息。如果学生向 AI 提出这些问题，机器人会给出一个泛泛而谈、毫无用处的答案。

学生们并不知道哪些是陷阱。他们必须做出决定：我是使用这个建议的问题，还是重新编写它？我是接受机器人的答案，还是要求提供更多细节？

实验结果：谁学会了驾驶？

参加了两小时工作坊的学生在与 AI 的“驾驶技巧”上表现得更好：

他们识破了陷阱： 当建议的提示词含糊不清（即陷阱）时，参加过工作坊的学生更有可能说“不，谢谢”，并写出自己的、更好的问题。而对照组往往只是接受了那个糟糕的提示词，然后陷入困境。
他们没有被“圆滑的谈话者”迷惑： 当 AI 基于一个模糊的问题给出答案时，参加过工作坊的学生更擅长意识到：“嘿，这个答案很弱。”他们更有可能通过追问来获取真实的实据。
他们的分数提高了一些： 因为他们更好地管理了机器人，工作坊组在最终的科学测试中得分略高。然而，这并不是一种神奇的修复手段；他们的得分仍然很一般（大约 11 分，满分 20 分），这表明即使有了聪明的机器人，学生仍然需要承担主要的思考任务。

令人惊讶的转折：“我觉得我很聪明” vs. “我表现得很聪明”

研究人员还让学生在测试前后填写了调查问卷，询问诸如“你对 AI 的信任程度如何？”或“你在反思自己思维过程方面做得如何？”之类的问题。

这里很奇怪： 调查问卷的结果与行为并不匹配。

学生的问卷回答并不能预测谁能在测试中表现出色，或者谁能发现 AI 的错误答案。
尽管工作坊改变了他们的行为方式，但几乎没有改变他们在纸面上表现出的关于自身或 AI 的自我感觉。

比喻： 想象一个人说，“我是游泳高手！”（调查问卷），但在水里却惊慌失措。另一个人说，“我不确定，”但在水中却能冷静地漂浮并游向安全地带。在这项研究中，工作坊并没有让学生在心理上觉得自己成为了 AI 专家，但它教会了他们保持安全的实际“动作”。

这意味着什么（以及不意味着什么）

该论文得出结论，一节两小时的短课可以教会初中生如何调节（控制和监控）他们对 AI 的使用。它帮助他们保持在驾驶座上，而不是让机器人接管一切。

然而，作者也谨慎地指出：

这只是短期效应： 我们只测试了他们两天后的表现。我们不知道他们是否能记住这些技能一个月或一年后。
它不是万灵药： 学生们在处理科学问题时仍然感到困难。AI 并没有替他们完成工作；学生只是学会了如何更好地使用 AI。
调查问卷是不够的： 你不能仅仅通过询问学生是否具备“AI 素养”来判断。你必须观察他们实际使用 AI 的过程，才能看到他们是否做得正确。

简而言之，这项研究表明，一门简短的“AI 安全课程”可以帮助学生停止盲目信任机器，转而开始质疑它，但我们需要更多的研究来观察这些习惯是否能长期保持。

技术摘要：教导学生质疑机器

问题陈述
生成式人工智能（GenAI）和大型语言模型（LLMs）正迅速融入学生的学习实践，尤其是在 STEM 背景下。虽然这些工具为适应性支持提供了机遇，但也带来了“认知卸载”（cognitive offloading）的风险，即学生将推理步骤委托给模型，而非进行批判性评估或自我调节式探究。在中学阶段，如何支持 AI 素养的“应用”维度——即监控提示词、评估响应以及决定何时修改、拒绝或继续交互的能力——仍存在理解上的空白。先前的研究表明，初中生往往难以选择有效的提示词或挑战不令人满意的答案，但针对解决此类行为调节缺陷的简短、可扩展干预措施，受控课堂证据仍然有限。

研究方法
作者对法国一所中学 116 名学生（8-9 年级，年龄 13-15 岁）进行了一项准实验课堂研究。由于排课限制，无法进行个体随机分组；学生按班级进行分组。

干预措施： 干预组在测试阶段前两天参加了一个为期两小时的 AI 素拉力工作坊。该工作坊结合了概念性内容（LLM 如何运作及如何失败）与侧重于维护学生主体性的实践活动。至关重要的是，工作坊并未预演实验中使用的特定科学任务。相反，它训练学生评估初始提示词是否符合任务目标、响应是否满足这些目标，以及如何修改提示词或提出后续问题。
对照组： 对照组在未参加工作坊的情况下完成了相同的测试环节。
任务： 两组学生均使用 LLM 完成了六个科学问题解决任务。对于每个任务，学生会看到一个建议的提示词，该提示词要么是明确的（包含关键上下文要素），要么是不明确的（遗漏了关键信息）。学生决定是否接受提示词、与 LLM 进行交互、评估响应、选择性地提出后续问题，并写出最终答案。
测量指标：
- 行为指标： 提示词接受度（查询级控制）、响应正确性判断（响应评估）以及后续提问率（交互控制）。
- 表现： 最终答案质量按 0–2 分制评分，汇总为 0–20 分制。
- 自评量表： 通过课前和课后调查问卷测量 GenAI 感知（态度、信任、伦理等）和一般元认知意识（Jr. MAI）。
分析： 使用带有集群稳健标准误的广义线性模型（GLM）处理行为指标。最终任务表现使用 Mann–Whitney 检验进行分析。信号检测指数（ $d'$ 和 $\beta$ ）被用于计算提示词辨别力。GPT-4o 被用作“LLM 作为评判者”（LLM-as-judge）进行评分，并经过人类标注员验证。

核心贡献

行为焦点： 本研究不仅将 AI 素养视为陈述性知识，还将其操作化为“LLM 交互的调节”——一种针对生成式 AI 的任务级监控和控制过程。
干预设计： 展示了一个可在课堂实施的、为期两小时的工作坊，其目标是培养应用调节技能（保持主体性），而非仅仅是概念性知识，且未预演特定的测试内容。
方法论严谨性： 研究采用了稳健的统计控制，包括利用信号检测理论来区分敏感度与响应偏差，并将自动化评分与人类标注员进行了验证。

结果

调节行为： 干预组表现出比对照组更具适应性的交互行为：
- 他们不太可能接受不明确的提示词（51.5% vs. 66.7%）。
- 他们的正确性判断对提示词明确程度更具敏感性（交互效应显著）。
- 在接受不明确提示词后，他们提出后续问题的频率显著更高（59.2% vs. 27.9%）。
任务表现： 干预组的最终任务表现得分（均值 = 11.38）略高于对照组（均值 = 10.29），尽管两组的绝对得分都较为有限。
作用机制： 信号检测分析显示，虽然干预组对提示词质量的敏感度（ $d'$ ）在数值上较高，但在统计学上并不显著。然而，在干预组中，注意到问题（提示词辨别）与采取调节行动（重新构思或提问）之间的联系更为紧密。
自评与行为： GenAI 自评量表或一般元认知意识得分均不能有力地预测行为调节或最终的任务表现。此外，工作坊对自评态度仅产生了微弱且不显著的变化，这表明行为变化可以在没有感知能力即时提升的情况下发生。

意义与主张
本文声称，简短且可在课堂实施的 AI 素养教学可以塑造中学生在支持问题解决过程中的短期调节能力。作者强调，工作坊成功地将一种“调节立场”——即保持对提示和评估的主体性——迁移到了新的任务中。

然而，作者对结论持谨慎态度：

该研究展示的是任务执行期间的调节能力的提升，而非持久的学习增益或长期留存。
最终得分的提升幅度较小，表明仅靠获取 GenAI 并不足以获得高质量答案；学生在综合信息和评估模型输出方面仍面临重大挑战。
研究结果表明，自评量表是衡量应用型 AI 素养的较差指标，未来的教育应优先考虑行为测量和实践调节技能，而非纯粹的陈述性知识。
该研究强调了进行长期研究的必要性，以确定这些调节习惯是否能迁移到新领域并随时间持续存在。