When AI Fails: Hallucination Exposure, Verification, and Critical AI Literacy
基于对314名受访者的调查数据，本研究揭示了尽管大多数用户都遇到过人工智能幻觉，但很少有人理解这一概念，然而那些经历过失败的用户更有可能去验证信息，这使得作者将“批判性人工智能素养”定义为一种优先考虑批判性距离与验证，而非仅仅关注技术熟练度的认识论适应。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界，我们已经习惯了向机器寻求答案。当我们向计算机程序输入问题时，收到的回复往往带着人类对话般的流畅感，并伴随着自信的语气和完美的语法。这种被称为生成式人工智能的技术，改变了我们寻找信息、撰写文档和学习新事物的方式。然而，这些机器拥有一种奇特的缺陷：它们会编造事实。它们可能会描述一个从未发生过的历史事件，或者引用一项并不存在的科学研究，而这一切听起来都极其笃定。这种被研究人员称为“幻觉”（hallucination）的现象，为任何试图学习或工作的人带来了独特的难题。与传统的书籍或新闻文章不同——在那些媒介中，我们可以核实作者的资历或查看脚注——这些人工智能系统无法提供清晰的途径来追踪其信息的来源。我们这个时代的核心问题不仅在于这些机器是否会犯错，而在于当人们发现这些错误时如何反应。我们是停止使用这个工具，还是学会以不同的方式去使用它？
来自波兰和中国的研究小组致力于理解这种反应。他们调查了314名使用这些人工智能工具的人士，对象涵盖了从大学生到各行业专业人士。研究目标是观察仅仅是频繁使用这项技术，是否会让人们对其缺陷变得更聪明，亦或是需要其他因素来培养一种健康的怀疑精神。研究人员特别关注一个他们称之为“批判性人工智能素养”（Critical AI Literacy）的概念。这不仅仅是关于知道如何输入指令或如何让机器写一首诗，而是指能够识别机器何时在撒谎，理解自信的声音并不保证真相，以及知道何时应该停止信任输出结果并开始对照其他来源进行核实。
研究首先询问参与者是否曾经遇到过人工智能提供错误或虚假信息的情况。结果显示，此类遭遇非常普遍。在受访者中，超过八成的人表示他们至少偶尔会看到这些系统产生不准确或捏造的信息。然而，当研究人员询问这些人是否知道这一问题的特定术语——“人工智能幻觉”时，只有不到一半的人表示熟悉该词。这一差距表明，许多人在经历技术失效的同时，却对其缺乏一个明确的称谓或对其发生原因的充分理解。他们知道某些地方出了问题，但可能并未意识到这是一种根本性的技术局限，而不仅仅是一个罕见的故障。
接下来的部分是研究中最具启发性的部分。当人们意识到人工智能给出了错误信息时，他们并没有简单地弃用这个工具。相反，他们改变了使用方式。绝大多数见过错误的受访者开始对照其他来源（如书籍或可信网站）来核实人工智能的回答。许多人开始仅将人工智能作为助手或起点，而非作为某一主题的最终权威。有些人甚至学会了给出特定的指令，旨在降低机器编造内容的概率。研究人员发现，预测一个人是否会核实人工智能工作的最强因素，既不是他们使用该工具的频率，也不是使用时长，而是直接目睹机器出错的经历。
这一发现挑战了一个常见的假设，即仅仅成为一项技术的专家就能使人成为该技术的批判性思考者。数据表明，你可能非常擅长操作人工智能系统，却仍然过度信任其输出，仅仅是因为你尚未见过它对你撒谎。正是与错误的遭遇触发了行为的转变。一旦一个人看到机器出错，他们就会开始对那些自信的回答保持必要的距离。他们学会了流利度与自信并不等同于准确性。研究表明，这种学习验证、限制依赖并质疑来源的过程，构成了人工智能时代的真正素养。
研究人员还指出，这种行为转变之所以复杂，是因为这些机器通常具有神秘性。用户无法看到人工智能内部的逻辑或其提取信息的具体来源。这种透明度的缺失使得人们在阅读答案之前很难判断其可靠性。当人们觉得系统晦涩难懂或无法理解时，更有可能将其错误视为严重的问题。然而，研究也明确指出，管理这些风险的责任并不完全在于个人用户。虽然人们可以学习验证信息并调整信任度，但这些系统的创造者及其部署机构也必须致力于提高技术的透明度和可靠性。
最终，这项研究描绘了一幅用户正在适应的图景。人们既没有拒绝人工智能，也没有盲目接受它。他们正在与其建立一种有条件的协作关系，在这种关系中，工具是有用的，但其权威性是有限的。这种适应是一种超越了技术技能的学习。它涉及理解机器是一个概率引擎，它是在猜测句子中的下一个词，而不是一个检索经过验证的事实的数据库。随着这些工具日益融入教育和日常生活，区分“动人的故事”与“经核实的事实”将成为一项至关重要的技能。研究结论认为，对这些系统的真正掌握，不在于知道如何让它们运作，而在于知道何时停止信任它们，并开始为事实本身进行核实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。