AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized
五项实验表明,仅仅是获得人工智能的建议——即便该建议是错误的且准确性受到了激励——也会剧烈降低人们承认不确定性的意愿,导致他们在回答更多问题时表现出膨胀的自信,但准确率却显著降低。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
懂得何时止步的艺术
想象一下,你正在和朋友玩一场知识问答游戏。有时,你立刻就能知道答案;有时,你不确定,所以你可能会说“我不知道”,或者随口猜一个。在科学领域,这种停顿并承认不确定性的能力被称为“悬置判断”(suspending judgment)。这是一种能让我们免于相信虚假事物的超能力。长期以来,人类一直是唯一拥有这种超能力的人:如果我们不知道某件事,我们就会保持沉默。但现在,我们有了一位新队友:人工智能(AI)。这些 AI 助手就像是极其快速、充满自信的图书管理员,几乎可以瞬间回答任何问题。科学家们正在思考一个大问题:如果我们拥有一个反应极快、充满自信且总能准备好答案的朋友,我们会停止说“我不知道”吗?我们会如此信任 AI,以至于即便 AI 是错的,我们也忘记了如何停下来独立思考吗?
实验:当 AI 撒谎时
一组研究人员决定通过设计一个棘手的游戏来测试这一点。他们向参与者提出了 6 个关于电影的难题——比如一部旧动画片里海龟的颜色,或者是某个角色驾驶的具体车型。选择这些问题是经过精心设计的,因为这类问题容易让 AI 产生“幻觉”(hallucination),即编造出听起来很自信但完全错误的答案。研究人员给一部分人提供了向 AI 求助的选项,而另一部分人则必须独立作答。
这里有一个转折:这个 AI 几乎总是错的。它就像是一个说话声音很大、表现得非常笃定,但实际上一直在瞎猜错误答案的朋友。研究人员想看看,当人们可以选择向这位不可靠的朋友求助时,他们是否仍会说“我不知道”,还是仅仅因为 AI 的存在,就会不再停顿思考,而是直接开始作答。
他们的发现:“认知投降”
结果令人惊讶,甚至有些可怕。当人们可以使用 AI 时,他们几乎完全停止了说“我不知道”。就好像 AI 那流利且自信的声音降低了人们认为自己“准备好回答问题”的标准。尽管 AI 大多时候是错的,但使用 AI 的人回答问题的数量远高于那些没有使用 AI 的人。但问题在于:他们答对题目的频率仅为那些未使用 AI 的人的三分之一左右。
这就像一个学生,因为手里有一张能提供答案的“小抄”,所以不再举手说“我不确定”了。他们填满了整张试卷,但因为太信任那张小抄,导致大部分题目都答错了。研究发现,拥有 AI 的可用性让人们对自己的答案感到更加自信(他们的自信度几乎翻了一倍!),尽管他们的实际准确率却大幅下降。他们本质上是将自己的判断权“投降”给了机器。
金钱会改变游戏规则吗?
研究人员随后想知道:如果答错会让你损失金钱会怎样?他们设置了游戏的新一轮,人们可以通过答对题目赚取少量金钱,也会因为答错而损失少量金钱。他们希望这能让人们思考得更深入,或许能让人们在有 AI 在场的情况下重新开始说“我不知道”。
金钱确实起到了一点作用。人们向 AI 求助的频率降低了,答对题目的数量也略有增加。然而,金钱并没有解决核心问题。即使存在答错的惩罚,使用 AI 的人说“我不知道”的频率仍然远低于那些完全没有 AI 的人。AI 的吸引力实在太强了。事实证明,AI 不仅仅改变了人们“回答什么”,它还改变了人们是否觉得自己在“被允许回答”这件事本身。
启示
这项研究表明,随着 AI 变得越来越普遍,并且开始在我们在请求之前就给出答案,我们可能会失去一项至关重要的技能:识别自己何时不知道某事的能力。AI 不仅仅是在填补空白,它似乎还在说服我们,认为我们不需要停下来思考。研究显示,虽然我们可以通过设定出错成本来激励自己检查工作,但只要机器给出一个自信、流利的答案,就会让我们极大地降低承认自身不确定性的意愿。在一个充满 AI 的世界里,懂得何时说“我不知道”,或许才是最重要的技能。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。