Cognitive Processing of Ai-Generated Advice: The Role of Belief Congruence
基于启发式-系统式模型（Heuristic-Systematic Model），本研究揭示了用户与AI顾问之间的信念一致性如何作为一种启发式线索，降低了用户对大语言模型生成的事实核查建议的批判性审视，从而产生了一种张力，即个性化AI系统可能会在无意中削弱用户对信息的系统式处理。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代信息格局中，我们不断面临着一种选择：是停下来仔细审视一条新信息，还是根据直觉快速接受它？心理学家长期以来一直在研究这种平衡，将我们的思维方式描述为两种模式。一种是缓慢且深思熟虑的，即像法官审查案卷一样，权衡证据并核实事实。另一种是快速且直觉化的，即依赖于捷径，例如因为某个来源看起来很熟悉或来自我们喜欢的群体而信任它。我们都会使用这两种方法，根据我们拥有的能量以及对获得正确答案的重视程度在两者之间切换。现在，一个新层面被加入了这个过程：人工智能。随着聊天机器人成为我们辨别真伪的伙伴，一个关键问题随之而来。如果人工智能的表现似乎与我们的政治观点一致，这是否会改变我们倾听它的方式？如果一台机器告诉我们的内容符合我们的信仰，我们会停止批判性思考并只是点头附和，还是依然会进行查证其推理的艰苦工作？
伦斯勒理工学院和田纳西大学的研究人员通过观察真实的人如何与人工智能事实核查员互动，试图回答这个问题。他们设计了一项研究，让美国的成年人阅读政治新闻标题，然后要求聊天机器人验证这些标题。转折点在于，研究人员创建了两个不同版本的聊天机器人。其中一个被程序设定为表现得像个自由派，引用来自左翼的来源并使用该观点的典型语言。另一个则听起来像个保守派，借鉴右翼媒体并采用不同的语气。参与者并不知道这些机器人是人工的；他们仅仅将它们视为具有不同政治身份的顾问。目标是观察人们是否会根据机器人是否看起来“站在他们这一边”而以不同的方式对待这些建议。
研究揭示了人们处理信息的清晰模式。当参与者与政治观点与自己一致的聊天机器人互动时，他们的思考变得不够严谨。他们阅读机器人解释的时间更短，提出的后续问题也更少。相反，他们倾向于直接接受机器人的最终结论——无论机器人说该标题是真是假——而不去深入挖掘。尽管机器人就在答案旁边提供了一份详细的解释，情况依然如此。研究人员发现，当人们感到与人工智能有一致感时，他们会使用一种心理捷径，认为由于该建议来自一个感觉像朋友的来源，因此它是值得信赖的。相反，当机器人的观点与自己的观点发生冲突时，人们更有可能审视其推理，更仔细地阅读解释并质疑结论。
当人们被允许选择自己的顾问时，这种倾向更加明显。在实验的一个部分中，参与者是被随机分配到一个机器人；在另一个部分中，他们可以挑选自己想要使用的机器人。那些选择了自己机器人的人进行的批判性思考最少。选择这一行为本身似乎向他们传递了一个信号，即这正是合适的工具，从而减少了他们验证工作的需求。研究人员指出，这为人工智能的未来制造了一种微妙的紧张关系。那些让人工智能感觉更加个性化和舒适的功能，实际上可能会让我们变得不再警觉。我们可能会对这种互动感到更加满意，但我们也可能不太可能发现错误或挑战假设，因为我们已经决定信任这个来源。
尽管批判性思考有所下降，但人工智能的建议仍然改变了人们的信念。当聊天机器人将一个标题标记为虚假时，人们对该标题的信任度就会下降。当它将一个标题标记为真实时，信任度就会上升。无论人们是在认真思考解释，还是仅仅接受结论，这种转变都会发生。人工智能的声音足够强大，能够推动观点向两个方向移动。然而，研究也表明，用户的政治立场与机器人的匹配程度至规影响结果。当机器人的政治观点与用户一致时，用户更有可能接受结论而不进行反驳。当机器人意见不合时，用户的抵触情绪更强，尽管人工智能的影响力依然存在。
研究人员谨慎地指出，这并不意味着人们无法进行批判性思考。当参与者觉得自己拥有理解该主题的知识，或者具有高度的寻真动力时，他们确实会进行更深层次的思考。他们会阅读来源、检查逻辑并形成自己的结论。但政治立场一致的人工智能的存在，起到了一个强大的信号作用，它在说：“你可以到此为止了；你已经得到了答案。”研究表明，当我们设计更具个性化的人工智能系统时，我们必须意识到，让它们看起来完美契合我们的世界观可能会带来一个隐藏的代价：它可能会让我们陷入一种不加批判地接受的状态，在那里，我们停止了那些能让我们的认知保持敏锐的深度追问。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。