Human Decision-Making with Persuasive and Narrative LLM Explanations
这项大规模研究揭示,尽管大语言模型生成的叙事性解释会增加人们对人工智能预测的依赖(无论其准确性如何),但它们并未改善人类的决策表现,甚至可能延缓响应速度并削弱区分人工智能输出正确与否的能力。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正在玩一个游戏:你需要猜测一名学生是否会通过课程,或者一个人年收入是否超过 10 万美元。你拥有一台超级聪明的电脑(人工智能)来替你做出猜测。通常,这台电脑只会说“通过”或“是”。
但在这项研究中,研究人员想要看看,如果电脑不仅给出答案,还讲述一个故事来解释原因,会发生什么。更进一步,他们想看看这个故事的风格是否重要。他们要求电脑讲述三种不同类型的故事:
- 枯燥的故事:只陈述事实,不带任何情感。
- “推销员”故事:更具说服力,像一位友好的推销员。
- “狂热鼓动者”故事:极具说服力,运用戏剧性的语言、逻辑诡计和情感诉求,极力推销其观点。
研究人员召集了 320 人来玩这个猜测游戏。他们想知道:更华丽、更具说服力的故事是否能让人类做出更好的决策?
以下是他们发现的结果,借助了一些简单的类比:
1. “华丽的包装”并未改变味道
你可能会认为,如果电脑讲出一个极具说服力、戏剧性的故事,人们会更信任它,从而更频繁地得出正确答案。
- 现实情况:事实并非如此。无论电脑给出的是枯燥的事实、推销话术,还是戏剧性的演讲,人类的准确率完全保持不变。
- 类比:这就像买巧克力棒。无论包装是普通的棕色纸、闪亮的金箔,还是写着“史上最佳巧克力”的霓虹灯招牌,里面巧克力的味道都不会改变。如果巧克力好吃,它就是好吃;如果难吃,它就是难吃。华丽的故事并没有让人类更擅长猜中真相。
2. “相信我”效应(盲目信仰)
虽然华丽的故事并没有帮助人们得出正确答案,但它们确实改变了人们的行为方式。
- 现实情况:当电脑给出一个故事(即使是枯燥的故事)时,人们更倾向于直接说“好吧,我就采纳电脑的判断”,而不是自己思考。
- 类比:想象你正和一位向导一起穿过森林。如果向导只是指向左边,你可能会环顾四周,检查那条路。但如果向导开始讲述一个激动人心的故事,说明为什么左边的路是唯一的出路,你可能会停止观察,盲目跟随。
- 陷阱:即使电脑错了,这种情况也会发生。具有说服力的故事让人们过度信任电脑,哪怕电脑的判断是错误的。
3. “减速带”
研究人员还观察了人们做出选择所花费的时间。
- 现实情况:当电脑给出“狂热鼓动者”故事(最极端的那种)时,人们做出决策的时间更长,且反应时间参差不齐。有些人超级快,有些人则非常慢。
- 类比:这就像在高速公路上驾驶。如果路标清晰简单,你就能平稳驾驶。但如果路标开始闪烁、变色,甚至对你大喊大叫,你可能会减速、犹豫或偏离方向。戏剧性的故事足以让人困惑到放慢速度,尽管这并没有帮助他们得出正确答案。
4. “超越人类”的目标
通常,当我们把人类和电脑结合起来时,我们希望团队的表现能优于单独的电脑。
- 现实情况:研究发现,当电脑提供具有说服力的故事时,更少的人能够超越电脑的准确率。“狂热鼓动者”故事实际上似乎让人类更难运用自己的判断力去纠正电脑的错误。
核心结论
该论文得出结论:赋予人工智能一个“声音”来讲出具有说服力的故事,并不一定能让我们成为更聪明的决策者。事实上,它可能只会让我们变得更顺从(即使电脑错了也跟随它)和更困惑(花费更长时间做决定)。
这有点像魔术师。一个拥有华丽、具有说服力故事的魔术师可能会让观众更专注地观看戏法,但这并不会让观众更擅长识破戏法或解开谜题。这项研究表明,对于严肃的决策而言,一个简单、诚实的预测,可能和冗长、戏剧性的推销话术一样有效。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。