Contextual Cue Susceptibility in Clinical AI: A Randomized Controlled Clinician-Comparator Study
这项随机对照研究表明，大型语言模型比人类临床医生更容易受到导致错误诊断选择的上下文线索的影响，凸显了临床人工智能系统的一个关键安全漏洞，而这一漏洞可以通过特定的提示策略来缓解。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解谜团的侦探。你手头有一份线索清单，你的任务是找出谁干的。有时，线索非常巨大且显而易见，比如一个泥泞的靴印；而有时，线索则微小而古怪，比如在嫌疑人的外套上发现的一根蓝色细线。在医学世界里，医生就是这些侦探，而他们的“线索”就是患者描述的症状。长期以来，我们一直知道人类侦探可能会被误导。如果一个故事提到了一个罕见且可怕的细节，医生可能会被分散注意力，从而忘记最常见的疾病仍然是最可能的答案。这被称为“可得性偏差”（availability bias）——我们的脑子会紧盯着生动的细节，而不是枯燥的统计数据。
现在，想象我们给这位侦探配了一个超级聪明的机器人助手。这个机器人是一个大语言模型（LLM），一种类型的人工智能，它阅读了数百万本书，并学习像人类一样说话和思考。这些机器人正变得擅长总结医疗记录并提供诊断建议。但现在有一个大问题：这个机器人是否也像人类一样擅长忽略那些微小的、令人分心的线索？还是说，机器人更容易被骗？科学家们对此感到担忧，因为如果一个机器人被一个微小的细节分散了注意力，它可能会迅速犯下成千上万个错误，尤其是当它开始在没有人类检查其工作的情况下，自主进行预约挂号或撰写病历时。
这篇论文建立了一个大型的受控实验来寻找答案。研究人员创建了100个简短的医疗故事，就像一个个微型谜题。在其中一些版本的故事情节中，他们加入了一个微小的、无害的细节——比如患者提到他们最近去过某个特定的国家，或者从事过某项特定的工作。这个细节指向了一个罕见的、“诱饵式”的诊断，听起来很吸引人，但实际上概率极低。在其他版本的故事情节中，这个微小的细节则被删除了。然后，他们要求两组人来解决这些案例：47名人类医疗专业人员（包括医生、住院医师、专科医生和医学生）和22个不同的AI模型。他们想看看这个微小的细节是否会改变答案，如果会改变，那么谁更容易被骗：是人类还是机器人？
结果令人震惊。当那个微小的“旅行”或“职业”线索出现时，人类医生仍然会受到它的影响，大约有28%的时间选择了错误的、罕见的“诱饵”诊断，尽管他们仍有55%的时间坚持了正确的诊断。然而，AI模型却像看魔术表演一样轻易落入了陷阱。当线索出现时，AI模型选择错误的、罕见的“诱饵”诊断的比例竟然高达85%！这意味着，相比于人类，AI被那句微小的句子误导的频率高出了57个百分点。AI不仅仅是产生了困惑，它甚至自信满满地让自己相信那个罕见的疾病就是答案，尽管从数学角度来看并不应该如此。
研究人员还测试了是否可以通过改变给机器人的指令来“修复”它。当他们告诉AI，“记住，常见的事物往往是常见的”时，AI不再那么容易被骗，其表现看起来更接近人类。但当他们告诉AI，“要留意罕见且严重的情况”时，AI的表现变得异常疯狂，被骗得更深了，选择错误答案的比例达到了93%。这表明AI并不是在以一种稳定的方式进行“思考”；它只是在对提示词中的文字做出剧烈的反应。
主要的结论并不是说AI在整体医学方面表现糟糕——在临床线索清晰的情况下，它其实可以非常准确。问题在于，这些模型对上下文极其敏感。一句在临床上无关紧要的话，就能完全扭转它们的决策，这种影响程度远超其对人类医生思维的影响。作者警告说，随着这些AI系统开始独立承担更多工作——例如在没有人类监督的情况下撰写笔记或进行患者分诊——这种敏感性可能会成为严重的安全性风险。如果一个机器人仅仅因为患者提到了一次度假就改变了主意，那么在我们让机器人“开车”之前，这是一个我们需要解决的问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。