Same Facts, Different Diagnosis: Measuring and Mitigating Narrative Anchoring in Clinical Language Models
本文识别了“叙事锚定”（Narrative Anchoring）现象，即临床语言模型仅基于社会语言学语域便会对完全相同的实事产生分歧诊断，并提出了“NarrativeShield”——一种通过结构化提取与验证事实来几乎消除这一差距并保持诊断稳定性的三智能体流水线。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名正在试图破解谜题的侦探，但你不是在寻找线索，而是在根据嫌疑人讲述故事的方式来评判他们。如果他们说话声音优雅、圆润，你可能会更信任他们；如果他们带着粗犷的、劳动阶层的口音，或者使用色彩丰富的隐喻，你可能会怀疑他们，即便犯罪的实际事实是完全相同的。这就是“大语言模型”（LLMs）的世界，它们是经过训练、能够像人类一样阅读和写作的超级智能计算机程序。科学家们现在正尝试利用这些程序作为“数字医生”来帮助诊断疾病。但出现了一个可怕的问题：这些数字医生可能不仅会对患者的“身份”（如种族或收入）产生偏见，还会对患者“描述痛苦的方式”产生偏见。这篇论文深入探讨了这种隐藏的偏见，提出了一个简单但深刻的问题：如果两名患者拥有完全相同的症状，如果其中一人以“富足”的方式讲述故事，而另一人以“挣扎”的方式讲述，计算机给出的诊断会相同吗？
研究人员将这个狡猾的问题称为叙事锚定（Narrative Anchoring）。它就像一个指南针，被卡在了故事的风格上，而不是指向事实的真相。为了测试这一点，他们不仅仅是让计算机进行猜测，而是构建了一个庞大的、极其严格的游戏。他们选取了1,000道真实的医学考试题（即医生为了获得执照必须通过的那种题目），并将每道题都重写了三次。一个版本是中性的，一个版本被改写得听起来像是面临经济压力的人，第三个版本听起来则像是使用了文化隐喻的人。至关重要的是，他们确保在所有三个版本中，医学事实（例如发烧、疼痛位置和血液检查结果）都保持完全一致。他们甚至雇用了第二台计算机和真正的医生来复核，以确保在重写过程中没有丢失或改变任何事实。
当他们将这些故事输入到七个不同的AI模型时，结果令人震惊。尽管医学事实是完全相同的，但AI模型会根据故事的“语调”给出不同的诊断。这种情况在他们测试的每一个模型中都发生了。准确率的差距非常显著：对于某些模型，“中性”语调得到正确答案的频率比“挣扎”语调高出约15%。研究人员尝试通过要求AI“一步步思考”（一种称为思维链的方法）或简单地告诉它“忽略风格，关注事实”来修复这个问题。这些技巧有所帮助，但还不够。事实上，要求AI思考得更深入有时反而会让它在整体准确率上表现得更差，就像一个学生过度分析一道简单的数学题，结果反而做错了。
因此，团队开发了一个名为 NarrativeShield 的新工具。把它想象成一个坐在患者和医生之间的严格编辑。在AI医生看到故事之前，这个编辑会剥离掉所有华丽的辞藻、情感基调和文化隐喻，只留下一个由冰冷、硬核的医学事实组成的精简清单。然后，AI医生只观察这份清单。当他们使用 NarrativeShield 时，偏见几乎消失了。不同语调之间的差距降到了接近于零（在 -0.004 到 0.037 之间），这意味着AI开始公平地对待所有的故事，无论它们是如何讲述的。然而，这里有一个代价：对于大多数模型来说，这种严格的编辑使得AI的整体准确率略有下降，就像一位翻译员为了确保意义完美而抽离了诗歌中所有的韵味。
论文还测试了一个没被很好教导如何遵循指令的“基础版”医学AI。这个模型在被要求遵循新规则时完全失败了，这证明了如果你连基本的听从指令的能力都没有，你就不能仅仅通过告诉计算机“要公平”来解决问题。作者得出结论，问题不仅仅在于我们给患者贴什么标签，而在于计算机如何处理患者说话的“方式”。要解决这个问题，我们不能仅仅修改提示词（prompt），我们必须改变系统的架构本身，确保在做出诊断之前，将“事实”与“故事”分离。虽然这是一个充满希望的步骤，但研究人员谨慎地表示，这仍然是一个研究工具，而非可以直接用于真实医院的现成产品，还需要更多测试来观察它在混乱的现实医患对话中是否依然有效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。