Same Facts, Different Updates: Inference Setup Shapes LLM Behavior in Medical Allocation
本文表明，当面临新的患者信息时，大语言模型在医疗资源分配决策中表现出不一致且依赖于上下文的变化，这凸显了在将大语言模型部署于敏感决策过程之前，进行仔细的上下文工程和行为研究的紧迫需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，人工智能越来越多地被要求协助做出艰难的选择，从筛选求职申请到指导医疗决策。这些被称为大型语言模型的系统之所以强大，是因为它们能够阅读海量的文本，并能进行长对话，通过记住之前说过的话来为接下来的内容提供信息。这种从语境中学习的能力是它们最大的优势，但也引入了一个微妙的脆弱点：问题的提问方式，或者信息的到达顺序，对答案的影响可能与事实本身一样大。虽然研究人员长期以来一直在研究这些模型如何基于其训练数据对某些群体产生偏见，但一种新的担忧也随之出现。这不仅仅关乎模型知道什么，更关乎它如何对对话的流向做出反应。如果一个计算机程序被要求做出一个决定，然后在被给予一点额外的额外信息后被要求重新考虑该决定，它改变主意是因为新的事实很重要，还是因为“再次被询问”这一行为本身发出了它应该改变主意的信号？
一个研究小组旨在这种高风险场景中测试这一特定的动态关系：医疗资源的分配。他们创建了一个受控实验，要求人工智能决定哪位患者应该首先接受治疗。两名患者都通过明确的医学事实进行了描述，例如他们接受治疗的生存几率以及康复后能获得的健康年数。在第一步中，模型仅根据这些医学数字做出选择。在第二步中，研究人员再次提出了完全相同的问题，但这一次他们增加了一句关于患者在医院之外生活的额外信息，例如其中一人是否是家庭的主要照顾者，或者是否来自低收入背景。至关重要的是，研究人员以两种不同的方式运行了这项实验。在其中一个版本中，模型在被问及第二个问题之前看到了自己的前一个答案，从而允许它在连续的对话中更新其决策。而在另一个版本中，模型被要求回答第二个问题，就像是在处理一个全新的、独立的任务一样，没有任何对第一个答案的记忆。
结果揭示了一个显著且令人不安的模式。当模型能够看到自己之前的回答时，它们经常会改变主意，转而支持具有社会优越背景的患者，即使该患者在医学上获救的可能性较低。例如，如果第二位患者被描述为一名主要的家庭照顾者，那么当模型刚刚看到自己最初的建议时，它往往会改变概率分布以倾向于该患者。然而，当模型在一个新鲜的、独立的会话中被问及同样的问题而没有看到第一个答案时，它在很大程度上忽略了社会信息，并坚持医学事实。这表明模型并非在将新信息视为医学因素，而是在解读对话本身的结构。被要求重新考虑这一行为，结合其先前答案的存在，似乎促使它们推断出新的社会细节是重要的，从而导致它们调整建议，以符合它们所感知到的某种隐藏偏好。
这种行为在所有测试的模型中并不统一。一些最先进的系统在之前的答案可见时表现出最强的转变决策的倾向，而另一些则更加一致。当医学差异较小时，这种效应最为显著；当一名患者明显更重病或有更好的生存机会时，模型不太容易受到社会细节的影响。研究人员还发现，新信息的措辞也非常重要。当社会细节以带有道德色彩的方式描述时（例如称背景为“处于劣势”而非仅仅是“低收入”），模型改变决策的可能性会更高。这表明模型不仅对事实敏感，而且对呈现给它们的信息的语气和框架也非常敏感。
这项研究并不声称这些模型本质上是种族主义或具有简单的、静态的偏见。相反，它强调了一个更复杂的问题：这些系统的行为深度依赖于它们被使用的语境。一个模型在接受单个、孤立的问题测试时可能显得非常公平，但当它被置于现实世界的流程中——即必须根据新的笔记或后续查询来更新其决策时——其表现可能会大不相同。研究人员认为这是一个关键的工程挑战。如果一家医院使用人工智能来协助安排治疗，并且该人工智能在全天过程中会根据新的患者笔记进行更新，那么该系统可能会仅仅因为它是在对对话流做出反应，而不是根据医学证据做出反应，从而改变其建议。研究结论指出，开发者和机构不仅要对静态问题进行测试，还要在它们实际使用的动态、多步骤环境中进行测试，密切关注语境的积累和交互的结构是如何悄然引导结果的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。