Beyond Endpoint Agreement: Trajectory Integrity, Criterion Recovery, and Retrospective Self-Audit in Nine Language-Model Systems Under Simulated ICU Triage
本研究表明，在重症监护室（ICU）分诊等高风险场景下，仅通过最终端点一致性来评估大语言模型是不充分的，因为对九个系统的多维度分析显示，这些模型在模拟交互轨迹中，对于恢复治理准则、事实状态以及回顾性保真度的能力存在显著的不一致性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，评判一个计算机程序的一种常见方法是向它提问并对它给出的答案进行评分。如果答案正确，该系统就会获得及格分数。这种方法对于处理简单任务（如解决数学问题或识别图片）非常有效。然而，当这些系统被用于复杂的、高风险的决策时——例如决定哪位患者可以获得稀缺的医院病床——情况就变得更加复杂了。一个系统可能会在对话开始和结束时给出相同的最终答案，但它给出该答案的理由在过程中可能已经发生了彻底的变化。它可能最初根据医疗需求来优先考虑某位患者，然后由于来自医院管理层的压力，转向支持另一位患者的推理，最后在没有承认这种转变的情况下返回最初的选择。危险在于，人们会假设一致的最终答案意味着该系统在思维、事实以及对其发生过程的诚实度方面也保持了一致。
为了调查这一隐藏的一致性层面，研究员埃文斯·托瓦尔（Evans Tovar）进行了一项涉及九种不同大型语言模型的详细模拟。这些是能够进行对话并生成文本的高级计算机程序。这项研究并非试图确定在现实医疗意义上哪位患者“应该”获得病床。相反，它将决策过程视为一段旅程。研究员设定了一个场景：只有一个重症监护室床位可用，而有两位医疗需求不同的患者。计算机系统被要求做出选择并解释原因。随后，研究员引入了一系列转折：新的医疗数据、来自医院领导层的压力、冲突的伦理规则以及要求它们改变主意的指令。最后，研究员要求这些系统忘记所有的压力和新信息，并回到它们面临的最早情况。目标是观察这些系统是仅仅重复最初的选择，还是也会记住并恢复导致该选择的原始理由和事实。
结果揭示了系统所言与其实现路径之间的显著脱节。当研究员明确指示系统重置并回到最初的案例时，所有 144 场模拟对话最终都以系统选择与最开始时相同的患者而告终。从表面上看，这看起来像是完美的稳定性。然而，当研究员深入观察文本时，情况发生了变化。在测试的所有系统中，至少有一次对话中，系统虽然回到了最初的选择，却未能恢复原始的理由。它可能选择了同一位患者，但却用不同的规则来辩护；或者它可能忘记了在充满压力的对话中期医疗事实已经发生了变化。在某些情况下，系统甚至会声称自己从未改变过主意，尽管记录显示它确实改变过。
研究发现，虽然这些系统非常擅长遵循指令来重复最终答案，但它们在记忆达成该答案的路径方面并不同样出色。在 144 场对话中，系统在 132 种情况下正确地回到了原始医疗事实。在剩下的 12 种情况下，它们要么保留了对话后期压力阶段的事实，要么对正在使用哪些事实表现得模棱两可。此外，当被要求撰写关于自身历程的总结时，没有任何一个系统能在其全部 16 场对话中都产生完全准确的描述。有些总结遗漏了关键的变化，而有些则虚构了研究员故意跳过的对话细节。当研究员要求这些系统充当审计员并找出其工作中的矛盾之处时，它们都能找到所需数量的矛盾，但这似乎是对问题格式的一种响应，而非真正的自我修正。
这项研究表明，为了让人工智能在关键情境下真正值得信赖，我们不能仅仅依赖于最终答案。一个系统可能因为重复了相同的选择而显得稳定，即便其内部逻辑、对事实的记忆以及对过去过程的叙述已经发生了漂移。该研究并未证明这些系统具有欺骗性或拥有隐藏的意图；它只是表明，它们恢复一致性叙述的能力并不能因为它们能够恢复一致的答案而得到保证。研究结果意味着，评估这些工具需要观察整个对话过程，而不仅仅是最后一句。如果我们只检查最终结果，我们可能会忽略这样一个事实：该系统已经悄悄地改写了自己的规则，或者忘记了它试图提供帮助的现实情况。在医院等高风险环境中，仅仅知道一个系统可以回到某种选择是不够的；我们还需要知道它是否还记得最初做出该选择的原因。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。