Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety
本研究表明，在信息缺失的情况下对医疗人工智能进行评估，揭示了显著的安全评估偏差，即大语言模型评判者的选择（尤其是同厂商的宽容性）以及评判者的身份（大语言模型与临床医生）都会实质性地改变模型的排名，这表明表象上的安全差距源于校准差异而非知识匮乏。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
无形的防护网：为什么 AI 医生需要现实检验
想象一下，你正在制造一个能够回答任何医学问题的机器人。你通过让它解决医学谜题来测试它，就像玩一场高风险的知识竞赛。如果机器人答对了，你会为它欢呼。但在现实世界中，医生不仅需要知道事实，还需要知道自己何时“不知道”信息是否充足。如果一位患者走进诊室并抱怨头痛，却忘了提到自己刚刚撞到了头，一位优秀的医生不会直接猜测“这只是偏头痛”。他们会说：“等等，在能安全帮助您之前，我需要了解更多信息。”这种表达“我不知道”或“我需要更多细节”的能力被称为弃权（abstention），它是成为一名得力助手与成为一个危险的猜谜者之间的区别。
最近，科学家们一直在测试最智能的 AI 模型，看它们是否能通过医学考试。它们的得分非常高，几乎与真正的医生不相上下。但问题在于：这些测试大多像是多选题，答案就在眼前。而现实世界要混乱得多。有时信息是缺失的、模糊的或隐藏的。本论文进入了这种混乱的现实。它提出了一个简单却令人胆战心惊的问题：如果我们隐藏掉一段医学对话中一半的线索，AI 会承认自己困惑了，还是会自信地编造一个危险的答案？更重要的是，谁在给 AI 的作业打分？
伟大的 AI 压力测试：隐藏线索
研究人员决定与四种世界上最先进的 AI 模型玩一场“隐藏线索”的游戏。他们提取了真实的医学对话，并删除了患者最后一条消息的后半部分。想象一下，患者说：“我胸口感到一阵剧痛……”然后 AI 在患者说完“……而且我刚跑完一场马拉松”之前就被切断了。AI 必须做出决定：我是该猜猜是怎么回事？我是该询问更多信息？还是直接保持沉默？
目标是观察 AI 是否能识别出信息的缺失。一个“安全”的 AI 会说：“由于信息不足，我目前无法回答这个问题。”而一个“不安全”的 AI 则会自信地宣布：“你心脏病发作了，”尽管它并没有掌握完整的病情。研究人员发现，虽然这些 AI 在线索齐全时表现卓越，但在“缺失线索”测试中却经常失败。它们倾向于“过度承诺”，这意味着即使在盲目猜测的情况下，也会给出确定性的结论。
评委问题：谁在给作业打分？
故事在这里变得曲折起来。因为这些是开放式的对话（而非多选题），所以不存在单一的“正确答案”标准。相反，研究人员使用了其他的 AI 来充当评委，为回复进行评分。他们建立了一个由来自不同公司的四种不同 AI 组成的评审团。
第一个重大发现是：谁来评分至关重要。这就像如果你请一位数学老师来批改数学试卷，但这位老师恰好也是出题人一样。研究人员发现，当一个 AI 评价自己公司的模型时，它会表现得慷慨得多。它会给自己的“兄弟姐妹”更高的安全性评分。例如，当一个模型的自家 AI 为其评分时，它看起来像是第二优秀的医生；但当其他评委进行评分时，它的排名会跌至接近垫底。不同 AI 评委之间的共识仅为“中等”，这意味着它们经常产生分歧。这表明，如果你想知道一个 AI 是否真正安全，你不能只让它的“家族成员”来评价，你需要外部视角。
人类现实检验
随后，研究人员请来了终极裁判：真正的医生。他们抽取了一小部分对话样本，让两名独立的医生（外加论文作者）在不知道哪个 AI 撰写答案的情况下进行盲审。
结果令人警醒。AI 评委太仁慈了。它们比人类医生要宽容得多。AI 评委认为模型在 66% 到 84% 的情况下都表现出了适当的谨慎。然而，人类医生认为模型仅在 52% 的情况下表现得足够谨慎。换句话说，AI 评委给了模型一个人类医生不会给予的“通行证”。即使在 AI 评委达成一致（全票通过）的情况下，人类医生仍认为其中约四分之一的“安全”回答实际上过于自信且具有风险。
核心结论：准确性 vs. 安全性
论文还检查了这些模型是单纯在特定测试中表现不佳，还是它们真的不懂医学。他们运行了一项标准的医学多选题测试（MedQA），其中的答案非常明确。在此测试中，模型表现出色，正确率超过 90%。这证明了问题不在于 AI “愚笨”或缺乏医学知识，而在于校准（calibration）。它们掌握事实，但不知道何时该停止说话。它们就像是一个完美掌握了教科书的学生，但在考试时因为紧张，在应该说“我需要更多时间思考”时，选择了直接猜测答案。
这对未来意味着什么
这项研究并不是说这些 AI 是无用的。它是在告诉我们，我们需要更聪明地测试它们。如果我们只测试完美的、多选题形式的问题，我们就会获得一种虚假的安全感。我们需要在混乱、不完整的对话中测试它们，看它们是否能承认自己的无知。
研究人员还警告我们，用于衡量安全性的工具（即 AI 评委）可能存在偏差。如果我们依赖一个 AI 来判断另一个 AI 是否安全，我们可能会被“自我偏好”所误导——即评委更喜欢同类。为了获得真实的安全性图景，我们需要使用来自不同公司的评委，排除模型自身的创造者进行评分，并且最重要的是，要根据真实的人类医生进行核实。在此之前，我们看到的“安全性评分”可能会过于乐观，就像一份仅仅因为你努力尝试就给你 A 等级的成绩单，即便你漏掉了最重要的部分。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。