💬 NLP

Same Patient, Different Words, Different Diagnosis? Evaluating Semantic Stability in Clinical LLMs

本文提出了一个语义验证框架和新的评估指标，用于评估 16 个临床及通用大语言模型在面对保持语义不变的提示词变化时的稳定性，并揭示了在医疗场景中，领域专业化并不一定能保证更高的鲁棒性。

原作者： Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Mahdi Alkaeed, Adnan Qayyum, Nabeel Abo Kashreef, Muhammad Bilal, Junaid Qadir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：同一个病人，不同的措辞，不同的诊断？

想象你是一名医生。你有一个患有特定症状的病人。你写下了一份描述病例的笔记。然后，你要求一个计算机程序（AI）来猜测诊断结果。

现在，想象你重写了那份笔记。你使用了不同的词汇，改变了句子结构，或者将一个医学术语替换成了常用词（比如用“心脏病发作”代替“心肌梗死”）。其含义是完全一样的。病人并没有改变。

问题在于： 这篇论文提出了一个疑问：如果你用不同的表达方式询问 AI 同一个问题，它会给出相同的答案吗？

不幸的是，研究人员发现，这些 AI 模型往往像反复无常的天气预报员。如果你问：“会下雨吗？”你可能会得到一个“会”。但如果你问：“是否有降水概率？”同一个 AI 可能会突然说“不会”，尽管天气并没有改变。在医院里，这种不一致性是危险的。

解决方案：“真理过滤器”

为了进行严谨的测试，研究人员必须非常小心。他们不能只是让 AI 重新组织语言，因为有时 AI 会在无意中改变原意（例如，把“无疼痛”变成了“疼痛”）。

他们构建了一个多层真理过滤器，以确保问题在含义上是真正一致的：

逻辑检查 (NLI)： 他们使用了一个特殊的“逻辑机器人”，用于检查两个句子是否在逻辑上相互蕴含。如果句子 A 意味着句子 B，且句子 B 也意味着句子 A，那么它们就是双胞胎。
AI 裁判： 他们使用了第二个非常聪明的 AI 来复核逻辑机器人的工作。
人类医生： 最后，由一名真正的执业医生审查问题，以确保医学事实（剂量、症状、时间）没有被意外篡改。

只有通过了这三项测试的问题才会被用于实验。

实验：全科医生 vs. 专科医生

研究人员测试了 16 种不同的 AI 模型。他们将它们分为两组：

通用型 (GP)： 这些像是聪明的全科医生。它们阅读了互联网上的所有内容，擅长很多领域，但并非经过医学专业训练。
领域特定型 (DS)： 这些像是住院医师。它们专门针对医学书籍和患者记录进行了训练。

假设： 大家都认为“专科医生”（DS 模型）在措辞变化时会比“全科医生”（GP 模型）更稳定、更可靠。

惊喜之处： 专门化的模型并不始终胜出。

有时，专门化模型更稳定。
有时，通用型模型更稳定。
很多时候，它们两者一样不稳定。

类比： 这就像是在测试两位厨师。一位是只做意大利菜的大厨（专门化），另一位是精通各种菜系的优秀厨师（通用型）。你让他们做一道意面，如果你对这道菜的描述稍有不同（“煮面条”对比“烹饪面食”），你可能会期望那位意大利大厨表现得更一致。但研究发现，有时那位意大利大厨会被新词汇搞糊涂，而那位全科厨师却能保持冷静。仅仅靠专业化并不能保证稳定性。

置信度陷阱：“我很确定，但我错了”

研究人员还观察了 AI 对其答案的置信度。

发现： AI 经常表现得像个自负的学生——明明错了，却觉得自己是对的。
即使 AI 因为措辞的变化而改变了答案（显示出其不稳定性），它往往仍保持着同样高水平的置信度。
类比： 想象一个正在参加考试的学生。如果题目换了一种说法，他可能会把答案从“A”改成“B”。但如果你问他，“你有多确定？”他仍然会回答，“100% 确定！”研究发现，高置信度并不是 AI 实际上正确或稳定的好迹象。

关键启示

微小的变化至关重要： 改变医疗提示词中的几个词，可能会导致 AI 给出完全不同的诊断，即使其含义相同。
训练并非万能护盾： 仅仅因为一个 AI 是基于医学数据训练的，并不意味着它在面对语言变化时会更加可靠。
置信度具有误导性： AI 说它“99% 确定”并不意味着如果你换一种问法，它就不会改变主意。
我们需要更好的测试： 在我们将这些 AI 投入医院之前，我们不仅要测试它们是否能得出正确答案，还要测试它们在语言变化时是否能保持一致性。

简而言之： 这篇论文警告我们，目前的医疗 AI 像是不可靠的翻译官。如果你用“医学英语”与它们交流，它们可能会给出一个答案；如果你用“日常英语”（即使意思一样）与它们交流，它们可能会给出另一个答案。在让它们协助医生治疗患者之前，我们需要解决这种不一致性的问题。

技术摘要：评估临床大语言模型中的语义稳定性

问题陈述

大语言模型（LLMs）正越来越多地部署在临床环境中，用于诊断支持和摘要生成等任务。然而，这些模型对输入提示词中微小的语言变化（如重组、同义词替换或句法重排序）表现出显著的敏感性。在安全至上的医疗环境中，语义等价的输入应当产生一致的预测；然而，经验证据表明，在这些变化下，性能可能会出现 8–50% 的偏差。

评估这种不稳定性的一项主要方法论挑战在于缺乏可靠的语义验证。现有的依赖于基于嵌入的相似度指标（如余弦相似度）的方法往往无法捕捉临床关键的区别，例如否定、时态或严重程度。例如，“患者有胸痛”和“患者否认胸痛”在语义上可能获得很高的相似度得分，尽管它们的临床意义截然相反。如果缺乏严谨的验证来确保提示词变化确实保留了临床含义，就无法区分模型真正的稳定性问题与对改变内容的合理响应。

方法论

作者提出了一个使用经过严格验证的基准测试和三种新颖指标来评估语义稳定性的系统框架。

1. 语义验证框架

为了确保提示词变化保留了临床含义，作者开发了一个多阶段验证流水线：

变体生成： 从 200 个基础提示词（100 个来自 MedQA-USMLE，100 个来自 DiagnosisQA）出发，使用 GPT-4o-mini 为每个提示词生成 10 个保持含义的变体。变体包括缩写展开/压缩、临床语向通俗语言转换、句法重排序以及语态转换。严格限制禁止改变临床事实、否定、时态或严重程度。
基于 NLI 的过滤： 生成的变体通过三个预训练的自然语言推理（NLI）模型进行过滤（PubMedBERT-MNLI-MedNLI、roberta-large-mnli 和 deberta-large-mnli）。只有当变体在至少两个模型中与原始提示词满足双向蕴含（相互蕴含）关系时，才会被保留。
混合人工-LLM 审计： 采用了两轮验证过程：
- 第一轮： NLI 验证后的样本由 LLM-as-a-Judge（使用 GPT-5.2 和 MedLLaMA3）和一名执业临床专家进行审查。
- 第二轮： 被 LLM 评审拒绝的样本由临床专家进行重新评估，以回收那些被自动化程序过于保守过滤掉的有效改写。
- 最终基准包含 1,761 个经过验证的保持含义的变体。

2. 评估指标

研究引入了三个指标来量化模型的敏感性：

含义保持变体敏感性 (MVS)： 导致模型预测输出相对于基础提示词发生变化的已验证变体的比例。
置信度变化 ( $\Delta$ C)： 即使在预测输出保持不变的情况下，模型最大预测概率（置信度）的平均绝对变化。
最差情况不稳定性 (WCI)： 一个针对单个样本的指标，指示是否任何一个经过验证的变体导致模型从正确预测转变为错误预测（或反之亦然）。

3. 实验设置

该框架评估了 16 个开源 LLM（8 个通用型 [GP] 和 8 个领域特定型 [DS]），涵盖了匹配的家族和参数规模（1.5B 到 8 B）。模型在 4-bit NF4 量化下进行测试，并使用半精度推理。预测结果是从 Token 概率中确定性得出的，以将语义敏感性与采样噪声隔离开来。

核心结果

1. 领域专业化并不保证鲁棒性

与“医学微调能确保稳定性”的假设相反，结果显示鲁棒性具有高度的模型依赖性，而非严格的领域依赖性。

表现各异： 若干 DS 模型位列最鲁棒模型之列，但强大的 GP 基准模型（如 LLaMA3.1-8B, Qwen2.5-7B）同样具有竞争力，甚至更强。
无普遍优势： 统计分析（配对排列检验）显示，没有一致的证据表明领域专业化提高了鲁棒性。在某些情况下（例如 MedQwen2.5-7B 在 MedQA 上），DS 模型比其对应的 GP 模型显著更不具鲁棒性。
灾难性遗忘： 一些 DS 模型（如 MediChat-LLaMA3-8B）的表现逊于其对应的 GP 模型，这表明适配策略可能会降低通用的推理能力。

2. 任务难度会放大不稳定性

与 DiagnosisQA 相比，模型在更复杂的 MedQA 数据集上表现出更高的敏感性（更高的 MVS 和 WCI）。这表明随着推理需求的增加，语义稳定性会下降。特定的语言转换，如问题重构和临床语向通俗语言转换，被证明最具破坏性，而浅层编辑（如缩写展开）的影响则微乎其微。

3. 置信度与稳定性之间的对齐关系较弱

置信度 vs. 预测： 预测不稳定性 (MVS) 与置信度变化 ( $\Delta$ C) 之间仅存在微弱的关联。即使在预测发生翻转的情况下，模型也经常保持高置信度。
过度自信： 许多模型在鲁棒性降低或准确率较低时仍表现出过度自信。例如，Qwen2.5-3B 在 MedQA 上的准确率仅为 40%，但报告的置信度却高达 0.90。
校准问题： 模型在 DiagnosisQA 上的置信度与准确率的相关性适中 ( $r=0.41$ )，而在 MedQA 上相关性极弱 ( $r=0.18$ )，这表明置信度分数并不能作为正确性或鲁棒性的可靠代理指标。

4. 量化的影响

研究发现，对于大多数模型而言，4-bit NF4 量化对稳定性指标的影响微乎其微，仅观察到极细微的、取决于数据集的 WCI 变化。

意义与主张

本文认为，仅仅依靠医学微调并不能可靠地保证在自然提示词变化下的稳定行为。 作者提出以下主张：

鲁棒性并非领域专业化的固有属性： 部署经过医学微调的模型并不自动确保语义不变性；鲁棒性更多取决于架构、规模和训练质量，而非仅仅取决于医学数据的存在。
当前的评估方式不足： 标准的基准测试准确率是衡量临床就绪度的不充分指标。模型在静态提示词上可能表现出色，但在面对微小的、保持含义的重组时可能会发生灾难性失败。
置信度具有误导性： 高模型置信度不应被解释为稳定性或正确性的信号，因为即使在输出脆弱的情况下，模型仍会表达强烈的确定性。
需要显式的鲁棒性评估： 在临床部署之前，LLM 必须接受使用基于原则的语义方法（如 NLI）验证的、保持含义的变体进行的显式鲁棒性评估，而非简单的相似度指标。

研究结论指出，语义稳定性应被视为医疗 AI 的核心要求，这需要从单一提示词的准确性评估转向系统的敏感性分析。