🤖 machine learning

Just how sure are you? Improving Verbalized Uncertainty Calibration in Medical VQA

本文提出了一种新颖的基于训练的框架，该框架通过采用包含图文对齐和正则化项的复合损失函数，增强了医学视觉问答中的言语化不确定性校准，在保持预测准确性的同时，在多个基准测试和架构上显著降低了校准误差并提升了判别能力。

原作者： Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Eren Senoglu, Federico Toschi, Nicolo Brunello, Andrea Sassella, Mark James Carman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

问题所在：“过度自信的学生”

想象一下，一名正在参加高难度考试的医学 AI 学生。有时，这个学生对答案了如指掌；而有时，他们完全是在瞎猜。

问题在于，这个学生总是表现得好像自己 100% 确定一样，即使他们只是在瞎猜。如果他们答错了，他们仍然会说：“我绝对确定这是正确答案！”

在真实的医院环境中，这是非常危险的。医生需要知道什么时候该信任 AI，什么时候该进行人工复核。如果 AI 过度自信，医生可能会跳过自己的验证步骤，从而导致错误。

目前的各种方法试图教会 AI 说“我不确定”，但这些方法大多只适用于纯文本模型。它们没有意识到，医学 AI 还需要通过观察图像（如 X 光片）才能做出正确的判断。

解决方案：一个特殊的训练营

研究人员构建了一种新的训练方法来解决这种“过度自信”的问题。你可以把它想象成一个特殊的训练营，在这里，他们教会 AI 如何准确地判断自己的知识水平。

他们使用了三种主要工具来训练这个 AI：

1. “蒙眼与乱序”测试（因子扰动法）

为了教会 AI 到底掌握了多少知识，研究人员为每个问题设计了一个包含四种不同情景的游戏：

情景 A： 展示 X 光片和正常的题目。（真实的测试）。
情景 B： 只展示题目，但遮住 X 光片。（AI 还能猜对吗？如果在这里它依然说“我很确定”，说明它只是根据文本在瞎猜，而不是在看图）。
情景 C： 展示 X 光片，但打乱选项顺序。（如果线索被混淆了，AI 还能找到正确答案吗？）。
情景 D： 同时遮住 X 光片且打乱选项。

通过对比 AI 在这四种情况下的表现，研究人员可以精确地看出 AI 究竟是在依赖图像，还是仅仅在根据文本进行猜测。如果移除图像后 AI 的信心下降了，这是一个好迹象——这意味着它确实在观察图片！

2. “平衡计分卡”（复合损失函数）

研究人员为 AI 提供了一套特殊的评分系统（数学公式），其中包含四个部分，以确保它养成正确的习惯：

真相检查（Brier Loss）： 如果 AI 说“有 90% 的把握”，那么它在 90% 的情况下应该是正确的。这部分功能在于惩罚那些信心与现实不符的 AI。
“不要恐慌”规则（锚定正则化项）： 有时，AI 模型会变得胆小或走极端（对所有问题都说“0% 确定”或“100% 确定”）。这个规则就像一个安全网，让 AI 的信心保持在中等水平（50% 左右），除非有强有力的证据促使其发生偏移。
“因果关系”课程（对齐损失）： 这教会了 AI：如果你拿走了图像（情景 B），它的信心应该随之下降。如果图像至关重要，其信心水平应该反映出这一点。它将“输入的改变”与“信心的改变”联系了起来。
“不要忘记职责”规则（KL 散度）： 在教会 AI 对自己的信心保持谦逊的同时，我们不希望它忘记如何回答问题。这部分起到了“系绳”的作用，确保 AI 不会因为过于专注于表达“我不确定”而停止给出正确答案。

结果：一位更诚实的医生

研究人员在三个不同的医学考试数据集和两个不同的 AI 模型上测试了这种新的训练方法。结果如下：

减少了过度自信： AI 变得更擅长承认自己不知道答案。它降低了“校准误差”（即它所言与事实之间的差距）达 60% 或更多。
判断力提升： AI 在区分“能答对的问题”和“不能答对的问题”方面表现得更好（区分能力提升了 26% 或更多）。
依然聪明： 至关重要的是，AI 并没有因此变“笨”。它回答问题的正确率与之前持平。它只是变得能够诚实地表达自己有多么确定。
击败竞争对手： 这种方法比其他流行的技巧更有效，例如让 AI 把同一个问题回答十次并取平均值（这种方法太慢），或者仅仅是礼貌地要求 AI 诚实（这种方法效果并不理想）。

局限性（不足之处）

论文也坦诚地说明了该方法在哪些地方存在困难：

“不可能”的问题： 在最难的医学问题上（即便是人类也难以应对的问题），AI 仍然无法区分正确答案和错误答案。如果问题太难，AI 的信心就会变成随机的噪声。
仅限于多选题： 这种训练之所以有效，是因为 AI 是从给定的选项列表中进行选择。目前尚未在 AI 需要撰写长篇自由回答的开放式问题上进行测试。

总结

简而言之，研究人员教会了医学 AI 模型停止“吹牛”。通过使用巧妙的“蒙眼与乱序”训练游戏，他们教会了 AI 说：“因为我看到了图像，所以我很有信心，”或者“因为图像缺失，所以我不确定。”这使得 AI 成为医生更可靠的伙伴，医生现在可以根据 AI 的信心水平来决定何时需要进行人工复核。

技术摘要：提升医学视觉问答中的言语化不确定性校准

问题陈述
应用于医学视觉问答（VQA）的多模态大语言模型（MLLM）经常表现出过度自信，即无论实际正确与否都会生成高置信度的输出。这种缺乏校准自我评估能力的现象限制了它们在临床环境中的可靠性，因为在这些场景下，临床医生必须手动验证推理过程，而无法依赖模型的信任度。现有的言语化置信度校зь方法主要针对纯文本 LLM 设计，未能考虑到医学图像理解的多模态特性。此外，当前的方法通常基于单一输入条件进行训练，未能教会模型当视觉证据或文本完整性受到干扰时，其置信度应如何发生偏移。

方法论
作者提出了一个基于训练的框架，通过微调 MLLM 以产生更好的校准言语化置信度分数。该方法依赖于三个核心组件：

2 × 2 析因扰动设计：
为了教会模型将置信度建立在证据利用之上，作者引入了一种交叉两个维度的扰动方案：
- 图像可用性： 原始图像 vs. 被遮黑的图像（在不通过噪声扭曲特征的情况下移除视觉证据）。
- 文本完整性： 原始选项 vs. 扰动后的选项（通过打乱顺序并将干扰项替换为来自相似问题的选项，以破坏记忆模式）。
  这为每个问题产生了四种条件。模型针对每种条件生成多个响应（ $G=10$ ），以计算分数准确率，该准确率作为校准的目标真值。
复合校准损失函数：
该框架优化了一个由四个项组成的复合损失：
- Brier 损失： 驱动预测的置信度分布向扰动条件下得到的经验分数准确率靠拢。
- 锚点正则项（Anchor Regularizer）： 通过惩罚不确定样本偏离中点（ $c_{mid} = 0.5$ ）的行为，防止模型坍缩到极端置信度值（0 或 1）。这作为一个保守的先验，要求强有力的证据才能使置信度偏离最大不确定性。
- 对齐损失（Alignment Loss）： 一个对比项，确保不同扰动条件下的置信度变化能够追踪相应的经验准确率变化。这迫使模型根据特定证据源（视觉 vs. 文本）的信息贡献来调整其置信度。
- Top-k KL 散度正则项： 应用于答案标记位置（排除置信度标记）相对于冻结的基础模型的差异。这在微调过程中保留了模型的原始回答能力和指令遵循能力，防止准确率崩溃。
训练目标：
总损失是这些组件的加权和。模型使用 LoRA 适配器进行微调，生成推理轨迹、答案以及一个言语化置信度标记（在归一化到 [0, 1] 的离散整数尺度上），采用“先回答、后置信度”的顺序。

核心贡献

首个基于训练的医学 VQA 校准方法： 不同于以往局限于纯文本模型或基于提示工程的方法，这是第一个专门应用于多模态医学模型的基于训练的校准方法。
证据感知扰动： 新颖的 2 × 2 析因设计明确探测并教会模型区分对视觉证据与语言先验的依赖。
复合损失架构： 集成了 Brier 校准、锚点正则项、对比对齐和 KL 正则项，构建了一个鲁棒的训练信号，在不牺牲预测准确性的同时，同时提高了校准度和判别力。

结果
该方法在三个涵盖高、中、低准确率阶段的医学 VQA 基准测试（OmniMedVQA, PMC-VQA, MedXpertQA）上进行了评估，使用了两种架构（MedGemma-4B-IT 和 Qwen2-VL-7B-Instruct）。

校准与判别： 与包括基于提示的方法（Top-K Sampling, SteerConf）和基于训练的方法（ConfTuner）在内的基线相比，所提方法降低了 60% 或更多的校准误差（ECE），并提升了 26% 或更多的判别力（AUROC）。
鲁棒性： 该方法在不同的难度阶段保持了稳定的性能，而基线 ECE 随着任务难度的增加而显著恶化。
准确率保持： Top-k KL 正则项成功保留了预测准确率，分布外（OOD）准确率的变化保持在 ±0.8 个百分点以内。
消融实验： 移除对齐项会导致 AUROC（判别力）大幅下降，而移除 KL 正则项会导致显著的准确率崩溃以及指令遵循能力的丧失（例如，无法以正确的格式输出置信度）。

意义与主张
论文声称，通过针对性的微调，MLLM 可以学习有意义的言语化置信度，这种微调明确模拟了证据来源与预测正确性之间的关系。作者断言，他们的方法实现了校准（所述置信度与经验正确性匹配）和判别（正确预测获得更高置信度）的同步提升，而这在以往的研究中通常是一种权衡关系。

作者对局限性保持了审慎的态度：

判别力限制： 在最具挑战性的基准测试（MedXpertQA，基础准确率约为 20%）上，没有任何方法实现了有意义的判别，这表明对于需要复杂多步临床推理的任务，言语化置信度目前尚无法区分正确与错误预测。
范围： 本工作限于多选题 VQA 和小规模模型（4B 和 7B 参数）。作者指出，将这些增益扩展到开放式 VQA 和更大规模的模型仍是一个开放性问题。
临床部署： 虽然该方法提高了可靠性，但作者强调，校准后的置信度旨在支持而非取代人类判断，在临床实际部署前需要进一步的验证。