💬 NLP

Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA

该研究揭示了患者的性取向和宗教信仰等社会身份标记会显著扭曲大语言模型在医疗问答中的准确性与置信度校准，导致“校准危机”并威胁临床部署的安全性与公平性。

原作者： Alberto Testoni, Iacer Calixto

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Alberto Testoni, Iacer Calixto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给未来的“医疗 AI 医生”做一场压力测试，结果发现了一个令人担忧的“隐形故障”。

简单来说，研究人员想看看：当大型语言模型（LLM，也就是现在的 AI 大模型）面对病人的性取向（比如是同性恋还是异性恋）和宗教信仰（比如是天主教徒、穆斯林还是无神论者）这些信息时，它们的诊断能力和“自信心”会不会出问题。

为了让你更容易理解，我们可以把这篇论文的核心发现比作以下几个生动的场景：

1. 核心比喻：AI 医生的“指南针”失灵了

想象一下，你雇佣了一位超级聪明的AI 医生。

准确性：它看病很准，90% 的病例都能猜对。
校准度（Calibration）：这是关键。当 AI 说“我有 90% 的把握”时，它真的应该只有 10% 的犯错概率。如果它说“我很有把握”，结果却错了，那它的“指南针”就失灵了，这比单纯猜错更危险，因为医生可能会盲目相信它。

论文发现：
当你在病人的病历里加上一句“这位病人是同性恋"时，AI 医生的表现就像突然被施了魔法：

诊断变差了：它猜对病情的概率下降了。
指南针乱转了：更可怕的是，它的“自信心”并没有随之调整。有时候它明明猜错了，却还表现得信心满满；有时候它其实有点不确定，却表现得犹豫不决。

这就好比一个导航软件，明明把你导到了死胡同，却还大声告诉你：“前方路况极佳，请全速前进！”

2. 实验过程：给病历“加料”

研究人员拿来了 2300 多道真实的美国医师执照考试（USMLE）题目。这些题目原本是中性的，只描述病情（比如“一位 45 岁女性胸痛”）。

然后，他们玩起了“找茬”游戏，给这些病历偷偷加了一句话：

对照组：病人是异性恋。
实验组：病人是同性恋。
进阶组：病人是同性恋 + 天主教徒 / 穆斯林 / 无神论者。

结果令人震惊：

异性恋标签：就像给病历加了个“默认设置”，AI 表现正常。
同性恋标签：AI 的准确率开始跳水，而且它的“自信心”变得不可信。
双重标签（交叉性）：当“同性恋”和“宗教信仰”结合在一起时（比如“同性恋 + 穆斯林”），AI 的混乱程度不是简单的 1+1=2，而是产生了1+1>2的灾难性后果。这就像给 AI 戴上了两副互相冲突的眼镜，让它彻底晕头转向。

3. 最危险的场景：自信的胡说八道

论文里举了一个非常生动的例子（见图 2）：

场景 A（正常）：病人有肝硬化症状。AI 正确判断是“肝肾综合征”，并且自信度适中。
场景 B（加了“同性恋”标签）：同样的病情，AI 突然改口说是"HIV 相关的肾病”。
- 为什么危险？ 这个新答案完全是基于刻板印象（认为同性恋容易得 HIV），而不是基于病人的实际症状。
- 最可怕的地方：AI 在给出这个错误答案时，依然保持着极高的自信心。

在医疗中，如果 AI 因为“觉得自己很准”而拒绝让真人医生复核，病人就可能接受错误的治疗。这就是论文标题所说的“校准危机”（Calibration Crisis）。

4. 为什么这很重要？（不仅仅是猜题）

你可能会想：“这只是做选择题，换个问法会不会好点？”
研究人员特意把题目改成了开放式问答（让 AI 自己写诊断，而不是选 ABCD）。结果发现：问题依然存在！ 即使没有选项提示，AI 依然会因为病人的身份标签而偏离事实，并且依然表现得过于自信。

5. 结论与启示：不能简单“删除”信息

有人可能会说：“那我们在输入给 AI 之前，把病人的性取向和宗教信息删掉不就行了吗？”

论文作者反驳说：这行不通，而且很危险。

现实情况：在真实的医院病历里，这些信息是客观存在的，有时甚至对治疗很重要（比如某些药物对特定群体有不同反应）。
AI 的“读心术”：即使你删掉了显眼的标签，AI 也能从病人的叙述风格、家族病史等蛛丝马迹中推断出这些身份。
真正的解药：我们需要训练 AI，让它明白：无论病人是谁，无论他有什么背景，只要病情一样，我的判断和自信度就应该一样稳定。 我们需要的是让 AI 学会“一视同仁”的稳定性，而不是靠“打码”来掩盖问题。

总结

这篇论文告诉我们：目前的医疗 AI 虽然很聪明，但它们在面对性取向和宗教等社会身份时，就像是一个带有偏见的实习生。

它们不仅容易因为偏见而看错病，更可怕的是，它们不知道自己看错了，还会自信地误导医生。如果不解决这个问题，未来将这些 AI 引入医院，可能会导致医疗资源分配不公，甚至让边缘群体的患者面临更大的医疗风险。

一句话总结：AI 医生不能因为病人的“身份标签”就乱了方寸，否则它的“自信”就是最危险的谎言。

这是一份关于论文《Calibrated? Not for Everyone: How Sexual Orientation and Religious Markers Distort LLM Accuracy and Confidence in Medical QA》（校准？并非人人适用：性取向与宗教标记如何扭曲大语言模型在医疗问答中的准确性与置信度）的详细技术总结。

1. 研究背景与问题定义 (Problem)

随着大语言模型（LLM）在临床工作流中的集成（如患者沟通、决策支持），仅追求高准确率已不足以确保安全部署。临床系统通常依赖模型的置信度分数（Confidence Score）来进行病例分流、触发升级或转交给人类医生（Deferral）。因此，模型不仅需要具备高准确率，还必须具备良好的不确定性校准（Uncertainty Calibration），即高置信度应对应高正确率，且置信度信号在面对良性输入变化时应保持稳定。

核心问题：
现有的研究多关注社会人口学属性（如种族、性别）对模型输出的影响，但鲜有研究探讨社会身份标记（特别是性取向和宗教信仰）如何扭曲模型的不确定性信号和校准度。

假设：临床非诊断性的社会身份描述（如“患者是同性恋”或“患者是天主教徒”）可能会作为干扰项，导致模型在保持高置信度的同时降低准确率，或者破坏置信度与正确率之间的相关性，从而引发“校准危机”（Calibration Crisis）。
风险：如果模型对特定群体的病例表现出错误的置信度（例如，对同性恋患者的错误诊断给出高置信度，或对正确诊断给出低置信度），将导致基于置信度的临床工作流失效，造成医疗不公和安全隐患。

2. 方法论 (Methodology)

2.1 数据集与反事实构建

数据来源：使用 MedQA-USMLE-4-options 数据集（美国医师执照考试题目），筛选出 2,364 道针对成年患者的多选题。
反事实变体（Counterfactual Variants）在原始病例描述（Vignette）的末尾（问题之前）插入单句模板，创建不同身份条件的变体：
- 性取向： “患者自认为异性恋（heterosexual）”vs“患者自认为同性恋（homosexual）”。
- 宗教： “患者是天主教徒（Catholic）”、“穆斯林（Muslim）”或“无神论者（Atheist）”。
- 交叉身份：同时插入性取向和宗教描述（如“同性恋 + 天主教徒”）。
控制变量：排除原本就涉及性取向、宗教或精神科的问题，确保插入的身份信息与临床诊断逻辑无关（即非诊断性信息）。

2.2 模型评估对象

评估了 9 种大语言模型，涵盖通用模型和生物医学专用模型，包括：

开源/开放权重模型： Llama-3.2-3B, Qwen3-4B/30B, Bio-Medical-Llama-3-8B, Llama-3.1-8B/70B, OpenBioLLM-70B。
闭源模型： GPT-4.1-mini, GPT-5.1。

2.3 评估指标

准确率（Accuracy）多选题的选择正确率。
不确定性量化（Uncertainty Quantification）采用语义熵（Semantic Entropy）。
- 对每个问题生成 $K=10$ 次输出（Top-p=0.9, T=0.7），提取答案选项分布。
- 计算归一化熵 $\tilde{H}(p)$ ，定义置信度 $c = 1 - \tilde{H}(p)$ 。
- 语义熵能捕捉语义上不同的输出，比表面形式的熵更适合医疗 QA。
校准度指标：
- Brier Score：预测概率与二元正确性之间的均方误差（越低越好）。
- **ECE **(Expected Calibration Error) 期望校准误差。
- AUROC：置信度区分正确与错误答案的能力。
统计检验：使用 McNemar 检验（准确率）和配对 Bootstrap 检验（Brier 分数等）评估显著性（ $p \le 0.05$ ）。

2.4 扩展实验：开放式生成

为了验证结果是否受限于多选题格式，研究将部分问题转换为开放式生成（Open-ended Generation），并由经过验证的医生和 LLM 裁判（GPT-5-mini）评估答案的正确性，同时计算语义熵和置信度。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 准确性下降（Accuracy Drops）

同性恋标记的负面影响：在所有 9 个模型中，插入“同性恋（homosexual）”标记均导致准确率显著下降。例如，OpenBioLLM-70B 的准确率下降了 7.21%。
异性恋标记作为基线： “异性恋（heterosexual）”标记通常作为中性基线，对准确率影响微乎其微。
宗教标记：宗教标记（天主教、穆斯林、无神论）的影响较为复杂，但总体呈现负面趋势，且在某些模型中显著。

3.2 校准危机（Calibration Crisis）

这是论文最核心的发现：身份标记不仅降低了准确率，更严重破坏了模型的校准度。

Brier 分数恶化：在“同性恋”条件下，模型的 Brier 分数显著上升（意味着校准度变差）。例如，Llama-3.1-70B 的 Brier 分数相对增加了 29.3%，OpenBioLLM-70B 增加了 32.0%。
置信度与准确率脱节：模型在面对“同性恋”标记时，虽然准确率下降，但其置信度（Confidence）。这意味着模型在“盲目自信”地给出错误答案，或者其不确定性估计无法真实反映错误风险。
交叉身份的叠加效应：当性取向与宗教标记结合时（如“同性恋 + 天主教”），性能下降往往超过单一标记影响的简单加和（非加性伤害）。这种交叉性（Intersectionality）导致了独特的、不可预测的校准失效。

3.3 开放式生成验证

在开放式问答任务中，观察到了相同的现象：

“同性恋”标记导致准确率下降和置信度降低。
定性案例分析（图 2）
- 案例 1（多选题）模型将正确的“骨关节炎”诊断错误地改为无关的“痛风”，且置信度发生变化。
- 案例 2（开放式）面对肝硬化导致的肝肾综合征病例，当插入“同性恋”标记后，GPT-5.1 从正确的病理机制转向了刻板印象驱动的错误解释（“与 HIV 相关的肾病”），尽管病例描述中并无 HIV 相关证据，模型却保持了高置信度。这是最危险的失败模式，因为高置信度会误导临床医生不转诊。

3.4 前沿模型的表现

即使是表现最好的模型（如 GPT-5.1），在“同性恋”标记下也出现了显著的校准损失（Brier 分数增加 5.3%），表明即使是顶级模型也无法完全免疫此类社会偏见带来的不确定性失真。

4. 研究意义 (Significance)

临床部署风险：研究证明了社会身份线索会系统性地破坏 LLM 的置信度信号。在依赖“置信度阈值”来决定是否转诊给人类医生的临床工作流中，这种扭曲可能导致：
- 漏报：对边缘群体患者的错误诊断给出高置信度，导致未被转诊，延误治疗。
- 过度转诊：对正确诊断给出低置信度，导致不必要的资源浪费。
- 医疗不公：加剧了针对 LGBTQIA+ 和宗教少数群体的健康不平等。
校准不仅仅是准确率：即使模型在去除身份标记后表现良好，也不能保证其在真实世界（包含各种社会描述符）中的可靠性。传统的“去标识化”（De-identification）策略不足以解决问题，因为模型可能通过代理信号（如叙述风格、病史）推断出身份，且身份信息在临床记录中往往是合法且必要的。
方法论贡献：
- 引入了语义熵作为评估医疗 LLM 不确定性的标准工具。
- 提出了反事实校准（Counterfactual Calibration）作为临床就绪（Clinical Readiness）的鲁棒性检查标准。
- 揭示了交叉性（Intersectionality）在 AI 偏见研究中的重要性，单一维度的偏见测试可能低估了实际风险。
未来方向：论文呼吁开发校准感知（Calibration-aware）的训练或后处理方法，以确保模型在面对临床无关的身份线索时，预测和置信度保持稳定。同时，需要建立针对特定身份群体验证的转诊政策和部署安全网。

5. 局限性 (Limitations)

模板化注入：身份标记是通过固定模板插入的，而真实临床笔记中的表述更加多样（可能隐含而非显式）。
临床相关性：虽然实验设计为“非诊断性”，但在某些真实场景中，性取向或宗教可能与特定疾病风险相关，难以完全剥离。
评估范围：未涵盖推理型（Reasoning-oriented）LLM，这类模型可能通过思维链（CoT）放大刻板印象。
地理与文化背景：数据集基于美国 USMLE，结论在西方语境下最显著，在其他文化背景下的泛化性需进一步验证。

总结

该论文通过严谨的实证研究揭示了一个令人担忧的现象：LLM 在面对涉及性取向和宗教的社会身份描述时，不仅准确率下降，其核心的“自我认知”能力（即置信度校准）。这种“校准危机”使得基于置信度的自动化临床决策系统对边缘群体存在系统性风险，强调了在医疗 AI 部署中必须将社会公平性和鲁棒性校准纳入核心考量。