💬 NLP

A Computational Audit of Demographic Association Encoding in ClinicalBERT Language Predictions

本文对 ClinicalBERT 进行了一项计算审计，揭示了该模型中的表示偏差主要通过内部对人口统计学关联的放大而非仅仅是对训练数据的简单继承来运作，这可以通过模型预测与不同种族和性别类别下的经验语料库频率之间的系统性偏差得到证实。

原作者： Kehinde Temitayo Soetan

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kehinde Temitayo Soetan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一位名叫 ClinicalBERT 的高水平医学实习生。这位实习生并非通过教科书或真实患者学习，而是通过阅读数百万页的旧医院病历（具体来自 MIMIC-III 数据库）来学习医生的写作方式和思维方式。本研究的目标是检查这位实习生是否从这些笔记中习得了任何不良习惯或不公平的刻板印象。

作者 Kehinde Temitayo Soetan 扮演着一名数字侦探的角色，进行审计。他们并不是要求实习生进行诊断；相反，他们正在玩一场“填空游戏”，以观察当提到不同类型的患者时，实习生会预期看到哪些词汇。

以下是这项调查的工作原理，通过简单的概念进行分解：

1. “填空”测试

研究人员从医院笔记中提取了 98 个真实的句子，并在每个句子中隐藏了一个特定的词。

设置： 他们取了一个句子，如：“[人口统计特征] 患者在护士试图移动他们时变得 [掩码/隐藏词]。”
变量： 他们将人口统计特征的位置替换为不同的身份：“白人男性”、“黑人男性”、“黑人女性”、“拉丁裔女性”等。
问题： 当模型看到“黑人女性患者”时，它是否会认为隐藏的词是“烦躁”、“困惑”或“拒绝”，相比于看到“白人男性患者”时的情况？

2. 两种主要的工具

侦探使用了两把不同的放大镜来寻找偏见：

“行为与态度”透镜 (LPBA)： 这用于检查描述患者行为（如烦躁或困惑）或他们对医生态度（如拒绝或配合）的词汇。
“谁在掌控？”透镜 (MLM)： 这用于检查显示谁在做决策的词汇。患者是请求了某事（主动）？是拒绝了某事（主动）？还是仅仅表现出某种状态（被动）？

3. 大惊喜：模型正在“放大”偏见

通常，当我们担心 AI 偏见时，我们认为它只是在复制训练数据中的内容。如果训练数据有 10% 的偏见，我们预期 AI 也会有 10% 的偏见。

这项研究发现了不同的情况。
研究人员将 AI 的猜测与训练笔记中实际的词频进行了对比。

发现： 在 65.6% 的 AI 显示出强烈偏见的案例中，偏见的方向与实际数据的方向相反。
类比： 想象一个图书馆，其中关于“黑人患者”的书籍使用“烦躁”一词的频率与关于“白人患者”的书籍一样高。然而，当 AI 被要求为黑人患者预测下一个词时，它突然认为“烦躁”出现的可能性比实际情况要高得多。
结论： AI 不仅仅是在重复图书馆的历史；它是在发明并夸大那些甚至不存在于原始资料中的刻板印象。这就像一个学生在读完一本历史书后，开始讲述比书本本身更具戏剧性和偏见的故事。

4. “放大”现象的具体实例

论文强调了一些非常具体且令人不安的模式：

“黑人患者”悖论：
- 在数据中： 在真实的记录中，黑人患者使用“拒绝”和“请求”这类词汇的频率实际上比白人患者更高。
- 在 AI 中： 模型预测黑人患者更不太可能拒绝或请求事物。它有效地抹杀了他们的声音和自主权，使他们在记录中显得更加被动。
“黑人女性”的双重打击：
- 当研究人员专门观察黑人女性时，AI 使她们看起来更不太可能成为主动的决策者（既不配合也不抵抗），并且更像是医疗护理的被动对象。这是一种只有在同时观察种族和性别时才会出现的特定偏见，而不仅仅是看种族本身。
“烦躁”的切换：
- AI 较不容易认为黑人患者是“烦躁”的（尽管数据显示他们同样容易出现这种情况），但它却更倾向于认为拉丁裔或亚洲男性患者是“烦躁”的。这表明 AI 不仅仅是泛泛地“种族歧视”；它正针对不同的群体应用着非常具体的、不同的刻板印象。

5. 这意味着什么（根据论文）

论文得出结论，仅仅通过“清理数据”（重新平衡训练笔记）来解决这个问题可能行不通。

隐喻： 如果问题只是镜子脏了，那么擦干净镜子就能修复反射出的像。但本文表明，问题在于玻璃本身。AI 在其“大脑”内部构建了一个结构，会自动扭曲图像，无论它看到的是什么。
核心观点： 偏见是模型生成的，而不只是数据继承的。AI 正在主动创造新的、不公平的关联，这些关联超出了它所学到的内容。

总结

这篇论文是对一种特定类型医疗 AI 的警告标签。它表明，即使是在真实的医院记录上进行训练，AI 也会形成一种“人格”，从而对患者产生不公平的刻板印象——具体表现为使黑人患者看起来比记录中显示的更缺乏主动性，并对拉丁裔和亚洲患者应用不同的负面刻板印象。AI 不仅仅是在重复过去；它正在放大其中的最坏部分。

技术摘要：临床 ClinicalBERT 语言预测中人口统计学关联编码的计算审计

问题陈述
尽管基于 Transformer 的临床语言模型（如 ClinicalBERT）正越来越多地被集成到高风险决策支持流程中，但其中编码的人口统计学关联如何传播至模型概率分布的计算机制在实证研究中仍不明确。现有的临床自然语言处理（NLP）算法偏见文献主要关注结果层面的差异（例如，低估黑人患者的医疗需求），而非编码人口统计学关联的内部表示结构。此外，目前尚不清楚观察到的模型输出偏差仅仅是继承自训练数据分布，还是由模型的内部处理过程所放大的。本研究旨在解决统计差异（数据中的差异）与偏见放大（模型生成的偏离数据现象）之间的鸿沟，并将其置于“表示性伤害”（representational harm）的背景下进行探讨——该术语定义为通过对社会群体的符号化描绘和分类而造成的损害。

方法论
本研究对 ClinicalBERT（Alsentzer et al., 2019）进行了系统的计算审计，该模型是在 MIMIC-III 出院小结上进行预训练的 BERT 模型。审计采用了两种互补的探测方法，应用于直接从 MIMIC-III 语料库中提取的 98 个真实临床句子模板，以确保生态效度。这些模板在八种交叉性种族-性别组合（白人男性、黑人男性、黑人女性、拉丁裔男性、拉丁裔女性、亚洲男性、亚洲女性、白人女性）中进行实例化，其中白人男性作为参考组（ $D_0$ ）。

对数概率偏差分析 (LPBA)： 该方法量化了人口统计学描述符引起的掩码标记概率分布在行为（ $\beta$ ）和评价（ $E$ ）语义类别中的偏移。它计算了在相同句子语境下，目标人口统计学组（ $D_i$ ）与参考组（ $D_0$ ）之间的对数概率差。
基于掩码语言模型（MLM）的分析： 该方法探测用于代理归因（ $\alpha$ ）编码的内部表示结构。与 LPBA 不同，MLM 基于原始掩码标记概率运行，以评估表示主动抵抗、主动合作和被动接受临床行动术语的绝对概率分配。
语料库频率分析： 为了区分统计差异与偏见放大，本研究将模型概率输出（ $P_M$ ）与 MIMIC-III 训练语料库中的经验术语频率（ $f_C$ ）进行基准对比。如果模型概率偏移的方向与语料库频率偏移的方向相反（即 $\text{sign}(\Delta S) \neq \text{sign}(\Delta C)$ ），则该发现被归类为偏见放大（模型生成的）。

统计显著性通过配对 t 检验（ $p < 0.05$ ）结合 Benjamini–Hochberg 错误发现率校正进行确定。

关键结果
审计在行为语言、评价框架和代理归因方面识别出 32 项具有统计学意义的模型发现。核心发现揭示了一种普遍的模式，即模型内部的放大作用而非数据继承：

总体矛盾率： 65.6%（21/32）的显著发现与观察到的语料库分布相矛盾。
人口统计学特异性： 矛盾率在黑人患者中最高，达到 80.0%（12/15）。
代理归因： 基于 MLM 的分析显示，矛盾率最高，达 87.5%（7/8），表明关于患者代理能力的偏差几乎完全是由模型生成的。
特定语言机制：
- 行为语言： 模型系统性地抑制了黑人患者（不分性别）出现“激动”（agitated）一词的概率，同时放大了拉丁裔和亚洲男性患者的该项概率，尽管在白人和黑人患者之间，“激动”的语料库频率接近相等。
- 评价框架： 模型抑制了多个人口统计学群体中“拒绝”（refused）一词的概率，包括黑人和拉丁裔患者，尽管在语料库中，“拒绝”在黑人患者记录中的出现频率几乎是白人患者的两倍（15.38 对比 7.75 每 10,000 个标记）。
- 代理归因： 与白人男性相比，黑人患者被分配了显著较低的主动合作术语（“请求”、“同意”）和主动抵抗术语（“拒绝”）的概率。相反，黑人女性更容易被编码为被动接受者（“表现为/呈现为”）。这种交叉性的模式——即同时抑制主动代理能力并放大黑人女性的被动性——在仅进行种族层面的分析时是无法察觉的。

意义与主张
本文声称提供了临床 NLP 领域内首个直接的经验证据，证明一种广泛部署的临床语言模型放大了超出其训练语料库范畴的人口统计学关联。本研究使“统计差异”与“偏见放大”的区别具有了可操作性，证明了 ClinicalBERT 中的表示性偏见是一种模型的结构性属性，而非仅仅是训练数据失衡的简单反映。

作者认为，这些发现对偏见审计和临床 AI 治理具有直接影响。具体而言，结果表明，仅仅重新平衡训练数据或应用训练后对齐程序可能是不够的，因为所识别的偏差主要由模型的内部表示结构所生成。研究主张进行跨人口统计学交叉组合的持续审计，并将行为特征化、评价框架和代理归因视为具体的审计目标。所提出的探测框架被呈现为一种用于评估临床 AI 中表示性伤害的可复制方法论。

1. “填空”测试

2. 两种主要的工具

3. 大惊喜：模型正在“放大”偏见

4. “放大”现象的具体实例

5. 这意味着什么（根据论文）

总结

类似论文