Integrating Group and Individual Fairness Auditing in Clinical AI: A Post-Hoc, Model-Agnostic Approach

本文介绍了 EquiLense，这是一种实用、事后且与模型无关的审计工具，它通过利用一种名为“平均预测概率差异”（MPPD）的新颖指标来识别不同人口群体间的系统性预测不一致性，从而弥合临床人工智能中群体公平性与个体公平性评估之间的鸿沟。

要点

想象一下，你拥有一位非常智能的自动化助手，它能帮助医生预测患者术后的恢复情况。这位助手总体上工作出色，但总有一个挥之不去的担忧：它是否公平地对待了每个人？

有时，这些助手可能会以两种不同的方式表现出不公：

1. 群体不公：它持续地为某一整个人群（如特定种族或性别）给出比另一群体更差的预测。
2. 个体不公：它仅仅因为两名患者属于不同群体，就对他们采取不同的对待方式，尽管他们在医学上是完全相同的（年龄相同、健康状况相同、手术相同）。

问题在于，大多数用于检查公平性的工具只关注其中一个角度。它们可能会检查 A 群体是否比 B 群体获得更差的评分，却忽略了两个具体且完全相同的治疗对象受到了不同对待的事实；或者，它们检查相同患者是否受到同等对待，却忽略了整个群体遭受系统性偏见这一更大的图景。

登场：“均衡透镜”（EquiLense）：公平之镜

本文的作者们开发了一种新工具，名为EquiLense。你可以把它想象成一副“公平之镜”，医生或开发者可以在 AI 模型已经构建并运行之后戴上它。你无需重建引擎，只需透过这副眼镜，就能看清真实情况。

EquiLense 通过以下三项主要功能提供全面的图景：

1. 群体检查：它从宏观角度审视，查看某些人口统计群体是否系统性地获得了比其他群体更差的预测。
2. 个体检查：它找出医学上的“双胞胎”患者（年龄相同、病史相同），并检查 AI 是否给予他们相同的预测。如果 AI 仅仅因为种族或保险类型不同，就给其中一人“高风险”评分，而给另一人“低风险”评分，这就是一个危险信号。
3. “平均预测概率差”（MPPD）：这是本文的独门秘籍。它是一种衡量那些“医学双胞胎”之间差距的新方法。

这里有一个关于 MPPD 的简单类比：
想象你是一位法官，正在对两名犯下完全相同罪行、拥有完全相同背景的人进行量刑。

• 公平：两人都被判 5 年。
• 不公：一人被判 5 年，另一人仅因来自不同社区而被判 10 年。

MPPD 就像一把尺子，精确测量在整个法庭范围内，第二个人比第一个人多获得了多少刑期（平均值）。它将那些本应受到同等对待的人之间的“不公差距”量化。

他们发现了什么？

研究团队在涉及 59,000 多名手术患者的真实医院数据上测试了 EquiLense。他们考察了预测两种情况的模型：谵妄（术后意识模糊）和再入院（30 天内再次住院）。

• 令人惊讶的发现：AI 模型在整体预测结果方面实际上相当出色（它们是准确的）。然而，当他们戴上 EquiLense 这副眼镜时，发现模型仍然根据种族对“医学双胞胎”给予不同的对待。
• 具体案例：对于在医学上与白人患者完全相同的患者，亚裔患者获得的预测存在系统性差异（且更不公平）。他们评分之间的“差距”是可测量且显著的。
• 修复测试：他们进行了一项简单的实验：要求 AI 在做出预测时忽略种族和保险类型。当他们这样做时，“不公差距”（即 MPPD 分数）显著缩小。这表明，仅仅从模型的“大脑”中移除这些特定数据点，就能让模型更平等地对待相似患者，而不会降低模型的工作能力。

这对其他问题有效吗？

为了确保他们的新尺子（MPPD）确实有效，他们在两个已知的存在偏见的著名非医学数据集上进行了测试：

1. COMPAS：一种用于预测罪犯是否会再次犯罪的工具。（我们已知该工具历史上对黑人被告存在偏见）。
2. UCI 成人收入：一个预测某人收入是否超过 5 万美元的数据集。（我们已知该数据集存在历史性的性别偏见）。

结果：EquiLense 的 MPPD 指标成功标记了我们已知受到不公平对待的特定群体（COMPAS 数据中的黑人被告和收入数据中的女性）。这证明了该工具是有效的。

这为什么重要？

该论文认为，我们需要一种工具，它不需要我们抛弃当前的 AI 模型并从头开始（这既昂贵又困难），而是需要一种在模型构建完成后对其进行审计的方法。

EquiLense 就像是医疗 AI 的质量控制检查员。它不会为你修复机器，但它会提供一份清晰、易懂的成绩单，上面写着：“嘿，你的机器在数学方面很擅长，但它仅仅因为背景不同，就对这两个完全相同的治疗对象采取了不同的对待方式。”

这使得医生和开发者能够做出明智的选择，例如决定是否从模型中移除某些数据点（如种族）以使其更公平，而无需成为数学专家或从头重建整个系统。

技术摘要

以下是论文《在临床人工智能中整合群体与个体公平性审计：一种事后、模型无关的方法》的详细技术总结。

1. 问题陈述

将人工智能（AI）整合到临床决策中引发了关于算法公平性的关键伦理担忧。当前的公平性评估框架存在碎片化问题：

• 群体公平性： 指标（如人口统计独立性、机会均等）评估不同人口群体之间的差异，但往往掩盖了患者层面的变异。一个模型在群体层面可能看似公平，却在对待临床相似的个体时表现出不一致性。
• 个体公平性： 指标确保相似的个体获得相似的预测。然而，由于难以定义“临床相似性”以及缺乏操作工具，这些指标在医疗保健领域很少被采用。现有方法通常需要对模型进行重新训练、特定的架构（如图神经网络）或复杂的因果图规范（反事实公平性），这使得它们在实际审计已部署的模型时变得不切实际。

差距： 目前缺乏实用的、事后的、模型无关的工具，能够在临床环境中同时评估群体层面的差异和个体层面的预测一致性。

2. 方法论：EquiLense 框架

作者引入了EquiLense，这是一种旨在弥合群体公平性与个体公平性之间鸿沟的事后、模型无关审计工具。它由三个核心组件组成：

A. 群体公平性评估

该工具计算敏感属性（如种族、性别、保险类型） across 的标准差异指标：

• 人口统计独立性差异（DPD）
• 机会均等差异（EOD）
• 均等几率（EO）
• 误差分布差异指数（EDDI）： 一种专为具有不同群体规模和类别不平衡的临床环境设计的新颖指标。

B. 个体公平性评估

该工具测量临床相似患者之间的预测一致性。

• 相似性定义： 用户可以使用基于距离的指标（如余弦相似度），根据特定特征（如年龄、BMI、查尔森合并症指数）来定义临床相似性。
• 灵活性： 该框架允许用户调整相似性阈值和特征集，以匹配特定的临床背景。

C. 平均预测概率差异（MPPD）

这是本文的方法学创新贡献，旨在将个体公平性操作化，同时捕捉群体层面的影响。

• 概念： MPPD 量化了属于不同人口群体的临床相似患者之间预测概率的平均绝对差异。
• 实施：
  1. 基于参考组： 识别一个参考组（例如白人患者），并将他们与其他群体的临床相似患者进行匹配。计算预测差距。
  2. 成对分析： 在所有群体组合（例如黑人 - 白人、亚裔 - 西班牙裔）之间执行双向匹配，以创建差异分数的对称矩阵。这避免了假设单一的“公平”参考组，并突出了少数群体之间的差异。
• 优势： 与反事实公平性不同，MPPD 依赖于观察到的真实世界数据，而非合成对应物或未经证实的因果图，使其在计算上高效且对临床医生具有可解释性。

3. 研究设计与数据

• 临床队列： 来自大型学术医疗中心的 59,047 名手术患者（2012–2022 年）。
• 结果指标：
  1. 术后谵妄（通过 ICD 代码、CAM 评分和临床笔记的自然语言处理识别）。
  2. 30 天医院再入院。
• 模型： 基于临床特征（年龄、BMI、CCI、心理健康史等）训练的逻辑回归和 XGBoost 分类器。包含或排除敏感属性（种族、性别、保险）以测试其影响。
• 外部基准： 在两个具有已知历史偏差的数据集上验证了 MPPD：
  1. COMPAS： 累犯预测（n=6,172）。
  2. UCI 成人收入： 收入预测（n=32,561）。

4. 关键结果

临床应用（手术模型）

• 性能： XGBoost 模型在谵妄预测上的 AUROC 为 0.78，在再入院预测上为 0.61。移除敏感属性对预测性能的影响微乎其微。
• 群体公平性： 标准指标显示出中等程度的差异，特别是在误差分布（EDDI）方面。
• 个体公平性（MPPD）：
  • MPPD 揭示了系统性的不一致：在与白人患者临床相似的群体中，亚裔患者表现出最大的预测差异（MPPD 差异 = 0.045）。
  • 特征敏感性： 从模型训练中排除敏感属性（种族/民族）显著降低了 MPPD 分数，表明在不牺牲准确性的情况下提高了一致性。
  • 成对分析： 成对矩阵突出了基于参考组的方法可能遗漏的少数群体之间的差异。

外部基准验证

• COMPAS： MPPD 正确识别了非裔美国被告的差异最大，这与累犯评分中已知的偏差一致。
• UCI 成人收入： MPPD 将最高的差异分数分配给女性工人，这与收入预测中记录的行业性别偏见相符。
• 结论： MPPD 成功检测了非临床数据集中已知的真实偏差，验证了其作为筛选指标的有效性。

5. 主要贡献

1. EquiLense 工具： 一个统一的、事后的框架，整合了群体和个体公平性指标，无需重新训练模型。
2. MPPD 指标： 一种新颖、可解释的指标，通过比较真实观察到的患者，弥合了群体差异与个体一致性之间的差距。它计算轻量级，且不需要因果图规范。
3. 实际适用性： 该工具是模型无关的（适用于任何分类器），并允许临床医生根据领域知识定义“相似性”，使其直接适用于现实世界的医疗审计。
4. 实证证据： 证明了高整体模型性能并不能保证公平性；模型可能会根据人口属性系统地以不同方式对待临床相似的患者。

6. 意义与局限性

意义：

• 弥合差距： EquiLense 解决了群体指标遗漏个体不一致性、而个体指标缺乏系统背景的“盲点”。
• 可操作的见解： 通过允许敏感性分析（例如移除敏感特征），该工具帮助从业者就模型部署和特征选择做出明智决策，以减轻偏差。
• 事后效用： 它填补了对已投入生产使用的模型进行审计的关键需求，而在这一阶段，训练期间的缓解策略已不再适用。

局限性：

• 因果性： MPPD 是基于相关性的指标；它标记不一致性，但无法确定这些不一致性是由于算法偏差还是临床适当的区分造成的。
• 相似性定义： 个体公平性的准确性取决于用户对“临床相似性”的主观定义。特征选择不当或数据噪声可能会扭曲结果。
• 下游影响： 该工具审计模型输出，但不评估下游临床后果（例如患者护理或健康结果的实际变化）。
• 样本量： 对小亚组（如研究中的美洲原住民患者）的估计值应谨慎解读。

结论

本文提出了EquiLense，作为在临床人工智能中实现公平性操作化的重要一步。通过将既定的群体指标与新颖的MPPD相结合，它提供了一种全面、可解释且实用的方法来审计已部署的模型，确保 AI 系统能够促进而非削弱健康公平。