📊 统计学

Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false

本文表明，标准的子组 AUROC 差距测试在评估临床预测模型的公平性方面是无效的，因为病例组合分布的差异即使在完全公平的模型中也会自然产生 AUROC 差异，而校准测试在区分真正的公平性缺失与几何伪影方面则保持稳健。

原作者： Rohith Reddy Bellibatlu, Manpreet Singh, Yash Jajoo, Abhishek Israni, Rahul Joshi

发布于 2026-10-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Rohith Reddy Bellibatlu, Manpreet Singh, Yash Jajoo, Abhishek Israni, Rahul Joshi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代医院中，算法正越来越多地被用于预测谁可能变得严重疾病，从而帮助医生决定谁需要紧急护理。这些工具通过大量的患者数据进行训练，学习识别人类可能忽略的模式。但由于这些模型是基于现实世界的数据构建的，它们有时会继承社会中存在的各种不平等，导致对某些人群表现良好，而对另一些人群则表现不佳。为了捕捉到这一点，医院和监管机构现在会定期进行“公平性审计”。这些审计将患者群体按年龄、种族或性别进行拆分，并检查模型的表现是否对每个人都同样出色。衡量性能的标准是一个被称为“曲线下面积”（AUC）的分数，它本质上是在问：如果你随机抽取一名患病者和一名健康者，模型有多频繁地能正确地将患病者排在更高的位置？如果模型是公平的，这个分数对于每个群体都应该是相同的。

多年来，人们一直假设如果这些分数在不同群体之间存在差异，那么模型就是不公平的。研究人员和监管机构开发了各种统计测试，以观察这种差异是否大到构成问题，通常如果分数低于某个阈值，或者一个群体的分数低于另一个群体之 80%，就会将模型标记为具有偏见。其逻辑似乎很合理：一个完美的模型应该平等对待每个人，因此它对每个群体的预测准确度也应该相同。然而，一项新的研究挑战了这一整个基础，认为用于发现不公平性的测试本身经常会被一种更为“无辜”的情况所误导：即不同群体所包含的患者类型的自然差异。

这项研究的研究人员利用来自五个不同临床队列的数据并运行了数千次计算机模拟，旨在观察当一个完美的模型被测试在彼此不同的群体上时会发生什么。他们构建了一个数学上完美的模型，这意味着该模型知道每位患者患病的精确概率，并且不会根据身份对任何人进行区别对待。然后，他们将这个完美的模型输入到不同的统计人口组中，但允许这些组拥有不同的“病例组合”（case mixes）。简单来说，这意味着一组患者可能拥有更广泛的风险因素，而另一组患者的风险因素范围则较窄，尽管模型本身是完全相同且公平的。

他们的发现令人震惊。当他们在这种完美模型上运行标准的公平性测试时，测试经常发出警告，称该模型是不公平的。在模拟中，当各组之间的患者概况存在中等程度的差异时，测试几乎 9 2% 的时间都会将该完美模型标记为有偏见。当差异更大时，测试标记出的 AUC 甚至达到了 1。研究人员发现，这些统计测试检测到的并不是不公平，而是数据的自然分布。一个拥有更广泛患者风险范围的群体，实际上更容易让模型将其划分为“患病”和“健康”类别，从而获得更高的性能得分。而一个风险范围较窄的群体则更难划分，从而导致较低的得分。测试将这种由于难度不同而产生的自然差异解释为偏见的迹象，而实际上，模型的运作完全符合预期。

研究进一步衡量了这种“病例组合”差异在现实医院数据中究竟存在多少。他们查看了五个真实数据集中的 21 种不同的统计拆分方式。他们发现，在许多这些组别中，患者概况的自然差异足以让一个完美的模型显示出违反公平性规则的表现。例如，在某些基于年龄的组别中，一个公平的模型自然会显示出足以触发公平性警报的性能差异，尽管该模型本身并没有出错。研究人员试图分解现实数据中观察到的差距，以确定其中有多少是由这些自然差异引起的，有多少是由真正的偏见引起的，但他们发现数学过程过于不稳定，无法给出精确的答案。这种差距是两者的混合体，而现有的工具无法将二者分离。

这为任何试图确保医疗 AI 公平性的人带来了困难的结论。论文指出，仅仅通过比较不同群体间的性能得分并运行统计测试，并不是证明模型不公平的有效方法。这些测试太容易被患者群体的自然多样性所误导。研究人员建议，与其试图强迫所有群体都拥有完全相同的性能得分——这在群体性质不同时在数学上可能是不可能的——不如关注其他方面。他们建议在报告性能得分的同时，也要报告患者群体本身的描述，以便医生可以判断较低的得分是否仅仅是因为该群体更难预测。他们还建议检查模型的预测是否经过了良好的“校准”（calibration），也就是说，如果模型预测 AUC 为 0.2，那么实际情况是否真的在 0.2 的比例下发生？与性能得分测试不同，他们的模拟显示，校准检查并不会被这些患者群体的自然差异所误导。

这项研究并不声称医疗模型总是公平的，也不代表偏见不存在。它只是表明我们寻找偏见的最常用方法失效了。研究人员强调，他们的发现源于模拟和特定的数据集，并且他们并未提供一种取代旧有测试的新型“神奇测试”。相反，他们敦促人们转变看待公平性的方式。与其要求一个针对年轻人和针对老年人的模型表现得完全一致（考虑到两者健康风险性质的不同，这可能是无法实现的），我们应该要求模型能够根据每个群体自身的特征实现准确性和校准。这篇论文起到了警示作用：如果不了解患者群体的潜在差异，我们就有可能指责完美的工具是有缺陷的，或者更糟的是，因为我们在关注错误的数字而错失了发现真正问题的机会。

技术摘要：子群 AUROC 差距检验与病例组合差异

问题陈述
目前的临床预测模型公平性审计频繁依赖于子群曲线下面积（AUROC）的比较。标准做法包括固定切点检验（例如，最大差异为 0.05）、“五分之四”比例规则，以及各种置换或方差校正推断检验。所有这些程序都共享一个共同的零假设：即真实的 AUROC 在所有人口统计学子群中是相等的。本文认为，对于临床模型而言，这个零假设在根本上是有缺陷的。因为 AUROC 是模型系数和子群内预测变量分布的函数，即使是一个完美的公平模型（即对所有群体使用完全相同的系数且达到贝叶斯最优），只要子群之间的“病例组合”（case-mix，即预测变量的分布）存在差异，就会表现出不同的子群 AUROC。因此，观察到 AUROC 差距并不一定意味着不公平；它可能仅仅反映了子群底层风险分布的差异。

方法论
作者使用七种不同的程序对子群 AUROC 差距进行了全面的实证评估：

固定 0.05 切点。
五分之四比例规则。
原始最大-最小范围置换检验。
学生化置换检验（Studentized permutation test）。
双重校正方差估计量（通过三种读取方式进行评估：闭式 z 检验、Cochran's Q 和参数化自助法）。

该研究采用了两种主要的实验框架：

模拟零假设（Simulated Nulls）： 作者生成了数据，其中单个模型即为精确的数据生成概率（完美公平且校准）。创建子群时，保持真实的 AUROC 相同但得分分布不同（以测试交换性失效下的第一类错误），或者更关键地，使预测变量的离散度（spread）不同（以测试“病例组合零假设”）。在病例组合模拟中，预测变量离散度比率 ( $\rho$ ) 从 1.0 扫描至 3.167。
真实世界队列： 作者将这些程序应用于五个临床队列（包括 NHIS、NHANES、BRFSS 和 UCI 数据集）中的 21 个人口统计划分。他们测量了这些队列中实际的病例组合强度 ( $\hat{\rho}$ )，并使用一种闭式估计量（源自 AUROC 与线性预测器分布之间的关系）来计算“隐含病例组合差距”——即在观察到的预测器几何结构下，一个完美的公平模型所会产生的 AUROC 差异。

此外，研究还评估了现有文献中推荐的两种替代指标：子群 Cox 校准检验和基于模型的共识过度（model-based concordance excess）。研究还构建了一个正对照实验，其中通过病例组合差异（公平模型）或真正的偏见（模型缺失相关协变量）产生了一个固定的 AUROC 差距。

核心贡献与结果

“等判别性”零假设对于公平模型是错误的：
研究表明，当子群在预测变量分布的离散度上存在差异时，一个完美的公平模型会产生不等的 AUROC。对于完美的公平模型，误报率（第一类错误）随病例组合强度 ( $\rho$ ) 的增加而急剧上升。
- 当 $\rho = 1.0$ （离散度相等）时，原始置换检验的误报率为 ~0.056（规模正确）。
- 当 $\rho = 2.0$ （中度离散）时，误报率跃升至 0.918。
- 当 $\rho = 3.0$ 时，该率达到 1.000。
- 在固定的真实差距下，将样本量从 2,000 增加到 10,000 会使五种程序的拒绝率都趋向 1.000，这表明它们是针对错误量（由病例组合引起的差距）的连贯估计量，而非不公平性。
学生化处理无法解决问题：
虽然学生化置换检验校正了得分分布位置的不同（即真实的 AUROC 相等的情况），但它们无法校正因改变真实 AUROC 的离散度差异。在 $\rho = 2.0$ 时，学生化检验的误报率 (0.919) 与原始检验 (0.920) 几乎完全一致。一个针对无效零假设进行更好校准的检验，仅仅是更可靠地检测到了那个真实的差异而已。
真实世界的病例组合强度：
在 21 个临床划分中，测得的病例组合强度 ( $\hat{\rho}$ ) 中位数为 1.145。然而，“隐含病例组合差距”（即公平模型会显示的差距）差异显著。在 24 次模型重新拟合中，中位隐含差距在 0.013 到 0.030 之间，而最大值范围在 0.131 到 0.219 之间。至关重要的是，在 21 个划分中，有 2 到 7 个划分纯粹由于病例组合差异而超过了传统的 0.05 差异阈值，且并未存在不公平现象。
无法分解观测到的差距：
作者尝试使用基于模型的共识度将观测到的 AUROC 差距分解为“病例组合成分”和“真实不公平成分”。他们发现这种分解在典型样本量下是不稳定且不可靠的。归因比例估计量通常要么是近乎同义反复的（由于重新校准步骤），要么产生无意义的值（例如 -8.61），因为分母（观测到的差距）经常接近于零。这种无法分解差距的能力证实，如果不了解不可测量的病例组合贡献比例，观测到的 AUROC 差距无法被解释为不公平性的证据。
替代方案的表现：

子群校准检验： 与 AUROC 差距检验不同，子群 Cox 校准检验在整个病例组合扫描过程中保持了标称误报率（~0.05）。它不会因为病例组合不同而标记公平模型。然而，它检测真实不公平性的能力较为温和（例如，在真实差距为 0.123 时，效能为 0.293）。
基于模型的共识度： 该指标随着病例组合差距的增加保持平稳（接近 0.019），但它无法区分病例组合驱动的差距与真正的偏见（在正对照实验中）。
五分之四规则： 该规则显示出较低的误报率，并非因为它有效，而是因为它对 AUROC 差异不敏感（AUROC 比率聚集在 1.0 附近）。

意义与主张
本文声称，不应将子群 AUROC 差距检验作为临床预测模型不公平性的证据。其核心论点是，该估计量（真实的 AUROC 差异）本质上受到病例组合差异的混淆。如果一个差距无法被分解为病例组合成分和真实成分，那么它是不可解释的。

作者并未提出一种新的公平性检验，而是倡导一种描述性报告方法：

将子群 AUROC 与病例组合分布（预测器离散度）一起进行描述性报告。
计算并报告“隐含病例组合差距”（即一个公平模型会产生的差距），以提供背景信息。
优先报告子群校准度和净获益（net benefit），因为这些指标（特别是因果方向上的校准度）不会继承 AUROC 的病例组合失效模式。

研究结论指出，AUROC 差距检验的失败是估计量本身的属性，而非特定统计检验的问题。无论增加多少样本量或进行多少统计校准，都无法挽救一个试图证明一个在异质病例组合下数学上预期会发生变化的量是否相等的检验。

技术摘要：子群 AUROC 差距检验与病例组合差异

类似论文