A Statistical Framework for Data-Driven Discovery of Differential Performance in Clinical Risk Prediction Models

技术摘要：一种用于发现临床风险预测模型差异化性能的数据驱动统计框架

问题定义
本文旨在解决检测和表征临床风险评估工具（RAIs）在不同人口子群体中是否存在差异化性能的挑战。虽然基于人工智能和机器学习的预测模型在临床决策支持中的应用日益广泛，但它们在由种族、年龄、性别或其他交织特征定义的群体之间可能会表现出性能差异。现有的公平性评估方法通常要求用户预先指定用于评估的人口统计学分组。这种方法存在忽视在由高阶协变量交互作用（例如，年龄、性别和临床病史的特定组合）定义的较不明显的复杂子群体中存在差异的风险。此外，标准的公平性准则（如等化赔率、充分性）往往是相互冲突的，在一种指标或分组下表现公平的模型，在其他指标或分组下仍可能表现出差异。作者在此背景下将“公平性”定义为缺乏关于差异化模型性能的统计证据，特别侧重于校准偏差（预测风险与观察结果之间的差异）。

方法论：不公平树 (utree)
作者提出了 不公平树 (utree)，这是一个数据驱动的递归分割框架，旨在识别无需预先指定群体定义的具有异质性预测差异的子群体。

• 核心算法： utree 适配了条件推理树 (ctree) 框架。与标准的 CART 算法不同，ctrees 将变量选择与分割点选择分离，以避免对连续变量的偏好。
• 差异统计量： 在每个节点处，算法使用一种源自 Kolmogorov–Smirnov (KS) 检验的统计量来测试差异化性能。该统计量比较两个加权经验累积分布函数 (CDFs)：一个是根据观察结果（或潜在结果）加权的，另一个是根据预测风险加权的。
  • 检验统计量为 $T_j = \sup_z | \hat{F}_j(z; w_Y) - \hat{F}_j(z; w_{\hat{s}}) |$，其中 $w_Y$ 和 $w_{\hat{s}}$ 是分别由结果和预测定义的权重。
  • 在条件校准的零假设下，这两个加权分布是相同的。拒绝原假设则表明 $Z_j$ 上的结果分布与预测分布存在差异。
• 反事实框架： 为了解决治疗诱导偏差（即模型预测影响治疗决策，从而改变观察到的结果），该方法采用了反事实评估框架。它使用双重稳健估计量（结合结果回归和倾向评分建模）来估计参考条件（$Y^0$）下的潜在结果。随后，在这些反事实结果与预测风险之间计算差异。
• 递归分割： 算法在每个节点执行两个步骤：
  1. 变量选择： 计算所有候选协变量的检验统计量，并选择具有最小经验 p 值的变量（经过多重性调整）。
  2. 分割点选择： 确定所选变量的分割点，以最大化检验统计量的幅度。
• 灵活性： 该框架可以通过修改 KS 统计量公式中的权重函数 $w(a)$ 和 $w(b)$，扩展到其他性能指标（如真阳性率、精确度）。

主要贡献

1. 数据驱动的子群体发现： utree 消除了对预设子群体的需求，允许发现由多个协变量定义的复杂、交织人口的差异。
2. 反事实校准： 它集成了因果推断方法，以区分真正的模型校准偏差与治疗诱导偏差，这在模型指导治疗的临床环境中是一个至关重要的区别。
3. 统计有效性： 该方法利用条件推理树和基于置换的 p 值，在递归分割的自适应性质下控制第一类错误率。
4. 可解释性： 生成的树结构提供了一个可解释的映射，展示了临床特征的组合如何与差异化模型性能相关联。

结果

• 模拟研究：

  • 第一类错误控制： 在零假设场景下（无差异化性能），选择分割点的概率保持在标称水平附近（例如，在 $N=10^3$ 时为 0.048），证明了有效的错误控制。
  • 功效与恢复： 该方法显示出随着样本量和严重程度的增加，检测差异的功效也随之提高。它成功恢复了驱动不公平性的真实变量和交互作用，在 $N=10^3$ 的大规模误校准场景下，恢复率从 0.06 上升至 0.92。
  • 估计准确性： 叶节点的差异估计表现出极小的偏差且随样本量增加而减小，表明具有近似无偏性。
  • 计算效率： 拟合时间随样本量呈可预测的比例缩放，即使在 $N=10^5$ 时仍保持可行（低于 4 分钟）。

• 真实数据应用 (GUSTO-I 试验)：

  • 该框架被应用于六个死亡风险模型（包括逻辑回归、GAM 和随机森林），使用的是来自 30,510 名急性心肌梗死患者的数据。
  • 一致的驱动因素： 在不同模型和指标（校准度、真阳性率、精确度）中，年龄、性别、收缩压和 Killip 分级被一致地识别为定义具有差异化性能子群体的关键变量。
  • 指标依赖性： 根据所选性能指标的不同，识别出的特定子群体结构也会有所不同。例如，基于校准度的树识别出了存在显著低估的子群体（例如，治疗缓解时间较长的非美国患者），而 TPR 和精确度树则突出了不同的结构模式。
  • 验证： 在留出测试集上的样本外验证确认，许多子群体性能模式是可复现的，特别是在强制执行最小终端叶节点规模 $n \ge 50$ 时。

意义与主张
本文声称 utree 提供了一种原则性的、统计有效的且可解释的方法，用于检测临床风险模型中特定于子群体的校准偏差。通过超越预定义的统计学类别，它解决了当前 AI 公平性评估中的一个关键局限，即可能遗漏复杂、交织人口中的差异。作者强调，该方法识别的是“差异化模型性能”而非确定的“算法不公平”，并指出后者取决于更广泛的伦理和临床考量。该框架被呈现为一种探索性发现和表征性能差异的工具，同时指出反事实估计依赖于标准的因果假设（正值性、一致性、无未观测混杂因素），并且在随机对照试验或这些假设成立的情境下最具说服力。作者承认，虽然该方法在每个节点都控制了错误率，但对于所发现的子群体的最终树结构的稳定性以及选择性推断的正式理论保证，仍是未来研究中开放的问题。