Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

技术摘要：选择性预测作为初级保健抑郁症筛查的分诊门槛

问题陈述
中国的初级保健领域缺乏结构化的心理健康评估工具，且现有的机器学习（ML）抑郁症筛查模型通常是在高度筛选的样本上开发的。作者认为，累积性的纳入与排除标准（通常被视为中性的数据清洗步骤）会引入“双重失真”：

1. 流行病学失真： 选择漏斗压缩或改变了流行病学关联（例如，慢性病与抑郁症之间的关系），这可能导致从筛选样本中得出的发现对目标人群缺乏普适性。
2. 指标失真： 机器学习性能指标（尤其是 AUC）在经过筛选的样本中往往会被高估，因为样本的异质性降低了；同时，校准误差可能会恶化。这为模型的临床部署准备就绪程度创造了一种误导性的印象。

此外，标准的模型嵌入式不确定性指标无法有效地区分流行病学数据中的“简单”案例与“困难”案例，从而限制了选择性预测（带有拒绝选项的分类）的效用。

研究方法
本研究利用 CHARLS 2011 基线数据集（n=17,705），并在 CHARLS 2018 波次上进行时间外部验证。研究方法围绕三个目标展开：

1. 量化选择偏差（漏斗效应）：

   • 构建了一个四级选择漏斗（L0–L3），以模拟标准的流行病学排除过程。
     • L0： 使用多重插补链式方程（MICE）后的完整样本。
     • L1： 限制为年龄 ≥60 岁。
     • L2： 要求具有完整的 CES-D-10 响应。
   • L3： 要求具有完整的社会人口统计学协变量（教育、保险、居住地）。
   • 关联分析： 在每个层级拟合逻辑回归模型，以追踪五种慢性病针对抑郁症的优势比（OR）漂移。
   • 性能分析： 通过嵌套交叉验证和 SMOTE，评估了五个分类器（逻辑回归、随机森林、XGBoost、LightGBM、梯度提升树）在不同层级下的表现。使用 Page's L 检验测试了 AUC、Brier 分数和预期校准误差（ECE）的单调趋势。

2. 通过选择性预测缓解偏差：

   • 模型嵌入式不确定性： 研究测试了各模型的内部不确定性得分（如预测熵、决策树方差、分位数残差区间）是否能有效过滤样本以提高 AUC。
   • 解耦的预测器-选择器框架： 为了克服嵌入式得分的局限性，作者提出了一个解耦方法，即由一个独立的选择器来评估预测可靠性。研究评估了九个候选选择器，最终确定 XGBoost 交叉验证残差为最优外部选择器。该选择器被应用于所有五个预测器，以确定人口中的“可靠”子集。

3. 通过可解释规则进行临床部署：

   • 风险分层： 基于稳健残差（五个超参数配置的中位数），将最终分析集（L3）中的样本分为低、中、高风险组。
   • CART 规则提取： 对稳健残差进行分类回归树（CART）拟合，利用 15 个临床特征提取出定义可靠预测域边界的可解释“白盒”规则。
   • 稳定性检查： 进行了多参数（5 种配置）和多种子（10 个种子）稳定性分析，以确保风险分层是数据的结构性属性。

关键结果

• 选择偏差失真：

  • 样本量从 17,705（L0）降至 4,256（L3）（24.0%）。
  • 关联衰减： 癌症-抑郁症的 OR 值从 L0 阶段的 1.78（95% CI 1.32–2.41）降至 L3 阶段的 1.39（95% CI 0.74–2.63），失去了统计学显著性。其他关联也表现出不同程度的压缩。
  • 指标通胀： 五个模型的 AUC 在从 L0 到 L3 的过程中均呈现上升趋势（例如，XGBoost 从 0.775 升至 0.783），但在经过多重比较校正后，这些趋势并不具有统计学显著性。相反，随着选择过程的收紧，四个模型的校准误差（ECE）显著增加。

• 选择性预测性能：

  • 嵌入式不确定性： 仅有使用自定义袋外分位数残差区间的 XGBoost 实现了显著的选择性预测增益（覆盖率约为 52% 时 AUC 达到 ~0.83）。其他模型的嵌入式指标未能实现比全覆盖更高的 AUC 峰值。
  • 解耦框架： 当使用 XGBoost 交叉验证残差作为所有五个模型的外部选择器时，所有分类器均实现了一致的选择性预测增益。
    • 覆盖率： 约 20% 的样本被识别为可靠样本。
    • 性能： 在此覆盖率下，测试 AUC 在 0.888 至 0.901 之间。精确率约为 0.85–0.86，召回率约为 0.89–0.90。
    • 稳定性： 20% 的覆盖率阈值在不同模型架构间高度一致，表明该选择器识别出了一个稳定的“可靠域”。

• 可解释的分诊规则：

  • CART 分析确定了用于分诊的四个关键变量：自评健康状况、教育程度、疼痛严重程度和婚姻状况。
  • 低残差（可靠）域： 特点是受教育程度较高、具有特定的疼痛特征，或具有明确躯体驱动因素的较差自评健康状况。
  • 高残差（不确定）域： 特点是受教育程度较低、社会心理因素复杂以及抑郁症患病率高（56.9%），在此领域模型预测是不可靠的。
  • 外部验证： 将 2011 年衍生的 CART 规则应用于 2018 年队列，显示出稳定的组间 AUC，证实了分诊逻辑的时间鲁棒性。

意义与主张
本文声称提供了一条可部署的初级保健分诊路径，解决了机器学习驱动的健康筛查中的“黑箱”问题。其意义体现在三个方面：

1. 方法论修正： 本研究证明了累积选择偏差会产生双重失真（压缩的关联和通胀的指标），必须对此进行明确报告。作者认为，性能指标应始终伴随其选择水平、覆盖率和校准轨迹进行报告。
2. 可靠性框架： 研究建立了一种使用交叉验证残差的解耦选择性预测方法，这是一种识别高置信度患者子集的稳健方法，优于在流行病学背景下经常失效的模型嵌入式不确定性指标。
3. 临床可操作性： 通过将复杂的机器学习不确定性转化为简单的四个变量的 CART 规则，本研究提供了一个实用的“分诊门槛”。这允许全科医生将约 20% 的患者（可靠域）引导至算法辅助评分，同时将剩余 80% 的患者（不确定域）引导至人工评估，从而确保患者安全并维持在资源受限环境下的可解释性。

作者总结道，这种方法将模型不确定性监测从统计后处理步骤转变为分层医疗体系中的常规质量管理检查点。