A reproducible and extensible framework for benchmarking competing risks survival models

技术摘要：一个用于基准测试竞争风险生存模型的可复现且可扩展的框架

问题陈述

医疗保健中的生存分析通常涉及竞争风险 (Competing Risks, CR)，即一种事件（如癌症死亡）的发生会排除其他事件（如心血管疾病死亡）发生的可能性。尽管已经提出了许多统计学和机器学习方法来处理竞争风险，但其系统性评估和临床应用仍然有限。现有文献存在三个主要差距：

1. 缺乏可复现的基准测试： 研究通常使用不同的数据集、未报告预处理步骤或不一致的评估指标（通常仅限于区分度），导致过度乐观且难以比较新方法。
2. 软件集成受限： 新颖的方法往往是以临时代码的形式实现，而没有集成到更广泛的机器学习框架中，从而阻碍了其可访问性。
3. 可解释性挑战： 与提供直接系数估计的回归模型不同，复杂的机器学习模型（如深度学习）需要事后解释步骤，而这些步骤在竞争风险设置下尚未标准化。

此外，将竞争风险事件视为删失（Censored）违反了非信息性删失假设，这会导致风险高估，并在针对多病共存的老龄化人群时产生潜在的算法偏差。

方法论

作者开发了一个开源、可复现的基准测试流水线，旨在统一的实验设置下评估多个数据集上的竞争风险模型。该框架同时采用 R 和 Python 实现，以确保互操作性。

1. 数据与模型：

• 数据集： 研究使用了五个具有不同样本量和事件率的数据集（PBC、HD、METABRIC、Framingham 以及 SEER 乳腺癌的一个子集），确保最小竞争风险事件率约为 10%。
• 模型： 基准测试了一组涵盖从经典回归到深度学习的六种多样化方法：
  • 基于回归的方法： 原因特异性 Cox 比例风险模型 (csCPH)、Fine-Gray 回归 (FGR)、惩罚比例亚分布风险模型 (FGRP)。
  • 基于树的方法： 随机生存森林 (RSF)。
  • 深度学习： DeSurv（连续时间）和 DeepHit（离散时间）。
• 验证： 采用了嵌套交叉验证 (Nested Cross-validation) 方法以防止数据泄露。外层循环负责模型评估，内层循环负责超参数调优。
• 缺失数据： 处理策略包括完全病例分析、单变量插补（中位数/众数）以及多重插补链式方程 (MICE)，所有策略均在交叉验证折叠内应用，以避免泄露。

2. 性能指标：
框架从四个互补的预测性能维度进行评估：

• 校准度 (Calibration)： 使用可视化图表、集成校准指数 (ICI) 和观测值/预期值 (O/E) 比率，并利用伪观测值（Pseudo-observations）来处理删失问题。
• 区分度 (Discrimination)： 用于固定时界的时变 AUC (tdAUC) 以及用于全局评估的 C-index 变体（$C_{td}$ 和 $C_{\tau}$）。后者利用受限平均时间损失 (RMTL) 来总结累积发生函数 (CIF)。
• 整体预测误差： 加权 Brier 分数 (BS) 和集成 Brier 分数 (IBS)。
• 临床效用： 通过决策曲线分析 (DCA) 评估相对于“全部治疗”和“不治疗”策略的净获益。

3. 可解释性：

• 特定于模型的解释： 参数化模型的回归系数。
• 模型无关的解释：
  • 排列重要性 (Permutation Importance)： 通过 IBS 的退化程度进行衡量。
  • CifSHAP(t)： 一种针对竞争风险设置的 SurvSHAP(t) 的新颖扩展。该方法通过分解随时间变化的各原因特异性累积发生函数 (CIF)，提供时间依赖且模型无关的特征贡献。

4. 实验设计：
超参数调优在所有模型中通过基于 IBS（最小化整体预测误差）优化的网格搜索进行了标准化，以确保公平比较，而非使用模型特定的损失函数。深度学习模型以固定的 epoch 预算（300）进行训练，以避免通过早停法（Early stopping）使调优偏向特定的损失函数。

关键结果

• 预测一致性： 经典回归模型 (csCPH, FGR, FGRP) 在个体水平的预测上表现出近乎完美的吻合。机器学习模型 (RSF, DeSurv, DeepHit) 产生了更具差异性的风险分配，其中 DeepHit 与基于回归的模型相关性最低。
• 性能变异性： 没有单一模型在所有指标和数据集上都占据主导地位。
  • DeSurv 在较大的数据集（如 METABRIC）上，在全局度量（IBS, $C_{\tau}$）方面通常优于其他模型。
  • FGRP（惩罚 Fine-Gray）保持了极强的竞争力，特别是在较大的数据集（Framingham, SEER）上，通常在区分度（$C_{td}$）方面领先。
  • Deep-Hit 在本次基准测试中经常排名垫底，尤其是在后期时界的校准度方面。
• 指标敏感性： 模型排名对所选指标高度敏感。例如，一个具有最低 IBS 的模型并不一定具有最高的 C-index。这强调了如果评估标准没有根据临床目标预先设定，则存在“指标操纵 (Metric-hacking)”的风险。
• 可解释性： 排列重要性和 CifSHAP(t) 均得出了高度一致的协变量排名（例如，在 METABRIC 中，化疗、MKI67、PGR 是最重要的预测因子）。CifSHAP(t) 进一步揭示了协变量的贡献（如化疗）可能会根据观察到的事件类型（原因 1 vs. 原因 2）以及时间的变化而改变正负号和大小。
• 优化影响： 基于 IBS 进行的超参数调优比基于模型特定损失函数或 $C_{td}$ 的调优能产生更平衡的模型（更好的校准度和区分度），后者往往会牺牲校准度来换取区分度。
• 运行时间： 基于回归的方法计算效率很高。机器学习方法，特别是 RSF 和 DeSurv，计算成本显著更高，其中 RSF 由于集成树拟合而表现出最大的计算负担。

意义与主张

本文将这项工作定位为并非旨在给出“最佳”模型的确定性排名，而是一个用于系统评估竞争风险方法的可复现且可扩展的基础。

• 标准化： 该框架通过提供统一的实验设置、一致的预处理和统一的评估指标，解决了缺乏无偏比较研究的问题。
• 临床相关性： 通过超越区分度并纳入校准度、整体误差和临床效用 (DCA)，该框架使模型评估与实际临床决策需求相一致。
• 可解释性创新： CifSHAP(t) 的引入将模型可解释性扩展到了时间依赖、原因特异性的贡献，填补了理解竞争风险设置下协变量如何驱动风险的空白。
• 实践指导： 作者强调，较简单的回归方法（如 FGRP）通常能以较低的计算成本实现极具竞争力的性能，这表明它们应作为强有力的基准。他们还强调，超参数调优标准（如 IBS 与 Loss）会关键性地影响模型行为和排名，因此要求在报告调优策略时保持透明。

作者总结道，虽然他们的发现取决于特定的数据集和设置，但该框架通过提供一个稳健的开源工具，为未来竞争风险预测模型的开发、验证和采用提供了便利。