Multicohort development and validation of a machine learning model to predict six-month functional traumatic brain injury outcomes in a large national registry

本研究利用两项临床试验的数据开发并验证了一个随机森林机器学习模型，以准确预测中重度创伤性脑损伤患者的六个月功能预后，随后将其应用于一个大型国家登记系统，以在缺乏系统随访的情况下估算人群层面的恢复模式。

要点

想象你是一名医生，正试图为一位遭受严重头部损伤的患者预测未来。你可以看到患者目前的伤情有多严重，也知道患者能否挺过接下来的几天。但让家属彻夜难眠的大问题是：“六个月后，这个人能否过上正常、独立的生活？”

通常，医生只能靠猜测。他们会参考患者的年龄和当前的意识混乱程度，但他们没有水晶球。这尤其困难，因为医院用于追踪创伤患者的大型数据库（就像一本巨大的全国创伤登记册）擅长记录患者在医院期间发生的情况，但一旦患者出院，记录就停止了。他们不知道谁高高兴兴地回家了，谁又需要住进养老院。

本文旨在构建一个“数字水晶球”，以填补这些缺失的环节。

配方：训练人工智能

研究人员决定构建一个机器学习模型（一种从模式中学习的计算机程序），以预测这些六个月的预后结果。

1. 教师（训练数据）：他们不能凭空猜测；他们需要已知答案的数据。他们使用了来自过去两项临床试验（CRASH 和 ROC-TBI）的两本高质量“教科书”。这些试验跟踪了患者六个月，确切知道谁恢复良好，谁没有。
2. 原料（预测因子）：为了进行预测，计算机接收了所有数据集中都具备的七个具体线索：
   • 患者的年龄。
   • 患者的性别。
   • 患者入院时的意识混乱程度（格拉斯哥昏迷评分，GCS）。
   • 是否伴有其他重大损伤（如骨折）。
   • 瞳孔对光的反应。
   • 是否需要脑部手术。
   • 出院去向（回家、康复机构，或不幸去世）。
3. 测试厨房：他们尝试了五种不同的“烹饪方法”（算法），以观察哪种方法学习得最好。他们发现，一种名为随机森林的方法（将其想象为一个由决策树组成的委员会，通过投票得出答案）是最佳的“厨师”。

品尝测试：验证

在将这一新工具应用于全国之前，他们必须确保它不仅仅是死记硬背教科书答案。他们在来自另一项试验（ROC-TBI）的一组独立患者身上进行了测试。

• 结果：该模型非常擅长区分恢复良好和恢复不佳的患者。它特别擅长识别“恢复良好”的病例，极少漏掉（高灵敏度）。
• 校准：他们意识到该模型对最严重的病例略微过于乐观，因此调整了“旋钮”（重新校准），使预测结果更贴近现实。

大规模应用：全国登记册

一旦模型训练并测试完毕，研究人员便将其应用于TQIP 登记册。这是一个包含来自美国和加拿大医院超过63,000 名中重度脑损伤患者的庞大数据库。

这里的魔法在于：TQIP 数据库没有六个月的随访数据。研究人员利用他们新的人工智能模型来估算（或推断）如果进行了追踪，那些结果会是什么。

• 预测：该模型估计，约45%的患者在六个月后会有良好的恢复（能够独立生活）。如果他们使用“安全第一”的设置来捕捉几乎所有可能恢复的患者，这一数字上升至57%。
• 这合理吗？是的。该模型预测，年龄较轻、损伤较轻且无脑干损伤的患者最有可能恢复。这与医生从经验中已知的情况相符，证明该模型并非在随机猜测。

为何这很重要（根据论文观点）

论文认为，这种方法是一座桥梁。它将小型临床试验中的高质量、详细数据与全国登记册中的海量、现实世界数据连接起来。

• 填补空白：它使研究人员能够研究庞大人群中的长期恢复情况，即使这些人群并未接受随访电话。
• 基准测试：它为医院提供了一种方法，使其能够将自己的长期成功率与其他医院进行对比，而不仅仅是比较生存率。
• 未来基础：作者表示，这为未来的模型奠定了基础，这些模型最终可能包含脑部扫描或血液检测，但目前，他们仍坚持使用所采用的基本临床数据。

注意事项（模型无法做到的事）

作者诚实地指出了局限性：

• “翻译”问题：不同的数据库对“多发伤”等概念使用了略有不同的定义，因此模型必须在它们之间进行“翻译”，这并不完美。
• 缺失细节：该模型仅使用了七个基本线索。由于并非所有数据集中都包含这些信息，它无法获取详细的脑部扫描或逐时生命体征。
• “黑箱”：最佳模型（随机森林）非常复杂。它在预测方面表现出色，但与其简单的数学方程相比，更难解释确切原因为何它做出了特定决策。

简而言之，该论文表明，通过在高质量试验数据上训练计算机，我们现在可以对全国数据库中数万名患者的长期恢复情况做出有根据的、统计上合理的猜测，而这些数据库此前无法回答这一问题。

技术摘要

以下是论文《在大型国家登记系统中预测创伤性脑损伤六个月功能结局的机器学习模型的多队列开发与验证》的详细技术摘要。

1. 问题陈述

创伤性脑损伤（TBI）是导致死亡和发病率的主要原因，但预后评估往往未能捕捉长期的功能恢复情况，而是侧重于短期死亡率。

• 差距： 大型国家创伤登记系统（例如创伤质量改进计划，TQIP）包含大量的人口统计学、损伤和治疗数据，但缺乏系统的长期随访数据（例如 6 个月的功能状态）。相反，高质量的临床试验数据（例如 CRASH、ROC-TBI）包含详细的长期功能结局（扩展格拉斯哥结局量表，GOSE），但代表的是经过高度筛选的患者群体，泛化能力有限。
• 挑战： 传统的预后模型往往难以应对 TBI 病程的异质性，且缺乏在不同数据集间泛化的能力。需要一种稳健的方法来在大型登记系统中插补长期功能结局，以实现全国范围内的基准测试和质量改进。

2. 方法学

本研究采用多队列回顾性设计，涉及模型开发、外部验证和大规模应用。

• 数据集：
  • 训练集： 来自CRASH试验（显著头部损伤后皮质类固醇随机化）的数据，重点关注中度至重度 TBI 患者（GCS ≤ 12）。
  • 验证集： 来自ROC-TBI试验（复苏结果联盟 - 创伤性脑损伤）的数据，这是一项关于高渗液体的随机对照试验。
  • 应用集： TQIP登记系统（2017–2022 年），涵盖来自美国和加拿大数百家创伤中心的数据。
• 纳入标准： 中度至重度 TBI 患者（GCS ≤ 12）。排除共享预测因子或 6 个月结局数据缺失的患者。
• 预测变量： 基于临床相关性和三个队列中数据的可用性，选择了七个协调变量：
  1. 年龄
  2. 性别
  3. 就诊时的格拉斯哥昏迷评分（GCS）
  4. 是否存在多发伤（定义为严重颅外损伤或 ISS ≥ 16）
  5. 瞳孔反应性（双侧、单侧或无）
  6. 是否接受颅脑手术
  7. 医院出院去向（回家、康复、其他住院、死亡）
• 结局定义： 6 个月时的良好功能结局，定义为GOSE ≥ 5（中度残疾或良好恢复）或GOS“中度残疾”/“良好恢复”。
• 机器学习方法：
  • 训练了五种候选分类器：随机森林（RF）、线性判别分析（LDA）、k-近邻（KNN）、朴素贝叶斯（NB）和支持向量机（SVM）。
  • 调优： 采用分层 5 折交叉验证（重复 5 次），以受试者工作特征曲线下面积（ROC-AUC）为优化目标。
  • 选择与重校准： 在外部 ROC-TBI 队列上评估前两名模型（RF 和 LDA）。执行逻辑重校准以校正校准斜率和截距。最终模型根据重校准后的 ROC-AUC 进行选择。
  • 阈值： 主要阈值由 Youden's J 统计量确定；建立了次要高灵敏度阈值（灵敏度 ≥ 0.95），用于保守的“排除”策略。
  • 可解释性： 计算 Shapley 加性解释（SHAP）值以确定特征重要性。

3. 主要结果

• 队列特征：
  • 训练（CRASH）： 6,167 名患者。
  • 验证（ROC-TBI）： 452 名患者（神经学表现明显更严重，手术率高于训练集）。
  • 应用（TQIP）： 63,289 名患者（年龄较大，平均神经损伤较轻，但院内死亡率较高）。
• 模型性能：
  • 选择： 重校准后，随机森林（RF） 模型优于其他模型。
  • 区分度：
    • 内部（CRASH）AUC：0.887
    • 外部（ROC-TBI）AUC：0.784
  • 校准： 模型显示预测风险与观察风险之间具有良好的对齐性，重校准后系统性偏差最小（斜率 ≈ 1，截距 ≈ 0）。
  • 阈值性能（Youden 最优）：
    • 灵敏度：0.890
    • 阴性预测值（NPV）：0.909
    • 特异度：0.570
    • 准确率：0.679
  • 高灵敏度阈值： 实现了 0.955 的灵敏度，准确率为 0.620。
• 特征重要性（SHAP）： 对良好结局最关键的两个预测因子是医院出院去向和就诊时的 GCS。
• TQIP 应用：
  • 在 Youden 最优阈值下，模型预测45%（28,453 名患者）将实现良好的 6 个月结局。
  • 在高灵敏度阈值下，这一估计值上升至57%（35,821 名患者）。
  • 临床合理性： 被预测为具有良好结局的患者显著更年轻，入院 GCS 更高，穿透性损伤（枪伤）和脑干挫伤的发生率更低，这与既定的临床相关性一致。

4. 主要贡献

1. 弥合数据差距： 展示了一个可行的工作流程，通过利用高质量试验数据（CRASH/ROC-TBI），在缺乏随访数据的大型国家登记系统（TQIP）中“插补”长期功能结局。
2. 稳健的泛化能力： 验证了在一个高度筛选的试验人群中训练的模型，尽管病例组合和损伤严重程度存在显著差异，但在应用于异质性的真实世界国家登记系统时仍能保持强大的区分能力。
3. 双阈值策略： 引入了一种灵活的阈值方法：用于平衡准确性的标准阈值，以及用于保守“排除”场景的高灵敏度阈值，适用于不同的临床或研究背景。
4. 基准测试基础： 提供了一种 TBI 恢复的国家基准测试方法，将重点从纯粹的基于生存的指标转向以患者为中心的功能结局。

5. 意义与局限性

意义：

• 这种方法使研究人员和医疗系统能够在无需等待昂贵、系统的长期随访的情况下，评估数千名患者的功能恢复率。
• 它支持开发针对创伤中心的风险调整绩效指标，重点关注功能独立性而不仅仅是死亡率。
• 它为未来的模型奠定了基础，一旦登记系统中出现更丰富的数据类型（生理时间序列、影像学、生物标志物），这些模型即可将其整合。

局限性：

• 变量协调： 不同数据集中对“多发伤”定义方式的差异，以及将 GOSE 粒度简化为 GOS 类别，可能会引入噪声。
• 选择偏倚： 训练数据来自临床试验，可能未能充分代表一般登记系统中发现的轻度、非手术或合并症极高的患者。
• 特征限制： 该模型仅限于七个共享预测因子，排除了某些数据集（但非所有数据集）中可用的有价值的影像学和生理数据。
• 时间漂移： 训练试验是在 TQIP 数据收集前十年进行的，可能会引入护理标准的时间变化。
• 可解释性： 虽然 RF 表现最佳，但其“黑盒”性质不如简单的回归模型易于解释，尽管 SHAP 值在一定程度上缓解了这一问题。

结论：
本研究成功开发了一种机器学习工具，将高质量试验的预后信号转化为庞大的国家登记系统数据，为估算长期 TBI 功能结局提供了可扩展的解决方案，并增强了创伤系统的质量改进。