📊 statistics

Correcting heterogeneous diagnostic bias when developing clinical prediction models using causal hidden Markov models

本文提出了一种因果隐马尔可夫模型框架，通过估计反事实诊断概率来校正临床预测模型中的异质性诊断偏差，从而显著改善校准度并减少在诊断不足群体中的系统性误差，这一点已在模拟研究和慢性肾脏病案例研究中得到证实。

原作者： Jose Benitez-Aurioles, Ricardo Silva, Brian McMillan, Matthew Sperrin

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jose Benitez-Aurioles, Ricardo Silva, Brian McMillan, Matthew Sperrin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心问题：“聚光灯”效应

想象一下，医生的诊室是一个黑暗的房间，病人们在其中走动。有些人穿着明亮、反光的外套（高风险群体，如糖尿病患者），而另一些人则穿着深色、哑光的衣服（低风险或监测较少的群体）。

在理想世界中，医生会均匀地照亮每个人，以查看他们是否生病。但在现实世界中，医生倾向于只将明亮的聚光灯照在穿着反光外套的人身上，因为他们看起来更需要帮助。而穿着深色衣服的人往往留在阴影中。

结果是： 医生在强光下发现了许多“患病”的人，却错过了许多在阴影中的“患病”者。如果医生随后试图构建一个计算机程序来预测谁将来会生病，该程序会学到一个错误的教训：“穿深色衣服的人是健康的。”并非他们真的健康，只是没有人足够仔细地观察他们以发现疾病。

这就是该论文所称的异质性诊断偏差。当某些群体（基于性别、种族或社会经济地位）接受检测的频率较低时，就会导致疾病的“隐藏”病例。

解决方案：“时间旅行”模拟

作者提出了一种新方法来解决这个问题，他们称之为因果隐马尔可夫模型（HMM）。

将患者的健康状况想象成不是单张照片，而是一卷电影胶片。

隐藏部分： 电影中有患者实际上正在变病的场景（“潜在”疾病阶段），但摄像机（医生）尚未开始拍摄。我们在真实数据中无法看到这些场景。
可见部分： 我们只能看到摄像机正在拍摄的场景（即进行检测时）。

作者构建了一个数学“时间机器”（HMM），它观察可见的场景，并试图推测隐藏场景中发生了什么。它会问：“如果这个穿深色衣服的人穿着反光外套，并且像高风险群体那样频繁接受检测，我们是否会更早地发现他们的疾病？”

方法运作原理（分步说明）

观看电影： 计算机查看真实世界的数据（谁接受了检测、何时检测以及结果如何）。
填补空白： 利用 HMM，它估算出“隐藏”的电影。它推测许多未接受检测的人实际上已经患病但未被诊断，就像那些留在阴影中的人一样。
“如果”情景： 计算机随后运行模拟。它问：“如果我们强迫医生像对待高风险群体那样，均匀地将光照在每个人身上，会发生什么？”
重写剧本： 基于此模拟，计算机创建了一个新的、更“公平”的数据版本。在这个新版本中，那些之前被遗漏的人现在被标记为“已确诊”，因为模拟表明，如果检测是公平的，他们本应被发现。
训练新模型： 最后，他们在这个“公平”数据上训练一个新的预测模型。这个新模型不会学习现实世界的偏差，而是学习疾病的真实风险。

结果：修复损坏的指南针

作者通过两种方式测试了该方法：

1. 模拟（实战演练）
他们创造了一个包含 50,000 名患者的虚假世界，其中确切知道谁生病了，谁没有。

旧方法： 一个标准模型查看数据后，认为“服务不足”的群体比实际情况健康得多。这就像指南针本该指向东方，却指向了北方。
新方法： 他们的 HMM 方法校正了指南针。它意识到服务不足的群体与其他人一样患病，只是接受检测较少。“观测值与期望值”比率（一种准确度衡量指标）从混乱的1.34（意味着模型严重偏离）降至1.02（几乎完美）。即使他们打破了一些自己的规则（例如使检测不完美），新方法的表现仍然优于旧方法。

2. 现实世界测试（慢性肾脏病）
他们将此方法应用于来自英国（英国生物样本库）关于慢性肾脏病（CKD）的真实数据。

发现： 他们发现，患有糖尿病是接受检测的最大因素。糖尿病患者的检测频率是没有糖尿病者的 10 倍。
偏差： 因此，标准模型低估了没有糖尿病者的风险。它们认为这些人很安全，但 HMM 显示他们实际上处于高风险中，只是被系统遗漏了。
修正： 当他们使用新方法预测风险时，模型不再忽视非糖尿病群体。该群体的准确度从严重偏斜的1.55（遗漏病例过多）跃升至完美的1.01。

结语

该论文认为，我们不能仅仅通过忽略“受保护属性”（如种族或性别）来解决偏差。有时，这些属性告诉我们谁正在接受检测，谁被遗漏了。

通过这种“时间旅行”模拟，作者创建了一个模型，将真实的生物学风险与系统性检测偏差区分开来。这就像擦拭一扇脏窗户：窗外的景色（患者的真实健康状况）一直都在，但污垢（检测偏差）让它看起来模糊不清。他们的方法擦亮了窗户，让医生能更清晰地看到谁真正需要帮助。

技术摘要：利用因果隐马尔可夫模型校正异质性诊断偏差

问题陈述

利用常规电子健康记录（EHR）开发的临床预测模型往往受到异质性诊断偏差的影响。在常规诊疗中，被识别为高风险（由于临床因素）或属于特定人口统计学群体（如性别、种族、社会经济地位）的个体，其接受检测的频率往往高于其他人群。这导致了差异性的诊断延迟，即某些群体在同等检测条件下本应被更早诊断，却面临漏诊或诊断延迟的情况。

因此，基于此类数据训练的模型学会预测的是观察到的诊断率，而非真实的潜在疾病风险。这导致对漏诊群体的风险进行系统性低估，进而引发校准误差，并可能在临床决策中造成不公平。标准方法往往无法解决这一问题，因为对于未确诊个体而言，“真实”的疾病状态是未观测到的，且该偏差是由患者属性与医疗系统检测行为之间的相互作用所驱动的。

方法论

作者提出了一种利用隐马尔可夫模型（HMM）的因果推断框架来校正此类偏差。该方法包含三个主要组成部分：

1. 基于有向无环图（DAG）的因果建模

作者定义了一个有向无环图，其中：

$X_n$ ：基线协变量（风险因素）。
$A_n$ ：可观测性属性（如性别、种族、合并症），这些属性同时影响疾病风险和检测概率。
$\tilde{A}_n$ ： $A_n$ 的具体表现形式，专门影响基于疾病阶段的检测决策。
$S_{n,t}$ ：潜在疾病阶段（0：无病，1：早期，2：晚期）。
$R_{n,t}$ ：检测结果（阴性、早期阳性、晚期阳性或未检测）。
$D_{n,t}$ ：诊断（若检测结果为阳性则发生）。

目标是估计一个反事实估计量：诊断概率 $P(D_{n,T}^{\tilde{A}_n=0} = 1 | X_n, A_n)$ ，代表如果个体接受参考组（通常指诊断延迟最短的群体）的检测率，同时保留其实际的疾病进展和风险因素，其患病风险是多少。

2. 隐马尔可夫模型公式化

纵向疾病过程被建模为一个 HMM，包含：

转移核（ $Q$ ）：定义疾病阶段之间转移（0 $\to$ 1 $\to$ 2）的概率。它假设疾病是进展性的，即不可逆转。从“无病”到“早期”的转移由风险函数 $h(X_n, A_n, t)$ 控制，而从“早期”到“晚期”的转移则是一个常数概率 $\beta_{S=1 \to 2}$ 。
发射概率（ $\Gamma$ ）：定义在给定潜在阶段 $S_{n,t}$ 和可观测性属性 $A_n$ 的情况下观察到检测结果 $R_{n,t}$ 的概率。关键在于，早期疾病（ $\beta_{S=1, A_n}^R$ ）的检测率允许随 $A_n$ 变化，从而捕捉诊断异质性。由于晚期症状严重，晚期疾病的检测率被假定为独立于 $A_n$ 。
初始状态（ $\pi$ ）：基线时疾病阶段的概率分布。

模型参数通过最大似然估计进行估算，利用前向算法和基于梯度的优化（PyTorch 中的 L-BFGS），并对未观测到的潜在状态进行边缘化处理。

3. 反事实结果插补

一旦 HMM 拟合完成，该方法生成一个反事实数据集以训练标准的预测模型：

重构：HMM 根据个体的观测检测历史，估计其潜在疾病轨迹的概率。
干预：修改发射概率以反映参考组（ $\tilde{A}_n = 0$ ）的检测率。
插补：计算反事实诊断概率（ $p_{n,T}^{cf}$ ）。为避免高估发病率，作者应用了单调性假设：如果个体在现实中已被确诊（ $D=1$ ），则在反事实中仍保持确诊（ $D^{cf}=1$ ）。只有漏诊群体中未确诊的个体（ $D=0$ ）才根据其反事实概率重新插补。
重新校准：对重新插补病例的反事实概率进行重缩放，以确保总反事实发病率与估计的反事实人群发病率相匹配。
训练：在此重新插补的数据集上训练标准的逻辑回归模型，以预测反事实结果。

主要贡献

因果 HMM 框架：本文介绍了因果 HMM 的新颖应用，用于显式建模和校正进展性疾病中的差异性诊断延迟，超越了简单的标签校正。
可识别性与鲁棒性：通过模拟，作者证明了 HMM 参数是可识别的，并且即使假设（如完美的检测灵敏度或统一的进展率）被违反，该方法仍能保持鲁棒性。
现实世界应用：该方法应用于大规模的英国生物样本库（UK Biobank）数据集，以预测 5 年慢性肾脏病（CKD）发病率，成功校正了多个亚组的偏差。
以数据为中心的公平性：该方法与“以数据为中心”的公平性相一致，通过建模产生偏差的数据记录机制（检测行为），而非简单地从模型中移除受保护属性。

结果

模拟研究

在包含 50,000 名患者的模拟中，所提出的方法显著优于标准的“朴素”（基于观测数据训练）和“盲”（基于不含受保护属性的数据训练）模型：

校准：漏诊群体的观测值与期望值之比（O:E）从 1.34（朴素模型）改善至 1.02（所提方法），表明校准近乎完美。
鲁棒性：即使假设被违反（例如检测灵敏度不完美或进展率变化），所提方法仍比标准模型保持更好的校准，尽管参数估计偏差有所增加。

慢性肾脏病（CKD）案例研究

利用英国生物样本库中的 123,460 名个体：

诊断异质性：HMM 识别出糖尿病是可观测性的最强驱动因素（检测率的比值比：10.36），其次是高血压。女性与较低的检测率相关（OR: 0.69）。
偏差校正：
- 朴素模型严重低估了无糖尿病患者的风险（O:E 比率：1.55）。
- 插补模型校正了这一问题，使无糖尿病群体的 O:E 比率达到 1.01，同时保持了糖尿病群体的校准（O:E: 1.01）。
临床效用：决策曲线分析显示，两个群体的净获益均有所提高，特别是对于漏诊人群，且未降低对监测良好群体的性能。
风险分层：校正后的模型提高了无糖尿病患者的估计风险，反映了其真实的潜在风险，而非其较低的检测可能性。

意义与主张

作者声称，他们的方法提供了一种理论扎实且经实证验证的方法，可在不需要外部发病率数据或关于疾病患病率的固定假设的情况下，减少临床预测模型中的偏差和不公平。

通过显式建模受患者属性影响的“诊断过程”作为潜在变量，该方法允许在公平的反事实场景下估计风险，即检测率被均等化。作者强调，这能带来更准确的风险分层，确保漏诊人群在预防性护理中不会被系统性忽视。他们将这项工作定位为迈向“以数据为中心”的公平性的一步，旨在解决常规临床数据中偏差的根本原因，而不仅仅是缓解最终模型中的症状。

论文结论较为谦逊，指出虽然该方法依赖于特定假设（如马尔可夫进展、恒定的晚期检测率），但它提供了一个灵活的框架，可在未来的工作中扩展到更复杂的疾病轨迹和多种检测类型。