📊 statistics

From Risk Sets to Martingales: A Counting-Process Framework for Event-History Learning

本文建立了一个基于计数过程表示法和鞅理论的统一事件历史学习框架，将多样化的截断、复发及多状态数据问题转化为五种循环出现的数学对象，从而为推导和比较经典生存分析方法与机器学习生存分析方法提供了通用的计算算法、理论证明模板以及共享语言。

原作者： Eliuvish Han Cui

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Eliuvish Han Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图预测一个灯泡何时会烧坏，或者一名患者在治疗后何时会复发。在现实世界中，你很少能看到“事件”发生的精确瞬间。有时，当你在观察时灯泡仍然亮着（右删失/censoring）；有时，你每周只检查一次灯泡，因此只知道它在周二到周五之间坏了（区间删失/interval censoring）；有时，一名患者可能会生病、痊愈、再次生病，最后死亡（多状态模型/multistate）。

这篇论文本质上是一个通用翻译器和一个构建套件，用于处理所有这些混乱且不完整的时序数据。作者 Elvis Han Cui 主张，与其将每种类型的生存数据都视为一个独特且令人困惑的问题，不如通过一个强大的数学视角——计数过程框架（Counting-Process Framework）——将它们统一起来。

以下是使用日常类比对该论文思想的分解：

1. 核心思想：“风险集”与“惊喜”

论文从一个简单的方程开始： $dN(t) = Y(t)\alpha(t)dt + dM(t)$ 。
可以将其看作是一个预测未来的“食谱”：

$Y(t)$ （风险集/Risk Set）： 这是当前正在“比赛中”的人群或事物。如果你在研究灯泡， $Y(t)$ 就是仍亮着的灯泡数量。如果一个灯泡烧坏了或者你停止了观察，它就会离开这个群体。
$\alpha(t)$ （风险率/Hazard）： 这是在这一瞬间发生的“瞬时压力”或失效风险。
$dN(t)$（跳跃/Jump）： 这是实际发生的事件（如灯泡烧坏、患者复发）。
$dM(t)$（鞅/Martingale 或“惊喜/Surprise”）： 这是最重要的部分。它代表了不可预见性。即使你知道了群体规模和风险，你也无法精确预测下一个灯泡会在何时熄灭。“鞅”是用数学方式表达：“我们预期的发生情况与实际发生情况之间的差异仅仅是随机噪声。”

论文的核心主张是，如果你能将可预测的群体与随机的惊喜区分开来，你就能构建一个统一的系统来分析几乎任何类型的生存数据。

2. 五个构建模块

与其为不同的场景记忆成百上千个不同的公式，论文指出，每个问题都可以分解为五个重复出现的对象：

风险过程（Risk Process）： 谁还在比赛中？
跳跃过程（Jump Process）： 事件究竟何时发生？
补偿项（Compensator）： 根据规则，我们预期会发生什么？
估计方程（Estimating Equation）： 用于寻找答案的数学工具。
极限论证（Limiting Argument）： 证明随着数据量的增加，答案会变得越来越准确。

3. 该框架能做什么

论文展示了这一单一框架如何处理各种复杂的场景，并将它们全部转化为同一种语言：

标准生存分析（右删失/Right-Censored）： 经典的“Kaplan-Meier”曲线。想象一排奔跑的选手，有些人在到达终点前退出了（删失）。该框架通过观察每一步中仍在奔跑的人，来计算完成比赛的概率。
多状态模型（Multistate）： 想象一名患者经历了“健康 $\to$ 生病 $\to$ 死亡”，或者“健康 $\to$ 直接死亡”。论文使用乘积积分（product integral）（类似于乘以一系列微小的概率）来追踪在任何特定时间处于特定状态的概率。这就像一个流程图，通过乘以走过每条路径的概率来计算。
复发事件（Recurrent Events）： 如果一名患者生病、痊愈，然后再次生病怎么办？只要患者仍在风险集中，框架就会统计每一次“跳跃”（生病）。
区间删失（Interval Censoring）： 假设你只在周一和周三检查患者的健康状况。如果周三他们生病了但周一很健康，你就知道事件发生在两者之间，但不知道确切时间。论文使用一种“自洽性”算法（类似于 EM 算法），将概率质量重新分配到可能的各个时间区间，直到找到最佳拟合。
因果推断（工具变量/Instrumental Variables）： 有时，治疗（如药物）会被给予病情更重的患者，这使得药物看起来效果很差。为了修正这一点，论文使用“工具变量”（如基因标记或医生的随机偏好）来隔离出真实的因果效应，从而将药物的效果与患者潜在的健康状况区分开来。

4. “交叉拟合”的创新

论文的一个新贡献是提出了一种验证用于生存数据的现代机器学习模型（如神经网络）的方法。

问题： 如果你在一个数据集上训练模型，并在相同的数据上进行测试，模型可能只是在死记硬背答案（过拟合）。
解决方案： 论文提出了一个“交叉拟合（cross-fitted）”方法。你在 90% 的数据上训练模型，并在剩余 10% 的数据上进行测试。
神奇之处： 论文提出了一个新的数学恒等式：如果你的模型是优秀的，那么测试组中的“惊喜”（鞅残差/martingale residuals）应该看起来像随机噪声。如果模型很差，这种“惊喜”就会呈现出某种模式。这为检查复杂的 AI 模型是在真正学习事件历史，还是仅仅在瞎猜，提供了一种严谨的方法。

5. 为什么这很重要

这篇论文不仅仅是列举旧方法，它提供了一种共同语言。

对于数学家： 它提供了“证明模板”。不再需要为每种新类型的数据从头开始证明新定理，你可以将问题代入这五个构建模块，并使用现有的证明。
对于数据科学家： 它将复杂的生存分析转化为可重用的算法。无论你是在分析灯泡、历史职业任期还是患者复发，其“风险集扫描”（算法 1）都是一样的。
对于所有人： 它统一了领域。无论是进行简单的“Log-Rank 检验”来比较两组差异，还是进行复杂的“贝叶斯非参数”多状态转移模型，它们都只是管理风险集和惊喜的不同方式。

总结

可以将这篇论文看作是处理生存数据的通用适配器。无论你的数据是混乱的、不完整的、具有多状态的，还是涉及因果关系问题，作者都展示了你可以剥离复杂性，直视其核心机制：谁处于风险之中？我们预期会发生什么？实际发生了什么？以及，其中的差异仅仅是随机噪声吗？ 通过一致地回答这些问题，我们可以推导、检查并比较任何用于分析事件历史的方法。

技术摘要：从风险集到鞅：一种用于事件历史学习的计数过程框架

问题陈述

生存数据和事件历史数据本质上是经过过滤的观测结果，而非完整的响应变量。在任何时间 $t$ ，分析师观察到的是累积的历史（风险集、协变量、先前的状态），但仅在事件发生时才观察到事件跳跃。这种时间上的不对称性使得对删失（censored）、截断（truncated）、复发（recurrent）、多状态（multistate）以及协变量依赖型（covariate-dependent）数据的分析变得复杂。虽然存在许多特定的方法（例如 Kaplan–KM、Cox 回归、Fine–Gray），但需要一个统一的框架，将可预测的风险集信息与观测到的事件跳跃分离，以便于对事件历史数据中的经典方法和机器学习方法进行推导、检查和比较。

方法论

本文建立了一个基于计数过程表示法和乘性强度表示法的统一框架：
$dN(t) = Y(t)\alpha(t)dt + dM(t)$
其中：

$N(t)$ 是跳跃过程（观测到的事件计数）。
$Y(t)$ 是可预测的风险过程（在险人数）。
$\alpha(t)$ 是强度函数。
$Y(t)\alpha(t)dt$ 是补偿项增量（compensator increment）。
$dM(t)$ 是鞅创新（martingale innovation）。

该框架并非对特定的生存分析方法进行编目，而是将每一个部分观测的学习问题转化为五个循环出现的对象：

风险过程（Risk Process）： 有资格发生事件的受试者可预测集合。
跳跃过程（Jump Process）： 观测到的事件增量。
补偿项（Compensator）： 可预测的强度模型。
估计方程（Estimating Equation）： 由鞅性质或似然函数导出。
极限论证（Limiting Argument）： 渐近正当性依据（例如鞅中心极限定理）。

该框架系统地将此应用于四个领域：

非参数估计： 将 Nelson–Aalen（累积风险）、Kaplan–Meier（生存）、Aalen–Johansen（多状态）、Dabrowska（双变量）和 Turnbull（区间删失）估计器视为乘积积分更新或似然最大化。
假设检验： 将 Log-rank 检验和加权检验公式化为鞅风险集对比，并扩展到分层、交叉风险（crossing-hazard）和竞争风险场景。
回归模型： 统一了 Cox–Andersen–Gill（乘性）、Aalen（加性）、转换/AFT 以及半马尔可夫模型。它通过区分日历时间（calendar time）与已历经停留时间（elapsed soign time）来显式处理持续时间依赖性。
因果推断： 将工具变量（IV）方法（如 G-estimation、结构 Cox 模型）适配到删失结局中，通过结合因果矩限制与计数过程估计方程来实现。

该框架还整合了现代机器学习，通过将灵活的学习器（随机森林、神经网络）映射到此结构中，特别解决了针对删失数据的**交叉拟合验证（cross-fitted validation）**问题。

核心贡献

1. 计算统一化

本文将多样化的计算任务转换为可重用的算法和模拟诊断工具：

风险集扫描（Risk-set sweeps）： 用于 Nelson–Aalen、Kaplan–Meier、log-rank 和 Cox 分数计算的统一算法（算法 1）。
乘积积分更新（Product-integral updates）： 用于多状态转移（Aalen–Johansen）和半马尔可夫历经时间簿记。
区间似然（Interval likelihoods）： 用于 Turnbull 自洽性/EM-ICM 蓝图的区间删失数据处理。
交叉拟合验证（Cross-fitted validation）： 一个用于将现代学习器应用于删失数据，同时尊重可预测风险集和过滤（filtration）要求的封装器（算法 4）。

2. 理论贡献

证明模板： 本文提供了一种标准化的结构，利用鞅分解和泛函德尔塔法（functional delta methods）来证明一类估计器的相合性、渐近正态性和方差估计。
新理论结果（定理 27）： 本文证明了一个新的样本外补偿项验证恒等式（out-of-fold compensator validation identity），用于交叉拟合的删失学习器。它确立了：在给定训练折（folds）的条件下，验证折的残差得分是鞅中心化的，当且仅当学习到的强度在加权集成强度意义上是校准的。这将在交叉拟合解释为一种过滤要求：验证预测可以依赖于训练数据和 $t$ 之前的历史，但不能依赖于未来的验证跳跃。

3. 应用映射

该框架将多种领域（生物医学、可靠性、运营、经济、金融、文学、历史及因果生存示例）映射到相同的风险集和补偿项语言中。这使得能够使用共同的数学语言来推导和比较跨领域的各种方法。

结果与范围

本文并不呈现新的经验数据，而是一种理论和算法的综合。其“结果”是成功统一了：

估计器： 从简单的右删失曲线到复杂的双变量区间删失曲面和多状态转移概率。
检验： 从标准的 log-rank 检验到自适应、加权和竞争风险比较。
模型： 从参数化（Weibull, Gompertz）到半参数化（Cox, Aalen）以及完全非参数化（Beran, Turnbull）模型。
因果方法： 处理删失结局中内生性的结构 Cox 模型和加性风险 IV 模型。

本文论证了计数过程分解 $dN = Y\alpha dt + dM$ 是所有这些方法的“共同分析基础”。它表明 Nelson–Aalen 估计器是累积风险估计的原型，Kaplan–Meier 估计器是其乘积积分变换，而 Aalen–Johansen 估计器则是同一逻辑的多状态扩展。

意义与主张

本文声称提供了一个共同的数学语言，用于推导、检查和比较用于删失、复发和多状态事件历史数据的经典及机器学习方法。

对于经典分析： 它提供了证明模板，阐明了反复出现的鞅、似然和乘积积分论证，使新估计器的推导更加系统化。
对于现代学习： 它解决了将灵活的机器学习模型（如神经网络、随机森林）与删失数据推断的严格要求相结合的问题。具体而言，它为在生存设置中使用交叉拟合提供了理论依据（定理 27），确保只有当模型得到正确校准时，验证残差才会表现为鞅。
对于因果推断： 它架起了工具变量理论与生存分析之间的桥梁，展示了如何构建既尊重删失数据过滤（filtration）又能实现有效的 G-估计器和结构模型。

作者将这项工作定位为一种组织框架，而非仅仅是命名方法的目录，其中“风险集、删失机制和过滤限制”对于任何学习问题都是显式的。其最终目标是通过确保不同领域（例如从临床试验到可靠性工程）共享相同的底层随机结构，来促进方法的迁移。