📊 statistics

Robust estimation of occupation probabilities for coarsened multistate processes

本文推导了针对受右删失和基线暴露粗糙化影响的多状态模型中占用概率的增广逆概率加权估计量，并在不要求马尔可夫性质的情况下，在粗糙化随机假设下确立了其稳健性和有效性。

原作者： Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图追踪一群人在一座巨大建筑中穿梭于不同“房间”的生命历程。有些房间是暂时的（比如“健康”或“患病”），而有些则是最终的出口（比如“死亡”）。在统计学中，这被称为多状态过程（multistate process）。

这项研究的目标是回答一个简单的问题：“在任何给定时刻，有多少比例的人处于某个特定的房间中？” 这被称为占用概率（occupation probability）。

然而，在现实世界中，有两个巨大的问题使得准确计算变得非常困难：

人员流失： 一些人在到达最终出口之前就离开了建筑（这被称为右删失/right-censoring）。也许他们搬走了，或者研究结束了。
隐藏因素： 人们离开或所走路径的原因，可能取决于我们未能完美测量的因素，或者随时间变化的因素（例如他们的健康状况恶化）。

作者 Niklas Nyboe Maltzahn 及其团队构建了一套新的数学工具（估计量）来解决这个谜题。以下是通过类比对他们工作方式的解释。

问题所在：“破碎的地图”

想象一下，你正试图绘制一张人们在建筑中分布情况的地图。但你的地图很模糊，因为：

有些人从你的视野中消失了（删失）。
你只能粗略地猜测谁更有可能消失（处理分配）。

如果你仅仅统计那些你能看到的人，你的地图就会出错。你可能会认为处于“患病”房间的人较少，因为最严重的病人很早就退出了研究。

解决方案：“双重检查”系统

作者提出了一种称为**增广逆概率加权（Augmented Inverse Probability Weighting, AIPW）**的方法。你可以将其理解为一种使用两种不同方式来猜测地图缺失部分的“双重检查”系统。如果其中一种方式错了，另一种可以挽救局面。

他们实际上提出了五种不同版本的工具，其中两个主要版本是：

“加权计数”（IPW）：
假设你有一份留在研究中的人员名单。你会给那些看起来像要退出的人赋予“更重的权重”。如果一个健康的人留下来了，但许多生病的人离开了，你会把这个健康的人当作代表了许多个生病的人。这试图通过数学手段来“填补空白”，从而修复缺失的数据。
- 弱点： 如果你对人们为什么退出的猜测是错误的，那么你的整张地图都会出错。
“增广版”（AIPW）：
这是本文的杀手锏。它采用了“加权计数”，并增加了第二层：一个预测模型。
- 它会问：“基于我们对那些留下的人的了解，那些离开的人原本会是什么样子？”
- 它将“加权计数”与这个“预测”结合在一起。
- 神奇之处在于： 如果你对人们为何离开的猜测是错的，但你的预测模型是对的，答案依然是正确的。如果你的预测错了，但你对他们为何离开的猜测是对的，答案依然是正确的。只有当两种猜测都错误时，它才会失败。这被称为双重稳健性（Double Robustness）。

“单步升级”

作者还创建了一个“单步（One-Step）”估计量。想象一下你在射击靶心。

基础方法射出一箭。
“单步”方法射出一箭，观察偏离了多少，然后立即进行微小且精确的调整，以精准命中靶心。
这使得结果更加高效（波动更小）且更可靠，即使在数据混乱的情况下也是如此。

“修正版”

有时，预测模型会变得有些“摇晃”或产生偏差。作者为他们的工具添加了一个“修正版”。

这可以看作是一个自动纠偏的转向盘。如果汽车因为路面湿滑（有偏差的数据）而开始发生偏移，转向盘会自动调整角度，使车保持在直线路径上。
这确保了即使数据并不完美，工具也能保持准确。

模拟测试

为了证明他们的工具有效，作者进行了一场大规模的计算机模拟。

他们创造了一个虚构的世界，其中有 9,000 人在“健康”、“患病”和“死亡”状态之间移动。
他们让一些人在随机的时间点退出了研究。
然后，他们尝试使用他们的五种工具来推算每个人原本应该处于什么位置。

结果显示：

当数据完美时，所有工具都有效，但“单步”和“修正”工具最为精确（误差最小）。
当他们故意破坏数据（通过让工具对人们退出的原因做出错误猜测）时，基础工具表现得很糟糕。
然而，**增广（AIPW）**工具始终保持正常工作。它们具有“稳健性”，这意味着即使在数据混乱时也不会崩溃。

核心结论

这篇论文为统计学家提供了一套全新的、极其强大的工具，用于追踪人们如何随时间在不同状态（如健康状况）之间移动，即使在人员流失或退出原因复杂的情况下也是如此。

关键的启示在于冗余性：通过使用两种不同的方法来猜测缺失的信息，作者创建了一个比以往方法更难被误导的系统。它不需要复杂的假设（即假设人们未来的路径仅取决于其当前状态的“马尔可夫”假设），这使其能够适用于更广泛的现实场景，在这些场景中，历史背景至关重要。

技术摘要：粗糙化多状态过程中占用概率的稳健估计

问题陈述
多状态模型提供了一个通用的框架，用于分析实体随时间在明确定义的各种状态之间转换的现象，例如疾病进展、就业状态或信用评级。此类模型中的一个主要感兴趣的参数是占用概率（occupation probability）——即过程在给定时间 $t_0$ 处于特定状态的概率。在实践中，这些过程通常受到两层粗糙化（coarsening）的影响：右删失（right-censoring）（例如脱落）和基线暴露（baseline exposure）（治疗分配）。

现有的多状态模型文献通常依赖于较为严格的假设，例如状态转移的马尔可夫性质（Markov property），或删失机制相对于基线协变量与过程历史相互独立。本文旨在解决在更弱的假设下估计反事实多状态过程占用概率的挑战。具体而言，作者旨在处理非马尔可夫状态转移，并允许右删失机制依赖于过程的历史以及随时间变化的协变量，前提是满足**随机粗糙化（Coarsening at Random, CAR）**假设。

方法论
作者利用来自因果推断和缺失数据文献的技术，推导了用于估计占用概率的**增广逆概率加权（Augmented Inverse Probability Weighted, AIPW）**估计量。

数据结构与可识别性：
- 全数据过程被定义为在假设干预 $a \in \{0, 1\}$ 下的 cadlag 多状态过程 $Z_a$ ，并伴随时间依赖性协变量 $L_a$ 和基线协变量 $W$ 。
- 观测数据通过潜在的右删失时间 $C_a$ 和观测到的治疗 $A$ 进行粗糙化。
- 可识别性准则： 作者假设：
  - 一致性（Consistency）： 观测数据是全反事实数据的一个一致的粗糙化版本。
  - 正性（Positivity）： 治疗分配和保持未删失的概率严格大于零。
  - 可交换性（CAR）： 给定基线协变量和截至当前时间的历史，粗糙化机制（治疗和删失）与全反事实数据独立。至关重要的是，这允许删失依赖于过程的历史，这与标准的独立删失假设不同。
有效影响函数（Efficient Influence Function, EIF）：
- 目标参数通过逆概率加权（IPW）估计量进行识别。
- 作者推导了观测数据估计量的有效影响函数（EIF）。这涉及将全数据映射的得分（score）投影到观测数据模型的切空间上，并减去与治疗倾向得分（ $\pi$ ）和删失机制（ $G$ ）相关的扰动切空间的正交投影。
- EIF 取决于扰动参数：倾向得分 $\pi$ 、删失生存函数 $G$ ，以及两个条件期望函数 $Q$ 和 $\eta$ ，它们分别代表由删失概率倒数加权的预期结果。
提出的估计量：
基于 EIF，提出了五种估计量：
- IPW 估计量 ( $\hat{\psi}^0_n$ )： 一种简单的逆概率加权估计量。
- 增广 IPW 估计量 ( $\hat{\psi}^\nu_n$ 和 $\hat{\psi}^\mu_n$ )： 这些估计量包含了由 EIF 投影导出的修正项（增广项）。其中 $\hat{\psi}^\mu_n$ 是一个单步估计量（one-step estimator），同时包含了治疗和删失的增广项。
- 修正后的 AIPW 估计量 ( $\hat{\psi}^{\nu, mod}_n$ 和 $\hat{\psi}^{\mu, mod}_n$ )： 这些估计量通过使用普通最小二乘法（OLS）估计增广项的回归系数来修改标准 AIPW 估计量。其目的是在扰动参数估计存在偏差时强制实现正交性，从而可能提高效率。
扰动参数估计：
- $\pi$ 和 $G$ 使用工作模型（用于倾向得分的逻辑回归和用于删失风险的 Cox 模型）进行估计。
- $Q$ 和 $\eta$ 通过对加权观测值（伪结果）针对条件集汇总进行回归来估计。

关键结果
研究通过一个包含复发现象的三状态疾病-死亡模型模拟实验，评估了这五种估计量的性能，在该模型中，转移率取决于基线协变量，且删失取决于基线及随时间变化的历程。

正确设定（Correct Specification）： 当所有扰动参数都被一致估计时，所有估计量都是无偏的。然而，单步估计量 ( $\hat{\psi}^\mu_n$ ) 展示了最低的均方根误差（RMSE），证实了其相对于部分增广估计量的效率优势。
对误设定的稳健性（Robustness to Misspecification）：
- 倾向得分 ( $\pi$ ) 或删失机制 ( $G$ ) 存在偏差： 简单的 IPW 估计量表现出显著偏差。完全增广的估计量 ( $\hat{\psi}^\mu_n$ ) 即使在 $\pi$ 或 $G$ 被误设定的情况下仍保持稳健（无偏），前提是其他组件被正确设定。
- 回归项 ( $Q$ 或 $\eta$ ) 存在偏差： 当基于回归的扰动参数被误设定时，完全增广的估计量虽然保持无偏，但会损失部分效率。修正后的估计量 ( $\hat{\psi}^{\mu, mod}_n$ ) 在特定场景下显示出 RMSE 的轻微改善，表明它们可以部分缓解由于增广项偏差导致的效率损失。
收敛性： 模拟结果证实了理论上的效率层级： $\hat{\psi}^\mu_n$ （单步）> $\hat{\psi}^\nu_n$ （部分增广）> $\hat{\psi}^0_n$ （IPW）。

意义与主张
本文声称，所提出的估计量为在较弱假设下的多状态模型中估计占用概率提供了一种稳健且高效的方法。

通用性： 与以往针对特定模型（例如不含复发的疾病-死亡模型或在马尔可夫假设下的竞争风险模型）的方法不同，这些估计量适用于具有任意数量状态的多状态模型，并允许非马尔可夫转移和时间依赖性混杂。
放宽删失假设： 该框架明确允许右删失依赖于多状态过程的内部历史，这是对现实建模（例如带有复发的疾病-死亡模型）非常重要的特征，但在标准独立假设下难以处理。
双重稳健性（Double Robustness）： 单步估计量具有双重稳健性质；如果治疗/删失模型 ( $\pi, G$ ) 或结果回归模型 ( $Q, \eta$ ) 其中之一被正确设定，它仍然是一致的。
实际应用价值： 作者指出，虽然单步估计量需要足够的样本量来在每个删失时间估计复杂的扰动参数 ( $\eta$ )，但它对于中等规模的数据集（例如 2,500–9,000 人）保持稳定，并且在存在模型误设定的情况下，其表现优于 IPW。

作者总结道，虽然随机粗糙化（CAR）是一个强条件（意味着跨世界假设），但它是处理存在复杂缺失数据结构的场景下，实现基于似然的推断并构建半参数模型的必要工具。所提出的方法为处理现实世界多状态数据分析中的这些理论进展提供了实用的实现手段。