Stable and practical semi-Markov modelling of intermittently-observed data

本文通过用相型分布近似停留时间以实现灵活的似然计算，为间歇性观测数据引入了一种实用的半马尔可夫建模框架，并提供了一个新的 R 包"msmbayes"，通过贝叶斯或最大似然估计来实现该方法。

要点

以下是用通俗语言和日常类比对该论文的解读。

宏观视角：追踪生命的变化

想象一下，你试图追踪一个人的健康状况随时间的变化。你偶尔会去查看他们的情况——也许是一年一次，或者每隔几个月。你想知道：他们在“健康”状态能维持多久才会生病？一旦生病，需要多久才能康复或去世？

在统计学中，这被称为多状态模型。它就像一张地图，上面有不同的房间（状态）以及它们之间的门（转移）。

问题所在：“记忆”陷阱

大多数标准地图假设，离开一个房间的概率仅取决于你当前所在的房间。这被称为马尔可夫假设。这就像说：“如果你正在‘生病’房间里，无论你是刚走进去还是已经待了一年，明天离开的概率都是 50%。”

但在现实生活中，时间很重要。如果你已经病了很久，你康复（或恶化）的可能性可能与刚生病时不同。这是一种半马尔可夫模型，其中房间内部的“时钟”至关重要。

难点在于： 因为我们只是偶尔（间歇性数据）去查看人们的情况，所以我们不知道他们确切是在何时进入某个房间的。我们只知道他们在 1 月份在 A 房间，6 月份在 B 房间。我们不知道他们是在 2 月还是 5 月生病的。这使得计算房间内部的“时钟”变得极其困难。

旧方案：太慢或太僵化

科学家们曾尝试解决这一问题，但使用的工具要么：

1. 太慢： 试图猜测人们在两次检查之间走过的每一条可能路径，就像试图数清海滩上的每一粒沙子，只为找到其中特定的一粒。
2. 太僵化： 某些方法仅适用于非常简单的地图，而无法应用于现实医学中使用的复杂地图。
3. 太复杂： 某些方法需要定制且难以使用的软件，大多数研究人员无法获取。

新方案：“隐藏阶段”技巧

作者克里斯托弗·杰克逊（Christopher Jackson）引入了一种巧妙的解决方法，使用了称为**相型分布（Phase-Type distributions）**的概念。

类比：拥有秘密走廊的酒店
想象一下，“生病”房间不仅仅是一个大房间。实际上，它更像是一家酒店，内部有一条长长的走廊，里面藏着许多更小的、隐蔽的房间（阶段）。

• 当一个人进入“生病”状态时，他进入第一个隐藏房间。
• 他们逐个穿过这些隐藏房间。
• 他们在每个隐藏房间停留的时间是简单且可预测的（就像标准时钟）。
• 当他们最终离开最后一个隐藏房间时，他们就离开了“生病”状态。

通过将这些简单的隐藏房间串联起来，你可以创建一个复杂且现实的“生病”房间，其中停留的时间至关重要（例如，在穿过 3 个隐藏房间后离开的可能性比只穿过 1 个要大）。

为何这是游戏规则的改变者：
因为这些隐藏房间之间的移动很简单，计算机可以非常轻松地计算数学。它将复杂的“半马尔可夫”问题转化为标准的“隐马尔可夫”问题，而计算机已经非常擅长解决后者。

创新点：“矩匹配”配方

此前曾有人尝试使用这种“隐藏走廊”的想法，但这就像试图通过猜测配料来烤蛋糕。你必须运行一个庞大且缓慢的计算机搜索，才能弄清楚如何排列隐藏房间以匹配特定的形状（如威布尔分布或伽马分布）。

本文介绍了一种快速、解析的配方（称为矩匹配）。

• 作者没有猜测，而是提供了一个数学公式。
• 你告诉计算机：“我希望在这个状态中停留的时间看起来像具有这些特定属性的伽马分布。”
• 计算机立即精确计算出如何设置隐藏房间（阶段）以完美匹配该形状。

这就像拥有一个魔法模具，可以瞬间将隐藏走廊塑造成符合你所需任何特定时间模式的样子，而无需进行缓慢的猜测游戏。

工具：msmbayes

作者将整个方法打包成一个名为 msmbayes 的新软件工具（可在 R 语言中使用）。

• 它的作用： 它允许研究人员构建复杂的健康状态地图，即使数据稀疏且不规则。
• 为何稳定： 有时，数据过于微弱，导致计算机感到困惑并崩溃（这被称为“不可识别性”问题）。该工具使用贝叶斯统计，这就像根据我们以前研究中的已知信息给计算机一个“提示”。这稳定了计算过程，确保即使数据模糊也能产生结果。

验证：测试与实际应用

作者通过两种方式测试了该方法：

1. 模拟： 他们创建了已知“真实”答案的虚假数据，运行软件，并确认它每次都找到了正确答案。
2. 真实数据： 他们将其应用于老年人认知功能的研究（ELSA 研究）。他们追踪了人们如何在不同水平的记忆能力与死亡之间移动。
   • 标准方法（马尔可夫）假设一旦处于某种记忆状态，死亡风险是恒定的。
   • 新方法（半马尔可夫）表明，风险实际上会根据你处于该状态的时间长短而变化。
   • 结果显示，新方法对数据的拟合度略好，并提供了关于人们在不同认知状态停留时间的更现实估计。

总结

这篇论文构建了一个新的、稳定的且易于使用的软件工具，使科学家能够模拟人们如何在不同的生命状态（如从健康到生病）之间移动，即使他们只是偶尔去查看。这是通过将复杂的时间模式分解为简单的“隐藏步骤”，并使用快速数学配方来设置它们，从而使高级建模对每个人来说都触手可及。

技术摘要

技术摘要：间歇性观测数据的稳定且实用的半马尔可夫建模

问题陈述
多状态模型是分析随时间变化的分类变量的标准工具，特别是在数据为“间歇性观测”（面板数据）的生物医学背景下。在此类数据中，进入和离开状态的确切时间未知，观测点之间的具体路径也不明确。传统上，这些模型依赖于马尔可夫假设，即转移速率与在当前状态停留的时间无关。然而，这一假设往往不切实际；在许多生物过程中，转移风险取决于当前状态的持续时间（停留时间）。

放宽马尔可夫假设以构建适用于面板数据的半马尔可夫模型在计算上极具挑战性。现有方法面临重大障碍：

1. 潜变量时间的积分：随着未观测转移次数的增加，对未观测转移时间进行数值积分变得计算量过大，难以承受。
2. 非参数估计量：这些方法通常仅限于无环转移结构（无循环）。
3. 基于模拟的方法：虽然存在如自定义 MCMC 或随机 EM 算法等方法，但缺乏通用的软件实现。
4. 相型模型：尽管 Titman 和 Sharples 提出使用相型分布将半马尔可夫模型表示为隐马尔可夫模型（HMM），从而允许通过前向算法轻松计算似然值，但这种方法引入了大量潜参数。这通常导致可识别性差，致使优化算法失败，特别是在稀疏的间歇性数据中。以往尝试约束这些模型的尝试（例如 Titman [28]）依赖于密集的数值优化和特设的样条选择来近似标准分布（Weibull、Gamma），缺乏通用且稳定的软件实现。

方法论
本文提出了一种新的计算框架，使针对一般状态结构的稳定半马尔可夫建模成为可能。核心方法论包含三个关键组成部分：

1. 基于矩匹配的相型近似：
   作者采用一种快速解析程序，而非使用数值优化来近似标准分布。他们利用一个特定的 Coxian 相型分布族（受 Bobbio、Horváth 和 Telek [5] 启发），该分布由一系列潜阶段定义。

   • 该方法将目标分布（Gamma 或 Weibull）的前三阶矩（均值、方差和三阶矩）与相型分布进行匹配。
   • 这得出了相型转移强度的唯一闭式表达式，作为目标分布形状和尺度参数的函数。
   • 这种方法将相型族限制为具有与简单分布相似属性的族，从而减少了参数空间，并相较于完全灵活的相型模型提高了可识别性。

2. 扩展到协变量：
   该框架通过两种方式扩展近似以包含协变量：

   • 停留时间：协变量通过加速失效时间（AFT）模型影响停留分布的尺度参数。这是通过对潜阶段序列中的所有转移强度乘以相同的因子来实现的。
   • 下一状态概率：协变量通过多项逻辑回归影响转移到特定后续状态的概率。这使得不同退出目的地的相对风险可以独立于停留时间随协变量变化。

3. 软件实现（msmbayes）：
   该方法已在新 R 包 msmbayes 中实现。该包支持：

   • 一般状态转移结构（包括循环）。
   • 最大似然估计（通过拟牛顿优化）和贝叶斯估计（通过 Stan 使用哈密顿蒙特卡洛）。
   • 在弱可识别性（这是间歇性数据多状态建模中的常见问题）情况下，利用先验信息来稳定估计。

主要结果
本文通过基于模拟的校准和实际应用验证了该方法：

• 基于模拟的校准：

  • 准确性：来自 msmbayes 包的 MCMC 样本生成的后验分布通过了基于模拟的校准测试（均匀秩统计量），证实了实现的正确性。
  • 拉普拉斯近似：拉普拉斯近似（后验众数 + 海森矩阵）被发现显著更快（约为 MCMC 运行时间的 1%），但在形状参数和下一状态对数几率方面引入了偏差，特别是低估了不确定性。然而，它为马尔可夫模型提供了合理的近似。
  • 稳定性：在最大似然估计（MLE）无法收敛的场景中（例如，对于具有弱可识别性的马尔可夫模型，76% 的模拟数据集），贝叶斯方法成功产生了收敛的后验分布，这些分布主要由先验主导，从而在 MLE 失败的地方提供了对不确定性的有效表征。

• 认知功能应用（ELSA 数据）：

  • 该方法被应用于英国纵向老龄化研究（ELSA），以建模认知功能状态与死亡之间的转移。
  • 发现具有许多参数的标准马尔可夫模型在实际中不可识别，产生了不切实际的大标准误。
  • 半马尔可夫模型（使用 5 阶段 Weibull/Gamma 近似）提供了适度的拟合改进（更低的惩罚对数似然），并揭示了转移风险随进入状态后的时间推移而降低（形状参数 < 1）。
  • 使用源自外部死亡率数据的贝叶斯先验，协变量效应（年龄、性别、教育）的估计更加稳定。

意义与主张
本文声称提供了首个针对具有任意转移结构的间歇性观测数据进行稳定半马尔可夫建模的通用软件实现。其主要贡献包括：

1. 可及性：它将半马尔可夫建模从一个小众、计算困难的任务转变为可通过 msmbayes R 包访问的实用工作流程。
2. 稳定性：通过利用矩匹配将相型分布约束为熟悉的族（Gamma/Weibull），该方法缓解了困扰一般相型模型的可识别性问题，特别是在数据稀疏时。
3. 贝叶斯效用：它证明了贝叶斯估计对于在似然曲面平坦或优化失败的复杂多状态模型中稳定推断至关重要。
4. 灵活性：该方法处理一般的转移结构（包括可逆转移）以及影响停留时间和下一状态概率的协变量。

作者承认了局限性，包括大状态空间下矩阵指数运算的计算成本（通过使用拉普拉斯近似或减少阶段数来缓解），以及下一状态概率独立于停留时间的假设。他们指出，虽然该方法改进了指数假设，但它仍然是一种参数近似，且针对此类复杂、间歇性观测数据的模型检查仍然具有挑战性。