📊 statistics

A continuous-time Markov chain framework for population size estimation from multi-list data: accounting for absorbing lists and asymmetric interactions

本文介绍了一种基于连续时间马尔可夫链的框架，用于从多列表数据中估计总体规模，该框架能有效处理方向性相互作用和吸收性列表（如死亡记录），并通过模拟以及真实的流行病学和药物使用数据集证明，考虑这些因素对于避免估计偏差至关重要。

原作者： Ophélie Schaller, Andrew Titman, Rachel McCrea

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Ophélie Schaller, Andrew Titman, Rachel McCrea

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图猜测一个拥挤且不可见的房间里总共有多少人。你无法同时看到所有人，但你拥有五台不同的安全摄像头（列表），它们偶尔能捕捉到人们走过的瞬间。有些人被所有五台摄像头拍到，有些人只被拍到一次，还有些人从未被任何摄像头捕捉到。

本文的目标是计算出该房间内的总人数，包括那些从未被任何摄像头拍到的人。这是统计学家面临的一个经典难题，通常通过一种称为“多系统估计”（MSE）的方法来解决。

以下是作者如何用简单的类比来解释他们的新方法：

旧方法：“静态快照”

传统上，统计学家将这些摄像头列表视为一张静态照片。他们假设房间里的人在整个过程中都保持静止。他们使用一种名为对数线性模型的数学工具来推测缺失的数字。

问题所在： 如果房间不是静态的，这种方法就会失效。具体来说，如果其中一台摄像头是一个“吸收性列表”，该方法就会失败。

类比： 想象其中一台摄像头实际上是一个“死亡登记处”或“出口大门”。一旦有人穿过那扇门（或死亡），他们就不复存在了。他们再也无法被其他摄像头捕捉到。
错误： 如果你使用旧的“静态快照”方法，它意识不到人们正在离开。它假设所有离开大门的人，只要多待一会儿，就“本可以”被其他摄像头看到。因为它认为有更多“错失的观测机会”，所以它推测房间比实际大得多。它高估了人口数量。

新方法：“连续电影”

作者提出了一种基于连续时间马尔可夫链的新框架。与其说是静态照片，不如将其想象成一部电影。

电影类比： 在这部电影中，人们不断移动。他们进入房间，被摄像头 A 捕捉，然后被摄像头 B 捕捉，也许随后通过出口大门（吸收性列表）离开。
定向流动： 新模型理解运动具有方向性。一旦你触发了“出口大门”摄像头，你就无法回头再次被摄像头 A 或 B 捕捉。数学上明确阻断了向后的路径。
结果： 通过模拟人们的流动而不仅仅是统计人数，模型意识到：“啊，这些人离开了，所以他们不可能被其他摄像头看到。”这避免了高估的错误。

为什么这更好？

该论文进行了一项“模拟研究”（一个数字测试实验室）来证明其观点：

当列表相互独立时： 如果没有人离开房间，且摄像头之间互不影响，新的“电影”方法与旧的“快照”方法得出的结果相同。在此情况下，它们在数学上是等价的。
当列表相互作用（吸收性）时： 当存在“出口大门”（如死亡记录）时，旧方法会高估人口数量。新的“电影”方法纠正了这一点，给出了更准确的计数。

论文中使用的现实世界示例

作者在两个真实数据集上测试了他们的“电影”方法：

英格兰西北部的中风患者：
- 列表： 全科医生报告、医院记录以及死亡证明。
- 问题： 死亡证明列表是一个“吸收性列表”。一旦患者死亡，他们就从存活的中风患者群体中被移除。
- 发现： 旧方法高估了中风患者的数量。新的马尔可夫模型给出了稍低、更准确的估计，因为它考虑了人们因死亡而离开群体的情况。
伦敦市的吸毒者：
- 列表： 刑事司法记录和社区治疗记录。
- 问题： 在这里，列表是有顺序的。除非你首先被记录为“进入治疗”（列表 2），否则你不可能被记录为“结束治疗”（列表 3）。
- 发现： 新模型完美地处理了这种“单行道”逻辑，表明它能够适应不同类型的数据流动，而不仅仅是死亡记录。

核心结论

该论文认为，当处理可能“离开”系统（死亡、移民或完成项目）的隐蔽人群时，我们需要停止将数据视为冻结的照片。我们需要将其视为一部有情节的电影。

通过使用这种“电影”方法（连续时间马尔可夫链），统计学家可以：

在涉及死亡或退出记录时，停止高估人口规模。
处理复杂的规则，即一个列表必须发生在另一个列表之前。
更真实地统计我们要帮助的人群数量，无论他们是中风受害者还是吸毒者。

作者得出结论，虽然他们的新方法计算量更大（运行“电影”比运行“照片”需要更多的计算机算力），但在人口并非封闭和静态的情况下，为了获得准确性，这是必要的。

技术摘要：基于连续时间马尔可夫链框架的多列表数据人口规模估计

问题陈述
估计隐蔽或难以触及的人口规模对于公共政策至关重要，通常通过多系统估计（MSE）或利用多列表数据的捕获 - 再捕获方法来实现。标准方法主要是对数线性模型，其依赖于目标人口是封闭的（无进入或退出）且个体被记录的概率具有同质性的假设。然而，在社会和流行病学背景下，这些假设经常被违反，因为数据来源包含“吸收性列表”——即记录个体离开人口的记录，如死亡登记册或移民记录。

作者认为，未能考虑此类列表的吸收性质违反了封闭性和同质性假设。具体而言，被记录在吸收性列表上的个体被其他列表捕获的机会窗口减少，从而导致标准对数线性建模中固有的独立性假设被违反。该论文提出，将标准对数线性模型应用于包含吸收性列表的数据会导致人口规模估计出现偏差（具体为高估）。此外，尽管生态捕获 - 再捕获方法早已解决了开放人口的问题，但由于行政数据集中缺乏时间信息，此类模型尚未被有效地适应到 MSE 语境中。

方法论
该论文提出了一种连续时间马尔可夫链（CTMC）框架，用于对多列表数据的数据收集过程进行建模。

状态空间与转移：该框架将状态空间 $L$ 定义为 $k$ 个列表的幂集。个体从初始的未被观测状态（ $\emptyset$ ）转移到代表其被记录到的列表组合的状态。该过程被建模为具有生成矩阵 $Q$ 的连续时间马尔可夫链。
参数化：转移速率由列表特定的捕获参数（ $\lambda_i$ ）和表示列表间依赖关系的交互参数（ $\mu_K$ ）定义。该模型假设操作尺度上的捕获时间呈指数分布。
吸收性列表：为了处理吸收性列表（如死亡记录），该框架通过将为任何包含吸收性列表的状态的转移速率设为零来修改生成矩阵 $Q$ 。这在数学上强制实施了约束，即一旦个体进入吸收状态，他们无法转移到任何其他状态，从而有效地模拟了从可观测人口中的“退出”。
有序列表与不对称性：该框架被扩展以处理有序列表（即在列表 $L_j$ 上记录需要先经过列表 $L_i$ 的记录），通过减少状态空间并移除冗余参数来实现。它还允许通过估计方向性交互参数（ $\mu_{ij}$ 与 $\mu_{ji}$ ）来模拟一般的非对称交互（如转介）。
估计：该模型通过最大化似然函数来估计总人口规模 $N$ 。作者利用泊松近似处理观测计数，从而产生可直接与标准对数线性模型进行比较的对数似然值和 AIC 值。模型选择使用基于 AIC 的前向、后向和双向选择策略进行。

主要贡献

框架开发：作者引入了一个用于 MSE 的 CTMC 框架，当列表独立时，它在代数上等同于标准对数线性模型，但在建模依赖关系和特定数据收集动态方面提供了更大的灵活性。
吸收性列表建模：该论文提供了一种在 MSE 语境中模拟吸收性列表的具体机制，解决了标准对数线性模型假设封闭人口这一已知局限性。
模拟证据：通过模拟研究，作者证明：
- 当列表独立或依赖关系为标准时，CTMC 模型和对数线性模型产生相似的结果。
- 在存在吸收性列表的情况下，标准对数线性模型（即使经过模型选择）往往高估人口规模并表现出更高的方差。
- 带有吸收性列表约束的 CTMC 模型在这些场景中提供了更准确且方差更小的估计。
实证应用：该框架被应用于两个真实世界数据集：
- 中风数据（英格兰西北部，1994-1995 年）：包含死亡登记册（吸收性列表）的数据集。CTMC 模型产生的总体估计值（约 777–815）略低于对数线性模型（约 997–1015），这与模拟发现的对数线性模型在此语境下高估的结果一致。
- 药物使用数据（伦敦市，2018-2019 年）：涉及有序列表（社区治疗进入与退出）的数据集。CTMC 框架成功模拟了有序结构，产生的估计值（404–421）与对数线性估计值相当但略高，其置信区间涵盖了替代估计值。

结果与显著性声明
该论文声称，这项工作的主要意义在于其能够在 MSE 中明确考虑吸收性列表和非对称交互，而标准对数线性模型在不进行临时修改的情况下无法做到这一点。

偏差减少：作者得出结论，忽略列表（如死亡记录）的吸收性质会导致人口规模的显著高估。CTMC 框架通过模拟个体从可观测人口流出的方向性流动来纠正这一问题。
灵活性：该框架被呈现为一种多功能工具，可适应各种数据收集过程，包括有序列表和不同的观测期，而无需传统 MSE 的严格封闭假设。
实用价值：虽然 CTMC 模型具有更高的计算成本（需要 $2^k \times 2^k$ 大小的矩阵求逆），但作者建议，对于包含吸收性列表的数据集，这种权衡对于避免偏差是必要的。他们建议对 CTMC 模型使用加速的前向或双向选择，或者 alternatively，使用带有“强制”吸收交互的对数线性模型作为计算成本更低的近似方法。

作者谦逊地指出，虽然 CTMC 模型为分析多列表数据提供了新的前景，但针对模型假设违反的诊断测试仍然是未来研究的领域。他们还强调，目前正在进行调查，以研究该框架在列表性质未披露的情况下识别吸收性列表的能力。