📊 statistics

Dual system estimation using mixed effects loglinear models

本文研究了将混合效应对数线性模型用于双系统估计的应用，并通过模拟证明了这些模型在均方误差方面较之标准的固定效应方法有轻微改进，同时为扩展到多系统估计提供了框架。

原作者： Ceejay Hammond, Paul A. Smith, Peter G. M. van der Heijden

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ceejay Hammond, Paul A. Smith, Peter G. M. van der Heijden

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图统计一个大国的人口数量。你无法询问每一个人，所以你决定使用两个不同的“名单”（比如选民登记名单和税务记录名单）来寻找他们。这被称为双重系统估计法（Dual System Estimation）。

基本原理很简单：你观察谁在名单 A 上，谁在名单 B 上，以及谁同时在两个名单上。通过一点数学计算，你可以推测有多少人既不在名单 A 也不在名单 B 上（即“隐藏”的人口）。

然而，这里有一个问题：如果你尝试对整个国家进行整体计算，数学过程会变得非常复杂，因为不同地区（如不同的城市或区域）的情况各不相同。因此，统计学家通常会将国家划分为较小的块（层/strata），并分别为每个块进行计算。

问题：“小群体”困境

本文比较了处理这些数据块的两种方法：

“固定效应”方法（旧方法）： 它将每个地区视为一个完全独立的岛屿。它仅利用区域 A 的数据来计算区域 A 的结果，然后对区域 B 进行同样的操作，以此类推。
- 缺陷： 如果某个地区很小，或者名单上的人数很少，数学计算就会变得不稳定。这就像是通过只看一名球员来猜测一支篮球队的平均身高。你的估计可能会错得离谱，甚至变成无穷大。
“混合效应”方法（新方法）： 它将这些地区视为一个大家庭的一部分。它假设虽然每个地区都是独特的，但它们都拥有一些共同的特征。
- 类比： 想象你在估算 30 个不同果园里苹果的重量。
  - 固定效应： 你称量果园 A 的苹果，然后在不看果园 B 的情况下，直接推测果园 A 的总量。如果果园 A 只有 3 个苹果，你的推测就完全是在盲目瞎猜。
  - 混合效应： 你称量所有 30 个果园的苹果。如果果园 A 的苹果很少，模型会说：“嗯，其他果园平均每棵树产 100 磅，所以我们推测果园 A 大概也接近那个数值，但会根据我们在果园 A 中实际观察到的情况进行微调。”
- 神奇之处： 这被称为**“收缩”（Shrinkage）**。模型将来自小规模、样本稀疏地区的那些极端的预测值，“收缩”向整体平均值靠拢。它从那些样本充足的大型地区“借用力量”，来帮助那些样本量小的地区。

本文的研究工作

作者运行了数千次计算机模拟实验，以观察哪种方法效果更好。他们创建了具有不同规模（从微型城镇到巨型城市）的虚拟人口，并将它们划分为不同数量的区域（从 5 个到 30 个）。他们还测试了当数据不完全符合“正态分布”（例如当人口分布呈现偏态时）时，数学计算是否会崩溃。

研究结果

准确性： “混合效应”方法（家族法）比“固定效应”方法（岛屿法）略好。它犯的错误更少，尤其是在区域较小或数据稀疏的情况下。
稳健性： 即使当数据不符合完美的数学规则（例如分布呈偏态）时，混合效应方法依然表现良好，并没有崩溃。
查普曼估计量（Chapman Estimator）： 论文还研究了一种名为“查普曼估计量”的特定修正方法（一种旨在减少误差的数学微调）。虽然查普曼修正有助于提升旧方法的表现，但新的混合效应方法在整体准确性和稳定性方面仍然略胜一筹。

核心结论

如果你正试图通过两个名单来统计隐藏人口，并且必须将数据分解为许多个小区域，那么**混合效应对数线性模型（Mixed Effects Loglinear Model）**是更明智的工具。它就像是一个安全网：如果某个区域的数据很薄弱，模型会利用来自其他区域的信息，防止估计值跌入深渊。

论文还提到，如果拥有三个名单而非两个，这种同样的“家族”逻辑也可以应用于多系统估计（Multiple System Estimation），但核心发现仍然不变：从整体群体中“借用力量”有助于你更好地统计出各个局部部分的数量。

技术摘要：基于混合效应对数线性模型的双系统估计

1. 问题陈述

双系统估计（Dual System Estimation, DSE）是官方统计中用于通过关联两个数据源并估计两个列表均未捕捉到的单位数量，从而估算总体规模的标准工具。该方法依赖于两个列表之间相互独立以及包含概率齐性的假设。为了满足齐性假设，DSE 通常根据变量（如地区）进行分层。

标准方法采用固定效应对数线性模型，为分层变量的每个水平估计参数。这种方法面临显著挑战：

参数激增： 当分层水平（如地区）数量较多时，参数数量会变得难以管理。
小样本偏差： 在许多分层且各层样本量较小的场景下，固定效应模型（以及标准的 Lincoln-Petersen 估计量）会产生有偏估计。
无穷大估计值： 在特定分层内两个列表的交集为空（ $n_{11}=0$ ）的情况下，固定效应估计量会产生无穷大的总体估计值。

虽然 Chapman 估计量常被用于减轻固定效应模型的小样本偏差，但它并未解决独立估计众多参数所带来的低效问题。本文研究了使用混合效应对数线性模型（也称为多层或层次模型）作为替代方案的可行性。这些模型通过将分层变量的固定参数替换为从分布中抽取的随机效应，从而实现跨组别的“信息共享”（borrowing strength），以提高估计的稳定性。

2. 方法论

2.1. 固定效应对数线性模型

作者以使用对数连接函数的泊松回归作为基准。

无分层情况： 一个针对两个列表（ $A$ 和 $B$ ）的饱和模型包含截距项和交互项。由于两个列表均未捕捉到的单元格（ $A=0, B=0$ ）是不可观测的，模型假设两者相互独立，从而将模型简化为条件独立形式。
有分层情况： 当引入分层变量 $R$ （如地区）时，标准方法为 $R$ 的每个水平 $l$ 拟合一个条件独立模型 $[AR][BR]$。这导致每个地区都有一套独立的参数，从而产生自由度为零的最大模型。

2.2. 混合效应对数线性模型

核心提议是将与分层变量（ $R$ ）及其交互作用相关的固定效应替换为随机效应。

模型结构： 对数线性模型被重新参数化，以包含随机截距（ $u_{0l}$ ）以及跨地区列表 $A$ 和 $B$ 的包含概率的随机斜率（ $u_{1il}, u_{2jl}$ ）。
$\log \mu_{ijl} = (\lambda + u_{0l}) + \lambda^A_i + \lambda^B_j + u_{1il} + u_{2jl}$
此处， $u_{0l} \sim N(0, \sigma^2_{u0})$ 捕捉了地区间在总体规模上的变异性，而斜率项则捕捉了捕捉概率的变异性。
收缩估计（Shrinkage Estimation）： 随机效应估计量充当收缩估计量（最佳无偏预测量）。组别层面的估计值会向总体均值“收缩”，其收缩程度取决于组别数据的可靠性（样本量）以及与全局均值的距离。这降低了方差，并在无需处理无穷大估计值的情况下减轻了小样本偏差。
实现方式： 模型使用 R 语言中的 lme4 包进行拟合，并利用 bobyqa 优化器来处理在单元格计数较小时常见的收敛问题。

2.3. 偏差削减与扩展

Chapman 估计量： 对于固定效应模型，作者应用了 Chapman 估计量（在 $n_{11}$ 单元格中加 1）来减少小样本偏差。这种调整并未应用于混合效应模型，因为收缩机制本身就起到了类似的偏差削减作用。
多系统估计（MSE）： 该方法被扩展到三个列表（三系统估计）。作者构建了一个针对三维表的混合效应模型，通过将固定交互项替换为随机效应，来估计不可观测的单元格（ $A=0, B=0, C=0$ ）。

3. 模拟研究设计

作者进行了全面的模拟研究，以评估混合效应模型相对于固定效应模型（包括带有 Chapman 校正的模型）的表现。

变化的因素：
- 总体规模 ( $N$ )： 范围从 500 到 300,000。
- 地区数量： 5 到 30 个。
- 捕捉概率： 高捕捉场景（ $\pi_A=0.8, \pi_B=0.7$ ）和低捕捉场景（ $\pi_A=0.4, \pi_B=0.2$ ）。
- 随机效应分布： 正态分布（假设）、对数正态分布和帕累托分布（用于测试对正态性违背的稳健性）。
指标： 使用平均绝对相对偏差（MARb）、变异系数（CV）和均方误差（MSE）来评估性能。

4. 关键结果

性能比较： 混合效应对数线性模型的表现始终优于或等同于带有 Chapman 校正的固定效应模型。
- 偏差： 混合效应模型显示出更低的 MARb，特别是在总体规模较小且地区数量较多（即单元格稀疏）的场景下。
- 方差： 混合效应模型表现出比固定效应更低的变异性（CV），尤其是在样本量较小时。
对分布假设的稳健性： 结果表明，混合效应模型对正态性假设的违背具有稳健性。在使用对数正态分布和帕累托分布随机效应的情况下，所得出的 MARb 和 CV 与正态假设成立时的结果相当。
小样本行为： 在没有 Chapman 校正的固定效应模型因交集处计数为零而产生无穷大估计值的场景下，混合效应模型提供了稳定且有限的估计值。
改进幅度： 虽然混合效应模型表现更好，但作者指出，其相对于带有 Chapman 校正的固定效应模型的均方误差（MSE）改进通常较小。

5. 意义与主张

本文声称，混合效应对数线性模型为传统的固定效应方法提供了一种可行且稳健的替代方案，特别适用于涉及以下情况的官方统计背景：

多分层： 地区数量相对于总人口而言较多的情况。
小样本量： 单个分层数据稀疏导致固定效应估计不稳定的场景。
低捕捉概率： 包含概率较低，从而增加了出现空单元格风险的情境。

作者得出结论，虽然 Chapman 估计量仍然是一个表现强劲的工具，但混合效应模型提供了一种“具有偏差稳健性的方法”，能够实现跨组别的信息共享。这种方法自然地处理了偏差与方差之间的权衡，降低了产生无穷大估计值的风险，并在困难的估计场景中提高了整体精度。该方法已成功扩展到多系统估计，表明其在双系统案例之外具有广泛的应用前景。

本文保持了谦逊的基调，承认虽然混合效应模型优于固定效应模型，但在测试的场景中，其在均方误差方面的提升往往是微小的。然而，混合效应方法在小样本、高分层环境下的稳定性和稳健性被强调为其主要优势。