📊 statistics

Toward design-based inference for data integration

本文提出了一种基于设计的框架，通过将非概率样本视为一个确定性层来整合非概率样本与概率样本，从而能够构建一致的回归估计量，这些估计量在无需依赖不可验证的随机缺失假设的情况下仍能保持无偏性。

原作者： Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrius Čiginas, Ieva Burakauskaitė, Jae Kwang Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图计算一座巨大果园中苹果的总数，以便向市议会汇报。你有两种获取这些数据的方法：

“志愿者”堆： 一群喜爱苹果的人已经从果园中采摘了一大堆苹果并运到了门口。你确切知道这堆苹果的数量，因为他们已经数过了。然而，你不知道他们是从哪些树上采摘的。也许他们只采摘了那些高大、易于触及的树，或者只采摘了最红的苹果。你无法确定他们的这堆苹果是否能代表整个果园。
“官方”调查： 你有一个严格、科学的计划，即通过随机方法走遍果园，从特定的树上采摘苹果并进行计数。这是准确性的黄金标准，但既昂贵又缓慢。

问题所在：
传统上，统计学家试图将这两堆数据混合在一起。他们假设“志愿者”堆是整个果园的公平代表（这是一个被称为“随机缺失”的大假设）。如果这个假设是错误的——例如，如果志愿者们只采摘了红苹果——那么最终的计数就会出错，而且无论多少数学计算都无法修正它。

本文的解决方案：一种“两步”策略
本文的作者提出了一种巧妙的、循序渐进的方法，将这两个来源结合起来，而无需对志愿者的习惯做出冒险的猜测。

第一步：“确定性”区域

首先，你将“志愿者”堆视为一个已完成的区域。你说：“好吧，我们已经数过了这个特定群体中的每一颗苹果。我们不需要猜测任何关于它们的事情；我们只需将它们作为一个已知事实接受下来。”

第二步：“互补”调查

接下来，你派出你的官方调查团队，但有一条严格的规定：他们被禁止查看那些已经包含在“志愿者”堆中的树木。 他们只调查志愿者遗漏的剩余树木。

由于调查团队只查看“剩余”的树木，并且他们使用的是严格的随机方法，他们的数据是完全可靠的。你现在有了两个截然不同的、不重叠的群体：

群体 A： 已知的、完全计数的志愿者堆。
群体 B： 果园中经过科学采样的剩余部分。

结合数据的两种方式

一旦你有了这两个群体，本文建议了两种计算总数的方法：

“分离”法： 你分别计算志愿者的平均苹果大小和调查团队的平均苹果大小，然后将它们相加。这是最安全的方法。即使志愿者存在偏差（例如，如果他们只采摘了红苹果），这种方法也有效，因为你没有试图强行让他们的数据看起来像调查数据。
“合并”法： 你假设志愿者和调查团队基本上是同一类人，并将他们的数据混合在一起以获得一个单一的平均值。只有当这两个群体实际上相似时，这种方法才更高效（给出更精确的估计）。

“试点”技巧（让调查更聪明）

这里是巧妙之处：因为你已经拥有了巨大的“志愿者”堆，你可以将其用作试点研究，以帮助你的调查团队更聪明地工作。

在调查团队出发之前，你查看志愿者堆，看看苹果大小的变异程度。如果你看到大树的苹果大小差异巨大，你可以告诉你的调查团队：“嘿，去多检查一些看起来像那些大树的树。”这有助于你设计一项更好的调查，以最少的工作量获得最准确的答案。这被称为最优抽样。

为何这很重要（结果）

作者使用计算机模拟和来自立陶宛政府统计数据的真实数据（统计企业销售额和药店药品销售额）测试了这一想法。

稳健性： 即使“志愿者”堆存在严重偏差（只采摘特定类型的苹果），新方法仍然保持准确。而那些试图在数学上“修正”偏差的旧方法在这些情况下彻底失败。
高效性： 当两个群体相似时，将它们混合在一起会给出稍好的答案。当它们非常不同时，将它们分开则更安全。
无需魔法假设： 该方法不要求你相信志愿者是随机采摘苹果的。它只是将志愿者视为一个已知的数据块，并对其余部分进行复杂的数学计算。

核心结论

将这篇论文视为一本关于混合“混乱、未经验证的数据”与“干净、科学的数据”的新规则手册。与其试图强行让混乱的数据符合完美的模型（这通常会失败），不如将混乱的数据隔离为一个已知块，利用它来帮助设计针对世界其余部分的更好调查，然后以一种数学上保证准确的方式结合结果，无论混乱的数据多么奇怪。

技术摘要：迈向基于设计的数据整合推断

问题陈述
将非概率样本（例如自愿响应、行政数据）整合到有限总体推断中，是官方统计领域日益严峻的挑战。传统方法通常依赖于在缺失完全随机（MAR）假设下对未知的选择概率进行建模，常采用逆概率加权（IPW）或双重稳健（DR）估计量。然而，这些方法面临三个关键局限：

不可验证的假设：MAR 假设和正性条件在实践中难以验证，特别是当选择依赖于未观测变量或研究结果本身（即非缺失完全随机，NMAR）时。
冗余与效率：在独立抽样框架中，概率样本与非概率样本从同一总体中分别抽取，重叠不可避免。这导致观测值重复，降低了估计效率。
融合复杂性：合并独立样本通常需要一个融合调节参数（例如权重 $\alpha$ ），该参数极少被最优选择，且依赖于难以在实践中最小化的估计方差。

方法论：一种序贯基于设计的框架
作者提出了一种序贯抽样框架，将非概率样本（ $S_{np}$ ）视为一个完全观测的确定性层。概率样本（ $S_p$ ）随后仅从非概率样本未包含的互补单元集合（ $U_1 = U \setminus S_{np}$ ）中抽取。

该方法完全消除了对 $S_{np}$ 选择机制进行建模的需求，因为其包含概率实际上为 1。在此框架内，开发了两种广义回归（GREG）估计量：

分离 GREG 估计量（ $\hat{Y}_{sepDI}$ ）：在互补层 $U_1$ 内分别拟合结果回归模型。
合并 GREG 估计量（ $\hat{Y}_{comDI}$ ）：合并 $S_{np}$ 和 $S_p$ 以估计单个回归系数，假设各层间具有同质性。

为了提高效率，非概率样本充当试点以估计方差分量。在一个适用的超总体模型下，利用这些估计值构建 $S_p$ 的第二阶段包含概率，使其与结果的conditional 标准差成正比（Isaki–Fuller 最优性）。此外，提出了一项系数同质性诊断检验，以指导在分离估计量和合并估计量之间进行选择。

主要贡献
本文做出了两项 distinct、分层的理论贡献：

推断的稳健性（设计一致性）：
作者证明，在第二阶段概率设计的标准正则条件下，分离和合并的 GREG 估计量均具有设计一致性。关键在于，这种一致性无需任何关于非概率样本选择机制的假设。无论 MAR 还是 NMAR 条件，估计量均保持有效。这种稳健性是结构性的：通过将 $S_{np}$ 视为确定性层，未知的选择概率从未进入估计量，从而使非概率机制的建模变得不必要。同时提供了稳健的插入方差估计量。
设计渐近最优性：
在两个层均成立的适用超总体模型下（该条件严格强于 MAR），试点非概率样本允许构建第二阶段包含概率，从而实现分离估计量的Isaki–Fuller 渐近最优性。作者强调，虽然这种最优性依赖于强模型假设，但这些假设的失效并不会使第一项贡献中的设计一致性或方差估计结果失效。因此，基于试点的设计提供了潜在的效率提升，同时不损害推断的有效性。

结果
本文通过广泛的模拟研究以及两项使用立陶宛官方统计数据（服务企业营业额和药房药品销售）的实际数据应用，验证了这些贡献。

模拟发现：
- 在 MAR 条件下：序贯估计量和标准的倾向性调整竞争者（IPW、DR）表现良好，尽管序贯估计量通常实现了更低的均方根误差（RMSE），并避免了独立抽样的冗余。
- 在 NMAR 条件下：序贯估计量保持基本无偏，方差估计校准良好，且名义 95% 置信区间覆盖率达标。相比之下，基于倾向性的竞争者（IPW、DR 和融合估计量）在选择机制依赖于结果时表现出严重偏差（相对偏差超过 4.5%）。
- 设计效率：估计的最优设计（使用试点方差估计）显著优于等概率设计，且远优于按规模比例抽样（PPS）设计，后者表现出不稳定性和高 RMSE。
实际数据应用：
- 营业额数据（高异质性）：在行政试点样本过度代表大型企业的应用中，分离回归估计量更受青睐。由于层间存在强异质性，合并估计量的效率较低。
- 药房数据（低异质性）：在自愿样本与互补样本相似的应用中，尽管统计检验拒绝了系数同质性（在大样本中常见，即使微小差异也会被检测到），合并估计量仍比分离估计量提供了适度的效率提升。

意义与主张
本文主张，其序贯框架为依赖模型的数据整合方法提供了一种稳健的替代方案。通过将重点从对未知选择概率的建模转移到基于设计的分层方法，该方法确保了即使在 NMAR 选择下推断依然有效。

作者将这两项贡献定位为“分层而非耦合”：推断的有效性（设计一致性）无论选择机制如何均得到保证，而效率提升（Isaki–Fuller 最优性）则取决于适用模型。文章结论指出，序贯方法消除了对不可验证假设和调节参数的需求，为将非概率数据整合到官方统计中提供了一种透明且可实施的解决方案，特别是在非概率来源规模庞大且选择机制未知或复杂的情况下。