📊 statistics

Data integration of non-probability and probability samples with deterministic predictive mean matching

本文提出并验证了用于整合概率与非概率样本的确定性预测均值匹配质量插补估计量，在阐明其在模型设定正确与设定错误情况下的理论一致性和方差性质的同时，通过模拟实验以及对职位空缺数据的实证应用展示了其有效性。

原作者： Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Aniela Czerniawska, Piotr Chlebicki, Łukasz Chrostowski, Maciej Beręsewicz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图计算一所规模巨大的学校里所有学生的平均身高。最可靠的方法是完全随机地挑选几名学生（即“概率样本”）并测量他们的身高。因为这种选择是随机的，你可以从数学上保证你的平均值接近真相。但如果你没有时间或资金去测量那些随机选出的学生该怎么办呢？相反，你有一个巨大的志愿者名单，他们是在网上报名加入一个“高个子俱乐部”的（即“非概率样本”）。这个名单虽然庞大，但存在偏差：里面全是篮球运动员和模特，所以这里的平均身高过高了。你不能直接使用这个名单，否则你对学校平均身高的估算就会出错。

这是统计学领域的一个经典难题，而统计学正是致力于理解数据的学科。挑战在于“数据整合”：如何将一份小规模、完全公平的名单与一份大规模、混乱且有偏差的名单进行混合，从而得到一个完美的答案？通常，统计学家会尝试猜测连接这两组数据的“规则”（比如身高如何随年龄或性别变化），并利用这些规则来修正那份有偏差的名单。但如果这些规则稍有偏差，或者数据过于复杂导致规则失效了怎么办？这正是 Czerniawska 及其团队的研究论文所要解决的问题。他们正在研究如何将这两类截然不同的数据列表结合起来，以获得可靠的答案，即使在数学处理变得棘手的情况下也是如此。

作者提出了一种巧妙的新型混合方法，称为“预测均值匹配”（Predictive Mean Matching，简称 PMM）。你可以把它想象成一场高科技版的“寻找双胞胎”游戏。想象一下，你有一位来自公平随机名单的学生（我们叫他亚历克斯），你还不知道他的身高，但你知道他的年龄和年级。于是，你在那个庞大且有偏差的在线名单中寻找一位在这些细节特征上与亚历克斯非常相似的学生。一旦你找到了这位“双胞胎”，你就“借用”他们的身高并把它交给亚历克斯。通过对随机名单中的每一位学生都进行这样的操作，你就能构建出一幅完整且准确的全校画像。

这篇论文探讨了两种不同的“寻找双胞胎”游戏玩法。第一种方法，作者称之为 PMM A，是根据计算机预测的身高来寻找双胞胎。如果计算机认为亚历克斯的身高应该是 170 厘米，它就会在有偏差的名单中寻找一位计算机也预测其身高为 170 厘米的人。第二种方法 PMM B 则更直接一些：它寻找的是在有偏差的名单中，其实际的、测量出的身高与计算机为亚历克斯预测的身高相匹配的人。

研究人员花费了大量时间来证明这些方法确实有效。他们证明了，如果使用足够的数据，即使计算机的预测规则不是完美的，这些方法最终也能给出正确的答案。具体而言，他们证明了 PMM A 方法（即使用预测值来寻找匹配项的方法）在特定条件下对模型设定错误（model misspecification）具有稳健性。 这是一件大事，因为其他流行的方法（例如仅仅基于原始数据寻找“最近邻”）在数据变得过于复杂或预测规则稍有偏差时，可能会表现得非常糟糕。作者证明了他们的“预测均值匹配”方法要稳健得多；即使在数学处理变得混乱时，它也不会轻易失效。

他们还研究了如何衡量我们对答案的“确定程度”。当你从一份有偏差的名单中借用数据时，会产生额外的确定性问题，就像你的秤上有一个隐藏的晃动。作者开发了一种计算这种“晃动”的新公式，并展示了如何通过计算机模拟（称为“自助法/bootstrapping”）来准确测量它。他们在计算机实验室中用数千个虚构的数据场景测试了他们的想法。在这些模拟中，当规则完美时，他们的新方法表现得与现有的最佳工具一样出色；但当规则出错或数据复杂时，他们的表现则要好得多。

最后，团队将他们的方法应用到了来自波兰的真实世界数据上。他们想要估算专门针对乌克兰工人的职位空缺数量。他们将一份小规模的官方政府调查（公平的名单）与一份来自公共就业办公室的海量职位发布数据库（有偏差的名单）相结合。结果显示，他们的方法可以成功合并这两个截然不同的来源，从而给出一个清晰、可靠的估算。这证明了他们的“寻找双胞胎”策略不仅在计算机模拟中有效，在现实世界中同样适用。

简而言之，这篇论文为那些需要将“公平但规模较小的数据”与“庞大但有偏差的数据”进行混合的统计学家们，提供了一个坚实且可靠的工具包。它提供了一种即使在数学并不完美的情况下也能获得准确答案的方法，确保基于这些数据所做的决策是建立在坚实的基础之上，而非摇摆不定的猜测之上。

技术摘要：基于确定性预测均值匹配的非概率样本与概率样本数据集成

问题陈述
本文探讨了通过整合概率样本（具有已知的包含概率，但通常缺乏目标变量 $Y$ ）与非概率样本（包含目标变量 $Y$ ，但缺乏已知的抽样机制）来估计总体特征的挑战。虽然现有文献提出了逆概率加权（IPW）、预测估计量（PE）和双重稳健（DR）方法，但本研究侧重于**质量填补（Mass Imputation, MI）估计量。具体而言，研究探讨了将确定性预测均值匹配（Deterministic Predictive Mean Matching, PMM）**作为一种技术，用于为概率样本中的单位填补来自非概率样本的观测值。作者旨在弥合参数/非参数回归填补与最近邻（NN）填补之间的差距，并为数据集成背景下的理论性质提供严谨的论证，而这些性质在以往的文献中尚未得到充分探索。

方法论
作者提出并分析了两种半参数确定性 PMM 算法，用于将概率样本（ $S_P$ ）中的单位与非概率样本（ $S_{NP}$ ）中的单位进行匹配：

PMM A ( $\hat{y}-\hat{y}$ 匹配)： 基于回归模型 $E[Y|X] = m(X, \beta)$ 导出的预测值（ $\hat{y}$ ）的相似性，将 $S_P$ 中的单位与 $S_{NP}$ 中的单位进行匹配。其匹配距离为 $d(\hat{y}_i, \hat{y}_j)$ 。
PMM B ( $\hat{y}-y$ 匹配)： 基于 $S_P$ 单位的预测值与 $S_{NP}$ 单位的观测值之间的相似性，将 $S_P$ 中的单位与 $S_{NP}$ 中的单位进行匹配。其匹配距离为 $d(\hat{y}_i, y_j)$ 。

在这两种方法中，对于每个单位 $i \in S_P$ ，识别出 $S_{NP}$ 中 $k$ 个最近的邻居，并将这些邻居的观测 $Y$ 值的平均值作为填补值。总体均值的最终估计量是使用概率样本的设计权重对这些填补值进行的加权平均。

理论分析依赖于超总体模型（superpopulation model）和一系列有限总体。关键假设包括：

存在回归参数的一致估计量 $\hat{\beta}$ 。
回归残差的渐近消失（A2）。
回归函数的局部 Lipschitz 连续性（A3）。
关于非概率样本代表性的温和正则性条件（A4），该条件取代了 NN 方法中通常要求的严格“正值性（positivity）”假设。
针对 PMM A 的特定条件，包括捐赠者权重（donor weights）的稳定性（B3）以及 $\hat{\beta}$ 的影响函数（B2）。

主要贡献

理论一致性： 作者证明了在模型设定正确的情况下，PMM A 和 PMM B 估计量的一致性。至关重要的是，他们证明了即使在**模型设定错误（model misspecification）**的情况下，PMM A ( $\hat{y}-\hat{y}$ ) 估计量也具有一致性，前提是工作模型在支撑集上满足 certain 的凸性和紧致性条件。
向非参数模型的扩展： 本文证明了 PMM B ( $\hat{y}-y$ ) 估计量的一致性可以扩展到非参数回归技术（如 Nadaraya–Watson 核回归、神经网络），只要回归函数估计量一致收敛。
方差分解： 导出了一种新颖的方差分解方法，将总方差拆分为：
- $V_1$ ：基于设计的方差成分（类似于填补值的 Horvitz-Thompson 方差）。
- $V_2$ ：由于填补过程（捐赠者选择和回归估计）的随机性而产生的额外方差成分。
方差估计： 作者提出了：
- 一个针对 $V_1$ 的部分解析估计量。
- 一个用于估计 $V_2$ 所需协方差项的“微型自助法（mini-bootstrap）”程序（算法 2）。
- 一个结合了这两个成分的全自助法（full bootstrap）程序（算法 3）。
- 他们表明，所提出的用于 $V_1$ 的解析方差表达式也可以应用于标准的最近邻（NN）估计量，从而扩展了以往的结果。
与 NN 的区别： 本文严格区分了 PMM 与 NN，指出它们仅在具有单个协变量的线性模型情况下才是等价的。研究表明，PMM 对“维度灾难”的敏感度较低，且不需要严格的正值性假设。

结果

模拟研究： 在简单随机抽样下，通过 $N=10^5$ $N = 1 0^{5}$ 的广泛模拟，将 PMM 估计量与最近邻（NN）和回归预测（GLM）估计量进行了比较。
- 模型设定正确时： PMM 估计量的表现与 GLM 相似。PMM B ( $\hat{y}-y$ ) 通常表现出比 PMM A ( $\hat{y}-\hat{y}$ ) 更低的标准误。
- 模型设定错误时： 当线性模型针对非线性数据生成过程发生设定错误时，PMM A 展示了卓越的鲁棒性，保持了比 NN 和 GLM 更低的偏差。
- 方差成分： 研究发现 $V_2$ 成分（填补不确定性）的贡献在有限样本中不可忽略，在实证研究中使匹配估计量的总方差增加了约 40–60%。
- 覆盖率： 解析和自助法方差估计量实现了标称的 95% 覆盖率。
实证研究： 本文将这些方法应用于整合波兰的职位空缺调查（概率样本）与中央职位提供数据库（非概率样本），以估计乌克兰工人的职位空缺份额。
- 各方法的点估计值是一致的，均在 22% 左右波动。
- 通过微型自助法引入 $V_2$ 成分显著增加了标准误，凸显了考虑匹配不确定性的重要性。
- 在此特定应用中，PMM A 和 PMM B 产生的结果无法区分。

意义与主张
本文声称，确定性 PMM 为数据集成提供了一种稳健的替代方案，特别是 PMM A 变体，它在模型设定错误时仍能保持一致性——这一特性在处理高维数据时，是标准回归填补或 NN 方法无法保证的。作者强调，他们对方差分解和估计的严谨方法为质量填补中的不确定性量化提供了一个实用的框架，解决了现有文献中存在的空白，即在非概率背景下，NN 和 PMM 估计量的方差要么未知，要么缺乏分离设计误差与填补误差的分解。开源软件（nonprobsvy 包）的可用性促进了这些方法的应用。作者对用于 $V_2$ 的“微型自助法”保持谦逊，将其描述为一种启发式的有限样本修正，而非通用的相合估计量，并指出未来仍需在多重稳健 PMM 程序以及 $k$ 超参数的最优选择方面开展进一步研究。

技术摘要：基于确定性预测均值匹配的非概率样本与概率样本数据集成

类似论文