📊 statistics

Small area estimation using incomplete auxiliary information

本文提出了一种利用不完整辅助信息的小域估计两步法，该方法首先通过模型校准将非概率数据中的噪声代理变量转化为设计无偏的域总量，再将其输入 Fay-Herriot 模型以在不建模非概率样本选择机制的情况下显著提升估计精度。

原作者： Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Donatas Šlevinskas, Ieva Burakauskaitė, Andrius Čiginas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种聪明的统计方法，用来解决一个非常现实的问题：当我们只有“不完整”的帮手数据时，如何精准地估算小范围（比如某个小镇或某个行业）的总数？

想象一下，你是一位负责统计国家经济数据的“大管家”。你的任务是把全国所有企业的营业额、投资或空缺职位加起来，算出每个小区域的总数。

1. 遇到的难题：小样本的“视力模糊”

传统的做法是搞“概率抽样”，就像从一锅汤里舀一勺来尝咸淡。如果这锅汤很大，但你要统计的只是其中一小块（比如某个小城镇），舀出来的那一勺可能只有几粒豆子。这时候，直接数豆子（直接估算）误差会非常大，甚至算不准。

与此同时，现在有很多“大数据”来源（比如税务记录、网络爬虫抓取的招聘广告、企业注册信息）。这些数据量很大，但它们有两个问题：

不完整：它们只覆盖了部分人群（比如只覆盖了纳税企业，没覆盖小作坊）。
有噪音：它们测量的指标和我们要的指标不完全一样（比如税务数据是“含税营业额”，而我们要的是“不含税营业额”）。

以前的统计方法要么要求数据必须完美覆盖，要么假设这些大数据是“随机”出现的（这通常不成立，因为大企业更容易被税务系统捕捉到）。

2. 作者的解决方案：两步走的“超级侦探”

作者提出了一种两步走的策略，就像侦探破案一样，把“不完美”的线索变成“精准”的结论。

第一步：用“翻译官”把线索对齐（模型校准）

场景：你手里有一份官方的小样本调查（概率样本 A），还有一份巨大的非官方大数据（非概率样本 B）。
动作：
1. 先找到 A 和 B 重叠的部分（既在调查里，又在大数据里的企业）。
2. 在这里，你既知道“官方数据”（真值 $y$ ），也知道“大数据”（代理值 $y^*$ ）。你就像一个翻译官，分析这两者之间的关系。比如，你发现“税务数据”通常是“真实营业额”的 1.1 倍。
3. 利用这个关系，你给大数据里那些不在官方调查里的企业“预测”一个修正后的数值。
4. 最后，用这些预测值作为“校准器”，调整官方调查的权重。这就好比给原本模糊的望远镜加上了一个自动对焦镜头，让原本看不清的小区域瞬间清晰起来。
结果：你得到了一个更准的估算值，而且不需要假设大数据是“随机”出现的（这是该方法最大的突破）。

第二步：用“邻里互助”进一步平滑（小区域估计模型）

场景：第一步算出来的结果虽然好了，但有些特别小的区域可能还是有点波动。
动作：这时候引入“小区域估计”（SAE）模型，特别是著名的 Fay-Herriot 模型。
比喻：这就像**“邻里互助”**。如果一个小镇的数据波动很大，模型会看看它周围邻居（相似的其他小镇）的情况，借用邻居的“力量”来平滑自己的数据。
结果：最终得到的数字不仅准，而且非常稳定，特别适合用来做官方发布。

3. 实际效果：三个真实案例

作者用立陶宛的三个真实场景测试了这个方法：

企业月营业额：
- 线索：税务局的 VAT 数据（只覆盖部分企业）。
- 效果：原本有 2 个区域算不准（不可靠），用了新方法后，不可靠区域几乎消失，大部分都变得非常精准。
年度固定资产投资：
- 线索：另一份调查的截断数据（只覆盖大企业）。
- 效果：虽然数据很难处理（很多零值），但新方法依然把“不可靠”的区域从 4 个降到了 2 个，显著提升了质量。
季度空缺职位：
- 线索：网络爬虫抓取的招聘广告（非概率数据）。
- 效果：这是最难的，因为很多小城镇根本没有样本。新方法让“不可靠”的城镇从 10 个降到了 0.5 个（几乎消除），精准度提升巨大。

4. 为什么这个方法很厉害？

不挑食：它不要求大数据是“随机”的，也不要求大数据覆盖所有人。只要有一部分重叠，就能用。
灵活：它可以用简单的线性关系，也可以用复杂的非线性关系（比如用“邻居法”来处理招聘广告这种零散数据）。
比传统方法强：作者对比了另一种传统方法（Ybarra-Lohr 模型），发现作者的方法在大多数情况下都能更稳定地提升精度，尤其是在那些原本最难算准的小区域。

总结

这就好比你要统计一个班级里每个小组的平均身高。

老方法：只量几个学生，然后硬推，结果误差大。
新方法：
1. 先量几个学生，同时看看他们的“鞋码”（大数据线索）。
2. 发现鞋码和身高有规律，用这个规律去“猜”没量到的学生的身高。
3. 最后，让每个小组参考隔壁小组的情况，把数据再微调一下。

最终，你得到了一个既利用了海量线索，又非常精准的班级身高报告，而且不需要假设那些没量到的学生是“随机”出现的。这就是这篇论文的核心贡献：用不完美的线索，通过聪明的数学步骤，算出完美的结果。

论文技术总结：利用不完整辅助信息进行小域估计

1. 研究背景与问题 (Problem)

在官方统计和小域估计（Small Area Estimation, SAE）中，概率抽样调查是获取可靠估计的基础。然而，对于样本量较小的小域（Small Domains），直接设计估计量（如 Hájek 估计量）往往方差过大，导致估计不可靠。
与此同时，行政记录、大数据等替代数据源日益丰富，但这些数据通常具有以下特征：

非概率性质：缺乏已知的抽样设计权重。
信息不完整：仅覆盖总体的一部分。
测量误差：作为研究变量的代理变量（Proxy），其定义或测量方式可能与研究变量存在差异。
选择机制未知：非概率样本的选择机制通常不可知，难以满足“随机缺失”（MAR）假设。

核心挑战：如何在**不假设非概率样本选择机制（即不依赖 MAR 假设）**的前提下，有效利用这些不完整且带有测量误差的辅助信息，以提高小域估计的精度？

2. 方法论 (Methodology)

作者提出了一种**两步法（Two-step approach）**框架，将概率样本数据与非概率样本数据相结合。该方法基于模型校准（Model Calibration）和小域估计（SAE）理论。

第一步：基于模型校准的域总量估计 (Model-Calibration Step)

数据链接与重叠：利用概率样本 $A$ 和非概率样本 $B$ 之间的重叠部分（ $A \cap B$ ），建立研究变量 $y$ 与代理变量 $y^*$ 之间的关系。
测量误差工作模型：在重叠部分拟合一个通用的测量误差工作模型 $y_i = g(y^*_i, x_i) + \varepsilon_i$ 。该模型可以是线性的、非线性的或非参数的（如 k-近邻）。
预测与校准：
- 利用拟合的模型 $g(\cdot)$ 对非概率样本 $B$ 中未包含在 $A$ 中的单元进行预测，得到 $\hat{y}_i$ 。
- 将 $\hat{y}_i$ 作为辅助信息，通过**模型校准（Model Calibration）**调整概率样本的权重。
- 约束条件：校准权重需满足域内总体大小约束（区分有代理数据和缺失数据的层）以及预测总和约束（ $\sum w_i \hat{y}_i = \sum_{B_m} \hat{y}_i$ ）。
结果：得到近似设计无偏的域总量估计量 $\hat{t}^{MC}_m$ 。
方差估计：采用 Rao-Wu-Yue 自助法（Bootstrap）估计方差，该方法在保持预测模型固定的同时，仅重采样概率设计部分，避免了模型假设带来的偏差。

第二步：基于 Fay-Herriot 模型的面积级估计 (Area-Level Modeling)

对数变换：由于经济数据通常右偏，先对第一步得到的总量估计量进行对数变换。
Fay-Herriot (FH) 模型：构建面积级混合模型，利用完全已知的辅助变量（无误差的协变量）在不同域之间“借用强度”（Borrowing Strength）。
EBLUP：计算经验最佳线性无偏预测量（EBLUP），得到最终的域总量估计 $\hat{t}^{EBLUP}_m$ 。
偏差校正：通过反变换（Log-normal bias correction）将结果还原到原始尺度。

对比基准 (Benchmark)：
作者还实现了一种改进的 Fay-Herriot 模型（Ybarra-Lohr 方法），将非概率样本的总量估计作为带有测量误差的协变量直接纳入 FH 模型。该方法通常依赖于 MAR 假设，用于对比验证。

3. 关键贡献 (Key Contributions)

无需 MAR 假设的整合框架：提出了一种设计基础的校准方法，无需对非概率样本的选择机制（Selection Mechanism）进行建模或假设（如随机缺失 MAR），从而在更广泛的实际场景下保证了推断的有效性。
灵活的测量误差处理：允许 $y$ 和 $y^*$ 之间存在线性、非线性或非参数关系，并通过工作模型在单元层面进行预测，而非仅在面积层面处理误差。
两步法优化：将单元层面的模型校准与面积层面的 SAE 模型结合。第一步利用代理信息大幅降低方差，第二步利用完全已知的协变量进一步平滑估计。
实证验证：在立陶宛官方统计的三个实际案例中验证了方法的有效性，证明了其优于直接估计和传统的 Ybarra-Lohr 方法。

4. 实证结果 (Results)

作者在立陶宛官方统计的三个企业调查场景中进行了应用：

月度营业额（利用增值税 VAT 数据作为代理）：
- 非概率样本与概率样本比例约为 6.2:1。
- 结果：模型校准（MC）估计量将不可靠域（RRMSE > 0.333）的数量从 2.1 个降至 0.2 个；中位 RRMSE 降低了约 57%。FH 步骤提供了进一步的微调。
年度有形资产投资（利用截断样本作为代理）：
- 非概率样本与概率样本比例约为 1.1:1，且数据存在大量零值。
- 结果：尽管样本重叠较小，MC 估计量仍将“良好”域的数量从 37 个提升至 53 个。FH 步骤进一步减少了不可靠域。
季度职位空缺（利用网络爬虫数据作为代理）：
- 非概率样本与概率样本比例约为 2.1:1，数据稀疏。
- 结果：直接估计（Hájek）有 10.8 个不可靠市镇；MC 估计量将其降至 3.0 个，EBLUP 进一步降至 0.5 个。中位 RRMSE 降低了约 44%。

对比发现：

MC + FH 方法在所有案例中均显著优于直接估计。
Ybarra-Lohr 方法（作为基准）表现不稳定，在某些场景下（如营业额和职位空缺）提升有限，仅在投资案例中消除了部分不可靠域。
精度提升幅度与非概率样本的相对大小（ $|B|/|A|$ ）以及代理变量与研究变量的相关性正相关。

5. 意义与结论 (Significance & Conclusion)

方法论意义：该研究为解决官方统计中日益普遍的“概率样本 + 非概率大数据”融合问题提供了一套稳健的、设计基础的解决方案。它证明了在不依赖不可验证的缺失机制假设下，依然可以有效利用不完整辅助信息。
实践意义：
- 显著提高了小域估计的精度，减少了“不可靠”估计的数量，对于政策制定和资源配置至关重要。
- 方法具有高度灵活性，可适应线性、非线性及非参数关系，适用于多种数据类型（如连续变量、计数数据、零膨胀数据）。
局限性：方法依赖于概率样本与非概率样本之间可靠的数据链接（ID 匹配），且要求重叠部分（ $A \cap B$ ）足够大以支撑工作模型的拟合。如果重叠过小，校准约束可能不稳定。

总结：本文提出的两步法（单元级测量误差建模 + 模型校准 + 面积级 FH 模型）是一种高效、稳健的工具，能够充分利用不完整但相关的辅助信息，显著提升小域估计的精度，且无需对非概率样本的选择偏差做出强假设。