📊 statistics

Improving Survey Inference in Two-phase Designs Using Bayesian Machine Learning

该论文提出了一种将复杂调查设计特征纳入树模型的贝叶斯多重插补方法，用于改进两阶段抽样中第二阶段样本的推断，并通过模拟和乌干达新冠疫苗接种数据实证表明，该方法在偏差、均方误差、置信区间宽度及覆盖率方面均优于传统的加权估计量。

原作者： Xinru Wang, Anyu Zhu, Lauren Kennedy, Abigail Greenleaf, Qixuan Chen

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinru Wang, Anyu Zhu, Lauren Kennedy, Abigail Greenleaf, Qixuan Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种更聪明、更省钱的方法来调查人群的健康状况，特别是当直接调查所有人太贵或太难的时候。

为了让你轻松理解，我们可以把这项研究想象成**“用一张大网捞鱼，再从中挑出几条做精细检查”**的故事。

1. 背景：为什么要搞“两阶段”调查？

想象一下，政府想知道全国有多少成年人接种了新冠疫苗。

理想情况：给全国 1 亿人都打电话问。但这太贵了，而且很难做到。
现实情况（两阶段设计）：
- 第一阶段（大网）：先花点钱，通过正规抽样，联系上 1 万个家庭（Phase I）。这时候只问一些便宜、容易的问题，比如：住在哪里、有没有手机、家里几口人、大概收入多少。
- 第二阶段（精挑细选）：从这 1 万个家庭里，再挑出 1000 个家庭（Phase II），专门问昂贵、难搞的问题，比如：“你具体打了几针疫苗？打的是什么牌子？”

问题来了：这 1000 个被挑出来的人，可能和那 1 万个大样本，甚至和全国所有人都不一样。

比如：挑出来的人可能都住在城市里，或者都有手机。
如果直接拿这 1000 人的数据去推算全国，结果就会偏（比如高估了接种率）。

2. 旧方法 vs. 新方法

旧方法：给数据“加权”（Weighting）

以前的做法是：给那些“被少抽到”的人（比如农村人、没手机的人）赋予一个巨大的权重。

比喻：就像你在做汤，发现盐放少了，就拼命往汤里加盐粒。
缺点：
1. 盐粒太大：如果某个群体特别少，权重就会变得巨大，导致汤的味道（统计结果）忽咸忽淡，非常不稳定。
2. 盲目加盐：这种方法主要关注“怎么把人补全”，却忽略了“这些人的特征（如年龄、职业）和结果（疫苗）之间有什么深层联系”。

新方法：用 AI“补全”缺失的数据（Bayesian Machine Learning）

这篇论文提出了一种新招：多重插补（Multiple Imputation），核心工具叫 BART（贝叶斯加法回归树）。

比喻：与其拼命加盐粒（加权），不如请一位超级大厨（AI 模型）。
- 大厨手里有第一阶段那 1 万人的所有资料（住址、收入、年龄等）。
- 大厨看着那 1000 个被问到疫苗的人，发现：“哦，原来住城市、有手机、30-40 岁的人，接种率特别高。”
- 然后，大厨利用这个规律，猜出剩下那 9000 个没被问到疫苗的人，大概接种了多少。
- 最后，把“猜出来的”和“真问出来的”混在一起，算出一个平均值。

为什么这个方法好？

更聪明：AI 能发现复杂的规律（比如“住在农村且没受过教育的人”接种率低），而不仅仅是简单的人数比例。
更稳定：不需要给某些人赋予巨大的权重，而是用数据规律去填补空白，结果更平滑。
利用大数据：第一阶段收集的那些“无用”的辅助信息（比如家里有几间房），在 AI 眼里都是预测疫苗情况的线索。

3. 核心创新点：给 AI 戴上“眼镜”

以前的 AI 模型（BART）通常假设数据是随机抓取的。但在这个调查里，数据是分层、分群抓取的（比如先按省分，再按县分）。

创新：作者给这个 AI 模型戴上了一副**“调查设计眼镜”**。
在训练 AI 时，不仅告诉它“这个人住哪里”，还告诉它“这个人属于哪个抽样群”、“这个群的权重是多少”。
这样，AI 在猜数据时，就不会忽略调查本身的复杂结构，算出来的结果才科学、可信。

4. 实战演练：乌干达的疫苗调查

作者用这个方法去分析了乌干达的一个真实案例：

背景：利用 2020 年一个大型艾滋病调查（第一阶段）的数据，去推算 2022 年手机调查（第二阶段）中的新冠疫苗接种率。
发现：
- 如果用老方法（加权），算出来的接种率偏高（可能因为手机用户本身就更健康、更富裕）。
- 用新方法（AI 补全），算出来的接种率更合理，更接近真实情况，而且误差更小，置信区间更窄（也就是结果更精准）。
验证：他们还用同样的方法去预测“过去一年是否去过医院”，发现新方法的结果和真实的大样本数据几乎一模一样，证明了它的可靠性。

5. 总结：这对我们意味着什么？

这篇论文就像是在说：

“当我们无法调查所有人时，不要只是简单地‘修补’小样本的偏差。我们要利用第一阶段收集的海量信息，请一位懂行情的 AI 大厨，根据已有的线索，把缺失的拼图智能地补全。”

一句话总结：
这是一种利用人工智能和统计学结合的新方法，它能让那些样本少、成本高的专项调查（如疫苗、罕见病研究），得出更准确、更稳定的全国结论，既省钱又靠谱。

这是一份关于论文《Improving Survey Inference in Two-phase Designs Using Bayesian Machine Learning》（利用贝叶斯机器学习改进两阶段设计中的调查推断）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
两阶段抽样设计（Two-phase sampling design）是公共卫生研究中一种成本效益高的策略。

第一阶段 (Phase I)： 从有限总体中通过概率抽样选取样本，收集易于获取且廉价的变量（辅助变量）。
第二阶段 (Phase II)： 从第一阶段样本中抽取子样本，收集难以获取或昂贵的目标变量（如临床访谈、特定生物标志物）。

核心挑战：
传统的分析方法是基于第二阶段子样本进行加权估计（Weighting）。然而，这种方法存在显著局限性：

权重变异大： 将第一阶段权重与第二阶段子样本调整因子相乘，会导致最终权重高度可变，从而产生不稳定的估计。
效率低下： 加权调整主要关注修正分布差异，往往忽略了辅助变量与目标结果之间的预测关系，未能充分利用第一阶段收集的丰富信息。
模型误设风险： 如果用于构建权重的倾向性模型（propensity model）设定错误，会导致有偏估计。
高维数据挑战： 当第一阶段包含大量辅助变量时，传统的加权方法（如逻辑回归或 CHAID）难以有效处理非线性关系和高维交互作用。

2. 方法论 (Methodology)

作者提出了一种基于**贝叶斯加性回归树（BART）的多重插补（Multiple Imputation, MI）**方法，将两阶段设计中的子样本推断问题转化为第一阶段样本的缺失数据问题。

核心步骤：

问题重构： 将第一阶段样本中未参与第二阶段调查的个体的目标变量视为“缺失数据”，而非直接对第二阶段子样本进行加权。
树基插补模型 (Tree-based Imputation Models)：
- 利用 BART 模型对第一阶段样本中缺失的目标变量进行多重插补。
- 关键创新： 将复杂调查设计特征（分层 strata、聚类 clusters）以及第一阶段权重和子样本调整因子直接作为协变量纳入 BART 模型中。
- 随机截距 BART (rBART)： 针对聚类数据，提出使用随机截距 BART 模型（ $y_{ji} = G(\dots) + \delta_j + \epsilon_{ji}$ ），其中 $\delta_j$ 为第 $j$ 个聚类的随机截距，以更好地处理组内相关性。
- 模型形式： 对于连续变量使用高斯 BART，对于二分类变量使用 Probit 链接函数。
多重插补流程：
- 生成 $D$ 次插补数据集。
- 在每次插补中，利用第一阶段权重 $w_{ci}$ 计算总体均值估计量。
- 使用 Rubin 规则 合并 $D$ 次插补的结果，计算点估计和方差。
- 方差估计： 结合第一阶段复杂设计的方差（通过 Taylor 级数线性化或重抽样方法）与插补间的方差（Between-imputation variance），确保统计推断的有效性。
假设条件：
- (A1) 第一阶段样本中观测到了与结果相关的辅助变量。
- (A2) 给定辅助变量和设计特征，第二阶段子样本的抽样机制是可忽略的（Ignorable）。
- (A3) 第一阶段和第二阶段样本中辅助变量的取值范围具有可比性（避免协变量偏移）。

3. 主要贡献 (Key Contributions)

框架扩展： 将 Liu et al. (2023) 针对单阶段样本的 BART 插补框架，扩展到了更通用的两阶段复杂抽样设计（分层多阶段抽样）。
设计特征整合： 首次系统地将分层、聚类、权重等复杂调查设计特征直接嵌入到树基机器学习模型中，解决了传统机器学习方法在处理复杂抽样数据时忽略设计效应的难题。
方差推断方法： 证明了在二阶段设计中，结合 Rubin 多重插补规则与第一阶段设计方差估计方法，能够提供有效的统计推断（特别是置信区间覆盖率和自由度计算）。
实证应用： 利用乌干达基于人群的 HIV 影响评估调查（UPHIA2020）及其子样本手机调查数据，展示了该方法在估计新冠疫苗接种覆盖率中的实际应用价值。

4. 模拟与实证结果 (Results)

模拟研究 (Simulation Study)：

对比方法： 将提出的 MI-BART 和 MI-rBART 与传统加权方法（基于逻辑回归 LGM、CHAID、BART、rBART 的加权估计量 WT-LGM, WT-CHAID, WT-BART, WT-rBART）进行对比。
性能指标： 绝对偏差 (Bias)、均方根误差 (RMSE)、95% 置信区间宽度及覆盖率。
主要发现：
- 优越性： 在所有场景下，基于 MI 的树基方法（MI-BART/rBART）在偏差、RMSE 和置信区间宽度上均优于加权方法。
- 覆盖率： MI 方法的 95% 置信区间覆盖率更接近名义水平（95%），而加权方法在模型误设或高维数据下覆盖率往往不足。
- 高维与模型误设： 在高维辅助变量和存在非线性/交互作用的情况下，BART/rBART 表现稳健。
- 假设违反 (A3)： 当第二阶段样本在关键预测变量的尾部存在稀疏数据（协变量偏移）时，所有方法性能下降，但 MI 方法仍显著优于加权方法。
- 随机截距： 在存在聚类效应时，MI-rBART 通常比 MI-BART 具有更低的偏差和更好的覆盖率。

实证应用 (Uganda Application)：

数据： 使用乌干达 UPHIA2020 调查（第一阶段）和 2022 年新冠疫苗接种手机子样本调查（第二阶段）。
结果：
- 加权估计偏差： 基于手机子样本的加权估计（WT-BART/rBART）显示疫苗接种率约为 60%，高于 CDC 报告的 2022 年夏季数据（约 57%），表明存在向上偏差。
- 插补估计： 提出的 MI-rBART 和 MI-BART 方法估计的接种率分别为 53.5% 和 55.8%，更接近真实情况且置信区间更窄。
- 验证研究： 使用“过去 12 个月是否去过医疗机构”作为验证指标，MI 方法的估计值比加权方法更接近全样本基准值，且置信区间更窄。
- 变量重要性： 分析显示，居住地区和聚类指标是预测疫苗接种的重要变量，证明了将设计变量纳入模型的重要性。

5. 意义与结论 (Significance)

方法论创新： 该研究为两阶段复杂抽样设计提供了一种比传统加权更稳健、高效的分析范式。它证明了利用机器学习（特别是 BART）处理缺失数据，结合多重插补框架，可以有效解决高维辅助变量下的推断难题。
实际价值： 在公共卫生资源有限的情况下，该方法允许研究人员利用昂贵的第二阶段子样本数据，结合第一阶段丰富的低成本数据，以较低成本获得高精度的总体推断，避免了重新进行大规模概率抽样的高昂成本。
政策启示： 通过识别关键预测变量（如地区、社会经济地位），该方法能为制定针对性的健康干预政策提供数据支持。
局限性讨论： 作者指出，如果第二阶段样本在关键预测变量上存在严重的分布偏移（Covariate Shift），插补方法仍可能产生偏差，但这通常仍优于加权方法。未来的工作可探索混合模型以应对此类偏移。

总结： 本文提出了一种结合贝叶斯机器学习与多重插补的新方法，显著改进了两阶段复杂抽样设计中的总体均值估计，在偏差控制、效率提升和统计推断有效性方面均优于传统的加权估计方法。