技术摘要：从偏差且高成本的数据源中学习

问题定义

本研究探讨了在固定预算下进行多源数据采集以估计总体统计量的挑战。在许多实际场景中（例如临床试验、政治民调），数据必须从 $M$ 个异构来源中收集，每个来源具有不同的群体构成和采样成本。

核心难点源于三个因素：

1. 异构成本： 从来源 $m$ 采样会产生成本 $c_m$。
2. 分布失配： 每个来源的群体分布（$p_m$）与目标总体分布（$q$）以及与其他来源均存在差异。
3. 招募时无法观测群体身份： 虽然对于来源和目标而言群体身份是已知的，但在不产生测量成本的情况下，无法根据群体身份预先筛选个体。

目标是设计一个采样计划 $\mathbf{n} = (n_1, \dots, n_M)$（其中 $n_m$ 是来自来源 $m$ 的样本数）和一个估计量 $\hat{\theta}$，以最小化估计以下内容的极小极大风险（期望平方损失）：

• 总体均值 $\theta_{PM}(Q) = \mathbb{E}_{Y \sim Q}[Y]$。
• 群体条件均值向量 $\theta_{GM}(Q) = \{\mathbb{E}[Y|Z=z]\}_{z \in [K]}$。

该问题受预算 $B$ 的约束，即 $\mathbf{c}^\top \mathbf{n} \le B$。作者假设条件分布 $P_{Y|Z}$ 是未知的，但属于具有有界均值（$| \mathbb{E}[Y|Z] | \le R$）和有界方差（$\text{Var}(Y|Z) \le \sigma^2$）的类。

方法论

1. 有效样本量与差异度

作者引入了有效样本量（$n_{\text{eff}}$）作为评估采样计划的核心指标。对于一个计划 $\mathbf{n}$，令 $p_{\mathbf{n}}$ 为该采样计划诱导的群体混合分布。相对于目标分布 $q$ 的有效样本量定义为：
$$n_{\text{eff}}(\mathbf{n}, q) := \frac{\mathbf{1}^\top \mathbf{n}}{d(q || p_{\mathbf{n}})}$$
其中 $d(a || b) = \sum_{z} \frac{a(z)^2}{b(z)}$ 是一个与 $\chi^2$ 散度相关的差异度度量（$d(a||b) = D_{\chi^2}(a||b) + 1$）。该指标量化了收集到的数据对目标分布的近似程度，并会对导致高差异度的计划进行惩罚。

2. 最优采样计划

作者提出了一个通过最大化有效样本量来确定最优采样计划 $\mathbf{n}^\star_T$ 的方法，并受预算约束限制：
$$\mathbf{n}^\star_T \in \arg\max_{\mathbf{n}} n_{\text{eff}}(\mathbf{n}, q) \quad \text{s.t.} \quad \mathbf{c}^\top \mathbf{n} \le B$$
对于估计群体条件均值，目标分布 $q$ 被替换为均匀分布 $u_K$。该优化问题是凸的，因此求解效率很高。

3. 估计量设计

论文将特定的估计量与最优采样计划配对：

• 对于总体均值： 使用后分层估计量（$\hat{\theta}_{PS}$），该估计量估计每个群体内的均值，并根据目标分布 $q$ 对其进行重加权。
  $$\hat{\theta}_{PS} = \sum_{z \in [K]} q(z) \bar{Y}_z$$
• 对于群体条件均值： 使用观测到的群体条件均值向量（$\hat{\theta}_{VM}$）。
• 对于预测： 使用重要性加权经验风险最小化（IWERM）程序。

核心贡献与结果

1. 极小极大下界

作者建立了任何策略的极小极大风险下界。一个关键的技术贡献是其证明技术，该技术利用了有界均值的均匀先验，并分析了截断正态后验的方差。这是必要的，因为当均值有界时，标准的共轭先验（正态-正态）是无效的。

总体均值估计的下界为：
$$R^\star_{PM}(B, P_{Y|Z}) \ge \frac{\sigma^2}{n_{\text{eff}}(\mathbf{n}^\star_T, q)} - o\left(\frac{1}{B}\right)$$
这表明风险从根本上受到最优采样计划有效样本量的限制。

2. 极小极大上界与最优性

作者证明了策略 $(\mathbf{n}^\star_T, \hat{\theta}_{PS})$ 实现的上界在主项上与下界相匹配：
$$R_{PM}((\mathbf{n}^\star_T, \hat{\theta}_{PS}), P_{Y|Z}) \le \frac{\sigma^2}{n_{\text{eff}}(\mathbf{n}^\star_T, q)} + o\left(\frac{1}{B}\right)$$
这确立了所提方法是极小极大最优的。分析表明，朴素策略（例如精确匹配目标分布或最大化原始样本计数）是次优的，因为它们未能考虑到成本、来源构成以及估计量纠偏能力之间的相互作用。

3. 向预测问题的扩展

该框架被扩展到了预测任务（最小化超额风险）。

• 上界： 策略 $(\mathbf{n}^\star_T, \hat{h}_{IWERM})$ 实现的超额风险界限随 $\sqrt{\frac{P_{\text{dim}}(H) K d(q || p_{\mathbf{n}^\star_T})}{B}}$ 缩放。
• 下界： 开发了一种新的归约测试引理（reduction-to-testing lemma）来处理来源分布与目标分布之间的失配。由此得到的下界随 $\sqrt{\frac{VC_{\text{dim}}(H) q_{\min} d(q || p_{\mathbf{n}^\star_T})}{B}}$ 缩放。
  虽然在上界与下界之间存在 $\sqrt{K/q_{\min}}$ 的差距，但它们在有效样本量和差异度度量上的依赖关系是一致的，这表明该原理在预测领域同样成立。

4. 不可能性结果

论文证明，如果不假设均值有界（$| \mathbb{E}[Y|Z] | \le R$），该问题将是不可解的（风险无穷大），从而证明了在理论框架中使用有界性假设的合理性。

意义与主张

本文声称提供了第一个针对具有异构成本和分布的多源设置下的极小极大最优数据收集策略。其意义在于：

1. 重新定义效率： 超越了“匹配目标分布”，转向最大化有效样本量，从而平衡了成本、偏差和方差。
2. 理论严谨性： 提供了匹配的上下界用于均值估计，确立了从有偏差且高成本的来源中学习的基本极限。
3. 新颖技术： 在处理来源与目标分布不同的预测问题时，引入了新的归约测试框架，并在有界性约束下利用截断正态分析进行下界证明。
4. 实用性： 通过模拟证明，在各种目标分布和预算约束下，所提策略显著优于朴素基准（均匀、反成本、最近邻和混合策略）。

作者指出，尽管结果是在均值估计和特定预测设置下建立的，但最大化有效样本量的原则为存在高成本且异构数据的多源学习提供了一种原则性的方法。