Learning What to Learn: Experimental Design when Combining Experimental with Observational Evidence

技术摘要：学习如何学习：结合实验与观测证据时的实验设计

问题陈述
随机对照试验（RCT）提供了内部有效的处理效应估计，但往往受到成本和可行性的限制，使其局限于特定的地点、较小的群体或局部均衡机制。因此，研究人员经常需要将实验估计量与外部证据相结合——例如来自观测数据或不同背景下实验的还原形式（reduced-form）或结构化估计——以回答涉及一般均衡（GE）效应或外部有效性的更广泛政策问题。

本文解决的核心挑战是在这种结合设定下的实验设计问题。具体而言，当外部证据可能存在未知偏差（例如由于混杂因素或缺乏外部有效性）时，研究人员应如何选择运行哪些实验，以及在预算约束下如何分配样本量？传统的实验设计文献通常假设所有参数在实验内都是可识别的，或者侧重于固定设计，这在优化依赖于潜在偏差的外部数据的“实验选择”方面留下了方法论空白。

方法论与框架
作者开发了一个整合实验与观测证据的统一实验设计框架。该设置涉及：

1. 目标估计量（Target Estimand）： 一个政策相关的对象 $\tau(\theta)$，其中 $\theta$ 是未知参数向量，$\tau$ 是已知的平滑函数。
2. 数据源：
   • 观测估计量 ($S_{obs}$)： 一组可能受到未知向量 $b$ 影响的偏差估计量。它们作为基准，但不保证是无偏的。
   • 实验估计量 ($S_{exp}$)： 从可行实验 $E$ 中获得的无偏矩量，这些实验识别了 $\theta$ 的一个子集参数。
3. 估计器： 作者关注（渐近）线性估计器，例如广义矩估计法（GMM）或最小距离估计法，这些估计器在矩的表示上具有线性特征。

目标函数：最小化最大比例遗憾（Minimax Proportional Regret）
由于偏差 $b$ 在事前是未知的，直接最小化均方误差（MSE）在没有指定偏差界限的情况下是不可行的。作者提出了一个最小化最大比例遗憾准则。

• 神谕（The Oracle）： 一个已知观测偏差真实量级（$B$）并能选择最优设计和最优估计器以最小化 MSE 的神谕。
• 遗憾（The Regret）： 候选设计的性能通过其最坏情况下的 MSE 与神谕的 MSE 之比来衡量，并在所有可能的偏差量级 $B \geq 0$ 上取最大值。
  $$R(E, \Sigma, W) \equiv \sup_{B \geq 0} \frac{\sup_{b \in \mathcal{B}(B)} \text{MSE}_b(E, \Sigma, W)}{\text{MSE}^*(B)}$$
• 核心洞察： 对于线性估计器，这种比例遗憾简化为两个归一化组件的最大值：
  1. 方差遗憾（Variance Regret）： 设计的方差与最小可实现方差之比 ($\alpha / \alpha^*$)。
  2. 偏差遗憾（Bias Regret）： 设计引起的 worst-case 平方偏差与最小可实现的 worst-case 偏差之比 ($\beta / \beta^*$)。
     $$R = \max \left\{ \frac{\alpha}{\alpha^*}, \frac{\beta}{\beta^*} \right\}$$

这种公式化提供了一个透明的偏差-方差权衡。最优设计使归一化的方差和偏差遗憾相等，从而避免了研究人员需要指定硬性偏差界限的需求。

主要贡献与结果

1. 对遗憾的创新表征： 本文提供了一种新颖的表征，表明对于线性估计器，最坏情况下的比例遗憾是偏差半径的拟凸函数（quasi-convex function）。这使得优化问题可以作为凸问题（对于固定设计）或混合整数凸规划（当在离散实验中进行选择时）高效求解。这与固定设计下的非线性估计器形成对比，后者的优化通常需要针对最坏情况先验进行求解，且缺乏拟凸性。

2. “偏差感知型”内曼分配（"Bias-Aware" Neyman Allocation）： 最优解推广了标准的内曼分配。虽然标准内曼分配旨在最小化方差，但所提出的“偏差感知型”分配会根据目标估计量对潜在偏差的敏感度来调整样本量和实验选择。如果偏差占主导，设计会优先考虑对偏差敏感度高的参数；如果方差占主导，则投资于减少抽样噪声。

3. 向贝叶斯受众的扩展： 该框架被扩展到研究人员向更新自身先验的贝叶斯受众报告统计量的场景。作者表明，为固定估计器推导出的线性遗憾解，可以作为受众在高斯先验下的遗憾的一个有效代理目标（上界），即使受众使用非线性更新规则也能提供稳健性保证。

4. 与置信区间设计的等价性： 作者证明，基于置信区间长度最小化的设计与基于 MSE 遗憾最小化的设计在最优设计和估计器上是等价的，这增强了该方法的稳健性。

5. 实证说明： 该框架应用于肯尼亚的一个现金转移项目，将新的实验证据与墨西哥 Progresa 项目的外部数据相结合。

   • 设置： 目标是估计一般均衡效应（收入、津贴和工资对受教育程度的反应）。
   • 比较： 将遗憾最优设计与标准的方差最小化（内曼）设计进行比较。
   • 发现： 在典型样本量下，遗憾最优设计选择了就业计划（工资冲击）而非现金转移，而标准设计则倾向于现金转移。遗憾最优设计在仅增加少量方差遗憾的情况下，显著降低了偏差遗憾（对误设定的敏感性）。它在广泛的偏差量级范围内保持了较低的整体遗憾，而标准设计在外部有效性受损时会遭受高遗憾。

意义与主张
本文声称为在无法通过外部数据实现完全识别的情况下进行实验设计，提供了一个实用、透明且计算可行的框架。

• 实用性： 该方法仅依赖于常规功效计算（方差-协方差矩阵和敏感度梯度）中通常可获得的信息，不需要研究人员指定任意的偏差界限。
• 稳健性： 通过针对一个已知偏差的神谕进行优化，该方法在利用外部数据的精确性的同时，保护了研究免受最坏情况误设定的影响。
• 决策论基础： 这项工作将实验设计与长期的决策论传统联系起来，提供了一种平衡偏差与方差的解决方案，而标准的极小极大（minimax）或加法遗憾准则（通常按词典顺序优先考虑偏差）无法做到这一点。

作者将此定位为经济学实验设计的一次必要演进，因为在经济学中，将小规模试验外推到大规模政策问题是很常见的，但也充满了关于外部有效性的不确定性。该框架允许研究人员明确量化并管理“通过实验学习更多特定机制”与“依赖于可能存在偏差但精确的外部估计”之间的权衡。