AI-Assisted Variance Reduction in Randomized Experiments

技术摘要：随机实验中基于 AI 辅助的方差缩减

问题陈述
本文探讨了提高随机实验中平均处理效应（ATE）估计精度的挑战。虽然近期文献探索了使用大语言模型（LLM）和“数字孪生”来模拟人类反应，但这些合成预测往往存在偏差，且在孤立使用时无法替代真实的观测数据。现有的混合估计方法，如预测力增强推理（PPI）和半参数高效估计量，旨在结合 AI 预测与人类数据，但在随机设置下往往缺乏稳健性保证。具体而言，未校准的方法在 AI 预测不够准确时会放大方差，且某些方法在模型设定错误时会引入偏差。作者认为，研究人员需要一种既能利用 AI 预测进行方差缩减，又不会在预测质量较低或未知的情况下损害估计量无偏性的方法。

方法论
作者提出了一个框架，其中 AI 生成的预测被严格用作标准回归调整中的辅助协变量，而非直接作为结果变量的替代品。

• 核心估计量： 本文主张将 AI 预测 ($\hat{Y}_i$) 作为协变量纳入观测结果 ($Y^{obs}_i$) 对处理指示变量 ($Z_i$) 的线性回归中。具体而言，他们推荐使用交互回归设定：
  $$Y \sim 1 + Z + \hat{Y}(Z) + Z \times \hat{Y}(Z)$$
  其中 $\hat{Y}(Z)$ 代表分配的处理组下的 AI 预测值。这类似于对预后评分（prognostic score）进行调整。
• 理论依据： 作者证明了这种回归调整估计量是模型辅助估计量的一个“校准”版本。与未校准的模型辅助估计量（要求预测与结果之间的相关性超过 0.5 才能减少方差）不同，这种回归调整估计量具有“无害性”（do no harm）属性。它是渐近无偏的，并保证其方差永远不会大于未调整的均值差估计量（即 $Deff \leq 1$）。如果预测没有信息量，拟合系数会趋向于零，使估计量回归到标准的均值差估计。
• 处理离散结果： 对于二元或计数型结果，作者反对使用离散化的 AI 预测（例如将 LLM 输出分类为 0 或 1）。相反，他们建议针对连续的预测概率或得分进行调整。他们提供了从 LLM 获取连续得分的实现策略，例如提取特定 token 的对数概率（log-probabilities）或对多次随机抽样进行平均。
• 数据源： 该框架适用于各种来源的预测，包括零样本（zero-shot）LLM、表格基础模型（如 TabPFN）以及标准的监督学习模型（如 XGBoost、Ridge）。作者指出，对于在实验数据本身上训练的模型，需要进行交叉验证（cross-fitting）以保持有效性；而零样本 LLM 预测则可以被视为固定的前处理协变量。

主要贡献

1. 简洁性与稳健性： 本文确立了无需开发新的估计量；使用 AI 协变量进行标准回归调整已足够。这种方法继承了“无害性”属性的稳健性，确保在预测具有信息量时获得效率提升，而在预测无效时不会产生惩罚。
2. 估计量对比： 作者系统地比较了回归调整法与未校准的模型辅助估计量以及“数字孪生”（插补）估计量。他们展示了未校准的方法在预测质量较低（$\rho < 0.5$）时会放大方差，而数字孪生估计量除非 AI 模型被完美设定，否则会引入显著偏差。
3. 非结构化数据的特征化： 本文强调了 LLM 将非结构化输入（如文本、复杂的个人资料）转化为辅助协变量的独特能力。这使得在传统表格方法难以从原始文本中提取信号的场景下，也能实现方差缩减。
4. 实现指导： 作者提供了从离散 LLM 输出中提取连续得分以及处理二元结果的实用建议，以最大化方差缩减效果。

结果
作者通过合成实验和三个实证应用验证了其观点：一项调查大型研究、一次电子邮件营销 A/B 测试以及一个大规模技术平台实验。

• 合成实验： 模拟证实，回归调整在不同的预测质量（$R^2_{\hat{Y}}$）和结果可预测性（$R^2_m$）水平下，均能保持设计效应 $Deff \leq 1$。相比之下，未校准的模型辅助估计量在预测质量较低时经常会放大方差。模拟还表明，针对二元结果使用连续 AI 预测比使用离散化预测能获得更高的效率增益。
• 实证应用：
  • 在涉及数字孪生的调查大型研究中，回归调整提供了微小但真实的效率提升。
  • 在电子邮件营销 A/B 测试中，结合 AI 预测与表格协变量进行调整提高了精度。
  • 在技术平台实验中，该方法被应用于序列用户数据。
  • 在所有设置中，收益被描述为“真实但微小”，在包含大量非结构化文本数据的研究中观察到了最显著的收益。回归调整的“无害性”属性得到了实证确认：调整后的估计量表现从未差于未调整的均值差估计。

意义与主张
本文主张，在随机实验中，针对 AI 生成的预测进行调整应成为一种常规的经验实践。其意义在于能够利用生成式 AI 的预测能力（特别是针对非结构化数据），同时避免使用更复杂混合估计量所带来的风险。作者强调，虽然在许多结构化场景下的效率提升可能较为有限，但该方法成本低、稳健，且对于那些难以进行传统特征工程、富含文本或复杂输入的实验研究而言，具有极高的价值。他们总结道，由于结合了保证的稳健性（“无害性”）和潜在的效率提升能力，该方法是相比于未校准替代方案或完全忽略 AI 预测的一种更优策略。