技术摘要：迈向随机对照试验的最优估计量

问题陈述

随机对照试验（RCT）是因果推断的金标准，然而标准的均值差（Difference-in-Means, DM）估计量虽然是无偏的，但在处理异质性治疗效应或重尾分布结果时，往往缺乏精度。尽管存在许多提高精度的算法（例如协变量调整、方差缩减、基于机器学习的元学习器），但目前还没有一个在所有数据集上表现都最优的通用“最优”估计量。

在处理一系列相关的 RCT 家族时，选择估计量面临着一个关键挑战：逐案选择估计量可能会损害科学有效性，因为研究人员可能会在无意中选择那些支持其偏好叙事而非提供可靠推断的方法。现有的验证方法（如合成数据生成）存在局限性，即在合成数据上的性能排名与现实应用之间可能存在显著差异，且缺乏关于合成与现实表现之间关系的理论保证。本文旨在解决如何提供有原则的指导，以进行考虑特定研究背景、结果特征和分析目标（推断 vs. 决策）的估计量选择。

方法论

作者提出了一个通过利用现实世界实验集合而非合成数据，来识别相关 RCT 家族内最优估计量的通用框架。

1. 框架设置

该框架考虑了从超总体中抽取的 $N$ 个研究集合。每个研究涉及在特定群体内比较治疗对。关键假设包括：

• 随机化： 每个研究内的治疗分配是随机的。
• 研究独立性： 在给定协变量的情况下，潜在结果与研究成员身份独立（研究之间的差异仅在于协变量分布，而非因果机制）。
• 非重叠样本： 单位最多参与一个研究。

2. 性能指标

该框架区分了两种主要的分析目标，并为每种目标定义了特定的指标：

• 侧重于推断（参数估计）： 使用 均方误差（MSE） 来量化估计的治疗效应与真实效应之间的差异，捕捉偏差和方差。
• 侧重于决策（部署决策）： 使用 遗憾度（Regret），定义为次优决策带来的经济机会成本。遗憾度量化了基于包含临界阈值 $c$ 的决策规则所产生的假阴性（未能部署有益治疗）和假阳性（部署无效治疗）的成本。

3. 通过样本分割进行估计量比较

由于真实的治疗效应是未知的，作者采用了 交叉拟合（样本分割） 程序，在不发生过拟合的情况下估计性能指标：

• 对于每个研究 $s$，将样本划分为 $K$ 个折叠（folds）。
• 使用其中一个折叠来计算“地面真值”估计量，即无偏的 DM 估计量 ($\hat{\tau}_{DM}$)。
• 使用剩余的折叠来计算感兴趣的估计量 ($\hat{\tau}_{\alpha}$)。
• 计算交叉拟合估计量与 DM 估计量之间的性能指标 ($\Delta$)。
• 在整个研究家族中汇总整体性能。

理论结果（定理 4.1–4.3）确立了交叉拟合 MSE 统计量是无偏的，并且在满足正则性条件下，基于遗憾度的统计量是渐近无偏的。

4. 统计推断

为了比较估计量，作者使用了 置换检验（Permutation Tests），而不是仅仅依赖渐近正态性，因为遗憾度指标的不连续性和研究间的异质性使得渐近正态性变得复杂。在相等性能的零假设下，通过在研究间置换估计量标签来生成检验统计量的零分布，从而确保统计有效性的稳健性。

5. 通过加权指标实现稳健性

为了应对高方差研究带来的敏感性问题，该框架引入了 逆方差加权（inverse-variance weighting）。这为具有更高精度（样本量更大、结果方差更低）的研究分配更高的权重，在平衡高方差离群值影响的同时，保持对所有可用数据的利用。

核心贡献

1. 用于估计量选择的有原则框架： 本文将重点从寻找单个 RCT 的最佳估计量，转向识别整个相关试验家族的优越方法。它提供了一种系统的方法来比较估计量，同时保持了科学完整性。
2. 指标与目标的对齐： 本研究明确区分了推断目标（最小化 MSE）和决策目标（最小化遗憾度），证明了最优估计量严格取决于预期的用途。
3. 现实世界验证： 不同于合成数据方法，该框架在共享共同结果度量的现实 RCT 集合上评估估计量，为跨背景的泛化能力提供了更强的保证。
4. 实际应用性： 作者提供了一个实用的、可实施的框架，从业者可以将该框架应用于包括商业和社交科学在内的多种实验场景。

实证结果

该框架被应用于两个不同的数据集：

1. 亚马逊供应链优化技术 (SCOT)

• 数据： 556 个关注具有重尾分布特征的财务结果的 RCT。
• 评估的估计量： DM、OLS、线性 T-learner 以及结合不同水平缩尾处理（winsorization）的加权最小二乘法 (WLS)。
• 发现：
  • 推断 (MSE)： 带有 0.5% 缩尾处理的线性 T-learner 实现了最小 MSE。然而，对于较低的缩尾水平，OLS 是最优的。
  • 决策 (遗憾度)： 未经缩尾处理的标准均值差 (DM) 表现最好（最小遗憾度）。MSE 最低的估计量（线性 T-learner）在决策方面的表现则相对较差。
  • 启示： 最小化估计误差的估计量并不一定能最小化决策成本。对于上线决策，简单的 DM 更为理想；而对于增量测量（uplift measurement），协变量调整方法则更为优越。

2. 强化民主挑战 (SDC)

• 数据： 25 项针对政治态度和行为（如对党派暴力、党派敌意的支持）的干预措施。
• 发现：
  • 推断 (MSE)： 最优估计量随结果而异。对于具有弱协变量关系和重尾特征的结果（如对党派暴力的支持），采用 10% 激进缩尾处理的 OLS 是最优的。对于具有强协变量关联的结果（如党派敌意），不进行重度缩尾的协变量调整法更为优越。
  • 决策 (遗憾度)： 在所有结果中，各估计量的表现几乎一致，DM_0 实现了最小的归一化遗憾度。
  • 启示： MSE 与遗憾度排名之间的分歧进一步证明了最优策略是依赖于上下文的。对于部署决策，简单的方法通常就足够了，而推断则需要定制化的调整和修剪。

意义与主张

本文声称提供了一种“替代现有临时性估计量选择的有原则方案”，在保持科学完整性的同时容纳了方法论的灵活性。其主要意义在于证明了：

• 不存在通用的最优估计量： “最佳”估计量取决于分析目标（推断 vs. 决策）以及结果数据的特定分布属性。
• 指标选择至关重要： 仅关注 p 值或 MSE 可能无法转化为最优的决策表现。组织必须明确其优先级（科学理解 vs. 运营部署）来选择合适的方法。
• 领域特定的最佳实践： 研究界和组织不应依赖通用的建议，而应开发领域特定的验证框架，利用积累的实验数据来指导方法选择。

作者总结道，虽然其框架解决了当前存在的局限性，但未来仍需在随时间变化的处理、析因设计以及存在干扰或不依从性的场景中扩展这些方法。他们强调，目标不是寻找单一的“最佳”方法，而是开发能够适应特定研究背景的有原则的方法。