📊 statistics

Semiparametric Efficiency in Sequential Experiments: Characterization and Design via Average Propensity

本文通过基于诱导平均倾向得分，为序列实验建立了一个半参数效率基准，并提出了可实现的批量自适应设计，这些设计利用回归调整或协变量平衡，在各种操作约束下实现这种最优精度。

原作者： Jiachun Li, David Simchi-Levi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiachun Li, David Simchi-Levi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是某个大型在线平台的经理。你开发了几项新的 AI 功能（我们称之为“AI 助手”），你想知道哪一个对用户最有效。为了找出答案，你进行了一项实验：你向不同的用户展示不同的助手，并衡量结果。

在过去，你会为每个用户随机抛硬币。这被称为“随机分配”。这很公平，但并不聪明。如果你有一个技术娴熟的用户和一个不太懂技术的用户，一次硬币投掷可能会不小心把“难用”的助手给了技术娴熟的用户，而把“易用”的助手给了不懂技术的用户。这会在你的数据中产生“噪声”，让你很难判断到底哪个助手更好。

这篇论文是关于如何更聪明地运行这些实验，特别是当你需要逐一做出决策（顺序决策），且无法等待所有数据收集完毕后再做出更改时。

以下是核心思想，通过简单的概念进行拆解：

1. 问题所在：“移动的目标”

在现代实验中，你不能只是抛一次硬币然后就此固定。你可能需要：

适应： 如果助手 A 看起来表现不佳，你可能想停止向新用户展示它。
平衡： 你可能希望在每个组中都有相等数量的技术娴熟用户和非技术用户。
遵守规则： 你可能有一个预算限制（只有 100 人可以看助手 B）或者公平性规则。

这些规则会让数据变得混乱。用户不再是独立的；用户 #1 的情况会影响用户 #2 会得到什么处理。标准的统计工具假设每个人都是独立的，因此在这种情况下会失效。

2. 重大发现：“平均配方”

作者发现了一种简化这种混乱的方法。他们意识到，无论你的规则多么复杂（自适应、平衡、预算限制），它们最终都会归结为一个简单的数字：平均倾向得分（Average Propensity Score）。

把这想象成一个配方。

想象你正在烤曲奇饼干。你有一套复杂的指令：“如果厨房很热，就少加糖。如果烤箱很旧，就多烤一会儿。”
作者说：“不要担心复杂的指令。只需看你在烤制所有曲奇饼干的过程中，实际使用的平均糖量。”
这个“平均糖量”就是平均倾向得分。

神奇的结论： 论文证明，你实验的精确度（你能多清晰地看到真相）仅取决于这个平均配方。无论你的规则多么复杂，只要你的平均配方是好的，你的实验就是高效的。如果你的平均配方不好，再精妙的数学也救不了你。

3. 目标：“完美的配方”

如果你确切知道每个用户会如何反应，你就可以计算出完美的配方（称为“先知基准/Oracle Benchmark”）。这个配方会准确地告诉你，每种类型的用户应该分配多少比例的助手，从而以最少的用户数获得最清晰的答案。

论文提出了一个问题：我们能否设计一种实验，即使在不知道答案预先的情况下，也能接近这个完美的配方？

4. 解决方案：两种烹饪方式

作者提出了两种接近完美配方的实用方法。两种方法都使用了一种叫做**“分批处理”（Batching）**的策略。与其每秒钟都改变规则（这既混乱又难以管理），不如每隔一个“批次”（例如每 1,000 个用户）改变一次规则。

方法 A：“智能调节器”（回归调整）

运作方式： 你运行一批用户。然后，你查看数据，并使用计算机模型（像一个聪明的计算器）来猜测哪些用户对哪些助手反应良好。你利用这个猜测来调整下一批次的“配方”。
代价： 这种方法依赖于计算机模型的准确性。如果模型稍有偏差，就会搞砸结果。论文表明这行得通，但前提是模型必须足够好。
类比： 这就像厨师品尝汤的味道，猜测缺少了什么，然后添加香料。如果厨师的味觉出了问题，汤可能还是会太咸。

方法 B：“平衡天平”（协变量平衡）

运作方式： 这个方法不是靠模型来猜测答案，而是专注于在分配过程中强制实现平衡。它确保在每个批次内，各组都是完美匹配的（例如，在每个组中都有完全相同数量的技术娴熟用户）。
优势： 因为各组是完美平衡的，你不需要精妙的计算机模型来修正数据。你可以使用一个简单、稳健的数学公式（如简单的平均值）来得出答案。
代价： 如果用户类型过多（高维度），实现完美平衡会变得更加困难。
类比： 这就像厨师不去品尝汤的味道，而是仔细测量每种原料，以确保比例完美。汤之所以好喝，是因为原料本身达到了平衡，而不是因为厨师的猜测。

5. 现实世界的验证

作者通过两种方式测试了这些想法：

模拟实验： 他们创建了具有不同复杂度水平（有些简单，有些包含许多变量且非常复杂）的虚构数据。他们发现，他们的各种方法始终优于传统的“抛硬币”方法。
真实数据（AI 医疗助手）： 他们将这些方法应用于评估 AI 医疗助手的真实研究。他们需要比较四种不同的 AI 助手。
- 他们发现，通过使用这些“分批”方法，他们可以用更少的用户获得同等的准确度（或者在相同用户数下获得更高的准确度）。
- 他们还展示了对于“平衡天平”法，它有助于专注于最重要的用户特征（如年龄和场景类型），而不是试图平衡每一个细节。

总结

这篇论文为运行现代实验提供了一套新的“规则手册”。

规则： 不要担心你用来分配处理方式的复杂规则。只需关注处理方式的平均分布。
策略： 以批次形式运行实验。
工具： 你可以使用智能模型来调整配方（方法 A），或者使用严格平衡来确保公平（方法 B）。
结果： 即使在实验复杂且实时变化的情况下，你也能获得更准确的答案、更快的速度以及更少的资源消耗。

这就像是从单纯地抛硬币，进化到了使用一个每隔几英里就会重新计算路线的 GPS，以确保你能以最高效的方式到达目的地。

技术摘要：通过平均倾向得分实现序列实验的半参数效率

1. 问题表述

现代实验设置，特别是针对 AI 赋能服务和平台干预的评估，经常偏离经典的独立同分布（i.i.d.）采样。分配过程通常是自适应的、在协变量间保持平衡的，或者受到操作限制（如曝光上限、治疗预算和公平性要求）的约束。这些特征引入了观测值之间的依赖关系，使得基于经典 i.i.d. 的效率理论不足以作为实验设计的指导。

本文解决了两个核心问题：

在具有依赖性分配的序列实验中，估计目标因果估计量（causal estimand）的基本效率基准是什么？
在实际应用中，如何设计可实现的方案来接近这一基准，特别是在存在延迟反馈和需要操作稳定性的约束下？

作者使用**非前瞻性设计（non-anticipating design）**框架对该设定进行了形式化。单位按分配顺序 $t=1,\dots,n$ 进行索引，且治疗分配 $A_t$ 仅取决于历史信息 $\mathcal{F}_{t-1}$ 和当前协变量 $X_t$ ，绝不依赖于未来的结果或协变量。该框架统一了 i.i.d. 随机化、离线分层设计和序列自适应设计。

2. 方法论与理论框架

2.1 诱导平均倾向得分

其核心理论贡献是确定了**诱导平均倾向得分（induced average propensity score）**作为效率基准的充分统计量。对于任何非前瞻性设计 $\text{ALG}$ ，诱导平均倾向 $\bar{e}_a(x)$ 定义为：
$\bar{e}_a(x) := \frac{1}{n} \sum_{t=1}^n \mathbb{E}_{\text{ALG}}[e_t(a | x, \mathcal{F}_{t-1})]$
其中 $e_t$ 是第 $t$ 步的条件分配概率。

2.2 半参数下界

本文为正则的局部无偏估计量建立了半参数下界。定理 1 证明，对于任何非前瞻性设计，估计量的渐近方差被下界约束在在诱导平均倾向 $\bar{e}$ 下评估的 i.i.d. 效率基准之下：
$\text{Var}(T) \geq \frac{1}{n} V(\bar{e}) = \frac{1}{n} \mathbb{E}[\phi_{\bar{e}}(O)^2]$
其中 $\phi_{\bar{e}}$ 是在固定倾向 $\bar{e}$ 下的有效影响函数（EIF）。

这一结果意味着，自适应、平衡或受限设计的统计复杂度可以坍缩为一个单一的对象：即跨协变量值的平均治疗暴露量。操作约束（例如预算限制）可以通过限制可容许的平均倾向集合来纳入考量。

2.3 广义内曼分配（Generalized Neyman Allocation）

对于向量值目标（例如多治疗效应），本文推导了广义内曼分配。最优设计通过最小化 EIF 的协方差矩阵的迹来实现，从而得到一种分配规则，即在有效影响函数中具有较高条件方差的治疗臂获得更多的暴露。对于结果均值的线性泛函，这可以简化为经典的内曼分配规则。

3. 趋近基准的构造性方法

本文提出了两种互补的、可实现的分批自适应设计（batched adaptive designs），旨在接近理论基准。这两种方法仅对分配策略进行对数级别的更新（ $B \asymp \log n$ ），确保了与延迟反馈和操作审计性的兼容。

3.1 路径 1：分批自适应回归调整

该方法侧重于估计侧的修正。

机制： 实验被划分为若干批次。在每个批次内，分配规则是固定的。在每个批次结束时，利用累积数据通过交叉拟合（cross-fitting）估计扰动参数（结果回归和二阶矩函数）。下一批次的分配规则通过插件式最小化（plug-in minimization）预设的设计目标来进行更新。
一般估计量： 对于一般的平滑估计量，只要扰动估计器的收敛速度快于 $n^{-1/4}$ ，该方法即可达到预设的（oracle）基准。这是由于二阶插件偏差（second-order plug-in bias）而在半参数估计中存在的已知瓶颈。
线性泛函： 对于结果均值的线性泛函（如平均治疗效应、政策价值），由于 EIF 的结构，插件偏差会精确抵消。因此， $n^{-1/4}$ 的瓶颈消失了。本文确立了一个精细的二阶收敛速率 $O(n^{-1-2\alpha} \vee n^{-1-2\beta})$ ，其中 $\alpha$ 和 $\beta$ 分别是结果回归和二阶矩估计器的收敛速率。一个匹配的下界证明了该速率是极小极大最优（minimax-optimal）的。

3.2 路径 2：分批自适应协变量平衡

该方法侧重于设计侧的控制，以绕过扰动估计的瓶颈。

机制： 该路径使用一种简单的基于矩的估计器（在最后一步不进行回归调整）。设计通过空间分箱（spatial binning）和分组置换，在每个批次内强制执行协变量索引的矩函数的局部平衡。目标倾向根据估计的二阶矩代理在不同批次间进行更新。
效率： 通过控制批次内的“平衡余项”（即与目标倾向的偏差），该方法可以在不需要在估计步骤中使用非参数扰动估计的情况下，达到半参数基准 $V^*/n$ 。
权衡： 平衡余项以维度相关的速率 $O(m^{-1/(d+4)})$ 随批次大小 $m$ 衰减。因此，该路径在低维设置或异质性的有效维度较低时最为有效。

4. 关键结果与实证验证

4.1 理论结果

统一框架： 诱导平均倾向得分将此前分散的自适应、分层和局部随机化设计的效率界限统一在单一的非前瞻性框架之下。
解决猜想： 该框架解决了 Cytrynbaum (2021) 关于两阶段实验设计效率界的猜想。
极小极大锐度： 对于线性泛函，本文首次为一般的序列实验提供了趋向于半参数效率界的极小极大收敛速率的刻画。

4.2 数值与实证研究

作者通过合成模拟和一项现实应用验证了其方法：

合成实验： 在不同维度（ $d \in \{2,3,8\}$ ）和异方差性下的模拟表明，两种自适应路径都显著优于均匀随机化。回归调整（RA）路径对高维具有鲁棒性，而协变量平衡（CB）路径在平衡划分与数据低维结构（有效维度）对齐时表现最佳。
AI 医疗助手评估： 利用 HELPMed 研究（Bean et al., 2026）的数据，作者评估了多个 AI 助手相对于基准的表现。自适应设计相比均匀随机化，将归一化均方误差（MSE）降低了约 5–8%。研究强调，使用数据自适应的低维划分进行 CB 路径，可以显著提升在高维环境下的性能。

5. 意义与主张

本文声称提供了一个用于刻画和设计高效序列实验的统一框架。其主要意义在于：

重构设计： 它将实验设计的重心从优化复杂的、路径依赖的分配机制，转向学习或选择一个高效的平均倾向得分。
操作可行性： 通过证明效率基准可以通过仅对策略进行对数次更新来接近，本文弥合了理论最优性与操作约束（延迟反馈、可审计性、稳定性）之间的鸿沟。
实践灵活性： 两种互补的路径（回归调整和协变量平衡）为从业者提供了权衡选择：RA 适用于高维场景但需要快速的扰动估计；CB 简单且鲁棒，但需要仔细处理协变量空间的维度。

作者总结道，平均倾向得分是理解序列实验统计极限的通用语言，能够为现代应用（如 AI 服务评估）中的高效多治疗实验设计提供支持。