Can AI Agents Simulate A/B Test Outcomes? A Validation Framework for Agentic Experimentation

技术摘要：AI 智能体能否模拟 A/B 测试结果？

问题陈述
在线受控实验（A/B 测试）是技术行业产品迭代的标准手段，但它会产生高昂的工程投入、时间成本，并使真实用户流量暴露在潜在表现不佳的处理方案之下。本文认为，一个足够准确的行为模拟器可以使团队在投入真实流量之前，以低廉的成本对数十个候选处理方案进行评估。虽然近期的研究探索了利用 AI 智能体来模拟用户行为，但现有系统缺乏对估计误差的显式分解，导致难以进行系统的诊断与降低。此外，当前的方法往往无法区分是由行为模型的近似能力引起的误差，还是由有限样本子抽样引起的误差。

方法论：模拟随机对照试验 (S-RCT)
作者将智能体 A/B 预测形式化为模拟随机对照试验 (S-RCT)。在该框架下，真实流量被计算代理（智能体）所取代，这些智能体将用户的画像 ($\Pi_j$)、上下文和任务映射到模拟结果 ($\tilde{Y}_j$)。

• 误差分解： 本文的一个核心贡献是推导出了总估计误差的两层误差分解：
  $$\widehat{\text{ATE}} - \text{ATE} = (\widehat{\text{ATE}}_\theta - \text{ATE})_{\text{近似误差}} + (\widehat{\text{ATE}} - \widehat{\text{ATE}}_\theta)_{\text{子抽样误差}}$$

  • 近似误差 (Approximation Error)： 模拟器的总体预测与真实平均处理效应 (ATE) 之间的差距，由行为模型和画像完整性驱动。
  • 子抽样误差 (Subsampling Error)： 实现的智能体估计值与模拟总体 ATE 之间的有限样本差距。

• 实例化： 该框架与引擎无关，但在此使用通用基础模型进行实例化。通过“智能体-孪生对 (agentic-twin pairing)”构建智能体，其中每个智能体都对应历史数据中的一个特定真实客户。该设计允许进行受试者内估计 (within-subject estimation)，即每个智能体都会暴露在处理组和对照组下，从而能够计算配对的个体处理效应 ($\tilde{\Delta}_j$)。

核心贡献

1. 形式化： 本文将智能体 A/B 预测形式化为 S-RCT，并推导出了分离近似误差与子抽样误差的两层误差分解。
2. 验证： 该框架通过对 67 个历史营销 A/B 测试（测量产品页面的点击率）的基准测试进行了验证。
3. 改进协议： 作者提出了针对每一层误差进行独立处理的具体技术：
   • 原则性子抽样： 使用内曼分配 (Neyman allocation)，根据历史方差异质性优化智能体预算在各层级间的分布。
   • 两阶段校准： 一种轻量级协议，利用前置期 (pre-period) 用户数据拟合校准函数（例如 Platt scaling），在主预测阶段之前纠正系统性偏差。
   • 受试者内设计： 一种让智能体作为自身对照的设计，以消除智能体间成分差异带来的方差。

结果

• 基准性能： 使用未经过校准的现成基础模型，S-RCT 能捕捉方向性信号，其符号重叠度 (sign overlap) 为 0.70。然而，它会系统性地高估效应量（平均绝对误差 = 0.0893），导致其在接近随机水平时的发布对齐度 (launch alignment) 仅为 0.41。
• 校准的影响： 应用两阶段前置期校准协议后，在移除不可约噪声后，平方预测误差减少了约 77 倍，使估计值接近历史噪声水平。
• 受试者内设计的影响： 从受试者间设计切换到受试者内设计，使标准误降低了约 2.4 倍，并将符号准确率从 65% 提升至 70%。
• 子抽样效率： 本文证明，智能子抽样（内曼分配）对于连续型指标（如收入）具有显著的效率提升（2–5 倍的改进），但对于低基率的二元指标，收益有限（仅百分之几）。

意义与局限性
论文结论指出，虽然目前的通用基础模型表现出“行为放大 (behavioral amplification)”现象（即预测的效应比现实中观察到的更大），但 S-RCT 框架为实验预筛提供了一条可行的路径。作者强调，其直接的实际价值不在于取代真实的实验，而在于：

• 方向性筛选： 在正式部署前标记出可能的“失败者”（依赖于符号准确性）。
• 可解释性： 提供推理轨迹和“翻转分析 (flipper analysis)”（识别改变决策的画像），以指导细分层级的分析。
• 贝叶斯先验： 当结合早期真实实验数据时，利用带有噪声的方向性信号来加速“去/留 (go/no-go)”决策。

作者承认了局限性，包括系统性的效应量高估、依赖单一领域基准（营销 CTR）以及评估的追溯性。他们指出，预测“触发群体”（即进入实验的人群）仍然是前瞻性部署中一个关键的上游挑战。最终目标是使实验流程更快、更明智，从而让客户能更快地从改进中受益，而不是取代现实世界的验证。