技术摘要：proxymate：用于可靠推断的代理估计诊断与调整

问题陈述

在科学和工业领域，由于延迟（例如，长归因窗口）、高成本（例如，人工标注）或观测受限，主要关注的结果往往难以直接测量。从业者经常使用易于获取的代理结果（代理指标、短期信号或模型预测）来替代这些结果。然而，对代理进行有效的推断并不保证能对主要结果进行有效推断。基于代理的估计可能会受到难以预测的系统性偏差影响，导致置信区间校准不当以及决策失误。

现有文献通常孤立地处理调整（纠正代理缺陷）或验证（诊断代理充分性），很少将两者联系起来。此外，大多数框架假设是在受控实验设置下进行的，这使其不适用于通用的测量场景，如群体水平的估计或观测监控。在有效地使用代理结果方面存在持续的差距：缺乏一个统一的诊断层，用以在应用之前确定是否需要以及进行何种调整。

方法论：proxymate 框架

本文介绍了 proxymate，这是一个将代理验证和调整组织为四个不同层级的框架及开源 Python 包。每个层级都对应于特定的统计问题、数据结构以及一组诊断和调整方法。

1. 代表性层级（群体有效性）

• 问题： 验证数据是否需要在使用前进行重加权？
• 背景： 包含成对的主要变量 ($Y$) 和代理变量 ($Y^*$) 的验证数据 ($V_k$) 可能由于抽样偏差或缺失性，而不具有目标群体 ($P_k$) 的代表性。
• 诊断： 检查协变量分布差异（标准化均值差异、Kolmogorov-Smirnov 检验）、重要性权重稳定性（有效样本量）、权重极端性以及覆盖度。
• 调整：
  • 无差距： 直接进行，无需修正。
  • IW 调整： 应用重要性加权 (IW) 将验证数据重新加权至目标群体分布。
  • 差距过大： 将验证标记为不可靠；建议进行针对性的标签获取或缩小目标群体范围。

2. 单位层级（测量质量）

• 问题： 代理在个体层面上是否追踪主要变量？
• 背景： 评估在特定历史领域内 $Y_i$ 与 $Y^*_i$ 之间的差异。
• 诊断：
  • 准确性 (Accuracy)： 系统性偏差（Welch's t-test）。
  • 精确度 (Precision)： 噪声水平（$R^2$、RMSE、Pearson 相关系数）。
  • 一致性 (Agreement)： 单位线对齐情况（Bland-Altman、Lin's CCC）。
  • 校准度 (Calibration)： 预测概率与观测频率的关系（ECE、Brier 分数）。
  • 判别力 (Discrimination)： 排序能力（ROC AUC、Kendall's $\tau$）。
  • 分布保真度 (Distributional Fidelity)： 边缘分布匹配（KS 检验、TV 距离）。
• 调整：
  • 系统性偏差： 加性偏差调整。
  • 校准失灵： Platt 缩放、等距回归 (Isotonic regression) 或多重校准 (MCGrad)。
  • 判别力差： 代理替换或模型重训（无法通过事后处理修复）。

3. 估计层级（决策有效性）

• 问题： 在单个领域内，代理是否会导致与主要变量相同的聚合结论？
• 背景： 评估聚合推断（点估计和置信区间）的可靠性。个体的误差可能会产生不可预测的累积或抵消。
• 诊断： 聚合偏差（相对绝对误差）、推断有效性（置信区间覆盖度）以及符号一致性。
• 调整：
  • 聚合偏差： 预测驱动推断 (PPI) 利用验证数据对代理估计进行修正：$\hat{\theta}_{PPI} = \hat{\theta}^*_{all} + (\hat{\theta}_V - \hat{\theta}^*_V)$。
  • 置信区间 (CI) 校准失灵： PPI 置信区间明确考虑了偏差调整的不确定性。
  • 无偏差： 无需调整（定理 1 指出，将 PPI 应用于已经充分的代理会严格增加 MSE）。

4. 领域层级（跨领域可迁移性）

• 问题： 代理与主要变量之间的关系是否在多个领域间保持稳定？
• 背景： 测试代理-主要变量偏差 ($\phi_k$) 在历史领域 ($k=1, \dots, K-1$) 中的稳定性，以确保其向目标领域 ($K$) 的可迁移性。
• 诊断： 聚合关联度 ($R^2$)、异质性 (Cochran's $Q$, $I^2$, $\tau^2$) 以及预测准确度 (留一法 MSE)。
• 调整：
  • 系统性跨领域偏差： 回归校准 (Regression Calibration) 在历史领域间拟合线性映射 ($\hat{\theta}_{cal} = \hat{\gamma}_0 + \hat{\gamma}_1 \hat{\theta}^*$)。
  • 残差偏差： 估计层级调整 将残差偏差建模为随机效应。
  • 高异质性： 放宽预测区间；此时点预测被视为不可靠。

核心贡献

作者确定了四个主要贡献：

1. 四层验证框架： 将代理验证组织为代表性、单位、估计和领域四个层级，确保针对不同的统计问题采用适当的诊断方法。
2. 理论上的“诊断-调整”桥梁： 将特定的失效模式映射到满足其假设前提的针对性调整方法，从而正式填补了诊断与生产修正之间的空白。
3. 大规模经验应用： 展示了该框架在 Meta 多项生产应用中的价值，包括识别代理失效、筛选候选方案并指导调整。
4. 开源软件包： 一个模块化的 Python 库，提供了验证检查、可配置的规划器、自定义估计器和结构化报告。

Meta 的结果与应用

该框架被应用于 Meta 的六个生产用例，涵盖实验、流行度监测和机器学习模型训练。这些应用解决了四个主要的瓶颈：长成熟期、测量受限、低可检测性和低敏感性。

• 案例研究 A（非支付预测）： 验证了一个预测 60 天非支付结果的机器学习模型。虽然单位层级的精确度表现不佳（这对于重尾收入分布是预料之中的），但该代理显示出强大的聚合关联度 ($R^2=0.82$) 并在 22 次实验中表现出方向一致性。该代理被批准用于方向性决策（去做/不做），但不用于精确的量级估计，从而支持了每年约 300 次的实验。
• 案例研究 B（诈骗流行度）： 针对人类标签评估了诈骗检测的代理指标。代表性层级发现了一个严重的数据质量问题（由于过度代表了被标记的内容，导致有效样本量较低）。在重新加权后，所有候选代理在单位层级验证中均失败（在更广泛的群体中敏感度较低）。因此，所有代理均被拒绝，从而防止了有偏个性化模型的部署，并将开发重点转向了集成学习方法。

总体影响：

• 经过验证的代理每年支持了四个工作流中的约 7,500 次实验。
• 在两个案例中，该框架成功拒绝了有偏代理，防止了下游危害。
• 数百万次代理-主要变量的单位比较得到了评估和修正。

重要性与主张

论文声称 proxymate 通过提供统一的“先诊断后修正”工作流，填补了一个关键的实际空白。其重要性在于：

• 防止盲目调整： 通过强制执行诊断层，防止在调整（如 PPI）不适用或底层数据不具代表性时进行应用，否则可能会增加均方误差 (MSE) 或放大偏差。
• 模块化与通用性： 该框架可以统一适用于 A/B 测试代理、流行度分类器和监测代理，无论具体领域为何。
• 生产就绪： 它超越了纯理论方法论，演变为一个能够处理现实世界数据约束（缺失性、协变量偏移、长成熟期）并能与现有实验栈集成的部署系统。

作者保持了谦逊的态度，指出该框架验证的是统计一致性而非因果机制，且目前是针对一个代理对一个主要变量进行验证。未来的工作将包括顺序验证和自动化代理选择。