技术摘要：通过反事实正确性界定机器学习辅助决策的因果影响

问题陈述

预测性机器学习（ML）模型正越来越多地部署在风险较高的领域（如医疗保健、刑事司法）以辅助人类决策者。虽然随机对照试验（RCT）能为特定 ML 干预提供高质量的证据，但存在一个关键差距：每当模型进行更新或重新训练迭代时，进行新的 RCT 通常是不可行的。因此，如果开发了一个比初始 RCT 涉及的模型具有更高预测准确性的新模型，则无法直接获得关于其对下游结果（如患者生存率、再犯率）之因果影响的证据。

先前的工作尝试通过部分识别（partial identification）框架来解决这一问题。例如，Nercessian 等人 [2025] 假设预测一致的模型其结果不应有差异；而 Chen 和 Oberst [2025] 通过允许基于全局性能指标（如精确度）的个体层面结果差异放宽了这一假设，其动机在于用户信任。然而，这些框架未能纳入个体层面的预测正确性。在许多场景中，可以合理地预期：正确的预测会导致不劣于错误预测的结果，作者将这一概念称为“反事实正确性”（counterfactual correctness）。

方法论

作者提出了一种部分识别方法，利用涉及一组已试验模型（$T$）的先前 RCT 数据，来构建新模型（$\pi_e$）的因果效应界限。

因果框架

数据生成过程被建模为一个由有向无环图（DAG）表示的结构因果模型（SCM）。关键变量包括：

• $D$：RCT 分组（对照组 vs. 实验组）。
• $\Pi$：用于预测的模型。
• $X$：协变量/特征。
• $Z$：真实标签（Ground Truth），在所有 RCT 个体中均可观测。
• $\hat{Z}$：预测标签。
• $M$：以 $X$ 和 $\Pi$ 为条件的性能指标（如精确度）。
• $A$：决策者行为（未观测/潜变量）。
• $Y$：下游结果。

目标是估计 $E[Y(\pi_e)]$，即如果部署了未试验模型 $\pi_e$，预期的结果。

结构性假设

为了推导界限，作者引入了四个关键假设：

1. 反事实正确性（假设 3.1）： 正确的预测不会造成伤害。形式化地：对于固定的真实标签 $z$，如果模型预测为 $z$（正确），则在保持其他因素不变的情况下，其结果至少不差于预测为 $z' \neq z$（错误）的情况。

   • 证伪方法： 可以通过比较两个试验模型在其中一个预测正确而另一个预测错误的数据子集上的结果来进行测试。

2. 条件性能单调性（假设 3.2）： 在给定正确性的条件下，潜在结果相对于模型性能具有单调性。

   • 如果预测正确（$\hat{z}=z$），更高的性能会导致更好的（或相等的）结果。
   • 如果预测错误（$\hat{z} \neq z$），更高的性能会导致更差的（或相等的）结果（反映了对错误预测的过度信任）。
   • 证伪方法： 通过比较在预测正确子集上具有不同性能水平但预测结果相同的模型来进行测试。

3. 中性预测（假设 3.3）： 存在一种“中性”预测（例如，转向人类决策），在这种情况下，模型性能不会影响结果。这建立了对照组与评估新模型之间的联系。

4. 有界结果（假设 3.4）： 结果变量 $Y$ 被限制在已知的 $[Y_{min}, Y_{max}]$ 范围内。

部分识别界限

作者根据模型和协变量空间是否与未试验模型 $\pi_e$ 一致，以及它们的相对性能，对空间进行划分。他们引入了一个分支选择器（$b_L, b_U$），将每个 $(x, z)$ 对分配到四个逻辑分支之一：

• 中性（Neutral）： $\pi_e$ 进行中性预测。
• 单调（Monotonic）： $\pi_e$ 与试验模型一致，且性能排序允许通过单调性进行界定。
• 正确（Correct）： $\pi_e$ 做出了正确的预测，但没有试验模型与其一致（或者它们都“更好”，以至于无法帮助下界）。在此，界限依赖于“正确预测不差于任何错误预测”的假设。
• 默认（Default）： 保守地回退到 $Y_{min}$（下界）或 $Y_{max}$（上界）。

最终的界限 $L(\pi_e)$ 和 $U(\pi_e)$ 通过对 $X$ 和 $Z$ 的分布求期望来构建。

估计

论文提供了这些界限的一致且渐近正态的估计量。其估计策略解决了三个挑战：

1. 通过扰动模型（nuisance models）估计条件期望 $E[Y|X, Z, \Pi]$。
2. 处理非平滑的最大/最小算子（例如，在集合中选择表现最好或最差的模型）。
3. 从有限数据中估计性能指标（$M$），而不是假设拥有先验知识的“神谕”（oracle）信息。

作者提出了一个**增广逆概率加权（AIPW）**估计量。在特定的边际条件（确保模型性能与结果之间有足够的间隔）和扰动函数的收敛速率下，证明了这些估计量是一致且渐近正态的，从而可以构建有效的置信区间。

核心贡献

1. 扩展因果框架： 本工作通过引入个体层面的反事实正确性，扩展了 Chen 和 Oberst [2025] 的框架。它假设如果新模型预测正确，其结果不会比预测错误时更差。
2. 整合子群性能： 不同于以往依赖全局性能指标的工作，该框架纳入了条件子群预测性能，反映了决策者会对模型在何处表现良好或较差形成启发式认知的直觉。
3. 数据驱动估计： 作者提供了不需要先验性能度量知识的一致估计量；这些度量是从数据中直接估计的。
4. 更紧凑的界限： 理论和实证结果表明，引入反事实正确性使得与之前的部分识别方法相比，得到的界限显著更紧凑（更具信息量）。

实验结果

作者使用基于 Imai 等人 [2023] bail sentencing 数据集的半合成模拟对方法进行了评估。

• 设置： 他们模拟了法官行为和被告结果（未按时出庭情况），并在各种警示模型下进行测试。
• 对比： 他们将提出的界限与 Chen 和 Oberst [2025] 推导出的界限进行了比较。
• 发现：
  • 在所有实验中（改变警示阈值、重新训练模型以及缺乏 RCT 的情况），所提方法产生的界限始终更窄（例如，在一个实验中宽度为 0.12 vs. 0.36）。
  • 界限始终包含真实的预期结果。
  • 消融研究表明，改进主要由反事实正确性假设驱动，而非仅仅通过协变量对性能进行分层。
  • 即使在真实标签（$Z$）部分缺失的情况下，只要关于缺失机制的特定假设成立，该方法依然保持稳健（尽管界限会变宽）。

重要性与主张

本文声称为评估更新后的 ML 模型的因果影响提供了一个实用的解决方案，特别是在重新进行 RCT 不可行的情况下。通过利用先前试验中存在的真实标签（$Z$），该方法利用预测正确性提供的“方向性”信息来收紧因果界限。

作者对自己的主张保持审慎，并承认了局限性：

• 证伪测试： 这些测试是基于期望的；个体层面的假设违背可能无法被检测到。
• 缺失数据： 该方法在真实标签（$Z$）缺失时存在局限性，尽管作者讨论了处理此类情况的机制。
• 连续输出： 当前框架假设预测是离散的；连续输出需要进行离散化或简化应用。
• 观测数据： 当前框架依赖于 RCT 数据；将观测数据纳入研究被列为未来的研究方向。

最终，这项工作提供了一个严谨的、基于假设的框架，旨在超越单纯的预测准确性，进而对高风险决策环境中的 AI 系统进行下游因果影响的推理。