🔢 mathematics

Synthetic Counterfactual Labels for Efficient Conformal Counterfactual Inference

本文介绍了 SP-CCI，这是一个新颖的框架，它利用预训练模型生成的合成反事实标签，并通过预测驱动推断对其进行去偏处理，从而与现有的共形方法相比，为个体反事实结果生成更窄且统计上有效的预测区间。

原作者： Amirmohammad Farzaneh, Matteo Zecchin, Osvaldo Simeone

发布于 2026-05-08

📖 1 分钟阅读🧠 深度阅读

原作者： Amirmohammad Farzaneh, Matteo Zecchin, Osvaldo Simeone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心难题：故事书中的“缺失页”

想象你是一位医生，正在决定是否给某位特定患者使用一种昂贵的新药。你拥有患者的病史（协变量）。你可以看到他们接受标准治疗时发生的情况（即“观测”结果）。

但你永远无法看到如果他们转而服用新药会发生什么。这就是反事实结果——即“如果……会怎样”的情景。这就像一本故事书缺了一页：你知道故事进行到某一点，但不知道如果角色做出了不同的选择，这一章将如何结局。

为了做出安全的决策，你需要绘制一个“预测区间”。你可以将其想象为安全网或可能结果的取值范围。

太宽： “患者的健康状况改善幅度可能在 0% 到 100% 之间。”这在技术上很安全，但对决策毫无用处。
太窄： “患者将确切改善 42%。”这很精确，但如果你错了，后果将很危险。

旧方法：“小样本”问题

创建这些安全网（称为共形反事实推断或 CCI）的标准方法是通过查看过去的数据。它会问：“对于那些看起来像这位患者且确实服用了新药的人，他们的改善幅度是多少？”

关键缺陷： 在现实世界中，昂贵或高风险的治疗很少被给予。大多数人接受的是标准护理。

想象你有一个图书馆，里面有 1,000 本关于“标准护理”的书，但只有 10 本关于“新药”的书。
当你试图预测新药的结果时，你只有 10 个例子可供学习。
由于样本太小，为了在统计上保持安全，安全网（预测区间）必须非常巨大。这就像试图仅凭 10 天的数据来猜测一个新城市的天气；你只能说：“可能是暴风雪，也可能是热浪，一切皆有可能。”

新解决方案：SP-CCI（“合成助手”）

作者提出了一种名为SP-CCI（合成数据驱动的共形反事实推断）的新方法。

核心理念：
他们不再仅仅依赖那 10 本关于新药的真实书籍，而是利用一个智能 AI 模型编写 1,000 本关于“如果那 1,000 人服用了新药会发生什么”的虚构（合成）书籍。

现在，你拥有了 1,010 个例子（10 个真实 + 1,000 个虚构）。这应该能让你画出一个更紧密、更有用的安全网，对吧？

潜在风险：
这里有个问题。这些虚构书籍是由 AI 编写的，而非现实。它们只是“近似值”。如果你只是将虚构书籍与真实书籍混合并绘制安全网，数学逻辑就会失效。安全网看起来可能很紧密，但实际上无法捕捉到真相，从而导致你犯下危险的错误。

SP-CCI 如何修复它：“去偏”技巧

SP-CCI 很巧妙。它不会直接将虚构数据倾倒进去，而是使用一个两步“去偏”过程，以确保安全网依然有效：

“修正”（预测驱动推断）：
想象 AI 写了一个虚构故事，但犯了一些错误。SP-CCI 会查看它拥有的那几篇真实故事。它计算 AI 的猜测与那少数几个案例的真实情况之间的差异。然后，它利用这种差异来“修正”成千上万个虚构故事。这就像老师批改学生的模拟测试，以了解学生是高估还是低估了自己的水平，并据此调整最终成绩。
“风险控制”（RCPS）：
即使经过修正，仍然存在微小的不确定性。SP-CCI 使用一个统计“安全旋钮”（由参数 $\delta$ 控制）。这个旋钮确保即使 AI 略有偏差，最终的安全网也足够宽，能够99% 的时间（或你选择的任何水平）捕捉到真相。

结果：更紧密、更安全的安全网

通过这种方法，SP-CCI 实现了旧方法无法做到的两件事：

保持安全： 它保证真实结果在区间内（安全网有效）。
更加精准： 因为它使用了经过误差修正的额外合成数据，该区间比旧方法窄得多。

类比：

旧方法（CCI）： 你有 10 份真实的天气报告。你说：“可能会下雨，也可能会放晴。”（范围巨大）。
糟糕的新方法： 你让一个天气机器人猜测其余 990 天的情况，将它们混入其中，然后说：“肯定会下雨。”（太窄，很可能错误）。
SP-CCI： 你让机器人猜测，但你用那 10 份真实报告检查它的工作，修正它的错误，然后说：“下午 2 点到 4 点之间很可能会下雨。”（范围窄、有用，且经统计证明是安全的）。

论文实际声称的内容（以及未声称的内容）

它做了什么： 它在数学上证明了该方法有效，并通过计算机模拟（使用虚构数据和一个名为 IHDP 的半真实医疗数据集）表明，预测区间始终比旧方法更窄。
它未声称什么： 论文并未声称这是一种新药、一种新的医疗治疗方法，或保证明天就能在医院挽救生命。它是一个用于做出更好预测的统计工具。
关于"LLM"的实验： 作者使用预训练的大语言模型（如聊天机器人）生成虚构的医疗结果来测试该方法。他们发现，即使聊天机器人未在特定的医疗数据上进行训练，SP-CCI 仍然可以利用其猜测来创建比旧方法更好的预测。

简而言之： SP-CCI 是一种利用 AI 生成的“如果……会怎样”情景来使预测更精确的新方法，同时不会失去高风险决策所需的统计安全保证。

技术摘要：用于高效共形反事实推断的合成反事实标签（SP-CCI）

1. 问题定义与动机

本文解决了在治疗不平衡设定下，为个体反事实结果构建可靠预测区间的挑战。在因果推断中，对于具有协变量 $X$ 和观测治疗 $T$ 的单元，仅有一个潜在结果 $Y(T)$ 被观测到，而反事实结果 $Y(1-T)$ 保持未观测状态。

现有方法，特别是共形反事实推断（CCI）（Lei 和 Candès，2021），为这些反事实预测提供了边际覆盖率保证。然而，CCI 依赖于感兴趣的治疗臂的校准数据。在许多现实场景中（例如，昂贵治疗罕见的医学试验，或曝光稀疏的在线广告），目标治疗臂（ $D_1$ ）的数据集显著小于控制臂（ $D_0$ ）。这种稀缺性导致预测区间过于保守且宽泛，限制了共形推断在高风险决策中的效用。

虽然由预训练模型生成的合成数据可以扩充稀缺的校准集，但将这些合成标签直接纳入标准共形程序会破坏统计有效性，因为合成结果是真实值的有偏近似。

2. 方法论：SP-CCI 框架

作者提出了合成数据驱动的共形反事实推断（SP-CCI），这是一个通过去偏估计过程在扩充校准集的同时保留边际覆盖率保证的框架，该框架利用合成反事实标签扩充校准集。

核心组件

合成数据生成：
- 该方法利用预训练的反事实生成模型 $\hat{P}_{Y(1)|X}$ （可以是神经网络或大型语言模型），为较大控制数据集 $D_0$ 中的单元生成合成反事实标签 $\hat{Y}(1)$ 。
- 这创建了一个扩充的合成数据集 $\tilde{D}_1 = \{(X_i, \hat{Y}_i(1))\}_{i=1}^{n_0}$ 。
去偏未覆盖估计（PPI 集成）：
- 为了纠正合成标签引入的偏差，SP-CCI 适配了预测驱动推断（PPI）（Angelopoulos 等人，2023a）。
- 校准集 $D_1$ （真实治疗数据）被用于“修正”合成估计。具体而言， $n_0$ 个合成样本被划分为 $n_1$ 组，每组分配给一个真实治疗样本 $(X_i, Y_i) \in D_1$ 。
- 未覆盖概率 $\hat{L}_\eta$ 的无偏估计量是利用合成数据上的损失与真实数据上的损失之间的加权差构建的：
  $\hat{\ell}_{i,\eta} = \frac{1}{r} \sum_{j} \tilde{w}_j \ell_\eta(\tilde{X}_j, \tilde{Y}_j) - w_i [\ell_\eta(X_i, \hat{Y}_i) - \ell_\eta(X_i, Y_i)]$
  其中 $w_i$ 和 $\tilde{w}_i$ 是考虑倾向得分和治疗概率的重要性权重。
风险可控预测集（RCPS）：
- 该方法采用风险可控预测集（RCPS）（Bates 等人，2021）来选择区间加宽参数 $\eta$ 。
- 与其保证无条件覆盖率，SP-CCI 确保未覆盖风险在校准数据抽取过程中以高概率（ $1-\delta$ ）得到控制。
- 加宽参数 $\hat{\eta}$ 的选择使得估计未覆盖概率的上置信界不超过目标水平 $\alpha$ 。
处理权重误设：
- 该框架包含了重要性权重被估计而非确切已知时的理论保证。它表明，通过调整加宽参数以考虑估计权重的误差界，可以维持覆盖率保证。

3. 主要贡献

方法论： 引入 SP-CCI，通过去偏未覆盖估计器整合真实和合成校准数据，使得利用丰富的控制数据来改善稀缺治疗臂的推断成为可能。
理论保证： 形式化证明了 SP-CCI 在精确和近似重要性加权下均实现高概率边际覆盖率（由参数 $\delta$ 控制）。本文将其与标准 CCI 的无条件边际覆盖率区分开来，提供了一种可调节的“中断”控制机制。
效率： 理论和实证表明，与标准 CCI 和 GESPI 框架（Bashari 等人，2025）相比，SP-CCI 产生的预测区间显著更窄，特别是在拥有高质量合成生成器的情况下。

4. 实验结果

作者在合成数据（遵循 Lei 和 Candès，2021）和半合成IHDP 数据集（Hill，2011）上评估了 SP-CCI，并将其与标准 CCI 和 GESPI 进行了比较。

合成数据： SP-CCI 始终产生比 CCI 和 GESPI 更窄的预测区间，同时保持所需的覆盖率保证。随着反事实生成模型质量的提高（低/中/高质量），区间宽度减小。
IHDP 数据集：
- SP-CCI 实现了 3.52 的平均预测区间宽度（APIW）（高质量合成标签），而标准 CCI 为 20.24。
- 虽然带有宽松护栏的 GESPI 可以产生更窄的区间，但在收紧时其覆盖率违规率（CVR）高达 42%，使其不适合高风险场景。SP-CCI 在所有变体中均保持了低 CVR（2–6%）。
- 该方法成功利用预训练的 LLaMA-2-13B 模型作为生成源，尽管该模型是在特定数据集之外训练的，但仍实现了具有竞争力的性能，展示了对分布偏移的鲁棒性。
额外实验：
- 策略评估： 在无线切换场景中，与 CCI 相比，SP-CCI 为固定策略提供了更精确的性能量化（更窄的区间）。
- 极端不平衡： 在具有极端治疗不平衡的Twins 数据集上（63 个治疗单元 vs. 11,921 个控制单元），CCI 产生的区间几乎是 SP-CCI 的 20 倍宽，以维持覆盖率。SP-CCI 在保持显著更紧的区间的同时，维持了接近目标的覆盖率。

5. 意义与主张

本文声称，SP-CCI 代表了使共形反事实推断适用于不平衡数据集的重要进步。通过在不损害统计有效性的情况下有效利用合成数据，该方法解决了罕见治疗因果推断中固有的“维度灾难”和数据稀缺问题。

作者强调，SP-CCI 通过参数 $\delta$ 提供了区间宽度与覆盖率可靠性之间的可调节权衡，这是标准无条件 CCI 所不具备的特性。这项工作表明，当经过适当去偏处理时，高质量合成数据可以极大地提高因果推断的效率，使其更适用于治疗数据通常稀缺的现实世界领域，如个性化医疗和策略评估。

本文结论较为谦逊，指出扩展到多臂治疗、连续治疗以及两个潜在结果均未观测到的场景，仍是未来工作的开放问题。