Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

论文技术总结：存在实验损耗下的反事实与个体处理效应共形推断

1. 研究背景与问题定义 (Problem)

• 核心问题：在社会科学（特别是政治学）的随机对照试验（RCT）和调查实验中，实验损耗（Attrition）（即受试者中途退出或无响应）是一个普遍且严重的问题。
• 现有方法的局限性：
  • 完全案例分析（Complete Case Analysis）：仅分析未退出的样本，若损耗非随机（Non-random），会导致估计偏差。
  • 多重插补（Multiple Imputation）与加权方法（如 IPW）：通常依赖强假设（如缺失完全随机 MCAR 或特定模型设定），且往往无法有效处理观测组与损耗组之间的**协变量偏移（Covariate Shift）**问题。
  • 部分识别（Partial Identification）：虽然放松了参数假设，但通常无法解决协变量分布差异，且产生的界限过宽，缺乏信息量。
• 具体挑战：
  1. 双重缺失机制：因果推断本身存在“根本性因果问题”（每个单元只能观测到一个潜在结果），加上实验损耗，导致损耗组（Target Group）的两个潜在结果均缺失。
  2. 协变量偏移：由于损耗与观测到的协变量相关（MAR 假设），观测组（Source Group）与损耗组之间的协变量分布不同，直接应用标准推断会导致覆盖概率失效。
  3. 区间估计的精度：现有的共形推断方法在处理此类双重缺失时，往往产生过宽的预测区间，缺乏实用性。

2. 方法论 (Methodology)

本文提出了一种结合**共形推断（Conformal Inference）与半参数有效估计（Semiparametric Efficient Estimation）**的新框架，旨在为损耗组构建具有有效覆盖率的个体处理效应（ITE）预测区间。

核心假设：

• 无混淆性（Unconfoundedness）：给定协变量 $X$，处理分配 $D$ 与潜在结果独立。
• 损耗无混淆性（MAR）：给定 $X$ 和 $D$，损耗指示变量 $R$ 与潜在结果独立。
• 重叠性（Overlap）：处理倾向得分和响应倾向得分均远离 0 和 1。

算法流程（两步法）：

该算法采用**分裂共形推断（Split Conformal Inference）**策略，分为两个主要步骤：

• 第一步：构建观测组内的反事实与 ITE 预测区间

  • 目标：在观测组（$R=1$）内，利用加权共形推断处理处理组与对照组之间的协变量偏移，构建反事实结果 $Y(d)$ 的预测区间，进而得到 ITE 的预测区间 $\mathcal{C}_{ITE}$。
  • 创新点：摒弃了传统的基于经验分布分位数的阈值选择方法（这会导致区间过宽），转而使用**半参数有效影响函数（Efficient Influence Function, EIF）**来识别非一致性得分（Nonconformity Score）的阈值 $\eta_{\alpha, d}$。
  • 技术细节：利用 EIF 的双稳健性（Double Robustness），通过求解样本矩条件来估计阈值，确保在有限样本下也能获得渐近覆盖率。

• 第二步：将 ITE 预测区间外推至损耗组

  • 目标：将第一步得到的 ITE 预测区间外推至损耗组（$R=0$），构建损耗组的 ITE 预测区间 $\check{\mathcal{C}}_{ITE}$。
  • 挑战：此处存在观测组到损耗组的协变量偏移。
  • 解决方案：同样利用 EIF 推导阈值 $\eta_{\gamma, \mathcal{C}}$。将第一步得到的区间端点视为“代理结果”，通过区间扩展函数（Interval Expansion Function）进行校准。
  • 覆盖保证：利用 Bonferroni 校正，确保最终区间的覆盖率至少为 $1 - (\alpha + \gamma)$。

关键算法特征：

• 数据划分：采用三步划分（预训练、训练、校准）以避免过拟合，特别是为了准确估计 nuisance parameters（如倾向得分和条件分布）。
• 半参数效率：通过 EIF 理论，使得估计量在 nuisance parameters 估计存在误差时仍具有渐近正态性和有效性（Double Robustness），从而获得比传统加权共形推断更窄的区间。

3. 主要贡献 (Key Contributions)

1. 理论框架引入：首次将共形推断框架系统性地引入政治科学，用于处理实验损耗下的因果推断问题，提供了分布自由（Distribution-free）且模型无关的不确定性量化方法。
2. 方法创新：
   • 结合共形推断与半参数有效估计，解决了传统共形推断在处理双重缺失（因果缺失 + 实验损耗）时区间过宽的问题。
   • 提出了针对损耗组的协变量偏移校正机制，无需假设缺失完全随机（MCAR），仅需 MAR 假设。
3. 全面评估：通过广泛的蒙特卡洛模拟和两个实证重分析，全面评估了该方法在不同预测模型（Random Forest, BART, XGBoost 等）下的表现，并揭示了其相对于传统方法的优势与局限。

4. 研究结果 (Results)

A. 蒙特卡洛模拟（Monte Carlo Simulations）：

• 覆盖率（Coverage）：提出的方法（CISE）在不同样本量（500-5000）和协变量相关性下，均能稳定达到名义覆盖率（95%）。相比之下，多重插补（Amelia II）在数据分布非正态时覆盖率严重不足，而传统的加权 CQR 虽然覆盖率高但区间过宽。
• 区间长度（Interval Length）：CISE 生成的预测区间长度显著短于传统加权 CQR，且与多重插补相当，但具有更可靠的覆盖率保证。
• 基学习器表现：随机森林（Random Forest）在平衡覆盖率与区间长度方面表现最佳。

B. 实证重分析（Empirical Applications）：

1. Margalit and Shayo (2021) 重分析：
   • 研究金融市场对社会经济价值观的影响。
   • 发现：损耗组的处理效应（ATE）显著高于观测组（0.190 vs 0.098）。若忽略损耗组，会低估整体效应。CISE 生成的区间长度与多重插补相当，但比加权 CQR 窄得多。
2. Finkel et al. (2024) 重分析：
   • 研究在线公民教育对民主价值观的影响（突尼斯案例）。
   • 发现：对于某些结果变量（如 M2, M3），考虑损耗组后，整体 ATE 的显著性水平发生变化（例如从 5% 变为 1% 显著，或从不显著变为显著）。这证明了忽略损耗可能导致实质性结论错误。
   • 结论：CISE 方法生成的区间比多重插补更窄，且比加权 CQR 更精确。

5. 意义与局限性 (Significance & Limitations)

意义：

• 更稳健的因果推断：为存在实验损耗的社会科学实验提供了更可靠的不确定性量化工具，避免了因忽略损耗组或依赖强假设导致的偏差。
• 可解释性与精度：在保持严格覆盖率保证的同时，显著缩小了预测区间，使得结果更具信息量和实用价值。
• 政策启示：展示了损耗组与观测组可能存在异质性处理效应，提醒研究者不能简单地仅基于观测样本下结论。

局限性：

• MAR 假设：方法仍依赖于“随机缺失”（MAR）假设，若缺失与未观测的混淆变量相关（MNAR），方法可能失效。
• 高损耗率：当损耗率极高时，估计的噪声会增加，导致区间变宽或点估计不稳定。
• 数据划分损失：由于需要划分数据用于训练和校准，无法为观测组中的每一个单元都生成预测区间（部分数据被用于模型训练），这在某些需要全样本推断的场景下是一个限制。

未来方向：

• 扩展至 MNAR 场景。
• 结合双重机器学习（Double Machine Learning）处理高维协变量。
• 应用于面板数据（Panel Data）中的动态损耗问题。

---

总结：该论文通过引入半参数有效估计改进共形推断，成功解决了实验损耗下的协变量偏移问题，提供了一种既稳健又精确的个体处理效应区间估计方法，为政治学和社会科学中的因果推断研究提供了重要的方法论工具。