Prediction Sets and Conformal Inference with Interval Outcomes

这是一份关于论文《Prediction Sets and Conformal Inference with Interval Outcomes》（区间结果的预测集与共形推断）的详细技术总结。

1. 研究背景与问题定义

核心问题：
在经济学和社会科学数据中，因变量（Outcome, $Y$）经常以区间形式（Interval-valued）或删失形式（Censored）出现，而非精确的点观测值。例如：

• 调查数据中的“括号”策略：受访者被问及收入是否落在 $[10k, 20k]$ 或 $[20k, 50k]$ 等区间内，而非报告具体数值。
• 右/左删失：收入超过某个阈值（$Y \in [Y_L, \infty)$）或低于某个阈值。
• 竞争风险：观测到的是变量的最大值或最小值。

研究目标：
给定协变量 $X$ 和区间观测数据 $[Y_L, Y_U]$（满足 $Y_L \le Y \le Y_U$），构建一个预测集（Prediction Set）$C(X)$，使得新的观测值 $Y_{new}$ 落入该集合的概率至少为 $1-\alpha$（即误覆盖率不超过 $\alpha$）。

关键挑战：

1. 部分识别（Partial Identification）：由于 $Y$ 未被直接观测，联合分布 $P_{X,Y}$ 无法被点识别（Point Identified），只能识别出一个集合（Identified Set）。传统的基于密度水平集（Level Set）的“神谕预测集”（Oracle Prediction Set，即体积最小的满足覆盖率要求的集合）在部分识别下不再直接适用，因为无法唯一确定条件密度。
2. 区间数据的特殊性：传统的分位数回归或共形预测方法通常假设 $Y$ 是点观测值，直接应用会导致覆盖率失效或预测集体积过大。
3. 有限样本有效性：需要构建在有限样本下也能保证覆盖率的预测集，同时在大样本下收敛到最优的“神谕预测集”。

---

2. 方法论

本文提出了一套结合部分识别理论与**共形推断（Conformal Inference）**的完整框架。

2.1 神谕预测集的定义与刻画（Oracle Prediction Set）

在部分识别框架下，作者重新定义了最优预测集：

• 定义：寻找体积（Lebesgue 测度）最小的集合 $C(x)$，使得对于所有与观测数据兼容的分布 $P \in \mathcal{P}_I$（识别集），覆盖率均满足 $P(Y \in C(x) | X=x) \ge 1-\alpha$。
• 可行性转化：
  • 传统方法依赖条件密度 $p(y|x)$ 的水平集，但在区间删失下不可行。
  • 本文证明，在区间删失下，满足覆盖率约束的最优解等价于寻找一个集合，使得观测到的区间 $[Y_L, Y_U]$ 完全落入该集合的概率至少为 $1-\alpha$。
  • 即优化问题转化为：
    $$\min_{C(x)} \mu(C(x)) \quad \text{s.t.} \quad P([Y_L, Y_U] \subseteq C(x) | X=x) \ge 1-\alpha$$
  • 这一转化使得问题变得可行，因为 $P([Y_L, Y_U] \subseteq C(x))$ 可以直接从观测数据中估计。

2.2 一致估计量（Consistent Estimators）

• 非参数估计：使用核平滑估计器（Kernel-based estimator）来估计条件分布 $P([Y_L, Y_U] \subseteq C(x) | X=x)$。
• 多区间结构：允许预测集 $C(x)$ 由多个不相交的区间组成（例如当条件分布是多峰时），这比单一区间更紧凑。
• 固定删失处理：针对离散化的区间（如固定的收入档位），提出了带有松弛项 $\psi_n$ 的优化问题，以解决由于分布不连续导致的估计不一致性问题，证明了估计量在大样本下的一致收敛性。

2.3 共形推断（Conformal Inference）

为了获得有限样本的覆盖率保证，作者引入了共形推断：

• 分裂共形（Split Conformal）：将数据分为训练集（用于估计 $\hat{C}$）和校准集（用于计算分数）。
• 自定义一致性分数（Conformity Score）：
  • 这是本文的核心创新之一。针对区间数据，设计了一个新的分数函数 $s(Y_L, Y_U, x; \hat{C})$。
  • 该分数衡量预测集 $\hat{C}$ 对观测区间 $[Y_L, Y_U]$ 的“包含程度”。
  • 如果 $[Y_L, Y_U] \subseteq \hat{C}$，分数为负（表示覆盖过度）；如果部分或完全不包含，分数为正。
  • 通过调整预测集的边界（$\hat{C} \pm \theta$），使得校准集上的分数分位数满足覆盖率要求。
• 局部共形（Local Conformal）：为了改善边界处的覆盖率，提出了基于协变量分箱的局部共形方法。

---

3. 主要贡献

1. 理论拓展：首次将“神谕预测集”的概念扩展到部分识别和区间删失的框架下，证明了基于观测区间包含概率的优化问题等价于原问题，并给出了可行估计方案。
2. 方法创新：
   • 设计了专门针对区间数据的共形预测分数函数，能够同时处理过覆盖（Over-coverage）和欠覆盖（Under-coverage）。
   • 允许预测集由多个不相交区间组成，提高了预测集的紧凑性（Efficiency），特别是在多峰分布下。
   • 解决了固定区间（如调查中的离散档位）带来的非平滑估计问题。
3. 有限样本保证：利用共形推断理论，证明了所提出的预测集在有限样本下具有分布自由的覆盖率保证（Distribution-free finite-sample validity），同时在大样本下收敛到最优神谕集。
4. 实证应用：展示了该方法在处理真实世界复杂数据（如带有大量区间工资数据的招聘广告和带有收入区间缺失的 CPS 调查数据）时的有效性。

---

4. 实验结果

4.1 蒙特卡洛模拟（Monte Carlo Simulations）

• 场景：设计了三种数据生成过程（DGP），包括异方差混合模型（多峰分布）、固定删失（离散区间）和偏态分布。
• 对比方法：与基于分位数回归（Quantile Regression, CQR）的共形预测集进行对比。
• 结果：
  • 覆盖率：本文提出的方法（CP 和 Local CP）在有限样本下均达到了名义覆盖率（如 90%），而分位数回归方法在某些情况下覆盖率不足。
  • 体积（效率）：本文方法的预测集体积显著小于分位数回归方法。特别是在多峰分布（Model A 和 B）中，分位数回归只能生成单一区间，导致体积过大；而本文方法能生成多个区间，精准捕捉分布形态。

4.2 实证应用

1. 英国招聘广告数据（Adzuna）：
   • 数据：英国 IT 行业的工资数据，约 62% 的工资信息以区间形式报告。
   • 发现：构建了基于地理位置的 90% 局部共形预测区间。结果显示，伦敦等大都市的工资上限（Upper bound）极高且离散度大，而农村地区的下限较低。该方法无需对缺失工资进行插补，直接利用区间信息揭示了工资分布的空间异质性。
2. 美国当前人口调查（CPS）：
   • 数据：2023 年 CPS 数据，约 22.4% 的收入报告为区间（如 $>60k$ 或特定范围）。
   • 对比：比较了直接使用区间数据（Censored）与将区间数据插补为点数据（Imputed）后的预测效果。
   • 发现：
     • 插补方法往往低估了尾部风险，导致预测集覆盖率显著低于名义水平（例如名义 90%，实际可能只有 80% 多）。
     • 本文方法（Censored）保持了接近名义水平的覆盖率，且预测区间更宽、更稳健，特别是在高收入尾部，反映了真实的数据不确定性。

---

5. 意义与结论

• 方法论意义：本文填补了部分识别理论与现代机器学习预测集（Conformal Prediction）之间的空白。它提供了一种无需强假设（如正态分布、特定删失机制独立性）的稳健预测框架。
• 实践意义：
  • 对于处理含有大量区间数据或删失数据的经济调查（如收入、财富、失业时长），提供了一种比传统插补法更可靠、比传统分位数法更高效的工具。
  • 揭示了仅关注点估计（如均值或中位数）可能会忽略分布的尾部风险和不确定性，而预测集能提供更全面的风险评估。
• 未来方向：论文指出，除了区间删失，该方法可进一步推广到其他形式的部分识别问题，以及在共形推断框架下设计更优的一致性分数函数仍是值得研究的方向。

总结：该论文通过严谨的数学推导和实证分析，证明了在区间数据背景下，结合部分识别理论与共形推断，可以构建出既具有有限样本覆盖率保证，又在渐近意义上最优（体积最小）的预测集。这为处理现实世界中普遍存在的不完全观测数据提供了强有力的统计工具。