技术摘要：基于在线优化的在线共形预测

问题陈述

共形预测提供了一个具有有限样本覆盖率保证的、原则性的不确定性量化框架。尽管最近的研究进展已将这些方法扩展到在线和序列设置中，但现有方法通常仅在单一覆盖率水平（$1-\alpha$）下运行。当需要同时满足多个覆盖率水平时——这在天气预报、宏观经济预测和风险管理等应用中很常见，因为用户具有异质的风险容忍度——标准的在线方法必须针对每个$\alpha$独立运行。

这种独立执行导致了一个关键限制：生成的预测集无法保证是嵌套的。从实际角度来看，较高置信度水平（例如 99%）的预测集应当是较低置信度水平（例如 90%）预测集的超集。如果没有这种嵌套属性，不确定性估计可能会变得不连贯且难以解释。此外，独立估计未能利用联合分位数回归中已知的统计效率提升，即通过强制执行非交叉约束来实现分位数间的信息共享。

本文致力于解决开发在线共形预测方法的挑战，这些方法能够在一系列覆盖率水平上同时输出嵌套预测集，同时保持长期覆盖率保证，即使面对非平稳或对抗性数据序列也是如此。

方法论

作者提出了两种基于在线优化视角的新颖算法。他们将共形阈值更新的问题构建为一个在线学习任务，目标是在强制执行阈值单调性约束的同时，最小化联合损失函数。

1. 问题表述

设$s_t$为时间$t$处的有界非共形分数。对于一系列误覆盖率水平$0 = \alpha_0 < \alpha_1 < \dots < \alpha_K < \alpha_{K+1} = 1$，目标是估计阈值$q_{t,i}$，使得预测集$C^i_t = \{y : s_t(x,y) \le q_{t,i}\}$是嵌套的（$C^{i+1}_t \subseteq C^i_t$）。这要求阈值单调递减：$q_{t,1} \ge q_{t,2} \ge \dots \ge q_{t,K}$。

标准的在线更新（例如自适应共形推断）将每个分位数独立处理：
$$q_{t+1,i} = q_{t,i} - \eta_t (\alpha_i - \text{err}_{t,i})$$
其中$\text{err}_{t,i}$是误覆盖率的指示器。这种方法缺乏水平间的耦合，且不能保证单调性。

2. 提出的算法

本文介绍了两种方法，它们通过在线优化技术修改更新规则以强制执行单调性：

A. 指数梯度（EG）下降

该方法利用应用于变换参数空间的指数梯度算法。

• 参数化：算法不是直接更新阈值，而是在截断单纯形上更新连续分位数之间的归一化间隙（$w_{t,i}$）。这种变量变换（$q_{t,i} = B \sum_{j=i}^K w_{t,j}$）本质上确保了如果权重为非负，则分位数是有序的。
• 更新规则：算法使用 EG 更新最小化联合损失函数$g_t(\bar{w})$。每个坐标的梯度聚合了所有相关分位数水平的误覆盖率差异，从而诱导全局耦合。
• 机制：当该方法过于保守或覆盖率不足时，累积误差项会同时调整整个分位数曲线上的间隙。这允许该方法在不同水平间“借用强度”，协调调整以自然地保持嵌套性。

B. 投影梯度（PG）下降

该方法利用具有特定约束集的投影梯度下降。

• 更新规则：算法首先基于联合损失对分位数向量$\bar{q}_t$执行独立的梯度更新。
• 投影：随后将生成的向量投影到递减序列的凸集上（$Q = \{\bar{q} : B \ge q_1 \ge \dots \ge q_K \ge 0\}$）。
• 机制：此投影使用池化相邻违反者算法（PAVA）实现。与 EG 不同，PG 通过局部修正运作：它独立更新分位数，然后进行最小调整以恢复排序约束。在梯度步骤期间，它不会固有地在水平间重新分配信息。

3. 理论保证

作者为这两种方法建立了理论界限：

• 覆盖率：两种方法都提供长期覆盖率保证，确保所有水平的经验误覆盖率收敛到目标$\alpha_i$。
• 遗憾与误差：本文推导了动态遗憾的界限以及估计分位数与真实分位数之间的偏差（$\|\bar{q}_t - \bar{q}^*_t\|_2$）。这些界限取决于真实分位数的动态变化（$V_T$）和步长$\eta$。EG 方法的界限表明，由于结构化耦合，其效率有所提高，而 PG 则保证了在每个时间步的可行性（嵌套性）。

主要贡献

1. 新颖的表述：提出了一种在线共形预测框架，该框架在多个覆盖率水平上生成嵌套预测集，从而实现对整个风险谱的校准不确定性量化。
2. 算法创新：提出了两种基于凸优化的在线算法（EG 和 PG），它们联合估计共形阈值，同时严格强制执行单调性。
3. 理论保证：建立了所有水平的长期覆盖率保证，并提供了确保每个时间步预测集嵌套的证明。
4. 实证验证：证明了这些方法相比独立的单水平基线，能够实现稳定的覆盖率、严格的嵌套集以及改进的统计效率。

实验结果

这些方法在合成数据和真实世界数据集上进行了评估。

合成数据

• 设置：一个非平稳环境，其中分数分布通过潜在反射随机游走演变。
• 发现：与独立分位数跟踪器和投影梯度方法相比，**指数梯度（EG）**方法实现了更低的$\ell_1$跟踪误差。这支持了以下假设：在跟踪时变分布时，跨分位数共享信息可提高统计效率。PG 方法的表现与独立跟踪器相似，表明在此特定设置下，与 EG 相比，联合优化的收益有限。

真实世界数据（美国通货膨胀）

• 设置：使用带有滚动窗口的 AR(3) 模型预测美国消费者价格指数（CPI）通货膨胀。
• 发现：
  • 校准：所有方法最终都收敛到较低的校准误差。然而，无约束分位数跟踪器表现出振荡行为（过度校正），而提出的约束方法显示出更稳定的轨迹。
  • 嵌套性与平滑性：基线方法（独立跟踪器和事后投影）产生的预测带偶尔会出现扭曲和非嵌套区域。相比之下，提出的方法（尤其是 EG）产生了更平滑、更连贯的预测集，严格保持了嵌套结构。
  • 可解释性：EG 更新通过累积差异协调相邻分位数，产生了更平滑的预测带，减少了水平间的突变。

意义与主张

本文声称，其主要意义在于解决多水平在线设置中不确定性估计的不连贯性。通过在线优化强制执行结构约束（单调性），所提出的方法提供了一个连贯的风险谱。

主要主张包括：

• 统计效率：联合估计通过跨分位数共享信息提高了效率，EG 方法优越的跟踪性能明确证明了这一点。
• 可解释性：生成的嵌套预测集对于决策环境至关重要，在这些环境中，利益相关者需要在不同的风险容忍度下（例如紧急规划者与政策制定者）获得一致的不确定性估计。
• 稳定性：将单调性与更新联合强制执行，稳定了学习动态，防止了无约束跟踪器中出现的 erratic 振荡。
• 更广泛的背景：这项工作弥合了对抗鲁棒性（最坏情况下的保证）与统计效率（跟踪时变分布）之间的差距，将在线共形预测框架化为具有动态遗憾分析的时变分位数跟踪问题。

作者指出，未来的工作可以探索自适应学习率，以进一步增强在非平稳环境中的性能，但目前的贡献主要集中在固定步长制度下联合估计的结构优势。