Sequential model confidence sets

技术摘要：序列模型置信集 (Sequential Model Confidence Sets)

问题陈述
在统计预测与估计领域，从业者经常面临如何从候选集（$M_0 = \{1, \dots, m\}$）中根据用户指定的损失函数选择最优模型（或模型组）的挑战。标准的做法是使用 Hansen 等人 (2011) 提出的模型置信集 (Model Confidence Sets, MCS)，它能将候选集缩减为一个包含具有给定置信水平的最优模型的子集。然而，经典的 MCS 依赖于两个限制性假设，这与现实世界的预测场景相冲突：

1. 固定样本量： 它假设存在一个预先指定的、固定的评估期，而模型选择和预测评估本质上是序列化任务，数据随时间到达，且继续研究或停止研究的决策取决于中期结果。
2. 平稳性： 它假设观测到的损失差异序列是平稳的，这一假设在模型演进、纠正错误或随时间适应系统性偏差的过程中往往会被违反。

此外，经典的 MCS 依赖于自助法 (Bootstrap) 近似和渐近中心极限定理 (CLT) 性质，仅提供渐近覆盖保证，并伴随高昂的计算成本。因此，需要能够实现持续监控模型性能、且具备时间一致性 (Time-uniform) 及非渐近覆盖保证的方法。

方法论
作者提出了序列模型置信集 (Sequential Model Confidence Sets, SMCS)，通过使用 e-过程 (e-processes) 和 置信序列 (Confidence Sequences) 将 MCS 框架推广到序列化设置中。该方法论建立在“安全随时有效推断 (Safe anytime-valid inference)”的基础上，确保无论何时停止分析，其有效性均成立。

核心方法涉及三种不同的“优越”模型定义，对应于对模型性能的不同假设：

1. 强优越型 ($M_{s,\star}$): 在每一个时间点上，就条件期望损失差异而言，都优于所有其他模型的模型（即 $\mu_{ij,t} \le 0$）。
2. 一致弱优越型 ($M_{uw,\star}$): 在所有时间点上的平均表现上优于所有其他模型的模型（即对于所有 $t$，$\Delta_{ij,t} \le 0$）。
3. 弱优越型 ($M_{w,\star,t}$): 基于截至当前时间 $t$ 的平均损失，优于所有其他模型的模型。

SMCS 的构建：

• 针对强优越和一致弱优假设： 在假设损失差异是条件有界或一致有界的条件下，作者利用了 e-过程（具体参考 Howard 等人, 2020 以及 Choe 和 Ramdas, 2023）。他们采用了带有算术平均值 e-合并函数的闭包原理 (Closure Principle)，以控制多次两两比较中的家族误差率 (Family-wise error rate)。如果对应的 e-过程超过阈值 ($1/\alpha$)，则该模型会被排除在 SMCS 之外。
• 针对弱优越假设： 构建依赖于时间一致置信序列 (Time-uniform confidence sequences)。作者为平均损失差异向量定义了一个置信区域。如果置信区域与该模型表现优越的半空间不相交，则该模型被排除。
• 处理无界损失： 对于损失函数不支持一致有界（例如具有无界支撑的 CRPS）的情况，作者提出将其转化为条件有界的损失差异，然后将其缩放为一致有界，从而应用推导出的 e-过程。

核心贡献

1. 序列化扩展： 本文将 MCS 概念扩展到序列化框架，允许在无需固定样本量的情况下持续监控模型性能。
2. 时间一致性保证： 所提出的 SMCS 提供时间一致的、非渐近的覆盖保证。这意味着，对于所有时间点同时而言，真优越模型被包含在集合中的概率至少为 $1-\alpha$，这比点对点的渐近覆盖提供了更强的保证。
3. 极简假设： 这些方法依赖于极小的分布假设（亚高斯或亚指数损失差异），且不需要计算昂贵的自助法近似。
4. 优越性定义的灵活性： 该框架容纳了三种不同的优越性定义，允许研究人员根据其应用背景（如嵌套信息集 vs. 演进的模型性能）选择最合适的假设。

结果
作者通过模拟研究和两个现实世界的案例研究验证了该方法论：

• 模拟实验：
  • 模拟 1 (强假设): 在 49 个预测器的情况下，SMCS 实现了对真实最优模型的 100% 覆盖率，展示了保守但有效的性能。SMCS 的平均规模随时间逐渐减小。
  • 模拟 2 (一致弱假设): 在最优模型仅在平均意义上优越（而非在每个时间点都优越）的情景下，SMCS 正确识别了一致弱优越模型，而强假设则会导致空集。
  • 模拟 3 (弱假设): 在最优模型随时间变化（变差 $\to$ 产生偏差 $\to$ 改善）的情景下，弱假设下的 SMCS 成功追踪了变化的优越模型，包括并排除了随着相对性能转移的模型。
• 案例研究 1 (Covid-19 预测): 应用于来自 Covid-19 预测枢纽 (Covid-19 Forecast Hub) 的 69 个模型。SMCS（在强假设下）识别出集成模型 (Ensemble models) 具有持续的优越性，并相对较早地拒绝了特定的流行病学模型（如 PSI-draft）。这证明了序列化监控在决策支持中的效用，允许在不等待固定样本量的情况下，及早剔除表现不佳的模型。
• 案例研究 2 (风速预测): 应用于 9 种风速后处理方法。在弱假设下，SMCS 显示虽然某些模型最初表现较差，但在底层数值天气预报 (NWP) 模型更新后，它们重新变得具有竞争力。这种动态行为（模型重新进入置信集）是固定样本法或强假设法无法捕捉到的。

意义与主张
本文声称，序列模型置信集为传统的模型选择提供了一种统计严谨的替代方案，特别是在动态环境下。

• 随时有效性 (Anytime-Validity): 其主要意义在于可以在“随时停止”而不增加第一类错误率，这对于流行病学和气象学等领域的持续监测至关重要。
• 处理非平稳性: 通过区分强优越、一致弱优越和弱优越，该方法承认了模型可能会演进。它允许检测那些在平均意义上或暂时性优越的模型，而非要求在每一个瞬间都占据统治地位。
• 实际应用价值: 作者认为，其方法为紧急情况（如大流行期间）下常见的定期模型评估实践提供了理论依据，提供了一种在尊重选择不确定性的同时，基于当前知识状态进行序列化证据收集并做出决策的方法。

作者保持了谦逊的态度，指出虽然他们侧重于有界损失差异，但理论并不严格受限于此，尽管针对通用损失函数仍需进一步研究。他们也承认，虽然其方法控制了家族误差率，但未来的工作可以探索控制错误发现率 (FDR)，以获得更高的统计功效。