Evaluation of Deep Learning Based Early Warning Indicators of Epidemic Outbreaks

技术摘要：深度学习驱动的流行病爆发早期预警指标评估

问题陈述
在流行病系统中，检测“临界转变”（critical transitions）或分岔（bifurcations）——特别是基本再生数（$R_0$）跨越 1，使疾病从消亡转向持续存在的那个点——对于流行病预警至关重要。虽然传统的统计指标（如滞后-1 自相关、方差）可以在这些转变附近发出临界减速（CSD）信号，但它们通常无法预测未来状态或分类特定的分岔类型（如折叠分岔、霍普夫分岔、跨临界分岔）。

近期的深度学习（DL）方法，例如 Bury 等人（在通用 ODE 上训练）以及 Chakraborty/Miry（在基于 SIR 的随机模拟上训练）的方法，在检测和分类分岔方面展现出了潜力。然而，这些模型在应用于现实世界数据时面临显著局限性：

1. 泛化差距： 在通用数学模型或特定噪声配置下训练的模型，在面对具有不同噪声水平和人口统计因素的现实世界流行病数据时，往往无法检测到分岔。
2. 缺乏严格评估： 目前尚无系统性的评估，针对这些预训练 DL 模型在涵盖多个地理区域的现实世界州级监测数据上的表现进行研究。
3. 运行不确定性： 目前尚不清楚这些模型在实现在线、实时预测所需的各种数据窗口策略下的表现如何。

研究方法
作者开发了一个综合流水线，用于评估现有的预训练 DL 分岔预测模型在 CDC 策划的每周流感住院人数数据集上的表现，该数据集涵盖了全美所有 50 个州、华盛顿特区及全国总量（2022 年 7 月至 2025 年初）。

• 数据准备：
  • 预处理： 为了匹配 Bury 等人模型的训练要求，作者应用了严格的预处理流程：(1) 使用 Lowess 滤波器（跨度 0.2）进行去趋势处理，以去除缓慢趋势同时保留波动结构；(2) 通过将残差除以数据集的绝对平均值进行归一化。
  • 地面真值标注： 由于缺乏用于州级 $R_t$ 估计的一致序列间隔数据，地面真值分岔点是利用 EpyEstim 包（贝叶斯更新方程方法）在国家层面确定的。对于州级评估，根据国家趋势定义了两个手动分岔区间：区间 A (t=108–118) 和区间 B (t=127–140)。
• 评估的模型：
  • Bury 等人 (2021)： 一种 CNN-LSTM 架构，在展示折叠、霍普夫和跨临界分岔的 500,000 个来自通用 ODE 的时间序列上进行了训练。
  • Chakraborty/Miry (2024–2025)： 结合了加性白噪声、乘性环境噪声和人口统计噪声的 SIR 随机模拟重新训练的模型。
• 窗口策略： 本研究系统地评估了模型在用于在线预测的不同输入张量构建策略下的表现：
  • 滚动窗口 (最后 100 个点)： 使用仅包含最近 100 个点的原始方法。
  • 扩张窗口 (Expanding Window)： 窗口从序列开始一直增长到当前点（上限为 100）。
  • 固定长度移动窗口： 在整个序列中使用的 100 个点的滑动窗口。
  • 较短滚动窗口： 长度为 50 并进行零填充。
  • 多分岔输入： 输入跨越多个分岔点的窗口。

关键结果
评估表明，模型的性能高度依赖于窗口策略和特定的分岔区间。

• 性能指标： 扩张窗口策略（保留截至当前时间点的完整历史背景，上限为 100 个点）在所有指标上均表现最优：
  • 准确率 (Accuracy)：90.09%
  • 精确率 (Precision)：72.86%
  • 召回率 (Recall)：96.23%
  • F1 分数：82.93%
  • 特异度 (Specificity)：88.05%
• 策略比较：
  • 原始的 滚动窗口（最后 100 个点）实现的准确率（63.48%）和精确率（17.35%）显著较低。
  • 如果单个输入张量暴露了多个分岔点，虽然会降低单个区间的准确率，但如果第一个颠簸点被充分覆盖，则不会必然降低整体性能。
• 区间差异： 模型在检测第一个主要分岔（区间 A）方面表现出高度的一致性，真阳性率为 51/53 个地点。在区间 B 中性能下降（34/53 个地点），这可能是因为第二波疫情发生的时间在各州之间差异很大，导致难以定义一个既能涵盖所有峰值又不会过宽的单一评估窗口。当现实世界的动力学与训练数据的分布高度相似时，模型的表现最好。

意义与主张
本文主张，用于分岔检测的预训练深度学习模型可以泛化到现实世界的州级流感数据，并且在优化输入窗口策略的前提下能够实现在线/实时预测。

• 背景重要性： 研究表明，保留序列的完整时间背景（通过扩张窗口）优于仅使用最近的数据点，这表明系统的“记忆”对于模型识别临界点过程至关重要。
• 运行可行性： 研究结果表明，这些模型适用于现实世界的监测，尽管作者指出某些配置下的精确率受假阳性驱动，这表明在实际部署中需要进行阈值微调。
• 替代框架： 文中简要讨论了马尔可夫机制切换 (MRS) 模型作为检测流行病转变的一种极具前景的替代框架，但完整的对比评估留待未来工作。

作者总结道，虽然这些模型展现出了潜力，但其准确性取决于现实世界分岔动力学与训练数据之间的相似性，并且必须仔细选择输入窗口策略，以最大限度地提高检测性能。