Quantifying advances in infectious disease forecast skill across seasons and pathogens
本研究引入了一种通过将预测值与回溯预测及基准指标进行比较的新型技能评分指标，旨在证明尽管针对 COVID-19 的结果表现不一，但过去十年间流感和 COVID-19 的集合预报与团队预报在技能水平上普遍有所提高。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下试图预测一个月后的天气。你知道季节的一般规律，但风暴的具体路径、降雨的确切日期或风力的大小仍然是一个猜测。传染病预测的工作方式与之非常相似。科学家们追踪的不是云层和锋面，而是病毒和细菌，利用人们生病的人数、住院人数以及死亡人数的数据进行监测。其目标是为公共卫生官员提供一个领先优势，使他们能够在疫情爆发前储备药物、准备病床并向社区发出预警。十多年来，美国的研究人员一直在进行一项大规模的协作实验，以观察他们是否能更好地进行这些预测。他们收集了来自数十个不同团队的数千份预测，涵盖了从季节性流感到全球新冠肺炎（COVID-19）大流行的一切内容。但一个关键问题一直萦绕不去：这些预测究竟是在随着时间推移而变得更好，还是仅仅在原地踏步？
为了回答这个问题，来自东北大学和美国疾病控制与预防中心（CDC）的一个研究小组开发了一种衡量成功的新方法。过去，科学家们使用能够告诉他们某个模型在特定某一周优于另一个模型的评分来比较预测结果，但这些评分很难在不同的疾病或不同的年份之间进行比较。一个在温和流感季看起来不错的得分，在混乱的流行病年份可能会看起来很糟糕，这并不是因为模型失败了，而是因为情况本身更难预测。研究人员需要一把能够公平衡量进步的尺子，无论数据多么混乱。他们创建了一个“技能得分”（skill score），这是一个将每份预测与两个特定的参考点进行比较的指标。第一个是“回溯预测”（hindcast），这是一个完美的后视镜。想象一下，如果你能预见未来，然后写下实际发生的一切，并考虑到数据收集中的所有噪声和误差。这代表了任何人可能达到的极限。第二个参考点是“基准线”（baseline），即一个计算机可以在没有任何复杂建模的情况下做出的简单猜测。通过测量一个真实的预测比一个简单的猜测好多少，以及它有多接近完美的回溯预测，研究人员终于能够看到该领域是否真的在取得进展。
该团队将这把新的衡量尺应用于十多年间生成的超过 250 万份预测。他们研究了流感样疾病、住院人数和死亡人数的预测，以及针对新冠肺炎（COVID-19）的类似目标。他们针对三种不同类型的简单基准测试了这些预测：一种仅观察疾病的长期历史；一种假设下一周的情况与上一周完全相同；另一种则遵循数据的近期趋势。结果对于季节性流感来说是非常明确的。所有预测团队组成的集体努力（即“集成模型”）始终优于简单的猜测。更重要的是，这些预测的技能随着时间的推移稳步提高。在最近一个流感季中，提前四周做出的预测，比在第一年挑战期间仅提前一周做出的预测更准确。这表明，随着团队拥有更多的时间去学习、更多的资料去研究以及更好的工具去使用，他们在洞察流感未来方面确实变得更加出色了。
新冠肺炎的故事则更为复杂，反映了这种新疾病带来的独特挑战。在疫情初期，由于几乎没有可以学习的历史数据，预测在预测病例数和死亡人数方面表现得异常出色，击败了简单的基准线。然而，随着大流行病的发展以及游戏规则的变化——例如测试方法的转变或报告系统的更新——预测的准确性出现了下降。模型难以跟上数据收集方式发生的这些突然变化。虽然对住院人数的预测最终显示出改善的迹象，但对每日病例和死亡人数的预测并未表现出同样的清晰上升趋势。这凸显了一个关键教训：当疾病的模式稳定且数据一致时，预测效果最好。当模型脚下的地面发生移动时，即使是最聪明的算法也会难以站稳脚跟。
研究人员发现，最成功的预测不仅是由于更好的数学方法或更快的计算机，更是由于更好的数据和持续的协作。流感预测受益于数十年来一致的报告，使得模型能够学习季节的节奏。相比之下，新冠肺炎病例预测的困境往往与统计病例的方式变化有关，这引入了模型难以轻易理清的混乱。研究还显示，虽然最好的集体预测非常强大，但许多个人团队仍然难以击败最简单的基准线之一。这表明，虽然整个领域正在向前迈进，但最顶尖的模型与平均水平之间仍存在着巨大的差距。新的技能得分框架提供了一种清晰观察这种进步的方法，它将任务的难度与预测的质量区分开来。它表明传染病预测是一门正在成熟的科学，它正在学习如何应对人类疾病的混乱现实，但也提醒我们，公共卫生领域中一些最不可预测的时刻仍然处于触及不到的范围之内。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。