💻 computer science

TCBench: A Benchmark for Tropical Cyclone Track and Intensity Forecasting at the Global Scale

TCBench 是一个全球规模的基准测试，它通过利用 IBTracies 数据集来比较最先进的基于物理的模型和人工智能天气预报模型，从而实现对热带气旋路径和强度预报的公平、模型无关的评估，最终旨在实现数据驱动预报的民主化并改善极端事件的预测。

原作者： Milton Gomez, Marie McGraw, Saranya Ganesh S., Frederick Iat-Hin Tam, Ilia Azizi, Samuel Darmon, Monika Feldmann, Stella Bourdin, Louis Poulain--Auzéau, Suzana J. Camargo, Jonathan Lin, Dan Chavas, Ch

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Milton Gomez, Marie McGraw, Saranya Ganesh S., Frederick Iat-Hin Tam, Ilia Azizi, Samuel Darmon, Monika Feldmann, Stella Bourdin, Louis Poulain--Auzéau, Suzana J. Camargo, Jonathan Lin, Dan Chavas, Chia-Ying Lee, Ritwik Gupta, Andrea Jenney, Tom Beucler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下试图预测一场飓风的路径和强度。几十年来，科学家们一直使用基于物理定律（如流体力学和热力学）的大规模、复杂计算机模拟来进行这项工作。这些模拟就像是极其精确但非常沉重且昂贵的“物理引擎”，需要巨大的超级计算机才能运行。

最近，一种新型的“AI引擎”出现了。这些神经网络通过学习过去的天气数据来预测未来，就像国际象棋选手通过学习成千上万盘过去的对局，而不是从基本原理出发去计算每一种可能的走法。这些AI模型运行速度极快，且成本极低。

问题所在：
虽然AI模型在预测一般天气方面表现出色，但在准确预测热带气旋（飓风/台风）的具体路径和强度方面却遇到了困难。为什么呢？

规则不同： 每个人都在用不同的规则进行游戏。一些研究人员使用一种方法来寻找数据中的风暴，而另一些人则使用了另一种方法。这就像是在拿苹果和橘子做比较。
“强度”差距： AI模型擅长预测风暴会“去哪里”，但很难预测它会“有多强”。它们往往会低估风速，或者错过“快速增强”（即风暴突然变得异常强劲的过程）。
数据不匹配： AI模型的训练数据通常是经过“平滑处理”的，无法捕捉到真实飓风中那种剧烈且混乱的细节。

解决方案：TCBench
该论文的作者创建了 TCBench，它扮演着通用裁判和标准化测试场的角色。

“规则手册”： 他们将所有杂乱、各异的数据源（观测数据、物理模型和AI模型）强制统一为单一的标准化格式。他们使用了一个名为IBTrACS（记录风暴实际路径的官方记录）的“地面真相”数据集作为计分板。
“比赛”： 他们利用2023年的数据设置了一场公平的竞赛。他们选取了最好的物理模型和最新的AI模型，并向它们提出了同样的问题：“已知当前存在一场风暴，那么在1天、2天、3天、4天或5天后，它会在哪里，强度又是多少？”
“观察员”： 由于AI模型有时会“跟丢”风暴（它们可能会预测风暴消失或从未存在过），该基准测试设置了一个安全网。如果AI模型未能预测出风暴，它会默认采用一个简单的“持续性”猜测（假设风暴会保持现状），以确保比较的公平性。

他们的发现（结果）：

路径（Track）： AI模型在预测风暴走向方面表现卓越。事实上，在预测路径方面，AI模型与传统的物理超级计算机一样出色，甚至有时更胜一筹。它们就像是一个比任何人都更了解道路的GPS。
强度（Intensity）： AI模型最初在预测风暴会变得多强方面表现很差。它们经常误判风力会比实际情况更弱。
- 解决方法： 然而，作者展示了如果你将AI的原始预测结果通过一个简单的“后处理”步骤（就像教练给球员进行简短的赛前动员和一些战术调整一样），AI的强度预测就会变得非常准确。
“突然爆发”（快速增强）： 预测风暴何时会突然变得更加强劲是最难的挑战。原始的AI模型大多错过了这一点。只有那些经过专门微调或“后处理”的AI模型才能捕捉到这些危险的强度激增。

大局观：
TCBench不仅仅是一份得分表；它是一个工具包。它提供了数据、规则和衡量标准，使科学家和AI开发者能够停止争论谁才是正确的，转而开始共同协作，开发出更好的预测工具。

论文得出结论：虽然AI模型在预测风暴“去向”的竞赛中已经处于领先地位，但它们仍需要一些帮助（例如后处理或特定的训练）才能在预测风暴“强度”方面做得更好。通过降低准入门槛并实现测试标准化，TCBench希望加速开发能够挽救生命的工具，通过提供关于这些破坏性风暴更准确的预警来保护生命。

技术摘要：TCBench —— 全球尺度热带气旋路径与强度预报基准测试

1. 问题陈述

热带气旋（TCs）是全球性的毁灭性天气系统，造成了数万亿美元的损失和数千人的死亡。虽然改进热带气旋预报对于降低风险至关重要，但目前的业务化方法面临着显著的局限性。传统的基于物理的模型需要超级计算基础设施来解析足够空间分辨率的热带气旋，这限制了其可及性。相反，新兴的人工智能天气预报（AIWP）模型（神经天气模型）提供了计算效率和生成大规模校准集合的可能性，但往往缺乏针对热带气旋的标准化评估框架。

在评估 AIWP 模型处理热带气旋方面存在关键差距。现有的基准测试通常依赖于差异化的追踪算法，缺乏一致的强度定义，或者侧重于掩盖特定极端事件表现的全球指标。此外，尽管 AI 模型在热带气旋路径预测方面已展现出技能，但强度预报——特别是快速增强（RI）——由于海洋能量、垂直风切变和内圈动力学之间复杂的相互作用，仍然是一个重大挑战，而这些因素在粗分辨率全球模型或有偏训练数据中往往表现不足。

2. 方法论

本文介绍了 TCBench，这是一个旨在评估全球短中期（1-5 天）热带气旋路径与强度的基准测试。该方法论建立在以下支柱之上：

数据集成与标准化

地面真值（Ground Truth）： 基准测试使用国际最佳路径气候管理档案（IBTrACS）作为观测“地面真值”，特别采用了美国机构对强度的定义（1 分钟最大持续风速和最低海平面气压）。
模型输入： TCBench 集成了异构数据源，包括：
- 基于物理的模型： 来自国际大全球集合（TIGGE）的后验模拟，特别是 GEFS 和 IFS 集合。
- AIWP 模型： 来自 NVIDIA 的 FourCastNet v2、华为的 Pangu-Weather、Google DeepMind 的 GenCast、FNV3 以及 ECMWF 的 AIFS v1.0 的后验模拟。
- 再分析数据： 参考了 ERA5 数据用于环境场，但未进行重新分配。
追踪一致性： 为确保公平且与模型无关的比较，热带气是在使用 TempestExtremes 库从模型输出中一致地提取出的。如果模型没有明确预测路径，则通过提取全球场来获取。采用了“退回至持久性（fallback-to-persistence）”策略：如果模型未能预测出风暴，则使用持久性基准，以确保评估集不受最严格模型的限制。

预报公式化

TCBench 将热带气旋预报构建为在给定初始位置和强度的条件下，对一个现有热带系统随时间演化的预测。数据集按日历年进行划分以防止数据泄漏：

训练集： 2017–2020
验证集： 2021–2022
测试集： 2023（从所有基准训练和调优中剔除）。

评估指标

基准测试提供了确定性和概率性指标：

确定性路径： 直接位置误差（DPE）、横向误差（CTE）和沿径向误差（ATE）。
确定性强度： 最大风速（ $V_{max}$ ）和最低气压（ $p_{min}$ ）的均方根误差（RMSE）和平均绝对误差（MAE）。
概率性： 用于路径和强度的公平变体连续概率分级评分（CRPS）。
分类： 快速增强（RI）被视为二分类任务（在 24 小时内 $V_{max}$ 增加 $\ge$ 30 节），使用关键成功指数（CSI）进行评估。

3. 核心贡献

统一框架： TCBench 搭建了最先进的神经模型与物理模型与观测记录之间的桥梁，提供了一个标准化的、可复现的评估框架。
数据可及性： 它提供了预处理流水线、评估协议、可视化工具以及基准得分（包括持久性和基于领先时间与海盆的平均趋势），以降低 AI 从业者和气象学家的门槛。
模型无关的追踪： 通过使用一致的追踪算法（TempestExtremes）和退回机制，它允许在不限制评估集规模的情况下，比较具有不同偏差的大量模型。
后处理基准： 该基准测试包含了对原始 AI 模型输出应用后处理（例如参数分布采样）的基准，展示了如何通过数据驱动模型进行优化。

4. 结果

在 2023 年测试案例上的评估报告了以下发现：

路径预测： AIWP 模型（如 AIFS、GenCast、FourCastNet v2）展现了出色的路径预报能力，在所有领先时间（长达 5 天）内均优于持久性基准。在 24 小时以上的确定性指标方面，AIFS 模型明显优于其他模型。然而，物理集合（GEFS）在概率路径预测（CRPS）方面仍优于 AI 模型。
强度预测： 在短领先时间内，原始 AI 模型通常逊于持久性基准，并且在较长领先时间内仅比物理模型有微弱提升。这归因于空间分辨率粗糙以及训练数据中的偏差（例如 ERA5 的强度负偏差）。
后处理的影响： 对原始 AI 预测应用后处理算法可以显著改善强度预报。例如，经过后处理的 Pangu-Weather 模型达到了与 GEFS 模型相当或更好的性能。
快速增强（RI）： 大多数全球 AI 模型和物理模型在预测 RI 方面几乎没有表现出任何技能。只有经过后处理的 Pangu-Weather 模型和 FNV3 模型（专门针对极端事件训练）在检测 RI 方面展现出了一定的技能，特别是在 48–96 小时的领先时间。

5. 重要性与主张

本文将 TCBench 定位为使数据驱动的热带气旋预报民主化的工具。其重要性在于：

标准化： 它提供了一个以预测热带气旋形成后的行为为中心的共同比较点，解决了文献中缺乏一致性评估的问题。
混合潜力： 结果强调了神经系统与物理系统之间互补的优势。虽然 AI 模型在确定性路径预测方面表现出色，但物理集合在路径概率预测和原始强度预测方面仍然更具优势。
过程感知： 通过降低可复现评估的门槛，TCBench 为热带气象学家提供了改进预测和过程理解的数据驱动工具。
未来方向： 作者指出，要使 AI 模型实现出色的强度预报，针对特定任务的训练和后处理是必要的步骤，这表明混合方法是一个充满希望的未来方向。

作者保持了谦逊的基调，承认了诸如数据不确定性、用于可操作性的来源选择有限以及各机构间热带气旋追踪不一致等局限性。他们强调，TCBench 旨在用于快速迭代并扩展到新的模型和预测目标。