FuXi Weather: A data-to-forecast machine learning system for global weather

本文介绍了 FuXi Weather，这是首个能够直接融合多卫星数据并实现全网格、全地表、全通道及全天空数据同化与预报的机器学习系统，其在全球范围内（尤其是观测稀疏地区）的 10 天预报精度超越了欧洲中期天气预报中心（ECMWF）的高分辨率模式，同时显著降低了计算成本并减少了对传统数值预报初始条件的依赖。

要点

这是一篇关于**“伏羲天气”（FuXi Weather）的论文介绍。为了让你轻松理解这项突破性的技术，我们可以把天气预报想象成“做一道极其复杂的大餐”，而传统的预报方法和新方法的区别，就像是“老派大厨”与“超级 AI 厨师”**的较量。

1. 以前的难题：昂贵的“老派大厨”

传统的天气预报（数值天气预报，NWP）就像是一位经验丰富但极其挑剔的老派大厨。

• 做法： 他需要收集全世界所有的食材（气象数据），然后在一个巨大的、复杂的物理公式厨房里，一步步推导明天天气会怎么变。
• 痛点：
  • 太贵了： 他需要超级计算机（昂贵的厨房设备）和很多专家（大厨助手）来操作。
  • 数据浪费： 虽然卫星每天发回海量数据（像堆积如山的食材），但老派大厨因为处理速度太慢，只能挑拣其中很少一部分（5%-10%）来做菜，剩下的都扔掉了。
  • 地域不公： 在欧美等富裕地区，食材（观测站）丰富，大厨能做出美味佳肴；但在非洲等贫困地区，食材稀缺，大厨做出来的菜味道就很差，甚至不如猜谜（气候平均态）。

2. 伏羲天气：全新的“超级 AI 厨师”

伏羲天气就是这篇论文推出的**“超级 AI 厨师”。它不再依赖复杂的物理公式推导，而是通过“学习”**来预测天气。

核心创新一：全都要，不挑食（全网格、全通道、全天空）

以前的 AI 厨师虽然聪明，但还需要老派大厨先做好“初稿”（初始条件）才能开始工作。而伏羲天气是端到端的，它直接生吞活剥原始数据。

• 比喻： 想象一下，以前的 AI 厨师只能吃老派大厨切好的菜丝；现在的伏羲天气，直接把整颗土豆、整条鱼扔进嘴里，连皮带骨一起嚼碎消化。
• 具体做法： 它直接读取三颗极地卫星（风云三号 E、Metop-C、NOAA-20）和全球导航卫星系统（GNSS）发回的原始亮温数据。不管是有云、没云、是晴天还是暴雨（全天空），不管是在地面还是高空（全表面），它都能“吃”进去。这是人类历史上第一次实现这种“全都要”的数据同化。

核心创新二：6 小时一次的“快速迭代”

• 比喻： 老派大厨做一顿饭要很久，而且一旦开始很难中途改主意。伏羲天气则像一个每 6 小时就重新审视一次菜单的超级管家。
• 运作模式： 它每 6 小时接收一次最新的卫星“食材”，迅速分析（数据同化），然后立刻预测未来 10 天的天气。它不需要等待超级计算机慢慢算，速度极快，成本极低。

核心创新三：在“荒岛”上也能做出美味（非洲表现优异）

这是最让人兴奋的一点。

• 比喻： 在非洲这样的“荒岛”上，老派大厨因为缺乏本地食材（地面观测站），做出来的菜很难吃。但伏羲天气是个**“卫星美食家”**，它不依赖地面食材，只靠天上的卫星“外卖”。
• 结果： 论文显示，在非洲中部等观测稀疏地区，伏羲天气的预测准确度竟然超过了欧洲中期天气预报中心（ECMWF）的顶级系统。这意味着，对于缺乏气象基础设施的发展中国家，伏羲天气能提供更精准的预警，拯救更多生命。

3. 它是如何学习的？（增量学习与微调）

为了让这个 AI 厨师越做越好，作者用了两个聪明的招数：

1. 回放式增量学习（Replay-based Incremental Learning）： 就像厨师每个月都要复习过去一年的食谱，并加入新学的技巧。因为卫星数据的质量会随时间变化（比如卫星老化），伏羲天气会每月重新训练一次，确保它永远适应最新的“食材”状况。
2. 微调（Fine-tuning）： 刚开始用新数据做“初稿”时，AI 可能有点不习惯。作者专门训练了一个“短程预测模型”来适应这种新数据，就像让厨师先做几道简单的菜练手，再做大餐，保证整体流程顺畅。

4. 总结：为什么这很重要？

• 打破垄断： 以前，只有像欧洲中期天气预报中心（ECMWF）这样拥有巨额资金和超级计算机的机构才能做出顶级预报。现在，伏羲天气证明，用更少的数据、更低的成本、更简单的 AI 模型，也能达到甚至超越顶级水平。
• 公平性： 它让那些买不起昂贵气象设备的国家，也能享受到世界级的天气预报服务。
• 未来展望： 这不仅仅是天气预报的胜利，更是人工智能解决复杂科学问题的里程碑。它告诉我们，未来我们不需要更贵的超级计算机，只需要更聪明的算法，就能更好地应对极端天气和气候变化。

一句话总结：
伏羲天气就像是一个不需要昂贵厨房、不挑食、每 6 小时就能自我进化的“超级 AI 大厨”，它利用卫星直接“生吃”原始数据，在非洲等“食材匮乏”的地区，做出了比传统顶级大厨更美味的“天气大餐”。

技术摘要

以下是关于论文《FuXi Weather: A data-to-forecast machine learning system for global weather》（FuXi 天气：一种面向全球天气预报的数据驱动机器学习系统）的详细技术总结：

1. 研究背景与问题 (Problem)

• 传统数值天气预报 (NWP) 的局限性： 传统的 NWP 系统依赖全球观测、数据同化 (DA) 和物理模型。尽管精度逐年提升，但其发展受到高昂计算成本、观测数据利用不足（通常仅使用 5%-10% 的可用数据）以及难以获得更高分辨率的制约。
• 全球预报能力的不均衡： 由于观测网络分布不均，富裕国家拥有更好的预报能力，而低收入国家（特别是非洲）的预报精度往往仅略高于气候平均值，难以应对极端天气和气候变化风险。
• 现有机器学习 (ML) 模型的依赖： 现有的先进 ML 天气模型（如 Pangu-Weather, GraphCast 等）虽然表现优异，但仍依赖 NWP 系统生成的初始场。这意味着它们无法摆脱对昂贵 NWP 同化系统的依赖，且难以在观测稀疏地区独立运行。
• 核心挑战： 如何构建一个端到端的机器学习系统，能够直接利用原始卫星观测数据进行循环数据同化 (Cyclic DA) 和预报，从而在减少计算资源消耗的同时，提高全球（尤其是观测稀疏区）的预报精度。

2. 方法论 (Methodology)

FuXi Weather 是一个端到端的机器学习系统，每 6 小时运行一次循环同化和预报周期。其核心架构包含三个主要部分：

A. 卫星数据预处理 (Satellite Data Preprocessing)

• 数据源： 整合了三颗极轨气象卫星（FY-3E, Metop-C, NOAA-20）上的 5 个微波辐射计仪器（MWTS-III, MWHS-II, AMSU-A, MHS, ATMS）的亮温数据，以及全球导航卫星系统 (GNSS) 的无线电掩星 (RO) 数据。
• 全天空同化： 系统实现了全网格、全表面、全通道、全天气（All-grid, All-surface, All-channel, All-sky）的同化能力，直接处理原始亮温数据，无需传统 NWP 中的复杂辐射传输算子。
• 稀疏数据处理： 针对 GNSS-RO 数据分布稀疏、非均匀的特点，采用了改进的 PointPillars 算法（源自 3D 点云处理），将离散的观测点映射到规则网格上。
• 掩膜技术： 使用掩膜（Mask）标记数据缺失区域，确保模型能区分有效观测和缺失值。

B. 数据同化模型 (FuXi-DA)

• 架构： 基于多分支神经网络架构，分别处理卫星观测数据和背景预报场（Background Forecasts）。
  • 观测分支： 6 个分支分别处理 5 个微波仪器和 1 个 GNSS-RO 数据源。
  • 背景分支： 6 个分支处理不同变量（地表和高层大气）的背景场。
• 融合机制： 利用“瓶颈融合”（Bottleneck fusion）和 U-Net 结构的下采样/上采样模块，在不同尺度上融合观测与背景信息，生成分析场（Analysis Fields）。
• 训练策略：
  • 增量学习 (Incremental Learning)： 采用基于重放（Replay-based）的策略，每月利用前一年的数据进行重训练，以适应卫星数据质量和数量的变化，防止灾难性遗忘。
  • 训练数据： 使用 ERA5 再分析数据作为真值（Ground Truth），训练集为 2022 年 6 月至 2023 年 6 月。

C. 预报模型 (FuXi Model)

• 级联结构： 使用微调后的 FuXi-Short 模型生成前 4 天预报，作为 FuXi-Medium 的初始条件，进而生成 10 天预报。
• 微调 (Fine-tuning)： 由于 FuXi-DA 生成的分析场精度略低于 ERA5，系统对 FuXi-Short 模型进行了微调，使其适应 FuXi-DA 的分析场作为初始条件，从而消除精度偏差。
• 循环运行： 系统每 6 小时（00, 06, 12, 18 UTC）利用最新同化结果启动一次新的预报循环。

3. 关键贡献 (Key Contributions)

1. 首个端到端 ML 同化与预报系统： FuXi Weather 是第一个实现利用原始卫星观测数据进行全天空、全网格、全通道循环数据同化，并直接输出全球天气预报的机器学习系统。
2. 超越 ECMWF HRES 的观测稀疏区表现： 在缺乏地面观测的地区（如中非、南美洲北部），FuXi Weather 的表现持续优于欧洲中期天气预报中心 (ECMWF) 的高分辨率预报 (HRES)。
3. 延长有效预报时效： 对于多个关键变量（如位势高度、温度、风场等），FuXi Weather 的有效预报时效（ACC > 0.6）超过了 ECMWF HRES。例如，500hPa 位势高度的有效预报时效从 9.25 天延长至 9.50 天。
4. 物理一致性验证： 通过单点扰动实验（Single observation tests），证实了系统对卫星观测的响应符合辐射传输理论（如亮温增加对应湿度降低），且分析增量随气流传播，证明了系统具备物理一致性。
5. 低成本与高效率： 相比传统 NWP 系统，FuXi Weather 显著降低了计算成本和开发门槛（无需复杂的观测算子和伴随模式），为提升欠发达地区的天气预报能力提供了可行方案。

4. 主要结果 (Results)

• 全球预报性能： 在 10 天预报周期内，FuXi Weather 在大多数变量和压力层上达到了与 ECMWF HRES 相当甚至更优的精度。
• 区域表现（中非）：
  • 在 850hPa 风场、2 米气温和平均海平面气压的预报中，FuXi Weather 在整个 10 天周期内均优于 ECMWF HRES。
  • ECMWF HRES 在该区域的有效预报时效仅约 2 天，而 FuXi Weather 保持了显著的技能。
  • 这证明了仅依靠卫星数据即可在观测稀疏区实现高精度预报。
• 数据同化效果： 引入背景预报场显著提高了分析场的精度。数据拒绝实验（Data denial experiments）表明，微波辐射计（MWTS, MWHS, ATMS）和 GNSS-RO 数据对预报精度贡献最大。
• 训练策略影响： 包含增量学习和微调的完整配置（Setting 1）表现最佳，显著优于无增量学习或无微调的配置。

5. 意义与展望 (Significance)

• 打破 NWP 垄断： 证明了纯数据驱动的机器学习系统可以独立于传统 NWP 进行高质量的业务化天气预报，挑战了"ML 模型必须依赖 NWP 初始场”的固有认知。
• 促进气候公平： 为缺乏地面观测基础设施的低收入国家提供了一种低成本、高精度的天气预报解决方案，有助于提升这些地区的气候适应能力和灾害预警水平。
• 技术范式转变： 展示了深度学习在解决非线性、高维数据同化问题上的巨大潜力，简化了传统同化系统中复杂的物理算子和误差协方差估计过程。
• 未来方向： 研究指出，未来可通过整合更多卫星数据、探空数据及雷达数据进一步提升地表变量精度，并探索直接从原始观测训练以减少对再分析数据（ERA5）的依赖，构建更独立的系统。

总结： FuXi Weather 代表了天气预报领域的一次重大技术突破，它成功将数据同化与机器学习预报整合为一个端到端的闭环系统，不仅在全球尺度上达到了顶尖水平，更在观测稀疏的关键区域实现了超越传统数值模式的性能，具有极高的科学价值和应用前景。