🤖 machine learning

Scaling Laws of Global Weather Models

本文分析了全球天气模型中的经验缩放法则，揭示了通过优先考虑更宽的架构和更大的训练数据集，而非更深的模型或更高的参数量，可以实现性能最大化，且在固定预算下，计算最优策略倾向于数据扩张。

原作者： Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuejiang Yu, Langwen Huang, Alexandru Calotoiu, Torsten Hoefler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机预测天气。几十年来，科学家们一直使用复杂的物理方程来模拟大气层，就像运行一个巨大的虚拟风洞。但最近，一种新的方法出现了：不再使用物理学，而是使用“数据驱动”模型。这些模型就像是超级聪明的学生，通过阅读数百万页的历史天气报告来学习如何预测天气。

这篇论文就是这些“学生”的学习指南。研究人员提出了这样一个问题：“如果我们给这些研究天气的计算机更多的脑力（参数）、更多的教科书（数据）或更多的学习时间（计算量），它们到底能变得多强？”

他们测试了五种不同的“学生”（模型分别命名为 Aurora、GraphCast、Pangu、SFNO 和 AIFS），以观察它们如何进行规模化扩展。以下是他们的发现，用简单的语言进行了解释：

1. “更多数据”法则：Aurora 是最好的读者

在语言模型（如编写文章的模型）的世界里，增加更多数据会有帮助，但存在极限。研究人员发现，对于天气模型来说，更多的数据是一种超能力，但有些模型比其他模型更擅长阅读。

类比： 想象两个正在参加考试的学生。一个（GraphCast）非常聪明，但只读了几本书。另一个（Aurora）是一个贪婪的读者。
发现： 当他们将训练数据的量增加 10 倍时，Aurora 的预测能力提升了巨大 amount（高达 3.2 倍）。它是将原始数据转化为天气知识效率最高的模型。其他模型也有所进步，但没有那么显著。

2. “大脑容量”法则：GraphCast 是高效的天才

研究人员还观察了每个模型为了变得优秀需要多少“脑力”（参数）。

类比： 把模型大小想象成图书馆的大小。GraphCast 就像一个微型图书馆，却不知为何掌握了它需要知道的一切知识。它极其高效；它不需要一座宏大的建筑来储存知识。
发现： GraphCast 是最“参数高效”的。它能以相对较小的模型规模取得出色的结果。然而，这里有一个陷阱：虽然它很聪明，但由于其处理信息的方式（就像一个思考非常深入但动作缓慢的天才），它在计算机上运行起来很慢。

3. “形状”的惊喜：宽而浅更好

这是最大的惊喜。在语言模型（如聊天机器人）的世界里，让模型变得更“深”（增加更多的思考层）通常会有所帮助。但对于天气预报，深度不如宽度重要。

类比： 想象建造一座房子。
- 深：建造一座有 50 层楼的摩天大楼，但每层只有一个房间。
- 宽：建造一座只有 2 层楼、但每层有 50 个房间的平房。
发现： 对于天气预测，宽阔的房子胜出。研究人员发现，拥有更多“宽度”（同时进行的更多处理能力）的模型比拥有更多“深度”（更长的思考链）的模型表现更好。即使是只有一两层“思考”的模型，表现也出奇地好。事实证明，预测未来 6 小时的天气，更多在于拥有对全局的广泛视野，而不是进行许多细小的、深度的步骤。

4. “预算”策略：让它们学得更久，而不只是变得更大

如果你有一笔固定的资金（或计算能力）可以支配，你应该如何分配？是买一个更大的大脑（更多参数），还是买更多的教科书（更多数据）？

类比： 你有一笔给学生的预算。你是雇佣一位更大的教授（更大的模型），还是让现有的教授在图书馆里学习更多的年份（更多数据）？
发现： 论文指出，给它们更多的数据并让它们学得更久。 在固定预算下，训练一个在海量数据上学习的稍小模型，要比在少量数据上训练一个巨大的模型更好。天气模型的“甜点位”是优先考虑数据量而非模型大小。

5. 并非所有变量都是平等的

研究人员还注意到，模型在不同事物上的进步速度并不一致。

类比： 想象一个数学极好但历史很差的学生。
发现： 一些天气变量（如风速）的改善情况与其他变量（如温度）不同。一个模型可能在预测风速方面表现出色，但在预测温度方面仅表现“尚可”。这意味着你不能只看一个总分；你必须检查模型如何处理每一个具体的组成部分。

6. “硬件”现实检查

最后，论文观察了这些模型在真实计算机上运行得如何。

类比： 法拉利引擎（GraphCast）可能动力十足，但如果它被困在交通堵塞中（硬件使用效率低下），它就不会跑得快。一辆可靠的卡车（Aurora）可能不是法拉利，但它行驶顺畅且能高效利用道路。
发现： Aurora 在使用计算机硬件方面极其高效（使用了 GraphCast 约 36 倍的计算机潜力）。GraphCast 虽然聪明，但在使用计算机资源方面非常浪费。这表明，对于实际应用，一个在硬件上“高效”的模型与一个“聪明”的模型同样重要。

总结

如果你想根据这篇论文构建最好的天气预报器：

宽而浅，而非深而窄： 构建宽阔和平坦的模型，而不是高而窄的模型。
喂养数据： 优先考虑给模型提供更多的训练数据，而不是把模型本身做大。
挑选你的冠军： Aurora 擅长从数据中学习并高效利用计算机能力。GraphCast 擅长保持大脑尺寸的小巧与高效，但它在计算机上运行缓慢。
关注细节： 不要只看平均分；要检查模型如何处理风或温度等特定事物，因为它们的行为方式不同。

技术摘要：全球天气模型的缩放法则

问题陈述

数据驱动模型正在迅速改变天气预报领域，然而该领域仍缺乏对模型性能如何随关键资源变化的系统性理解。虽然缩放法则已成功指导了大型语言模型（LLM）和视觉模型的发展，建立了验证损失（ $L$ ）与模型大小（ $N$ ）、数据集大小（ $D$ ）及计算预算（ $C$ ）之间的幂律关系，但其在全局天气模型中的适用性尚未得到验证。

天气预报呈现出不同于自然语言处理（NLP）和视觉任务的独特挑战：

物理约束： 大气是一个具有内在预测极限的混沌系统。
变量异质性： 模型必须预测数百个相关但物理特性各异的变量（例如温度、风速、气压），且这些变量的预测难度各不相同。
架构多样性： 当前最先进的模型采用了多种不同的骨干网络（Transformer、图神经网络、傅里叶神经算子），目前尚不清楚缩放行为在这些架构之间是否保持一致。

本文旨在解决刻画这些缩放法则的紧迫需求，以优化资源分配并指导下一代天气模型的发展。

研究方法

作者进行了首次跨模型的全球天气预报缩放分析，基准测试了五种最先进的模型：Aurora、GraphCast、AIFS、Pangu 和 SFNO。

实验设置

数据： 所有模型均通过 WeatherBench 2 在 ERA5 再分析数据集（训练集为 1979–2020 年，验证集为 2021 年）上进行训练和评估。
标准化： 为确保公平比较，作者实施了严格的统一化标准：
- 相同的输入/输出变量（位势高度、温度、风分量、湿度等）。
- 一致的空间分辨率（ $0.25^\circ \times 0.25^\circ$ 全球网格）。
- 统一的验证损失函数（按标准差和网格面积进行加权归一化的 MSE）。
- 一致的超参数微调（学习率搜索、优化器设置），以确保训练动态的稳定性。
变量： 研究系统地改变了以下变量：
- 模型大小 ( $N$ )： 通过调整宽度（嵌入维度）和深度（层数/块数）来实现。
- 数据集大小 ( $D$ )： 通过在总数据量（范围从 ~3 TB 到 90 TB）的子集上进行训练来实现。
- 计算预算 ( $C$ )： 通过关系式 $C \approx N \times D$ 进行分析（并针对特定架构进行模型调整）。

分析框架

作者拟合了如下经验幂律形式：

$L(D) = \alpha D^{-\beta}$ （数据缩放）
$L(N) = \gamma N^{-\delta}$ （参数缩放）
$L(C) = \lambda C^{-\epsilon}$ （计算缩放）

他们还研究了计算最优训练（在固定 $C$ 的情况下， $N$ 与 $D$ 的最佳权衡）并分析了模型形状（宽度 vs. 深度）以及特定变量的性能。

核心贡献与结果

1. 数据缩放效率 ( $\beta$ )

研究证实，所有模型的验证损失都遵循与数据集大小相关的幂律关系。

Aurora 表现出最强的数据缩放行为，系数 $\beta \approx 0.51$ 。将训练数据集增加 $10\times$ ，验证损失最高可降低 $3.2\times$ 。
GraphCast 的 $\beta$ 最低（ $\approx 0.36$ ），表明与 Aurora 相比，它从大规模数据增长中获得的收益较少。
启示： Aurora 是利用更大数据集进行缩放的最有效模型，而像 Pangu 这样的模型则存在阈值效应，即只有在具备足够数据量时，参数缩放才会变得有效。

2. 参数效率与硬件利用率

GraphCast 展示了最高的参数效率（在给定 $N$ 下损失最低），但面临严重的硬件利用率问题。在 H100 GPU 上，由于其 GNN 架构中受内存限制的消息传递操作，GraphCast 仅能利用单精度峰值性能的 1.03%。
Aurora 实现了 37.2% 的 GPU 利用率（约为 GraphCast 的 $36\times$ ），这得益于其基于 Transformer 的注意力机制，该机制更易于针对现代硬件进行优化。
结论： 理论上的参数效率并不保证实际部署的效率；工程优化和硬件利用率是至关重要的因素。

3. 模型形状：宽度 vs. 深度

与 NLP 中的发现（即在固定 $N$ 时，性能对形状基本不敏感）相反，天气模型表现出对宽度优于深度的强烈偏好。

在所有五种模型中，在参数量相同的情况下，较宽的配置始终比较窄且较深的配置实现更低的验证损失。
深度饱和： GraphCast 和 SFNO 即使在深度为 1 时也能表现良好，这表明 6 小时天气预报的动力学过程可以很好地由线性模型或浅层架构进行近似，而深层的非线性堆叠带来的收益递减。
建议： 未来的模型应优先考虑增加宽度（表征能力），而非深度。

4. 计算最优分配

在固定计算预算下，天气模型的最佳策略不同于标准的 NLP 缩放规则（ $N \propto C^{0.73}, D \propto C^{0.27}$ ）。

分析表明，将资源分配给增加训练数据集 ( $D$ ) 比增加模型大小 ( $N$ ) 能带来更大的性能提升。
对于固定的 $C$ ，训练较小的模型并进行更长时间的训练（更多步数）比训练一个数据量不足的大型模型更为有效。

5. 变量特异性异质性

缩放行为在不同的大气变量之间并不统一。

Aurora 在 10 米 $u$ 分量风速（10U）方面达到了最低 RMSE。
GraphCast 在 2 米温度（2T）方面表现优于其他模型，尤其是在较小的参数量下。
意义： 单一的加权验证损失仅是一个粗略的指标。不同变量的缩放行为不同，这意味着模型设计可能需要针对特定的物理场进行定制或混合。

重要性与主张

本文声称提供了第一个关于大气预测缩放法则的定量框架，揭示了天气模型与语言模型之间的根本差异。

架构转变： 关于天气模型偏好宽度而非深度的发现，挑战了源自 NLP 的主流 Transformer 中心化设计模式。
资源策略： 研究认为，对于实际的天气预报，优先级应该是更大的有效训练数据集和更宽的架构，而不仅仅是扩大模型参数规模。
工程现实： 本研究强调，理论缩放法则必须结合硬件利用率的现实情况来审视。一个具有优越理论缩放能力的模型（如 GraphCast）可能在实际应用中不如一个理论缩放效率稍低但硬件利用率极高（如 Aurora）的模型实用。
未来方向： 作者建议，未来的天气模型应优先考虑更宽的架构和更大的数据集，以最大化预测性能，同时也承认为了充分利用缩放改进，可能需要进行变量特定的微调。

文章总结道，尽管不同天气模型之间的缩放法则具有可预测性，但具体的系数和最优策略（宽度 vs. 深度，数据 vs. 参数）是具有领域特定性的，并与 NLP 领域有所不同。