A harmonised dataset for Earth system foundation models
本文介绍了 WorldTensor，这是一个协调一致的全球数据集，它将多样化的环境与社会经济变量对齐到标准化的 0.25° 网格和年度框架上，旨在为训练能够捕捉人类-环境耦合动态的多模态地球系统基础模型提供支持。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，地球就像一台巨大且复杂的机器，拥有两个主要引擎：一个是自然世界（天气、海洋、森林），另一个是人类世界（城市、农场、发电厂、经济）。长期以来，科学家们一直在构建“超级大脑”（称为基础模型）来理解这些引擎是如何运作的。然而，一直存在一个重大问题：这些超级大脑所摄取的资料仅限于关于自然引擎的数据。它们了解关于降雨和风的一切，但对于人类如何建造城市、消耗燃料或转移资金却几乎是盲目的。
这篇论文介绍了 WorldTensor，这是一个旨在修复这一盲点的庞大全新“说明书”。请将 WorldTensor 视为不仅仅是一本书，而是一个巨大且组织极其完美的图书馆——在这里，关于地球的每一项事实——从一滴雨滴到一座工厂的烟囱——都写在同一种类型的纸上，使用同一种语言，并存放在同一个抽屉里。
以下是该论文的拆解说明：
1. 问题所在：混乱的拼图堆
在 WorldTensor 出现之前，试图同时研究地球和人类就像是在尝试解决一个拼图，其中一半碎片来自海洋的图像，另一半来自城市的图像，但它们的尺寸、形状各异，且印刷在不同的语言上。
- 有些数据是每日更新的（如天气）；有些则是每隔几年才更新一次（如人口统计）。
- 有些数据是正方形网格（如地图）；有些只是点状列表（如发电厂的位置）。
- 有些地图使用不同的坐标系统，导致无法将它们对齐。
科学家们必须花费数月时间仅仅是为了清洗和对齐这些数据，然后才能开始他们的研究。
2. 解决方案：“WorldTensor”图书馆
作者创建了 WorldTensor，这是一个协调统一的数据集，充当了通用翻译器和总调度员的角色。
- 网格化： 他们将数百个不同的数据源强制统一到一个标准的网格上（0.25度，大约相当于一个大型街区的规模）。想象一下，你把一张高分辨率照片、一张素描和一份数字列表，全部打印在完全相同的坐标纸上，使它们能够完美对齐。
- 时间标准化： 他们将时间标准化为年度节奏。如果某个来源是每日数据，他们会将其汇总为年度平均值。如果某个来源每 5 年才有一份数据，他们会填补其中的空白，以形成一条平滑的年度时间线。
- 内容构成： 这是一个“多模态”的混合体。它不仅包含天气，还包括：
- 自然： 海洋、冰层、土壤、森林和空气质量。
- 人类： 人口、GDP（财富）、发电厂、道路，甚至冲突区域。
- 融合： 人类如何改变自然（如砍伐森林），以及自然如何影响人类（如洪水袭击城市）。
3. 它是如何构建的（厨房类比）
把数据源想象成来自不同市场的原材料。有些是新鲜的鱼（每日天气），有些是干豆子（年度普查），有些是香料（工厂的点位）。
- 重采样（Regridding）： 他们将“鱼”切成与“豆子”大小相同的块。
- 栅格化（Rasterizing）： 他们将“香料”（地图上的点）铺展开来，使其看起来像是在网格上均匀撒开的一层调料。
- 标准化（Standardizing）： 他们确保每种原料都使用相同的单位进行测量（例如将杯转换为克），并进行了清晰的标注。
- 质量控制： 他们检查了原料是否变质。如果某个数值在物理上是不可能的（例如地球温度为 500°C），他们会进行标记。他们还检查了“地图”是否存在边缘不匹配导致的撕裂或缝隙。
4. 它是什么样子的
论文显示，这个数据集规模宏大。它包含了涵盖 1900 年至 2025 年 的超过 52,000 个文件。
- 它包括 14 个不同的“部门”（如气候、能源、人类系统、灾害）。
- 它允许计算机观察到排放量（人类）的变化如何与空气质量（自然）的变化相关联，或者城市化（人类）如何与洪水风险（自然）相关联。
5. 为什么这很重要（“超级大脑”训练）
WorldTensor 的主要目标是训练基础模型。
- 之前： 超级大脑学会了预测天气，但并不理解建造一座大坝会改变河流的流量，或者一场战争会停止人们耕作。
- 现在： 有了 WorldTensor，超级大脑可以学习耦合动力学（coupled dynamics）。它可以学习人类行为与自然力量如何在全求尺度上相互推动和拉扯。
论文通过展示数据有效性来验证这一点。当他们针对真实的历史事件（如 1997 年厄尔尼诺现象或 2020 年大流行病）进行测试时，数据正确地显示了温度、排放量和冲突的激增与下降。这证明了该“图书馆”是准确的，并且已经准备好供计算机读取。
总结
WorldTensor 是一个庞大、洁净且组织有序的数据集，它终于将“人类”和“地球”这两个引擎放在了同一页上。它将混乱、不匹配的地图和数字变成了一幅关于我们星球的连贯图像，使人工智能终于能够学习我们是如何在地球上生存并与地球共生的，而不仅仅是孤立地研究地球。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。