🤖 AI

AirQualityBench: A Realistic Evaluation Benchmark for Global Air Quality Forecasting

本文介绍了 AirQualityBench，这是一个全球多污染物基准测试，旨在评估空气质量预测模型在覆盖不均和结构化缺失等现实条件下的表现，结果表明，在经清洗的数据集上取得的优异性能并不能可靠地迁移到碎片化的真实世界监测数据流中。

原作者： Xing Xu, Xu Wang, Yudong Zhang, Huilin Zhao, Zhengyang Zhou, Yang Wang

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Xing Xu, Xu Wang, Yudong Zhang, Huilin Zhao, Zhengyang Zhou, Yang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人预测天气。过去，科学家们使用“完美”的天气数据来训练这些机器人：干净、完整且整齐排列的电子表格，其中没有任何缺失的数字。这就像教一名学生在一条完美平滑、空无一车、没有红绿灯或坑洼的赛道上驾驶。

问题在于？现实生活并非赛道。真实的空气质量监测是混乱的。有些传感器会损坏，有些监测站相距甚远，而某些污染物比其他污染物更难追踪。当你把在一个完美赛道上训练出来的机器人放到颠簸的现实道路上时，它往往会撞车。

AirQualityBench 是一项全新的“驾驶考试”，旨在检验空气质量预测模型是否真的能够应对现实世界中混乱的局面。

以下是该论文如何用简单的类比进行拆解：

1. 问题：“净化”陷阱

目前大多数空气质量基准测试就像经过 Photoshop 处理的地图。

旧方法：如果某个传感器损坏且缺失了一天的数据，研究人员通常会用猜测来“填补空白”（例如在两点之间画一条直线）。他们还经常将所有数字转换为通用的“分数”（例如 0 到 100 的等级），以便于比较。
问题所在：这掩盖了真正的挑战。在现实世界中，数据缺失往往呈现特定的模式（例如，气体传感器的运行频率低于粉尘传感器），而且不同地点使用不同的单位进行测量（有些使用克，有些使用毫克）。通过“清洗”数据，研究人员实际上是在一个幻想世界中测试模型，而非真实世界。

2. 解决方案：“现实世界”健身房

作者创建了 AirQualityBench，它就像一个布满障碍物的健身房，而非平滑的跑步机。

规模：它非常庞大。它不仅仅关注一个城市，而是覆盖了全球 3,720 个监测站。
时间跨度：它追踪了 2021 年至 2025 年的数据。
混乱程度：他们没有填补缺失的数字。如果传感器损坏，数据会被标记为“缺失”。模型必须学会在缺乏所有过往信息的情况下预测未来。
真实单位：他们没有将所有数据转换为通用分数，而是保留了真实的物理单位（例如微克/立方米）。这意味着你看到的误差是模型在实际污染量上的偏差，而不仅仅是一个数学分数。

3. 六种“污染物”（角色）

该基准测试追踪六种不同类型的空气污染物，每种都像是一个拥有独特个性的角色：

PM2.5 和 PM10：这些是微小的粉尘颗粒。它们无处不在，拥有最多的数据。
O3、NO2、SO2、CO：这些是气体。它们更难追踪，数据中存在更多缺口（就像一个经常派对迟到的角色）。
挑战：模型必须同时预测这六种污染物，尽管其中一些比其他污染物更频繁地缺失数据。

4. 结果：谁真正通过了考试？

作者在这个新的、混乱的基准测试上测试了许多不同类型的 AI 模型（有些基于图结构，有些基于时间序列，有些基于注意力机制）。

令人惊讶的发现：那些在旧有的、干净的数据集上看起来像“明星”的模型，在这里往往表现挣扎。擅长在平滑赛道上预测，并不意味着它们能在颠簸的道路上驾驶。
获胜者：表现最好的模型是那些能够很好地处理碎片化数据的模型。它们不仅仅依赖华丽复杂的数学运算；它们足够稳健，能够说出：“我没有来自 A 站的数据，但我可以根据 B 站的数据和风向进行推测。”
权衡：论文发现了一个“金发姑娘”区间（Goldilocks zone）。最准确的模型通常非常庞大且缓慢（像一辆豪华卡车），而最快的模型往往不够准确（像一辆自行车）。适用于现实世界的最佳模型需要在“足够聪明以应对混乱”和“足够快速以在真实计算机上运行”之间找到平衡。

5. 为什么这很重要

将 AirQualityBench 视为一项压力测试。

在此之前，我们检查的是模型能否在拥有所有拼图碎片的情况下解决谜题。
现在，我们检查的是它们能否在半数拼图缺失、且剩余碎片形状大小各异的情况下解决谜题。

该论文得出结论：如果一个模型无法处理缺失的数据和现实世界的单位，那么它很可能尚未准备好被部署到现实世界中，以帮助城市管理空气质量。这一基准测试迫使研究人员构建的模型不仅要在实验室里“聪明”，还要足够“坚韧”以应对现实世界。

简而言之：AirQualityBench 阻止我们假装世界是完美的。它迫使 AI 学习如何在传感器损坏、数据缺失且单位令人困惑的情况下预测空气质量——就像现实生活一样。

技术摘要：AirQualityBench

问题定义

空气质量预测是一项复杂的空间 - 时间预测任务，受区域传输、气象条件、排放源以及异构监测覆盖范围的影响。尽管近期的深度时空模型在精心策划的区域数据集上取得了显著成果，但其进展所依赖的基准测试往往无法反映真实的部署条件。现有基准测试通常存在三个关键局限：

有限的空间范围：它们通常局限于单一城市或行政区域，割裂了行星尺度的传输模式，且无法测试模型在不同气候和地形条件下的可扩展性。
被净化的缺失数据：它们常采用人工干预（如线性插值、均值填补）来构建“干净”的数据张量。这偏离了“非随机缺失”（MNAR）的物理现实，制造了合成偏差，掩盖了模型在面对碎片化、真实世界观测流时的脆弱性。
薄弱的物理可解释性：它们依赖无量纲的归一化评估指标，模糊了预测误差的毒理学意义，导致实验室实验与环境监管要求之间存在差距。

识别出的核心障碍不仅仅是数据量的缺乏，而是缺乏一种能够考虑缺失观测、非均匀空间覆盖、特定污染物尺度以及计算成本的现实评估协议。

方法论：AirQualityBench

为了弥补这些差距，作者引入了AirQualityBench，这是一个全球多污染物基准测试，旨在评估模型在真实、碎片化条件下的预测能力。

数据集构建

规模与范围：该基准测试聚合了全球3,720 个居民监测站的小时观测数据，时间跨度为2021–2025 年。
污染物：涵盖六种主要污染物：PM2.5、PM10、O3、NO2、SO2 和 CO。
数据来源：原始数据从 OpenAQ 平台获取。应用了“居民监测站”筛选条件，仅保留在完整五年期间至少有一种污染物有效观测率高于 50% 的监测站。
真实缺失性：与以往工作不同，AirQualityBench 保留了提供者原生的观测掩码。它不对缺失值进行插补。相反，它使用二元掩码张量（ $M \in \{0, 1\}^{T \times N \times C}$ ）来标记有效观测，迫使模型直接从碎片化的历史流中进行推理。
物理尺度评估：该基准测试保留了提供者原生的单位元数据（例如，颗粒物的 $\mu g/m^3$ ，CO 的 $mg/m^3$ ）。预测值在计算误差前被逆转换回这些物理尺度，确保指标在真实世界浓度单位下具有可解释性。
图拓扑：使用 Haversine 距离构建标准化的球面 $k$ -NN 图，以考虑地球曲率，为基于图的基线模型提供可复现的空间先验。

实验协议

时间划分：数据按时间顺序划分，以测试对未见气候周期的泛化能力：2021–2023 年用于训练，2024 年用于验证，2025 年用于测试。
基线模型：作者评估了一组多样化的代表性时空模型，包括：
- 图递归/卷积方法（DCRNN, STGCN, GWN, AGCRN）。
- 基于注意力和 Transformer 的架构（ASTGCN, STTN, PDFormer, IGSTGNN）。
- 解耦和事件感知模型（D2STGNN, MAGE, BiST）。
公平性：所有模型均在相同的掩码协议下进行评估。缺失值通过归一化后的零填充处理，并在适用时提供显式的二元掩码输入。评估指标（MAE, MSE, RMSE, MAPE）仅在逆转换后针对有效的未来观测值进行计算。

主要贡献

全球多污染物基准测试：一个拥有 3,720 个监测站和六种污染物的地理多样化测试平台，能够评估超越区域限制的扩展性和跨区域异质性。
掩码感知的物理尺度评估：一种保留真实观测不完整性的协议，并在物理浓度尺度上报告误差，从而提供具有物理可解释性的指标，而非归一化残差。
统一基线与诊断：在相同的划分和掩码协议下对最先进模型进行全面评估，揭示了它们在特定污染物稀疏性和非均匀监测站覆盖下的行为。

结果与发现

在 AirQualityBench 上对代表性模型的评估产生了以下见解：

性能迁移：在净化的区域数据集上的强表现并不能可靠地迁移到全球碎片化的监测流中。
模型敏感性：具有显式时空依赖建模和解耦时空动态的模型（例如 D2STGNN, STTN）通常构成了最强梯队。然而，灵活的自适应或重注意力设计并不总能提升性能，这表明真实的缺失性和稀疏的非均匀图使得学习到的依赖关系难以被可靠估计。
时间规律性：基于时间卷积的方法仍然极具竞争力，特别是在更长预测视界下，这表明该基准测试保留了强烈的昼夜和季节性规律，可被稳定的时间骨干网络利用。
精度 - 效率权衡：该基准测试突显了一种明显的权衡。更高的精度通常需要大量的计算资源（内存和延迟），而轻量级模型往往在真实缺失性下牺牲预测质量。例如，一些紧凑模型会消耗大量内存，而另一些参数更多的模型则保持高效。

意义与主张

本文将 AirQualityBench 定位为时空模型的现实测试平台和压力测试，而非最终标准。其意义在于：

弥合差距：通过将模型暴露于决定真实传感网络可部署性的确切条件（缺失性、异质性、物理尺度），它将理论研究与现实部署连接起来。
诊断价值：它超越了简单的排行榜排名，提供了关于模型如何处理结构化缺失、特定污染物稀疏性以及扩展到非均匀全球网络成本的诊断见解。
可复现性：通过发布处理后的张量、真实掩码、监测站元数据和评估脚本，作者旨在确保报告的结果可从相同的预处理流程中复现。

作者总结道，AirQualityBench 为开发预测模型奠定了基础，这些模型不仅在净化的张量上准确，而且在碎片化的真实世界观测流中可靠，从而推动可扩展、掩码感知且具有物理可解释性的空气质量预测系统的发展。