Preregistered External Validation of Spatially Valid Conformal Prediction for Air-Pollution Exposure Mapping in China

显示空气污染程度的地图是公共卫生的重要工具。它们帮助医生理解人们为何生病，指导政府在哪里建设医院，并告知家庭何时应留在室内。但一张地图的好坏取决于它对其自身误差的诚实程度。如果一张地图声称自己很精确，实际上却在进行大幅度的猜测，那么它可能会导致危险的决策。多年来，科学家们一直难以为这些污染地图设定一个可靠的“误差范围”，尤其是在像中国这样广阔且不断变化的景观中。挑战不仅在于预测污染水平，还在于知道该预测应该有多少信心。这正是被称为“符合预测”（conformal prediction）的一种统计方法发挥作用的地方。可以将它想象成一种为预测构建“安全网”的方法，它能保证真实值在特定百分比的时间内落在该网内，而无需假设数据遵循某种整齐、可预测的模式。

一位研究人员最近对这种新型、先进的“安全网”进行了测试。他们将重点放在了中国，这是一个拥有31个省份且空气质量变化剧烈的国家。他们的目标是观察这种新方法能否准确绘制出被称为PM2.5的细颗粒物地图，这是导致过早死亡的主要原因。他们并没有只运行一次数字；他们在查看数据之前设计了一个严格的、预先批准的计划，以确保结果不会受到其预期结果的影响。他们将这种新的空间方法与标准的机器学习技术进行了对比，使用了从1998年到2024年的二十七年数据。研究揭示了性能上的明显分歧：当挑战在于覆盖不同的地理区域时，新方法表现得非常出色；但当挑战在于预测随时间的变化时，它却遇到了困难。

研究人员首先使用了一个涵盖中国每个省份在1998年至2024年间的大型数据集。这些数据包括人口加权后的PM2.5浓度，这告诉我们一个省份的平均人实际上呼吸了多少污染。他们还收集了每日天气数据（如温度和降雨量），以帮助解释污染模式。为了测试他们的想法，他们设置了两种不同的场景。在第一种场景中，他们尝试利用所有其他省份的数据来预测某一个省份的污染情况。这测试了处理空间的能力。在第二种场景中，他们尝试利用过去的数据来预测最近几年的污染情况。这测试了处理时间的能力。他们设定了一个明确的目标：他们的模型在90%的情况下应该是正确的。

当研究人员在空间维度上测试该方法时，结果令人印象深刻。这种新型的空间有效符合预测方法成功捕捉到了87.3%的情况下的真实污染水平，恰好落在其目标范围内。这意味着，当他们绘制一个从未见过的省份的不确定性地图时，真实的污染水平几乎总是在预测范围内。相比之下，他们用于对比的标准机器学习方法在同样的测试中表现糟糕，正确率不到一半。新方法证明，通过考虑一个地方的污染如何与相邻地方的污染相关联，它可以构建一个更加可靠的安全网。研究人员还检查了这种可靠性是否是以使安全网变得过宽而失去意义为代价。他们发现，区间与标准方法一样紧凑，这证明了其准确性并非通过过度谨慎换来的。

然而，当研究人员在时间维度上测试该方法时，情况发生了变化。当他们试图仅利用2020年以前的数据来预测2020年至2024年的污染水平时，成功率下降到了79.4%。这低于他们的目标，意味着在该特定背景下，该方法对于预测未来并不可靠。研究人员将这一失败归因于中国空气质量的剧烈转变。在2017年之后，一场大规模的政府治理空气运动导致污染水平大幅下降。由于模型是基于污染水平较高的旧数据进行训练的，它无法预见这种突然的变化。它根据过去的情况持续预测高污染水平，而现实情况却要清洁得多。因此，它构建的安全网中心点偏高，未能涵盖实际较低的数值。这种失败并非在全国范围内均匀分布；在东部地区最为严重，因为那里的污染下降最为剧烈，而其他地区的状况则相对稳定。

研究还强调，目前许多研究人员使用的标准机器学习方法并不是万能灵药。虽然它产生了非常窄的区间，暗示着高精度，但这些区间出错的频率实在太高了。在空间测试中，标准方法的正确率仅为48.6%，这意味着它有一半以上的时间都是错误的。这表明，依赖这些标准工具制作空气质量图可能会给人一种虚假的安全感。相比之下，新方法在广袤的中国地理空间内保持了其完整性，即使在最困难的地区也能正确识别不确定性。研究人员指出，该方法在中国的七个主要区域表现一致，仅北部和东部显示出略低的成功率，但在空间测试中仍处于可接受范围内。

这项工作最重要的方面之一是其进行的严谨性。研究人员在进行任何计算之前，就写下了他们的整个计划，包括他们将如何拆分数据以及哪些数字将被视为成功。这防止了他们为了让结果看起来更好而对结果进行微调。他们还公开了所有的代码和数据，允许任何人核查他们的工作。这种透明度在科学研究中是罕见的，但对于建立研究发现的可信度至关重要。研究证实，虽然这种新方法是绘制污染地图的强大工具，但它并不是预知未来的水晶球。它最适用于环境相对稳定的情况，但无法预测那些会使污染格局在一夜之间发生改变的政策或排放方面的突发性、大规模变化。

这些发现的意义对于任何依赖空气质量图的人来说都非常重大。对于公共卫生官员和研究人员，这项研究提供了一条清晰的路径：利用空间有效的模型来了解哪里污染严重以及测量存在多少不确定性，但不要假设这些地图能准确预测明年会发生什么。这项研究提醒我们，在一个快速变化的世界里，我们衡量环境的工具不仅要测试它们对过去的拟合程度，更要测试它们能否诚实地承认自身的局限性。通过将这种新的统计方法与严格、透明的测试协议相结合，研究人员提供了一种更诚实的方式来可视化我们呼吸的空气，确保我们用于保护健康的地图是建立在经过验证的可靠性基础之上，而非基于希望的猜测。