Data Leakage Inflates Generalizability of Power Outage Prediction Models
本文表明，电力停电预测模型中常见的评估实践（尤其是随机训练-测试拆分）未能考虑到空间和时间自相关性，从而人为地夸大了模型的泛化能力，这揭示了这些模型在现实部署条件下往往缺乏实际应用价值，并且需要改进数据覆盖范围和评估协议，以解决结构性局限问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当风暴来袭时，灯火会熄灭。对于公用事业公司和应急响应人员来说，准确了解这些灯火何时何地会失效，关乎公共安全。停电会扰乱供水、通信网络和医院，使一个糟糕的天气日演变成可能持续数天甚至数周的危机。为了防止这种情况，科学家们在过去的十五年里一直在构建旨在预测这些停电情况的计算机模型。这些模型就像电网的气象预报员，利用风力、降雨、植被覆盖度和人口密度的数据，来推测哪些社区会失去电力。人们曾希望这些模型能从过去的风暴中学习，为未来的风暴做好准备，尤其是在气候变化使得极端天气更加频繁且剧烈的情况下。
然而，一项新的研究表明，我们对这些预测所持有的信心可能并不正确。来自多伦多大学和北卡罗来纳州立大学的研究人员调查了这些模型是否真的能够应对未知情况。他们发现，许多在科学文献中报道的令人印象深刻的成功案例，很可能是由测试方法中的缺陷造成的错觉。核心问题在于，这些测试通常让模型“使用了它不该拥有的信息”，从而使预测结果看起来比实际情况要好得多。当研究人员迫使模型面对真正的全新情况时——比如在一个它从未见过的州发生的风暴，或者一种它从未遇到过的风暴类型——其预测停电的能力就会崩溃，往往表现得并不比简单的猜测好多少。
研究人员将重点放在了美国东海岸，这是一个饱受飓风、冬季风暴和雷暴袭击的地区。他们收集了2018年至2023年的停电数据，将每一次报告的停电与天气条件和土地特征相匹配。为了测试这些模型，他们尝试了三种不同的方法来将数据分为训练组和测试组。第一种方法是目前大多数研究中使用的标准方法：随机洗牌。想象一下拿一副扑克牌，将其彻底混合，然后分出一半给模型进行学习，另一半用于测试。由于天气模式在空间和时间上是相互关联的，随机洗牌往往会将非常相似的天气或相邻的县同时放入学习组和测试组中。模型本质上是在“背诵”那个社区的情况，而不是学习风暴的规律。
第二种和第三种方法则严格得多。在第一种严格测试中，研究人员从训练数据中删除了整个州，并要求模型仅预测该州的停电情况。这模拟了这样一种场景：一个在某一地区训练的模型被部署到了一个完全陌生的新区域。在第二种严格测试中，他们从训练数据中移除了一整个风暴事件，要求模型预测一场它从未见过的特定飓风或冬季风暴的影响。这些测试模拟了现实世界的情况，即公用事业公司可能会面临一个在全新地点发生的、新型类型的灾难，而该地点此前并无相关历史记录。
当模型使用随机洗牌法进行测试时，表现良好，解释了大约45%的停电百分比变化。这一结果与以往研究声称的结果一致。但当研究人员应用更严格的测试时，性能却大幅下降。在州际测试中，模型的表现往往并不比“零模型”（null model）好，零模型是一个仅简单地每次都猜测该地区平均停电次数的基准模型。在预测失去电力的绝对客户数量方面，模型在几乎所有案例中都未能超越这个简单的猜测。即使是对于预测受影响的客户百分比，模型的表现也十分挣扎，其准确性因州或风暴的不同而产生剧烈波动。
研究还探讨了使用先进的人工智能是否能解决这个问题。研究人员尝试将来自一个强大的基础模型 Prithvi WxC 的“嵌入”（embeddings）输入到模型中。该模型经过全球天气数据的训练，旨在理解复杂的层级模式。人们曾希望这种高科技方法能帮助模型更好地进行泛化。虽然基础模型在某些空间测试中确实带来了轻微的改进，但它并未解决根本问题。当面对新的风暴事件时，先进模型的表现与简单的模型一样糟糕，在某些情况下甚至表现得更差。研究人员发现，基础模型数据的极高复杂性实际上让模型更难学习针对新事件的具体模式，导致了“过拟合”，即模型只是记住了训练数据，而非理解了底层的物理机制。
研究结果表明，现有的这一代基于公开数据训练的停电预测模型，在现实世界的灾难规划中价值有限。这些模型的失败并非因为缺乏复杂的算法，而是因为它们用于训练的数据中缺乏足够多样化的极端事件样本，无法教会它们如何处理未知情况。风暴与停电之间的关系并不是一个适用于任何地方的简单规则。在佛罗里达州击倒电力的飓风，其行为方式与在新泽西州发生的冬季风暴截然不同，而一个针对其中一种情况进行训练的模型，无法轻易预测另一种情况。研究指出，如果不对数据覆盖范围、测试方法进行改进，并且不转向摆脱仅仅试图从现有数据集中榨取边际改进的现状，这些模型在保护社区免受下一次大风暴影响这一关键任务中，将始终难以可靠。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。