🤖 machine learning

Short-Term Electricity Demand Forecasting for New England Using a Hybrid Transformer-XGBoost Framework with Weather, Calendar, and COVID-19 Indicators

本文提出了一种用于新英格兰地区短期电力需求预测的 Transformer-XGBoost 混合框架，该框架尽管纳入了 COVID-19 指标并实现了高精度，但却表明此类流行病学特征最终通过放大对行为适应发生后过时的疫情模式的过拟合，从而降低了测试性能。

原作者： Reza Ghanavati, Behrooz Mosallaei

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Reza Ghanavati, Behrooz Mosallaei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图猜测明天整个新英格兰地区会消耗多少电量。这有点像是在预测一个巨大的、口渴的花园会喝掉多少水。你知道天气很重要（热天需要更多空调，冷天需要更多供暖），你也知道星期几很重要（人们在工作日比周末用电更多）。但如果整个世界突然发生了变化，比如在疫情期间，会发生什么呢？这就是这篇论文试图解决的谜题。

以下是研究人员所做的工作以及他们的发现的简单拆解，使用了日常生活的类比。

目标：预测电网的“口渴度”

电力是很棘手的，因为你无法将其储存在一个巨大的仓库里；你必须在人们需要的时候，精准地制造出等量的电力。如果你猜错了，灯光可能会闪烁，或者你会因为制造了没人使用的电力而浪费金钱。研究人员想要建造一个“水晶球”，以高精度预测新英格兰地区的每日电力需求。

配方：一个混合厨房

团队研发了一种新的方法，使用了一种“混合”方式。把它想象成一家有两个厨师协作的餐厅：

厨师 1（Transformer）： 这是一位擅长阅读故事的高科技 AI 厨师。它通过阅读过去 30 天的用电情况和疫情新闻（如病例数和死亡人数）来“阅读故事”。它非常擅长捕捉时间线中长期且复杂的模式，就像人类可以阅读一部小说并理解一个角色在许多章节中的心境变化一样。
厨师 2（XGBoost）： 这是一位非常敏锐、讲逻辑的厨师，他热爱表格和电子表格。他观察具体的统计事实：“今天是星期二”、“波士顿的气温是 40°F”、“昨天我们新增了 500 例病例”。他非常擅长根据硬性数据做出快速决策。

混合框架： 厨师 1 阅读故事并向厨师 2 交递一份总结笔记。随后，厨师 2 将这份总结与所有的硬性事实结合起来，做出最终的预测。研究人员希望这个团队的表现会比单独使用厨师 2 更好。

原料

为了做出预测，他们混合了许多不同的数据：

天气： 他们没有只看一个城市；他们检查了新英格兰地区六个不同城市（如波士顿、波特兰和伯灵顿）的天气，以获得完整的图景。
日历： 他们考虑了节假日、周末和季节。
疫情因素： 他们加入了有关 COVID-19 病例和死亡人数的数据，希望能捕捉到病毒如何改变了人们的行为习惯（例如居家办公）。
历史： 他们查看了昨天、上周和上个月发生的情况。

品尝测试：效果如何？

他们将他们的“混合厨房”与“单人厨房”（即没有 AI 故事阅读器的仅有厨师 2/XGBoost 的模型）进行了对比。

结果： 混合厨房在猜测所需电量的精确数值方面表现得略好一些。然而，当研究人员进行严格的统计检验（就像裁判检查得分差异是真实的还是仅仅靠运气）时，他们发现两个厨房基本持平。 混合模型在统计学上并不比简单的模型更好。
启示： 如果你拥有一份非常好的事实清单（天气、日历、历史），你并不一定需要那个花哨的 AI 故事阅读器来获得出色的结果。那个简单、讲逻辑的厨师几乎同样出色。

大惊喜：疫情这一“原料”

这篇论文中最有趣的部分是关于“疫情成分”（COVID-19 数据）所发生的事情。

疫情期间（训练阶段）： 当模型从 2020–2021 年的数据中学习时，疫情数据非常有用。它帮助模型理解为什么用电情况很奇怪（例如：办公室空了，家里却满了）。
疫情过后（测试阶段）： 当他们在 2022 年底和 2023 年初的数据上测试模型时，情况变得奇怪了。到那时，人们已经适应了病毒；大家回到了工作岗位，习惯也恢复了常态。
- 小故障： 模型认为疫情数据仍然非常重要。事实上，在测试阶段，它对疫情数据的依赖程度甚至比在学习阶段还要高！
- 类比： 想象一个学生学到了“下雨意味着没有足球练习”。他们在多雨的季节刻苦学习。但随后季节变了，天气晴朗，学生仍然执着地查看降雨预报，并因此取消练习。模型仍然在查看疫情数据，仿佛世界仍处于封锁状态一样。
- 后果： 因为模型一直在使用这些“陈旧”的信息，导致在包含疫情数据的情况下，混合模型的预测结果实际上比移除疫情数据时还要稍差。

最终结论

历史是王道： 预测电力最重要的单一因素是了解昨天和上周发生了什么。如果去掉它，模型会彻底失败。
天气是后冠： 了解温度和星期几是次重要的因素。
疫情是“有时效性”的原料： 关于 COVID-19 的数据仅在世界处于活跃封锁期间才是有用的。一旦人们适应了情况（到 2022 年年中），这些数据就变成了“噪音”。它不再有助于预测未来；它反而通过让模型误以为旧规则仍然适用，从而干扰了模型。

简而言之： 研究人员构建了一个运行良好的智能系统。他们发现，虽然精密的 AI 有所帮助，但一个拥有良好天气和历史数据的稳健逻辑模型几乎同样出色。最重要的是，他们了解到，当世界发生变化（如疫情）时，你要小心不要让模型陷入过去，继续使用那些不再适用的旧规则。

技术摘要：基于混合 Transformer–XGBoost 框架的新英格兰短期电力需求预测

1. 问题陈述

准确的短期电力需求预测是电力系统运营商进行实时调度、机组组合和能量市场出清的基础。虽然经典的统计方法（如 ARIMA）和现代机器学习方法（如 XGBoost、LSTM、Transformer）已被广泛应用，但由于在具有高度天气敏感性和结构性需求扰动的地区，预测仍然具有挑战性。

本研究针对新英格兰电力市场（ISO-NE）的具体挑战展开，该地区具有极端的季节性天气变化以及由 COVID-19 疫情（2020–2022 年）引起的结构性行为转变。研究识别出的一个关键差距是：随着行为适应过程从急性大流行阶段向后急性稳定阶段过渡，流行病学指标（病例数、死亡率）的预测价值存在不确定性。本文研究了一种结合了用于时间特征提取的深度学习与用于表格预测的梯度提升的混合架构，是否能比稳健的纯表格基准模型提供更高的精度，并探讨了流行病时期特征的效用如何随时间演变。

2. 方法论

数据与特征工程

研究使用了 2020 年 2 月 1 日至 2023 年 3 月 23 日期间新英格兰控制区的每日电力需求数据。特征工程流水线集成了：

气象观测： 来自代表新英格兰所有六个州的六个城市（波士顿、布里奇波特、伯灵顿、康科德、波特兰、普罗维登斯）的 16 个每日变量（最高/平均/最低温度、露点、湿度、风速、气压、降水量），产生了 96 个原始天气特征。
日历与季节指标： 包括节假日、周末、工作日和“桥接日”的二值标志，以及连续变量（周几、一年中的第几天和季节）。
自回归滞后项： 1 天、7 天、14 天和 30 天的需求滞后项，用于捕捉持续性和季节性。
流行病学指标： 衍生自 COVID-19 病例和死亡计数 8 个特征，包括原始每日计数、7 天和 14 天滚动平均值以及每日百分比增长率。

模型架构

所提出的框架采用了 Hybrid Transformer–XGBoost（混合 Transformer–XGBoost） 架构：

Transformer 编码器： 处理时间序列通道（8 个 COVID 特征 + 4 个需求滞后项）的滑动窗口（长度 $L=30$ ）。它利用正弦位置编码、4 个注意力头和两个编码器层来生成 32 维的时间嵌入向量。该组件旨在捕捉长程时间依赖关系和复杂的交互模式。
XGBoost 回归器： 接收 Transformer 嵌入向量与全量表格特征集（天气、日历、滞后项）的拼接作为输入。其配置为浅层树（ $max\_depth=3$ ）并辅以强正则化以防止过拟合。

训练与优化

数据划分： 采用严格的按时间顺序划分（70% 训练集、15% 验证集、15% 测试集）以确保没有时间泄漏。StandardScaler 仅在训练集上进行拟合。
超参数调优： 使用 Optuna 进行贝叶斯优化，通过具有多元树结构 Parzen 估计器（TPE）采样器的 500 次试验。MedianPruner 会提前丢弃无前景的试验。
评估指标： 均方根误差（RMSE）、平均绝对百分比误差（MAPE）和决定系数（ $R^2$ ）。性能差异的统计显著性通过带有 Harvey-Leybourne-Newbold 校正的 Diebold-Mariano（DM）检验进行评估。
可解释性： 使用 SHapley 加性解释（SHAP）来量化特征贡献并分析特征重要性的时间偏移。

3. 关键结果

预测性能

两种模型在留出测试集（2022 年 10 月 – 2023 年 3 月）上均实现了高精度：

混合模型： RMSE = 8,876 MWh，MAPE = 2.05%， $R^2$ = 0.906。
仅 XGBoost 基准模型： RMSE = 9,304 MWh，MAPE = 2.21%， $R^2$ = 0.896。

尽管混合模型的指标略好，但 Diebold-Mariano 检验（$DM = -1.126, p = 0.262$）证实，427.7 MWh 的 RMSE 差异在统计上与噪声无法区分。因此，两种架构在预测精度方面被认为是统计等效的。

特征重要性与消融实验

滞后项的主导地位： 自回归需求滞后项（尤其是 1 天滞后项）是最关键的特征。在两种模型中，移除这些特征都会导致测试集 RMSE 增加约 15–18%。
天气与日历： 这些特征本身解释了约 84–85% 的需求方差（ $R^2 \approx 0.84$ ）。
Transformer 嵌入： 移除 Transformer 嵌入使混合模型的测试集 RMSE 下降了 7.4%，证实它们捕捉到了真实的时间结构，尽管相对于表格基准模型的边际收益较为有限。
COVID-19 特征（不对称性）：
- 训练阶段： COVID 特征提高了训练精度（移除它们使 XGBoost-only 的训练 RMSE 增加了 2.5%）。
- 测试阶段： 其影响是不对称的。移除 COVID 特征改善了 XGBoost-only 的测试 RMSE（降低了 1.2%），但降低了混合模型的测试性能（RMSE 增加了 3.2%）。
- SHAP 分析： 一个关键发现显示，在后急性期测试集中，混合模型认为的 8 个 COVID 特征中，有 5 个特征的排名（被视为更重要）比在疫情活跃的训练阶段还要高。这表明模型过度应用了习得的流行病模式到行为已趋于常态化的时期，从而导致了系统的误判。

4. 重要性与结论

本文确立了虽然混合深度学习架构可以捕捉时间动态，但在拥有丰富的表格特征时，它们并不一定会比经过良好调优的梯度提升模型产生具有统计显著性的精度增益。

本研究的核心贡献在于识别了**时间有效性衰减（temporal validity decay）**作为预测误差的机制。研究表明，流行病学特征虽然在急性扰动阶段（2020–2021 年）信息量很大，但在后急性阶段（2022 年末–2023 年），由于将病毒传播率与电力需求联系起来的行为驱动因素（封锁、远程办公指令）已经消散，这些特征变成了具有误导性的噪声。

作者得出以下结论：

操作简约性： 在此背景下进行每日需求预测时，纯表格的 XGBoost 模型是一个具有竞争力的操作选择，它能提供与混合模型相似的精度，且实现复杂度更低。
特征生命周期管理： 一旦行为适应完成，应对流行病学特征进行时间限制或退役处理。在急性期之后依赖这些特征会导致对陈旧模式的过拟合，这一现象可以通过 SHAP 时间分析检测到，即特征重要性在上升，但预测效用却在下降。
行为驱动 vs. 病毒驱动： 研究阐明，对 COVID 的需求响应是由行为扰动而非单纯的病毒传播率驱动的；一旦行为常态化，即使病毒仍在循环，病例数与需求之间的相关性也会破裂。