⚡ electrical engineering

Benchmarking State Space Models, Transformers, and Recurrent Networks for US Grid Forecasting

该论文通过在美国六个电网的负荷、可再生能源及电价预测任务上的全面基准测试，揭示了不同数据环境（如是否包含气象数据）下状态空间模型、Transformer 及循环神经网络的性能差异，并为电网运营商提供了基于具体数据场景选择最优预测架构的实用指南。

原作者： Sunki Hong, Jisoo Lee, Yuanyuan Shi

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sunki Hong, Jisoo Lee, Yuanyuan Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“电力预测界的超级碗”**。

想象一下，美国的电网（给千家万户供电的大网）就像是一个巨大的、复杂的交响乐团。乐团指挥（电网操作员）需要精准地预测明天、后天甚至一周后，大家会消耗多少电。如果预测错了，要么电不够用导致停电，要么电太多浪费钱。

为了预测得准，科学家们开发了很多种“超级大脑”（深度学习模型）来帮忙。这篇论文就是要把目前最火的五种“超级大脑”拉到一个擂台上，在六个不同的美国电网地区，进行一场公平、严格的大比武。

1. 参赛选手是谁？（五种“大脑”）

这五位选手代表了三种不同的“思考方式”：

老派稳健派 (LSTM)： 就像一位经验丰富的老会计。他一步一步地看数据，虽然有点慢，但很稳，是过去十年的行业标准。
状态空间模型 (SSM: PowerMamba, S-Mamba)： 就像一位拥有“瞬间记忆”的速记员。他们能非常高效地记住长长的历史数据，而且计算速度极快，像闪电一样。
Transformer 家族 (PatchTST, iTransformer)： 就像两位拥有“上帝视角”的分析师。
- PatchTST 擅长把时间切成小块（像切披萨一样），一块一块地分析，非常擅长捕捉像“日出日落”这样有规律的节奏。
- iTransformer 则擅长**“搞关系”**。它不看时间，而是看“变量”之间的关系。比如，它会思考：“现在的温度”和“现在的用电量”之间有什么联系？

2. 比赛规则是什么？

场地： 美国六个不同的电网（有的像加州，太阳能多；有的像德州，天气极端；有的像纽约，城市负荷复杂）。
任务： 预测未来 24 小时到 168 小时（一周）的用电量。
两种模式：
1. 只看历史： 只给模型看过去的用电数据（就像只给厨师看昨天的菜单）。
2. 看天气： 额外给模型看温度、湿度、风速等天气数据（就像给厨师看明天的天气预报）。

3. 比赛结果大揭秘（核心发现）

这篇论文最有趣的地方在于：没有绝对的“冠军”，只有“最适合”的选手。 这就像你不能说“锤子”一定比“螺丝刀”好，得看你是在钉钉子还是拧螺丝。

情况一：如果只给“历史数据”（不看天气）

冠军： PatchTST 和 状态空间模型 (SSM) 表现最好。
原因： 用电习惯通常很有规律（比如早上大家起床用电，晚上回家用电）。PatchTST 这种擅长抓“节奏”的模型，加上 SSM 这种记忆力好的模型，能把这些规律摸得透透的。
落败者： iTransformer 表现一般。因为它是个“社交达人”，如果只给它看“用电量”这一种数据，它没法搞“关系”，就像让一个擅长聊天的外交官去独自解数学题，发挥不出特长。

情况二：如果给“历史数据 + 天气数据”

大反转！ 排名完全变了。
新冠军： iTransformer 突然爆发，进步巨大！
原因： 一旦有了温度数据，iTransformer 就能立刻发现：“哦！原来今天这么热，大家空调开得多，用电量会飙升！”它擅长把“天气”和“用电”这两个变量联系起来。它的提升幅度是 PatchTST 的3 倍！
结论： 如果你能拿到准确的天气预报，iTransformer 是首选；如果你没有天气数据，就选 PatchTST 或 SSM。

情况三：预测其他东西（太阳能、风能、电价）

太阳能（像太阳一样有规律）： PatchTST 再次完胜。因为太阳升起落下非常有规律，切块分析最准。
风能和电价（像过山车一样乱）： 状态空间模型 (SSM) 表现更好。因为风忽大忽小，价格忽高忽低，没有固定节奏，需要那种能灵活适应混乱的“速记员”来捕捉瞬间变化。

4. 给电网操作员的“避坑指南”

这篇论文给实际工作者（电网操作员）总结了三条黄金法则：

看菜吃饭（看数据选模型）：
- 如果你只有历史用电数据，别用 iTransformer，选 PatchTST 或 SSM。
- 如果你能拿到天气预报，赶紧换上 iTransformer，或者用加了天气功能的 SSM，准确率会大幅提升。
别被“极端天气”骗了：
- 很多人以为天气越极端（比如德州夏天特别热），加天气数据就越有用。
- 但研究发现，如果电网本身很大、很复杂（比如 PJM 电网），各地的天气互相抵消了，加天气数据反而提升不大。
- 真正提升大的地方，是那些孤立的小电网（比如德州 ERCOT）或者冬天特别依赖电暖气的地方（如新英格兰 ISO-NE）。在这些地方，天气数据是“救命稻草”。
没有万能药：
- 不要试图用一个模型解决所有问题。预测太阳能要用一种模型，预测电价要用另一种，预测用电量又要换一种。

总结

这就好比买鞋子：

如果你要在平坦的柏油路（规律用电）上跑，穿跑鞋（PatchTST）最好。
如果你要在崎岖的山路（乱变的风能/电价）上跑，穿登山靴（SSM）最稳。
如果你要去泥地里（有天气变化的用电），你得穿雨靴（iTransformer），因为它能处理水和泥的关系。

这篇论文的价值就在于，它不再盲目吹捧某一种新技术，而是告诉我们要根据具体的“路况”和“装备”（数据）来选择合适的鞋子，这样才能走得又快又稳。

这篇论文《Benchmarking State Space Models, Transformers, and Recurrent Networks for US Grid Forecasting》（状态空间模型、Transformer 和循环网络在美国电网预测中的基准测试）对五种现代深度学习架构在美国电力负荷预测任务中的表现进行了全面、系统的基准测试。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：短期负荷预测（STLF）是电力电网运营（如机组组合、经济调度）的核心。随着智能电网的发展，从 LSTM 到 Transformer 再到状态空间模型（SSM）的架构创新层出不穷。
痛点：
- 现有研究通常在少数几个电网（1-5 个）上进行评估，难以验证架构优势是否能泛化到美国不同独立系统运营商（ISO）的多样化特征中。
- 缺乏在相同条件下（数据预处理、训练协议、超参数）对不同架构（SSM、Transformer、RNN）进行的直接对比。
- 关于气象协变量（如温度、湿度）如何与不同架构交互，以及这种交互是否取决于架构本身，尚不清楚。
目标：建立一个系统性的基准，评估五种模型在六个美国主要电网上的表现，并分析引入气象数据后的性能变化，为电网运营商提供基于具体数据环境的选型指南。

2. 方法论 (Methodology)

2.1 数据集与任务

数据源：使用美国能源信息管理局（EIA-930）提供的每小时系统级负荷数据。
覆盖范围：6 个主要美国 ISO（CAISO, ISO-NE, MISO, PJM, ERCOT, NYISO），气象实验扩展至 7 个（增加 SWPP）。
预测任务：
- 输入：历史负荷（ $L=240$ 小时，即10天）。
- 输出：未来 $W$ 步的负荷预测（ $W \in \{24, 48, 72, 96, 168\}$ 小时）。
- 场景：仅负荷预测（Load-only）和引入气象协变量的增强预测（Weather-augmented）。

2.2 评估的模型架构 (5 种)

论文评估了三个家族的模型，并针对电网特性进行了专门适配（如双向编码、时间嵌入、模块化气象融合）：

状态空间模型 (SSMs):
- S-Mamba: 极简设计，仅使用选择性状态空间机制，强调计算效率 ( $O(n)$ )。
- PowerMamba: 针对能源数据优化，引入序列分解（趋势/季节性分离）和双向编码，以处理“鸭子曲线”等复杂频率。
Transformer 变体:
- PatchTST: 采用通道独立（Channel-independent）策略，将单变量序列分块（Patch），共享 Transformer 权重，不显式建模变量间依赖。
- iTransformer: 采用跨变量 Token 化（Cross-variate tokenization），将每个变量（如负荷、温度）视为一个 Token，利用自注意力机制显式建模变量间的相关性。
循环网络 (RNN):
- LSTM: 2 层双向 LSTM，作为传统基线。

2.3 关键适配策略

时间嵌入：所有模型均加入可学习的“小时”和“星期”嵌入，以捕捉强周期性。
气象融合机制：针对每种架构设计了特定的融合层（如 SSM 的早期求和、PatchTST 的交错交叉注意力、iTransformer 的变量 Token 化），确保气象数据能根据建筑热惯性（Thermal Lag）被有效利用。
控制变量：在对比中严格控制模型参数量（通过调整隐藏层维度 $d_{model}$ ），以区分是架构优势还是容量优势。

3. 主要贡献 (Key Contributions)

首个跨美国多 ISO 的通用基准：在 6 个主要电网、5 种预测窗口下，对 5 种主流架构进行了公平对比。
揭示了气象数据整合的架构依赖性：发现引入气象数据后，模型排名发生反转。iTransformer 利用气象数据的能力是 PatchTST 的3 倍，这归因于其跨变量注意力机制。
多任务泛化性分析：将基准扩展到光伏发电、风电、批发电价和辅助服务预测，发现架构优劣取决于信号特性（周期性 vs. 混沌性）。
可操作的部署指南：提出了基于数据可用性和电网特征的模型选择策略。

4. 关键结果 (Key Results)

4.1 仅负荷预测 (Load-Only)

PatchTST 表现最佳：在 30 次评估（6 个电网 $\times$ 5 个窗口）中，PatchTST 在 15 次中胜出，平均 MAPE 最低。
SSMs 具有竞争力：S-Mamba 和 PowerMamba 在 ISO-NE、PJM 和 NYISO 等表现优异，且推理复杂度低 ( $O(n)$ )，适合边缘部署。
iTransformer 表现不佳：在单变量（仅负荷）输入下，其交叉注意力机制退化为近恒等映射，导致误差较高。
LSTM 表现最差：尽管参数量较大，但在长预测窗口下性能下降明显。

4.2 引入气象数据 (Weather Integration)

排名反转：加入气象数据后，iTransformer 性能提升最显著（平均 MAPE 降低 1.62 个百分点），远超 PatchTST（仅降低 0.52 个百分点）。
架构决定收益：控制参数量实验证明，这种优势源于架构设计（iTransformer 能直接混合变量信息），而非模型容量。
SSMs 的崛起：在引入气象数据后，S-Mamba 和 PowerMamba 成为整体表现最强的模型，特别是在 ERCOT 和 SWPP 等对天气敏感的电网。

4.3 多类型信号泛化 (Generalization)

PatchTST：擅长处理具有强日周期性的信号（如光伏、辅助服务），其分块机制与 24 小时周期高度契合。
SSMs：擅长处理非周期性或混沌信号（如风电、电价），其连续状态动力学能更好地捕捉不规则依赖。
iTransformer：在单变量任务（如仅负荷或仅电价）上表现依然较差，但在多变量任务中恢复强劲。

4.4 电网特征与气象收益

收益取决于基线难度：气象数据的价值并非单纯由气候极端程度决定，而是取决于基线预测难度。
- 高收益：孤立电网（ERCOT）或较小系统（SWPP），基线误差大，气象数据能显著填补信息缺口。
- 低收益：大型互联电网（如 MISO），地理平滑效应已降低了天气波动的影响，引入气象数据的边际收益递减（天花板效应）。

5. 意义与启示 (Significance)

选型指南：
- 若无气象数据：首选 PatchTST（高周期性电网）或 SSMs（低资源/边缘场景）。
- 若有气象数据：首选 iTransformer（利用跨变量注意力）或 Weather-aware SSMs（兼顾精度与效率）。
架构设计启示：
- 对于单变量时间序列，PatchTST 的分块策略非常有效。
- 对于多变量耦合系统（如负荷 + 天气），显式的跨变量注意力机制（iTransformer）或自适应门控机制（SSM）至关重要。
实践建议：电网运营商应根据自身的数据环境（是否有高质量气象预报）和电网特性（是否孤立、负荷波动规律）来动态调整模型架构，而非盲目追求单一“最佳”模型。

总结

该论文通过严谨的对比实验，打破了“单一模型通用”的迷思，证明了数据可用性（是否有气象数据）和信号特性（周期性 vs. 随机性）是决定深度学习模型在电力预测中表现的关键因素。研究结果为构建下一代智能电网预测系统提供了坚实的理论依据和工程指导。