⚡ electrical engineering

Forecast-Assisted Deep Reinforcement Learning for Energy Management of Hydrogen-Enabled Community Microgrids

本文表明，将不完美的跨时段社区负荷预测集成到用于氢能微网的近端策略优化（PPO）控制器中，尽管这些预测准确度较低且未带来可衡量的韧性提升，但仍能加速学习收敛，并带来适度的经济效益和可再生能源利用率增益。

原作者： Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Atef, Sanath Alahakoon, Umme Mumtahina, Peter Wolfs, Tamer Khatib, Moslem Uddin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个每个房子都有属于自己的小型发电厂（比如屋顶上的太阳能电池板或小型风力涡轮机）的社区。现在，想象一下这个社区不仅仅是将这些设备接入主电网，而是试图让自己像一座微型独立城市一样运行。这被称为“微电网”。巨大的挑战在于：太阳并不总是照耀，风也不总是吹拂，而且人们使用电力的时间并不总是在同一时刻。有时电力过剩，有时又电力不足。为了解决这个问题，这些社区使用“电池”（就像巨大的手机充电器）来储存多余的电力以备后用。但电池既昂贵又消耗很快。因此，科学家们正在尝试一种新技巧：使用氢气。把氢气想象成一种“超级电池”，它可以储存数周甚至数月之久的能量。你可以将多余的电能转化为氢气，储存在罐中，并在需要时再将其转化回电能。核心问题是：如何管理所有这些变动的部件——太阳、风、电池、氢气和主电网——而不浪费金钱或面临断电？

这篇论文是关于教一台计算机“大脑”（人工智能）成为这样一个社区的智能管理者。研究人员想看看，如果给这个人工智能一个“水晶球”（预测），让它能够预测社区未来的电力需求，是否会使其成为一个更好的管理者。他们通过模拟澳大利亚洛克汉普顿（Rockfallton）的一个拥有1,000户家庭的社区进行了测试，该社区结合了太阳能、风能、电池和氢能。

以下是他们发现的故事。

水晶球问题

研究人员使用一种称为“深度强化学习”的方法构建了一个特殊的 AI 管理者。你可以把这个 AI 想象成一个通过不断尝试来学习的游戏角色。如果它做出了一个好的动作（比如节省了资金），它就会得到一分；如果它做出了一个坏的动作（比如浪费了能源），它就会失去分数。随着时间的推移，它会学会最佳策略。

通常情况下，这个 AI 只关注“此时此刻”发生的事情。它看到阳光灿烂且电池已满，于是决定该做什么。但研究人员想知道：如果我们给它一个预测呢？如果我们能看到未来 1 小时、6 小时、12 小时甚至 24 小时的天气和社区电力需求，它会变成一个天才管理者吗？

他们使用了一种名为“Transformer”（与某些聊天机器人使用的技术相同）的高级 AI 来进行这些预测。但转折点在于：这个水晶球并不完美。事实上，它相当混乱。

对于接下来的 1 小时，预测还可以，但并不出色。
对于 6 小时和 12 小时后的预测，实际上比直接猜平均值还要差！数学模型显示该模型处于混乱状态。
对于 24 小时，它比 12 小时的预测稍好一些，但仍远非完美。

令人惊讶的结果：不完美依然有用

你可能会想：“如果水晶球是坏的，那为什么还要费劲呢？”但本文的奥妙在于：即使是一个破碎的水晶球，也能帮助 AI 管理者节省资金。

当研究人员让 AI 使用这些不完美的预测时，它学习得更快，并做出了比仅观察现状的 AI 更好的决策。

学习速度： 带有预测信息的 AI 学习其策略的速度快了约 14.3%（它在大约 30 次训练课中达到了最佳表现，而没有预测的 AI 需要 35 次）。
节省的资金： 在一整年的时间里，使用“不完美预测”AI 的社区节省了 2,765.83 澳元。而没有预测的社区仅节省了 2,439.86 澳元。仅仅因为对未来有一个略微准确的猜测，就多赚了 325.97 澳元。
绿色能源： 该社区使用了更多的自有太阳能和风能，比例从 35.3% 上升到了 36.4%。

AI 做了什么（以及没做什么）

这个 AI 并没有变成一个能阻止所有停电或消除所有浪费的超级英雄。

优点： 它在时机把握方面做得更好。它知道何时为电池充电，以及何时将电力卖回主电网以获得最佳价格。它表现得像一个聪明的购物者，知道明天会有促销，所以会选择等待购买。
缺点： 预测对于应对重大紧急情况帮助不大。当研究人员模拟电网故障（电网失效）时，带有预测信息的 AI 与没有预测信息的 AI 表现完全一致。在这个测试中，“水晶球”并没有让社区在灾难面前更具韧性；电池和氢气罐才是无论是否有预测都发挥作用的关键。
局限性： 预测并没有阻止社区浪费一些电力（称为“弃电/减载”），也没有显著降低峰值用电量。主要的胜利纯粹是经济层面的：通过把握时机来节省资金。

总结

这篇论文教会了我们关于智能能源未来的一个宝贵教训：你不需要完美的预测也能获得更好的结果。 即使你的天气应用有时会出错，了解关于未来的“一些信息”也有助于你在今天做出更明智的选择。

研究人员表明，通过将这些“不完美”的预测添加到他们的 AI 管理者中，他们可以榨取出一丁点额外的节省和效率。然而，他们也非常谨慎地指出，这并不是一个万能的解决方案。这些预测仍然相当不准确，而且该系统并没有解决所有问题（比如在风暴期间让电网变得坚不可摧）。但它证明了，即使是一个摇摆不定的未来猜测，也比完全没有想法要好。这就像是开着一张略显模糊的地图：你可能仍然会迷路，但比起蒙着眼睛开车，你更有可能更快到达目的地，并且消耗更少的汽油。

技术摘要：用于氢能社区微网能量管理的预测辅助深度强化学习

1. 问题陈述

集成氢能储能的社区微网为提高可再生能源利用率和提升局部韧性提供了路径。然而，其运行过程受到不确定性居民需求、多变的可再生能源发电、动态电价以及短期电池储能与长时氢能储能之间耦合动力学的复杂影响。

现有的能量管理系统（EMS）通常依赖于基于规则的控制或确定性优化，难以适应可再生能源生产和需求的快速变化。虽然深度强化学习（DRL），特别是近端策略优化（PPO），已被应用于此类系统，但先前的迭代版本（例如 [12]）是基于瞬时观测进行反应式操作，并未明确整合未来负荷信息。本文旨在解决开发一种预测控制框架的空白，该框架将多时界负荷预测整合到 DRL 的状态空间中，以提高经济调度效率和学习效率，特别是在氢能社区微网的背景下。

2. 研究方法

2.1. 系统架构

本研究评估了一个位于澳大利亚洛克汉普顿（Rockhampton）的 1000 户住宅社区微网，其特征包括：

发电： 光伏（PV）阵列和风力涡轮机。
储能： 用于短期平衡的电池储能系统（BESS）以及用于长时自主运行的氢能子系统（电解槽、储氢罐、燃料电池）。
电网交互： 具备向公用事业电网导入/导出电力的能力。
数学模型： 系统采用离散时间建模，通过功率平衡方程将发电、储能、氢能转换和电网交换耦合在一起。

2.2. 预测框架

采用基于 Transformer 的预测模型来预测社区负荷在多个时界下的情况（ $H \in \{1, 6, 12, 24, 48, 72\}$ 小时）。

输入特征： 历史负荷、辐照度、环境温度、风速、电价和时间指标。
架构： 该模型利用输入嵌入（embeddings）、位置编码和多头自注意力机制来捕捉长程时间依赖关系。
性能： 模型独立训练并在集成到 EMS 之前进行冻结。评估指标包括 RMSE、MAE、MAPE、 $R^2$ 和相关性。

2.3. 预测性能量管理系统 (EMS)

核心贡献是将 PPO 控制器扩展为预测辅助型框架。

状态空间增强： 标准 PPO 状态（电池 SOC、氢水平、当前价格等）通过增加多时界负荷预测向量（ $\hat{P}_{L, t+1:t+H}$ ）进行增强。
动作空间： 针对电池充放电、柴油发电机调度（在停电期间）以及氢能生产/消耗的连续动作。
奖励函数： 设计旨在最小化运行成本（电网导入/导出、损耗、未满足的需求），同时惩罚在储能极限附近的操作。
训练： PPO 智能体学习最大化折扣累积奖励。研究对比了四种场景：
1. 无电池（物理基准）。
2. 无预测的 PPO（反应式）。
3. 具有不完美预测的 PPO（提议方案）。
4. 具有完美预测的 PPO（理论上限）。

3. 核心贡献

多时界预测评估： 使用 Transformer 架构对 1、6、12、24、48 和 72 小时时界的社区负荷预测进行了全面的评估。
预测增强型 PPO 控制器： 开发了一种预测性 EMS，将未来的负荷预期直接嵌入 DRL 状态中，使策略能够预判需求高峰和价格变化。
定量隔离预测价值： 通过对比预测辅助型 PPO 与非预测型 PPO 以及完美预测基准，严格隔离并分析了预测信息的运行价值。
全面评估： 报告了经济、运行、环境和韧性方面的影响，同时明确承认了关于预测准确性和特定组件轨迹的局限性。

4. 结果

4.1. 预测准确性

预测表现呈现出混合且依赖于时界的特征：

1 小时时界： 表现最佳，RMSE 为 239.32 kW， $R^2 = 0.201$ 。
中间时界（6h, 12h）： 表现较差，出现了负的 $R^2$ 值（$-0.757 $和$ -1.914$），表明其表现差于均值预测器。
24 小时时界： RMSE 为 249.79 kW，MAPE 为 62.52%， $R^2 = 0.126$ 。
更长时界（48h, 72h）： RMSE 在 246–247 kW 左右趋于稳定， $R^2$ 值略高于 0.1。

4.2. 学习与经济表现

尽管预测准确性有限，但预测辅助型 PPO 展示了显著的益处：

收敛性： 预测辅助型控制器的收敛速度比非预测型控制器快约 14.3%（第 30 个回合对比第 35 个回合）。
奖励提升： 最终奖励比非预测基准提高了 8.3%。
年度节省：
- 无预测情况下：A$2,439.86。
- 有预测情况下：A$2,765.83。
- 增量收益： A$325.97（增加了 13.4%）。
- 该实施模型捕捉到了完美预测下可实现节省额的约 90.5%。
可再生能源利用率： 从无预测时的 35.3% 提高到有预测时的 36.4%。
电网导入量： 相较于非预测情况减少了 170.15 kWh。

4.3. 运行与韧性发现

峰值负荷与弃电： 预测并未显著降低净峰值负荷（仅减少 0.65 kW）或弃电量；事实上，使用预测后的弃电量略有上升。其主要价值在于经济时机的把握而非削峰填谷。
韧性： 在电网停电场景下，电池/控制器配置相比于无电池配置提供了 20.1% 的保护价值；然而，在测试的压力场景中，预测辅助型与非预测型控制器之间未观察到可衡量的韧性提升；预测并未增强应对停电的能力。
环境影响： 与非预测情况相比，预测减少了额外的 85.08 kg CO2 电网导入相关排放。大幅度的减排报告是由出口信用会计驱动的，而非直接的物理减排。

5. 重要性与主张

论文得出结论：即使在预测准确度（以 $R^2$ 衡量）较低或在某些时界为负的情况下，不完美的预测仍能改善 DRL 学习和经济调度。 控制器成功地从预测中提取了有用的时间结构，以优化储能调度和电网交易。

然而，作者对更广泛的影响持谨慎态度：

范围有限： 结果并不支持关于卓越预测准确性、重大峰值负荷削减或预测增强韧性的主张。
特定价值： 预测的价值主要体现在经济层面（成本节约）和学习效率（收敛速度）方面，而非物理电网稳定性或削峰。
未来需求： 论文强调，在做出更广泛的部署主张之前，还需要在预测校准、更长时间的停电研究以及报告组件级轨迹（特别是氢能电解槽和燃料电池的操作）方面开展进一步工作，以验证预测如何影响长时储能管理。

本研究作为一个概念验证，证明了将多时界预测整合到 DRL 状态空间中，即使在底层预测模型准确性不高的情况下，也能产生切实的经济效益。