💻 computer science

Hierarchical Constrained Reinforcement Learning with Dynamic Boundary for Spatio-Temporal Vehicle-to-Grid Scheduling

本文提出了一种用于约束强化学习的分层策略（HPC-RL）框架，该框架集成了基于广义约化梯度法处理空间网格约束的上层结构，以及处理时间维度电动汽车需求的下层动态边界策略，实现了近乎最优、可扩展且安全的车辆到电网（V2G）调度，并与现有方法相比大幅缩短了计算时间。

原作者： Haoyu Yan, Shutong Ding, Jiebao Zhang, Xi Yao, Yu Liu, Haoyu Wang, Chenchi Luo, Ye Shi

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoyu Yan, Shutong Ding, Jiebao Zhang, Xi Yao, Yu Liu, Haoyu Wang, Chenchi Luo, Ye Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，电网就像一个巨大的、无形的神经系统，维持着我们的灯火通明和城市运转。几十年来，这个系统一直像是一条单行道：大型发电厂产生电力，然后向下流动到我们的家中。但最近，这种道路上出现了一种新的“交通流量”：数以百万计的电动汽车（EV）。它们不仅仅是乘客，也是可以插电吸取能量，甚至在电网拥挤时向外“吐出”能量来提供帮助的移动微型电池。这种双向行驶的街道被称为车网互动（V2G）技术。问题在于，管理这种交通简直是一场噩梦。如果太多汽车同时接入，电网可能会崩溃；如果它们在错误的时间接入，就会浪费资金。科学家面临的挑战是，如何实时指挥这支庞大的移动车队，确保每辆车都能得到充电，同时保证整个电网的安全与稳定。这是一个必须在兼顾电力物理特性、不可预测的车辆到达以及瞬时决策需求的同时，还不违反物理定律的复杂谜题。

于是，研发了名为 HPC-RL 的新型未来“交警”的研究人员登场了。将过去管理这种交通的方式想象成试图每秒钟都解出一个巨大的、几乎不可能完成的数学方程，来决定谁可以充电。这种方法很精确，但计算需要数小时，对于实时的交通拥堵来说太慢了。其他方法试图使用简单的规则或猜测，但它们往往会违反物理规则，导致停电或让汽车处于半电状态。

作者提出了一种巧妙的双层系统，它就像一个聪明的管理者和一群勤奋的助手。这个“管理者”（上层）使用一种特殊的、理解严格物理定律的人工智能。它不只是在猜测；它在数学上强制其决策完美符合电网的安全限制，确保电力平衡始终正确。与此同时，“助手们”（下层）负责处理单辆汽车。它们使用一种“动态边界”策略，就像一道会移动的智能围栏。这道围栏会根据一辆特定汽车在出发前需要多少电量以及还剩多少时间，不断计算出该车目前可以安全获取电量的最小值和最大值。这确保了即使在电网繁忙的情况下，也不会有汽车被抛在路边。

论文表明，这种新系统在速度和可靠性方面具有变革意义。在模拟实验中，研究人员在不同规模的电力网络（如小镇电网、中型城市电网和大型区域电网）上测试了该系统，结果显示这种新方法速度极快。当传统的“完美”数学方法需要数小时才能解决一个大型电网的问题时，这种新的 AI 方法仅需几分钟——有时甚至只需几秒钟。例如，在一个拥有 141 个节点的庞大系统中，旧方法需要超过 5000 秒，而新方法在不到 5 秒内就完成了。至关重要的是，它不仅速度快，而且做得对。新方法实现了近乎 100% 的成功率，让每辆车都达到了目标电量，而其他 AI 方法往往无法让汽车充满电，或者违反了安全规则。作者指出，这种方法提供了一个实用的实时解决方案，在速度的需求与保持电网安全及让每位驾驶员都满意的绝对必要性之间取得了平衡。

技术摘要：基于动态边界的分层约束强化学习用于时空车辆到电网（V2G）调度

1. 问题定义

本文解决了将大规模电动汽车（EV）车队集成到最优潮流（OPF）框架中进行车辆到电网（V2G）调度的挑战。这种集成对于电网稳定性和缓解可再生能源波动至关重要，但面临两个主要障碍：

计算复杂度： 传统的针对 OPF-EV 的混合整数非线性规划（MINLP）公式由于存在离散的 EV 连接状态和非线性功率流方程，面临着极高的计算成本。诸如 SCIP 之类的求解器在规模扩大时表现不佳，而模型预测控制（MPC）由于其迭代性质，会产生显著的开销，使得大规模车队的实时协调变得不切实际。
学习中的约束满足： 现有的深度强化学习（DRL）方法难以在扩展性与严格的约束执行之间取得平衡。大多数“安全强化学习”方法依赖于软惩罚或事后投影，这无法保证严格遵守物理功率平衡等式约束（AC-OPF）或单个 EV 在时间上耦合的充电需求。此外，标准的 RL 框架通常假设固定的状态/动作维度，无法适应 EV 动态到达和离开的情况。

目标是在满足交流功率流方程、发电机/电压限制，并确保每辆 EV 在离开前达到其目标荷电状态（SOC）的前提下，最小化电网发电成本与 EV 充电成本的总和。

2. 方法论：HPC-RL 框架

作者提出了 HPC-RL（用于约束强化学习的分层策略），这是一个旨在将空间电网约束与时间 EV 约束解耦的两层架构。

2.1 上层：物理集成的 GRG-SAC

上层管理电网级变量（发电机有功/无功功率、电压幅值和相位角）以及聚合充电需求。

GRG 集成： 该框架并非将功率流方程视为软约束，而是利用**广义约化梯度（GRG）**法结合软行为者-评论家算法（SAC），将其解析地嵌入到策略生成过程中。
变量分解： 将决策变量分为基本动作（ $a_B$ ，例如由 RL 策略输出的发电机功率、非负荷节点的电压幅值）和非基本变量（ $a_N$ ，例如负荷节点电压、相位角）。
隐式映射： 非基本变量通过牛顿法求解功率平衡等式约束（ $h(a_B, a_N) = 0$ ）来确定性地导出。这创建了一个隐式映射 $a_N = \phi(a_B)$ 。
梯度传播： 利用隐函数定理，梯度通过该映射进行回传以更新策略，确保更新始终保持在等式约束的切空间内。
不等式处理： 如果违反不等式约束（例如电压限制），则使用投影机制将动作映射到可行集。

2.2 下层：动态边界策略

下层处理充电站内的个体 EV 分配，以解决时间耦合约束（确保 EV 在出发前达到目标 SOC）。

动态边界： 框架引入了一种新颖的策略，用于计算每个 EV 实时可行的充电功率边界（ $P^{min}_{i,ch}$ $P_{i, c h}^{min}$ 和 $P^{max}_{i,ch}$ $P_{i, c h}^{ma x}$ ）。
- 上界受限于物理充电速率和剩余电池容量。
- 下界根据距离出发的剩余时间和当前 SOC 与目标 SOC 之间的差距进行计算，从而保证如果应用最小功率，充电任务仍能完成。
优先级分配： 下层分配器首先确保所有 EV 获得其所需的最小功率（由动态边界强制执行）。剩余的充电站容量随后分配给具有最高充电紧迫性（基于 SOC 缺口和即将到来的出发时间）的 EV。
状态表示： 特殊的需求嵌入层将未来的充电需求编码进状态空间，以提高学习效率。

3. 核心贡献

统一执行时空约束： 本文将 GRG 方法集成到 RL 中，以严格执行空间电网级的物理安全性（功率流等式），同时使用动态边界策略来保证时间维度的充电需求。这超越了软惩罚，实现了硬约束满足。
分层可扩展性： 通过将电网级功率调度与个体 EV 分配解耦，该框架克服了与大规模、变规模 EV 车队相关的“维度灾难”。
实时可行性： 该方法实现了近优的调度方案和近乎为零的约束违反率，与传统的求解器相比，大幅降低了在线计算时间。

4. 实验结果

实验在 IEEE 14、30 及改进的 141 节点系统上进行，将 HPC-RL 与 MPC 以及各种安全强化学习基准（CPO, CUP, DDPGLA, SACLA）进行了对比。

约束满足： HPC-RL 实现了 100% 的需求满足率，并在所有规模下实现了近乎为零的约束违反。相比之下，基准安全 RL 方法经常出现严重的约束违反（例如 CPO 的违反量级在 0.77–164.25 之间）或无法满足 EV 充电需求（满足率为 66–92%）。
计算效率： 与 MPC 相比，HPC-RL 在 14、30 和 141 节点系统上分别将在线推理时间缩减了 52 倍、67 倍和 319 倍。当 MPC 需要数百甚至数千秒时，HPC-RL 即使在 141 节点系统上也运行在 5 秒以内。
最优性： 与最优 MPC 解相比，HPC-RL 产生的目标成本差距较小（约 7–13%），但在 MPC 在计算上难以实现的场景下提供了可行解。
可扩展性： 当活跃 EV 数量从 1 增加到 50 时，系统仍保持高效，推理时间始终保持在较低水平（50 个 EV 时低于 2 秒），而 MPC 的时间随之呈指数级增长。
消融研究：
- 需求嵌入： 将未来需求信息纳入状态表示显著提高了收敛速度并减少了约束违反。
- 优先级分配： 基于动态优先级的分配在维持约束安全性的同时，比静态平均分配在奖励积累方面表现更优。

5. 重要性与主张

本文声称 HPC-RL 提供了一个计算可行且物理可靠的范式，用于大规模 V2G 协调。其重要性在于解决了实时可扩展性与严格满足耦合时空约束之间的根本权衡。通过将物理约束解析地嵌入学习过程，并通过动态边界处理时间义务，该方法使得 RL 驱动的 V2G 调度能够在传统优化方法过慢或标准 RL 不安全的情况下得以部署。作者将其定位为处理未来随机可再生能源发电和复杂配电拓扑结构的一步。