⚡ electrical engineering

Comparative Evaluation of RL-TD3 PID Control against Hybrid and Conventional Optimizers in Renewable -Based Islanded Microgrids

本文表明，基于强化学习的延迟深度确定性策略梯度（RL-TD3）优化 PID 控制器在增强基于可再生能源的孤岛微电网内的负荷频率控制稳定性与扰动抑制方面，优于传统的及混合优化方法，例如考提优化算法（Coati Optimization）和灰狼-布谷鸟搜索算法（Grey Wolf-Cuckoo Search）。

原作者： Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dana Rajaa Shaaban, Ali Nasser Hussain, Ahmed K. Ali, Mohammed Alruwaili, Moustafa Ahmed Ibrahim

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个微小的、孤立的电力小岛，被称为微电网（Microgrid）。它就像一个自给自足的电力城市，并不与大型国家电网相连。相反，它依靠多种来源运行：有些是可靠的（比如柴油发电机），而有些则像天气一样变幻莫测（比如太阳能电池板和风力涡轮机）。

最大的问题在于？如何保持电力在精确的速度上运行。在电力世界中，这个速度被称为频率。如果风突然停止了，或者有人打开了一台巨大的空调，频率就会发生波动。如果波动得太厉害，整个岛屿的电力系统可能会崩溃。

为了解决这个问题，这个小岛需要一个负载频率控制（LFC）系统。把这个系统想象成这个岛屿的自动驾驶仪。它的工作是不断地微调动力源，以保持频率稳定。长期以来，这些自动驾驶仪使用的是一种标准的配方，叫做 PID 控制器。这就像是一个了解规则但反应不够快的司机，当道路突然变成泥泞、不可预测的沼泽时，他无法及时应对。

新成员登场：“超级学习型”司机

研究人员想看看他们是否能构建一个更聪明的自动驾驶仪。他们不只想要一个遵循规则的司机，他们想要一个能从经验中学习的司机。

他们创建了一个新系统，叫做 RL-TD3 PID。

PID 是标准的自动驾驶仪。
RL 代表强化学习（Reinforcement Learning）。想象一个电子游戏角色，通过尝试数百万种不同的动作、失败、然后每次尝试都变得更好来学习如何获胜。
TD3 是他们使用的特定“大脑”算法。它像是一个超级聪明的教练，观察玩家，纠正他们的错误，并帮助他们避免高估自己的水平（这是一个常见的学习陷阱）。

团队在计算机模拟中训练了这个“超级学习者”。他们向它投掷了各种各样的混乱：突发的电力需求激增、随机的天气变化，甚至还有由于系统数值略有偏差导致的“损坏”部件。

大决战：谁赢得了比赛？

为了看看这个新的“超级学习者”是否真的更好，研究人员让它与另外两种方法展开了对决：

COA（负鼠优化算法）： 一种受负鼠（一种类似浣熊的动物）寻找食物方式启发的算法。
GWO-CS（灰狼+布谷鸟搜索）： 一种结合了狼的狩猎策略和布谷鸟隐秘产卵习惯的混合方法。

这两个其他方法就像是资深导航员，在使用复杂的地图和数学模型在旅程开始前就找到最佳路线。它们很出色，但它们是静态的；它们不会在驾驶过程中进行学习。

结果：
在计算机模拟中，RL-TD3 PID 这个“超级学习者”在速度和整体误差方面始终胜过其他两种方法，尽管它并非在每一个指标上都完美无缺。

恢复更快： 当电力需求跳升时，超级学习者比其他方法更快（或以非常相似的速度）将频率恢复到正常水平。
更好的整体误差： 它随时间推移保持了更低的累积误差。论文使用特定的“计分卡”来衡量这一点，例如 ITAE（一个计算随时间变化的误差值的指标）。超级学习者的得分更低，而在微小的数字世界里，低分是好事。例如，在一次测试中，超级学习者的 ITAE 为 2.65E-02，而负着方法为 8.40E-02。在微小数字的世界里，这是一个巨大的差距！
更擅长应对混乱： 当研究人员扰乱系统设置（模拟损坏或不确定的部件）时，超级学习者表现得异常稳定。数据显示，即使系统参数改变了 ±25%，调节时间仍保持在几乎相同的水平（约为 0.043 秒），这证明了该控制器对不确定性具有很强的鲁棒性。

关于“波动”的说明： 有趣的是，“超级学习者”并不总是在每项测试中都拥有最小的初始“冲击”（超调或欠调）。在某些特定场景下，它在稳定下来之前的波动实际上比其他方法略大。然而，由于它能迅速自我修正并保持较低的总误差，它仍然表现得更好。它用微小的初始波动换取了更好的长期稳定性。

这篇论文没有说的话

了解这篇论文没有声称的内容很重要。

它是模拟，而非现实世界的胜利： 作者明确指出，这一切都是在 MATLAB 中进行的计算机模拟。他们还没有建造一个真实的岛屿，并用真实的柴油发动机和太阳能电池板进行测试。这个“超级学习者”是一个充满希望的想法，但它尚未在真实硬件上得到证实。
它并非在所有地方都完美： 在某些特定的、复杂的干扰场景下，超级学习者的初始波动（超调或欠调）比其他方法略大。它不是一个能完美解决每一个指标的万能药；它优先考虑快速修正和低总误差，而不是追求绝对最小的初始跌幅。
它不是所有东西的替代品： 论文表明，对于这些特定的孤立式微电网，这是一种更好的方法，但它并不声称解决了宇宙中所有的电力问题。

底线

论文表明，教导一个控制器进行实时学习和适应（使用 TD3 大脑）是保持岛屿电力稳定的强大方法，尤其是在天气难以预测的情况下。

虽然“超级学习者”在计算机世界中展示了它比“资深导航员”（COA 和 GWO-CS）更能处理混乱——具体表现为最小化总误差并在系统部件“损坏”时保持稳定性——但作者谨慎地表示这仅仅是第一步。他们承认，在我们可以信任这个系统处理真实电力之前，它需要在实际硬件上进行测试。但就目前而言，模拟结果是一个强烈的暗示：这种“学习型驱动器”可能是保持我们电网稳定的未来。

技术摘要：基于强化学习 TD3-PID 控制与混合及传统优化算法在可再生能源型孤岛微网中的对比评估

问题陈述
将可再生能源（RES）集成到孤岛微网（IMG）中，为负荷频率控制（LFC）引入了显著挑战。这些挑战主要源于系统惯性降低、发电模式不可靠以及负荷动态不可预测。传统的控制系统，特别是依赖固定增益比例积分微分（PID）控制器或标准调优方法（如 Ziegler–Nichols）的方法，往往难以在非标准运行条件和变化的系统参数下维持频率稳定性。虽然已有研究提出利用元启发式优化算法（如遗传算法、粒子群优化）来调优 PID 增益，但这些算法在应对随机负荷扰动时往往表现挣扎，且需要大量的计算资源来平衡超参数。因此，迫切需要能够处理基于可再生能源的孤岛微网之随机性的、具备适应性、鲁棒性和实时数据驱动优化能力的控制策略。

方法论
本文提出了一种创新的控制框架，将强化学习（RL）智能体（具体为双延迟深度确定性策略梯度算法，即 TD3）与 PID 控制器相结合。TD3 智能体旨在根据系统交互实时自适应地调整 PID 增益（ $K_p, K_i, K_d$ ），而非依赖预先计算的最优值。

系统建模： 开发了一个 IMG 的动态数学模型，该模型整合了多种分布式发电（DG）单元（柴油机发电机、太阳能光伏、风力涡轮发电机、生物气轮机、燃料电池）和储能系统（电池、飞轮、电动汽车）。这些组件使用一阶传递函数和摆动方程进行建模，以模拟自主运行状态。
RL-TD3 框架： 采用了 TD3 算法（一种 Actor-Critic 方法）来最小化频率偏差。智能体通过 1,000 个回合（每个回合 90 秒）进行离线训练，其奖励函数旨在惩罚频率误差。训练过程利用了经验回放池、双 Critic 网络（以减少过估计误差）以及目标策略平滑技术，以增强稳定性。
对比基准： 将提出的 RL-TD3-PID 控制器与两种元启发式优化方法进行了对比：
1. COA-PID： 使用考提优化算法（Coati Optimization Algorithm）进行优化。
2. CS-GWO-PID： 使用灰狼优化算法（GWO）与猎鹰搜索算法（Cuckoo Search）的混合算法进行优化。
仿真场景： 在 MATLAB 环境下通过两个场景评估性能：
1. 场景 I： 两步负荷变化（0.06 至 0.075 p.u.）。
2. 场景 II： 在 0.02 至 0.09 p.u. 之间变化的随机阶跃负荷扰动。
鲁棒性分析： 通过对关键系统参数（惯性常数 $M$ 、阻尼系数 $D$ 以及燃料电池和柴油发电机的时标）进行 ±25% 的变化，在单轴和多轴配置下进行了灵敏度分析。

核心贡献

开发了自适应框架： 作者开发了一个基于 TD3 的强化学习智能体框架，该框架能够自适应地控制 IMG 中的 PID 参数，以抵消可再生能源的波动性和负荷扰动。
动态仿真模型： 构建了一个全面的 IMG 动态仿真模型，用以验证所提控制器的频率调节能力。
在线自适应： 研究展示了 RL-TD3-PID 控制器进行在线、数据驱动自适应的能力，增强了针对系统不确定性的鲁棒性，且无需依赖环境的固定数学模型。
全面的对比研究： 本文提供了一个结构化的比较研究，将所提 RL 方法与成熟的元启发式方法（COA 和 GWO-CS）进行对比，评估了其在动态响应、扰动抑制和参数不确定性方面的性能。

结果
仿真结果表明，RL-TD3-PID 控制器在动态响应和扰动抑制方面通常优于 COA-PID 和 CS-GWO-PID 控制器。

性能指标： 在场景 I 和场景 II 中，TD3-PID 控制器在积分性能指标（包括时间权重绝对误差积分 ITAE 和时间权重平方误差积分 ITSE）方面均取得了比优化类控制器更低的值。
瞬态响应： TD3-PID 控制器表现出更快的调节时间和更好的频率振荡抑制能力。例如，在场景 I 中，TD3-PID 的 ITAE 为 $2.65 \times 10^{-2}$ ，显著低于 CS-GWO-PID 的 $7.09 \times 10^{-2}$ 和 COA-PID 的 $8.40 \times 10^{-2}$ 。
鲁棒性： 在参数不确定性（±25% 变化）下，TD3-PID 控制器保持了稳定运行，时域指标的变化极小。虽然在复杂的多轴扰动下，超调量和欠调量有所增加，但控制器始终能使系统返回至具有低稳态误差的准稳态。
收敛性： 训练过程显示，RL 智能体成功收敛至稳定的 PID 增益值，其奖励函数表明随着 1,000 个回合的进行，控制性能得到了提升。

意义与主张
本文主张，将深度强化学习与经典 PID 控制相结合，为实现可再生能源型孤岛微网可靠且高效的频率调节提供了一种极具前景的方法。研究强调，与静态优化方法相比，RL-TD3 方法对系统不确定性和负荷变化具有更优越的适应性。

作者认为这项工作是解决低惯性系统中传统及元启发式调优控制器局限性的重要一步。然而，论文在讨论其局限性时保持了谦逊的态度，承认目前的结果是基于仿真研究，尚未经过硬件在环或实时实验验证。作者指出，尽管所提方法在大多数测试场景中表现优异，但在特定的扰动案例中，选定的优化算法略微超过了 RL-TD3-PID 的性能。未来的工作被确定为需要进行实验验证，并将该框架扩展到更复杂的微网拓扑结构及存在通信延迟的环境中。

新成员登场：“超级学习型”司机

大决战：谁赢得了比赛？

这篇论文没有说的话

底线

类似论文