⚡ electrical engineering

A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets

本文提出了一种基于多智能体强化学习的传输扩展规划框架，通过引入联合优化设计策略层，在统一训练过程中实现了输电投资决策与发电商战略报价行为的协同优化。

原作者： Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Tomonari Kanazawa, Hikaru Hoshino, Eiko Furutani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种利用**人工智能（强化学习）**来同时解决两个棘手问题的新方法：

发电厂怎么“报价”？（为了多赚钱，他们可能会故意抬高价格）。
电网公司该在哪里“修路”？（扩建输电线路需要巨额投资，但修哪条路最划算很难算）。

为了让你更容易理解，我们可以把整个电力系统想象成一个繁忙的“物流快递网络”。

1. 背景：两个原本“各管各”的部门

在这个物流网络里，有两类主要角色：

发电厂（发货商）： 就像快递公司的车队。他们想多赚钱，所以会玩“心机”。如果知道某条路堵车，他们就会故意抬高运费（报价），因为客户没得选。
电网公司（修路工）： 负责修路和维持交通顺畅。他们的目标是花最少的钱修路，让货物（电力）能顺畅流通。

过去的问题：
以前的规划方法像是“先修路，再定价”或者“先定价，再修路”，而且假设所有发货商都是老实人，按成本价报价。

现实是： 发货商很精明，他们会根据路况（拥堵情况）来调整报价。
结果： 如果修路工只按“老实人”的假设去修路，结果路修好了，发货商一看路通了，反而利用新路线的拥堵点继续抬价，导致修路的钱白花了，或者路根本没修对地方。

2. 核心创新：让 AI 当“总导演”

这篇论文提出了一种**“强化学习（RL）”框架。你可以把它想象成一个超级智能的“总导演”**，他在一个虚拟的模拟世界里，同时训练两类演员：

演员 A（发电厂）： 学习如何报价最赚钱。
演员 B（电网规划师）： 学习在哪里修路最省钱。

这个“总导演”的绝招是“同步训练”：
以前是分开训练，现在导演让演员 A 和演员 B 在同一个剧本里边演边改。

如果演员 B 决定修一条新路，演员 A 会立刻反应：“哦，这条路通了，我可以在这里稍微降点价，或者换个地方抬价。”
演员 B 看到演员 A 的反应后，会想：“看来修这条路虽然贵，但能逼得他们降价，总体还是划算的。”

通过成百上千次的模拟（就像玩游戏练级），AI 最终找到了一套完美的组合拳：既知道路修在哪里，也知道发电厂会怎么应对，从而让整体成本最低。

3. 具体是怎么做的？（简单版）

模拟市场： 作者用了一个经典的"IEEE 30 节点系统”（可以想象成一个简化版的 30 个城市的物流网）做实验。
双向互动：
- 发电策略： AI 让发电厂学会“策略性报价”。就像在拍卖会上，他们学会什么时候该喊高价，什么时候该老实点。
- 修路策略： AI 同时决定是连续地增加道路宽度（比如从 10 米加到 12.5 米），还是离散地决定修不修某条路（要么修，要么不修）。
目标： 不是让某一方赢，而是让整个系统的总账单（修路费 + 发电费）最小化。

4. 实验结果：AI 比传统方法更聪明

作者把他们的 AI 方法和传统的“分步计算法”（先算修路，再算报价）做了对比：

传统方法（分步走）：
- 如果假设发电厂很老实，修路工就不修路，结果导致严重拥堵，实际成本飙升。
- 如果假设发电厂很凶（故意抬价），修路工可能会过度投资，修了太多路，浪费钱。
AI 方法（同步走）：
- AI 发现，只要修对特定的几条路，就能有效打破发电厂的“垄断”心态，迫使他们降低报价。
- 结论： AI 找到的方案，既省了修路钱，又压低了发电成本，比传统方法更精准、更省钱。

5. 打个比方总结

想象你在玩一个**《模拟城市》**游戏：

旧玩法： 你作为市长，先决定修哪条路，然后系统随机生成几个商人，你再看他们怎么定价。如果商人太黑，你只能后悔当初路没修好。
新玩法（这篇论文）： 你有一个**“时间机器”**。你可以同时看到：如果你修了这条路，商人们会怎么变着法儿赚钱；如果你不修，他们又会怎么搞破坏。
最终效果： 你利用这个“时间机器”反复试错，最终找到了一条**“黄金路线”**。这条路线不仅让交通顺畅，还让商人们不敢乱涨价，整个城市的运行成本降到了最低。

一句话总结

这篇论文发明了一种**“边修路、边博弈”的 AI 算法，它不再把发电厂和电网规划看作两个独立的问题，而是让它们在一个虚拟世界里互相“过招”**，最终找到了既省钱又高效的完美平衡点。这对于未来建设更智能、更便宜的电网非常有意义。

这是一份关于论文《考虑电力市场战略报价的基于强化学习的输电扩展框架》（A Reinforcement Learning-based Transmission Expansion Framework Considering Strategic Bidding in Electricity Markets）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
在电力市场自由化的背景下，发电公司（GENCOs）以利润最大化为目标进行战略报价，而输电系统运营商（SOs）负责输电扩展规划。传统的输电扩展规划通常假设市场处于理性均衡状态，或者将市场行为简化，忽略了战略报价行为与输电投资决策之间的双向耦合关系：

网络升级会改变节点电价和调度模式，影响发电商的利润。
发电商的战略报价和拥堵模式反过来决定了输电扩展的经济价值。

现有局限：

传统的多层优化模型难以完全捕捉战略报价的复杂性和价格波动。
现有的强化学习（RL）研究通常分为两类：一类专注于短期市场模拟（假设网络固定），另一类专注于长期扩展规划（忽略运营细节和战略行为）。这两条研究路线尚未有效融合。

研究目标：
提出一种基于强化学习（RL）的协同优化框架，在统一的训练过程中同时学习输电投资决策和发电商的战略报价策略，以捕捉两者间的相互影响，实现成本效益最优的扩展规划。

2. 方法论 (Methodology)

该论文提出了一种基于**多智能体深度强化学习（Multi-Agent Deep RL）**的协同优化框架，主要包含以下核心组件：

A. 市场模拟环境 (Market Simulation)

模型基础： 基于日前电力市场，采用直流最优潮流（DC-OPF）进行市场出清。
智能体（Agents）： 每个发电公司作为一个智能体，通过观察局部状态（如总负荷、历史报价）来决定战略报价 $\lambda^{bid}_i(t)$ 。
算法选择： 采用**多智能体深度确定性策略梯度（MADDPG）**算法。
- Actor（执行者）： 根据局部观察输出连续的动作（报价策略）。
- Critic（评论家）： 集中式评估，利用所有智能体的观测和动作来更新策略，以解决多智能体环境中的非平稳性问题。
奖励函数： 智能体通过最大化长期回报（即发电利润： $(\lambda^{cleared} - \lambda^{cost}) \times P^{cleared}$ ）来学习。

B. 协同优化框架 (Co-optimization Framework)

这是本文的核心创新点，引入了一个设计策略层（Design Policy Layer）：

设计变量 ( $\omega$ )： 将输电扩展决策（连续容量增量 $\Delta L_\ell$ 或离散扩建决策 $z_\ell \in \{0,1\}$ ）视为随机变量。
采样机制： 在每个训练回合（Episode）开始时，根据参数化的设计策略 $p_\mu(\omega)$ $p_{μ} (ω)$ 采样网络配置。
- 连续情况： 使用高斯分布 $N(\mu_\ell, \sigma^2_\ell)$ 采样容量增量。
- 离散情况： 使用伯努利分布采样是否扩建某条线路。
联合优化目标：
- 智能体（发电商）最大化自身利润。
- 设计策略（规划者）最小化总成本，包括运营系统成本（ $C_{oper}$ ）和扩建成本（ $C_{exp}$ ）。
- 总回报定义为： $G_{total} = -(W_{anu} \sum C_{oper}(t) + C_{exp})$ 。
更新机制： 使用策略梯度定理（Policy Gradient Theorem）更新设计策略参数 $\mu$ ，使得采样到的网络配置能带来最低的总成本。

3. 主要贡献 (Key Contributions)

首创性框架： 据作者所知，这是首个将战略报价与输电扩展规划在统一 RL 框架下进行协同优化的研究。
双向耦合建模： 成功将网络拓扑设计（长期投资）与市场动态（短期博弈）整合在一个学习循环中，解决了传统方法中两者割裂的问题。
灵活的决策支持： 框架同时支持连续容量扩展和离散选址决策，能够处理更贴近实际的规划问题。
超越传统优化： 相比传统多层优化或两阶段方法，该 RL 框架具有更好的可扩展性，能够处理更长的时间跨度和更复杂的市场环境（如多市场耦合）。

4. 实验结果 (Results)

实验在 IEEE 30 节点系统 上进行，包含两个案例研究：

案例 1：连续扩展与 PyPSA 基准对比

对比对象： 传统的两阶段方法（先使用 PyPSA 基于外生假设计算扩建，再用 RL 模拟市场）vs. 本文提出的协同优化。
发现：
- 两阶段方法（低报价假设）： 未进行扩建，导致严重的网络拥堵，实际运行成本远高于 PyPSA 预测。
- 两阶段方法（高报价假设）： 扩建了 81.4 MW，但实际成本仍略高于预测，因为 RL 模拟中发电商有时会根据市场情况调整报价，导致调度成本增加。
- 本文协同优化： 学习到的扩建量为 76.1 MW（略少于高报价假设的扩建量）。
- 结论： 协同优化通过内化发电商的战略行为，选择了更高效的容量水平，避免了过度投资，同时降低了总成本。

案例 2：离散选址决策

设置： 在 6 条候选线路中，每条线路扩建容量固定为 50 MW，决策变量为是否扩建（0 或 1）。
结果： 算法选择了扩建线路 1-2 和 4-12。
关键洞察：
- 虽然扩建成本比案例 1 略高（因为增加了线路 1-2），但运营成本显著下降。
- 原因： 线路 1-2 的扩建缓解了特定走廊的拥堵，削弱了 Gen 1 的市场势力，迫使其降低报价（从约 $90/MWh 降至更低水平），从而降低了整体系统成本。
- 这证明了框架能够识别出那些通过改变市场博弈结构来降低总成本的关键扩建点。

5. 意义与展望 (Significance)

理论意义： 填补了电力系统规划与电力市场博弈研究之间的空白，展示了 RL 在解决“设计 - 运营”耦合问题上的潜力。
实际应用： 为输电系统运营商（TSO）和监管机构提供了一种新工具，用于制定能够应对发电商策略性行为的鲁棒扩展计划，避免因忽视市场行为而导致的投资浪费或系统效率低下。
未来方向： 该框架具有扩展性，可应用于更大规模系统、多市场耦合环境以及“源 - 网”协同规划（Integrated Generation-Transmission Co-planning）。

总结：
这篇论文通过引入基于多智能体强化学习的协同优化框架，成功解决了输电扩展规划中战略报价与投资决策相互耦合的难题。实验表明，该方法不仅能找到成本更低的扩建方案，还能通过改变网络结构有效抑制发电商的市场势力，实现了系统总成本的最小化。