⚡ electrical engineering

Efficient reformulations of ReLU deep neural networks for surrogate modelling in power system optimisation

本文提出了一种针对凸化 ReLU 深层神经网络的高效线性规划重构方法，该方法能够将其易于处理且高保真地集成到电力系统优化问题中，并在丹麦三次调频容量市场竞价案例研究中，证明了其性能优于现有方法。

原作者： Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

发布于 2026-01-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Yogesh Pipada Sunil Kumar, S. Ali Pourmousavi, Jon A. R. Liisberg, Julian Lesmos-Vinasco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在运营一场规模宏大、高风险的电力拍卖会。你的身份是“聚合商（aggregator）”，一个通过向成千上万家庭用户（产消者）购买灵活性来帮助平衡电网的中间人。为了获胜，你需要精准预测：基于你提供的价格，人们会改变多少用电行为以节省开支。

问题在于，人类的行为是混乱、非线性且难以用简单的数学公式描述的。为了解决这个问题，研究人员使用人工智能（AI），具体来说是一种被称为**深度神经网络（DNN）**的技术。你可以把这个 AI 想象成一名超级聪明的学徒，他研习了数百万次过去的交易记录，现在可以完美地预测结果。

然而，这里有一个陷阱：你不能直接让这个 AI 学徒坐在你的拍卖数学运算中间。运行拍卖所需的数学逻辑（优化过程）在处理 AI 复杂的“黑盒”逻辑时会陷入“交通拥堵”。这就像试图让一辆一级方程式赛车行驶在狭窄、蜿蜒的村庄街道上；赛车太复杂了，而道路太窄。

问题所在：“交通拥堵”

传统上，为了让 AI 与拍卖数学模型协同工作，研究人员必须使用“二进制开关”（就像控制灯光的开与关）将 AI 强制固定为一种僵化的格式。这种方法虽然可行，但会将问题变成一个**混合整数规划（MIP）**问题。

类比： 想象你在解一个拼图，其中的每一个碎片要么是“开”，要么是“关”。随着 AI 神经元数量的增加，可能的组合数量会呈爆炸式增长。计算机会被这些组合淹没，导致需要花费数小时甚至数天才能找到解，或者干脆放弃计算。

现有的“补救措施”及其失败原因

研究人员曾尝试过另外两种方式来“平整道路”：

惩罚法（PCAR/PCTAR）： 这些方法试图通过添加“罚款”（惩罚项）来诱导计算机——如果 AI 预测错误，就进行处罚。
- 缺陷： 这就像告诉司机：“如果你驶离道路，就要交罚款。”但司机可能会决定，交罚款比撞车更划算。这些方法非常敏感；如果罚款设得太低，AI 会忽略它；如果设得太高，数学模型就会崩溃。其结果往往是不可靠的。
分段线性化（PWL）： 这种方法将 AI 的曲线拆解成一段段的直线。
- 缺陷： 它很精确，但就像试图用只有直角的乐高积木去画一个圆滑的圆。你需要使用极多的积木，导致模型变得庞大且计算缓慢。

该论文的解决方案：“凸化”捷径

作者提出了一种巧妙的新方法来重新格式化 AI，使其能够顺畅行驶而不发生拥堵。他们称之为凸化 ReLU DNN。

这里包含了神奇的魔术技巧：

目标： 在这个特定的拍卖问题中，目标是最小化成本（尽可能少花钱来购买灵活性）。
约束条件： 研究人员强制要求 AI 的内部权重（即 AI 转动的“旋钮”）在大多数层级中只能是正数。
结果： 通过强制这些旋钮为正值，AI 的行为从起伏不定、难以预测的山脉变成了平滑的碗状谷地。
- 类比： 想象 AI 是一个正在下坡的球。在旧版本中，这座山丘充满了隐藏的陷阱和悬崖（非凸性）。而在新版本中，人们将这座山铺设成了完美的、平滑的滑道（凸性）。因为目标是寻找最低点（最小化成本），所以球会自然而然地滚向底部，而不会被卡住。

因为形状现在是一个平滑的碗状，计算机不再需要切换开关或支付罚款。它可以利用**线性规划（LP）**进行计算，这就像是一条超高速的直线高速公路。计算机可以在毫秒级的时间内完成计算。

他们的发现

团队在真实场景（丹麦电力市场）中测试了这一方法。他们将这种全新的“平滑滑道”法与传统的“交通拥堵”法以及基于“罚款”的技巧进行了对比。

速度： 他们的这种方法比传统的 AI 方法快了几百到几千倍。它能在毫秒内解决问题。
准确度： 它的表现几乎与那些最精确但极其缓慢的方法一样出色。它不会出现“罚款法”中出现的那些“撞车”式错误。
可靠性： 与其他方法不同，当他们扩大 AI 的规模或增加其复杂度时，该方案并不会失效。它始终保持着快速且可靠。

注意事项（细则）

这个捷径仅在满足以下两个条件时有效：

你正在尝试最小化 AI 的输出（例如最小化成本）。
你愿意在训练 AI 时遵循“内部旋钮必须为正值”的规则（这虽然略微限制了 AI 的能力，但在处理此类特定问题时仍能捕捉到核心行为）。

总结

这篇论文并不是发明了一种新的 AI，而是发明了一种新的翻译工具。它将一个复杂、难以求解的 AI 模型，转化为一个简单、易于求解的数学问题（前提是你在寻找最低成本）。这使得电网运营商能够在实时拍卖中使用智能 AI 预测，而无需等待数天来等待计算机完成复杂的数学运算。

技术摘要：用于电力系统优化中代理建模的高效 ReLU 深层神经网络重构方法

问题陈述
电力系统的脱碳引入了由分布式能源驱动的复杂非线性相互作用，这些相互作用难以使用传统的优化模型进行捕捉。虽然基于机器学习（ML）的代理建模，特别是使用整流线性单元（ReLU）深层神经网络（DNN），为表示这些行为提供了极具前景的解决方案，但将 ReLU DNN 直接集成到优化框架中面临着重大挑战。标准的混合整数规划（MIP）重构方法（例如 Big-M 约束）会为每个神经元引入二进制变量，随着网络深度和宽度的增加，这会导致计算上的不可行性。相反，现有的线性规划（LP）松弛方法，如惩罚凸区域松弛（PCAR）和惩罚凸三角形区域松弛（PCTAR），虽然提高了可处理性，但严重依赖于启发式惩罚项。这些基于惩罚的方法通常缺乏保证的紧致性和鲁棒性，导致对超参数调优的敏感性以及潜在的解质量下降。

方法论
本文提出了一种针对特定类别 ReLU DNN（称为凸化 (cvxd) ReLU DNN）的新型 LP 重构方法。其核心数学见解基于定理 2.1，该定理确立了：如果一个 ReLU DNN 的输出在优化问题中被最小化，且从第二层开始的所有层权重矩阵都被约束为元素级非负（对于 $l \geq 2$ ，有 $W_l \geq 0$ ），那么这些层中的非凸 ReLU 激活函数可以用线性不等式代替而不损失紧致性。

具体而言：

凸化： 该方法通过约束隐藏层（从第 $k$ 层到输出层）的权重矩阵为非负来实现。这种结构性约束确保了最小化目标在网络中的传播，从而允许将 $\max(\cdot, 0)$ 约束替换为线性不等式（ $h_l \geq W_l h_{l-1} + b_l$ 且 $h_l \geq 0$ ）。
应用场景： 该方法应用于约束学习（OCL）框架中。作者使用 ReLU DNN 学习了一个产消者响应函数（一种非线性、非凸的饱和曲线），并将其嵌入到丹麦三次调节容量市场（mFRR）的聚合商利润最大化问题中。
基准测试： 所提出的重构方法针对以下最先进（SOTA）替代方案进行了评估：
- 基于 MIP 的方法： 使用 Gurobi ML 包的标准 Big-M 重构。
- 基于 LP 的方法： PCAR 和 PCTAR 松弛。
- 常规方法： 分段线性化（PWL）。

核心贡献

可处理的 LP 重构： 本文引入了一种通过强制后续层权重为非负来将 ReLU DNN 转换为紧凑 LP 形式的方法。这消除了对二进制变量的需求，与 MIP 方法相比显著降低了计算复杂度。
保证的紧致性： 与基于惩罚的松弛方法（PCAR/PCTAR）不同，所提出的方法在满足最小化和权重非负条件的情况下，在各种网络架构和输入条件下都能保证紧致性和准确性。
系统性评估： 研究通过涵盖不同宽度和深度的多种神经网络架构以及多种市场价格场景（低、中、高）对所提出的重构方法进行了全面的基准测试，证明了该方法的可扩展性和可靠性。

结果
评估是在一个参与丹麦 mFRR 市场的聚合商案例研究中进行的，利用了 30,000 个训练数据点，并在 30 个市场场景下进行了测试。

计算性能： 所提出的 LP 重构在速度方面显著优于基于 MIP 的方法（Gurobi ML）和 PWL 方法。当 Gurobi ML 和 PWL 在处理较宽网络时往往需要数秒甚至数小时，或者无法在时间限制内收敛时，该方法能在毫秒级内求解问题（例如，高价格场景下为 34 毫秒，而其他场景为 1–3 秒）。
解质量： 所提出的方法在所有场景下均实现了与表现最佳的方法（PWL 和 MIP）相当的实现利润，通常在领先者的 1% 以内。相比之下，由于其惩罚驱动结构导致的灵活性成本估算错误，PCAR 和 PCTAR 经常导致经济损失，尤其是在低价格场景下。
可扩展性： 随着网络宽度和深度的增加，所提出的方法保持了稳定的性能和紧致性。相比之下，G-MML 表现出严重的扩展性问题，即随着网络变宽（例如 400 个神经元），运行时间激增且 MIP 间隙显著扩大。PCAR 和 PCTAR 则表现出不一致的准确性和对惩罚参数调优的高敏感性。
准确性： 所提出的模型始终能达到接近底层 cvxd DNN 训练 RMSE 的值，证实了重构的紧致性。

意义与主张
本文声称，当与所提出的 LP 重构结合使用时，凸化 ReLU DNN 提供了一种可扩展且可靠的方法，用于将学习到的代理模型集成到电力系统优化中。其意义在于弥合了深度学习的表达能力与大规模优化计算需求之间的差距。

作者强调，虽然该方法要求网络输出被最小化，并对权重施加非负约束（这限制了可学习函数的类别为凸函数和单调递增关系），但它成功捕捉了测试案例中复杂的灵活性成本函数。这项工作本身是一项通用的方法论进步，避免了现有 LP 松弛方法中存在的启发式调优和缺乏紧致性保证的问题，使其适用于包括发电机组成本建模、二氧化碳排放量估算以及目标涉及最小化的机会约束公式在内的应用。作者指出，主要重点是展示重构方法的特性，而非特定的聚合商应用，后者仅作为验证的载体。