⚡ electrical engineering

Joint Scheduling of Deferrable and Nondeferrable Demand with Colocated Stochastic Supply

本文通过证明最优策略遵循“拖延原则”以降低问题复杂度，并提出一种在未知概率分布下能有效逼近该最优策略的强化学习算法，解决了利用共置随机电源对可延迟与不可延迟电力需求进行最优调度的问题。

原作者： Minjae Jeon, Lang Tong, Qing Zhao

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Minjae Jeon, Lang Tong, Qing Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家家庭能源系统的管理者。你有两类需要电力才能完成的“工作”，而你获取电力的方式也有两种。

两类工作：

“紧急”工作（不可延迟）： 这就像保持房屋温暖或降温，或者让灯亮着。你无法关闭这项工作，但你可以决定投入多少精力。如果电价便宜，你可能会让空调全速运转；如果电价昂贵，你可能只会将其调至低档。你必须立即完成这项工作。
“灵活”工作（可延迟）： 这就像给电动汽车充电或运行重型服务器。你有一个截止日期（例如，“汽车必须在早上 7 点前充满电”），但你可以选择何时开始工作。你可以今晚慢慢充电，或者等到明天早上再充。

两种电力来源：

“免费”的太阳能： 你的屋顶装有太阳能电池板。阳光是不可预测的（随机的）。有时阳光明媚，有时阴云密布。这种电力是免费的，但如果你不使用它，可以将其卖回电网以获取微薄利润。
“昂贵”的电网： 你可以从公用事业公司购买电力。价格随一天中的时间而变化（分时定价）。夜间价格低廉，但白天价格非常昂贵。

问题所在：
目标是通过平衡这些工作和电力来源来赚钱（或省钱）。

如果你将免费的太阳能用于紧急工作，你就能省钱。
如果你将免费的太阳能用于灵活工作，你也能省钱。
但是，如果你现在将免费的太阳能用于灵活工作，你可能没有足够的余量在稍后价格更好时卖回电网，或者你可能在稍后紧急工作需要电力时耗尽电力。

这是一个巨大的谜题，拥有无限的可能性，因为阳光的行为和新充电请求的到来都是随机的。

论文的核心思想：“拖延的艺术”

作者发现了一条巧妙的规则来解决这个谜题，他们称之为拖延原则。

请将拖延视为一种战略性的等待，而非懒惰。

想象你有一个完成报告的截止日期。你知道自己有很多工作要做。

旧方法： 即使你之后有很多空闲时间，你也立即开始工作。
论文的方法： 你等待。只有当你绝对必须在截止日期前完成工作时，你才开始工作。

在能源领域，这意味着：

暂时不要购买昂贵的电网电力。 如果你有一项灵活工作（例如给汽车充电），就等待。也许稍后阳光会出现，或者价格会下降。只有当你时间紧迫且必须完成工作时，才购买电力。
暂时不要使用免费的太阳能。 如果你有一项灵活工作，如果现在将太阳能卖回电网能获利，就不要立即使用免费的太阳能。等待看看稍后是否需要这些太阳能来避免购买昂贵的电网电力。

“三个神奇数字”

论文证明，你不需要超级计算机来解决这个无限谜题。你只需要在每个时刻追踪三个简单的数字（阈值）：

“等待”阈值： 如果剩余工作量低于这个数字，什么都不做。只需将太阳能卖回电网。现在担心还为时过早。
“开始”阈值： 如果工作量介于“等待”数字和更高的“开始”数字之间，开始使用免费的太阳能来工作，但暂时不要购买任何昂贵的电网电力。
“恐慌”阈值： 如果工作量高于这个数字，停止等待。使用你所有的太阳能，并购买完成工作所需的任何昂贵电网电力，以确保按时完工。

通过将复杂、无限的问题简化为仅追踪这三个数字，问题变得简单得多。

解决方案：智能学习者（PTRL）

由于我们并不总是确切知道阳光将如何变化，或者邻居们将使用多少电力，作者创建了一种名为PTRL（拖延阈值强化学习） 的学习算法。

将 PTRL 想象成一个聪明的学徒。

学徒不是试图学习每一个可能的场景（这是不可能的），而是被教导只学习三个神奇数字。
学徒观察真实世界的数据（例如实际的太阳能输出和电价）。
随着时间的推移，它学会了确切何时“等待”、何时“开始”以及何时“恐慌”。

结果

作者在电动汽车充电和太阳能电池板的真实数据上测试了这种方法。

它有效： “拖延”策略的表现几乎与完美的理论解决方案（我们在现实生活中实际上无法计算）一样好。
它优于竞争对手： 它击败了标准方法，如“模型预测控制”（试图预测未来但经常出错）以及其他试图一次性学习所有内容的 AI 方法。
它快速： 因为它只学习三个数字而不是数百万种可能性，所以它能非常快速地做出决策，这对于实时能源管理至关重要。

简而言之： 这篇论文告诉我们，当面对不可预测的能源和灵活的任务时，最好的策略通常是等到你绝对必须行动时才行动。通过数学上精确定义那个“必须”的时刻，我们可以节省大量资金，并更高效地运行我们的能源系统。

技术摘要：带共置随机电源的可延迟与不可延迟负荷联合调度

1. 问题表述

本文研究了在配备共置随机电源（如屋顶太阳能）和电网购电的能源系统中，对两类不同电气负荷的最优调度问题。该系统被建模为一个有限时域、离散时间、连续状态约束的马尔可夫决策过程（MDP）。

两类负荷分别为：

可延迟负荷：随机到达（例如电动汽车充电），且必须在特定截止时间前完成。服务量可以延迟，但在截止时间未满足的负荷将产生严格递增的凸惩罚。
不可延迟负荷：始终存在（例如暖通空调、照明），必须立即服务。然而，服务量具有价格响应性，由已知的、可微的凹效用函数决定。

系统在受监管的净电量计量（NEM）电价下运行，该电价是确定性、时变且分段线性的。该电价区分了进口电价（ $\pi^+_t$ ）和出口电价（ $\pi^-_t$ ），其中 $\pi^+_t \ge \pi^-_t$ 。目标是在调度时域内最大化预期经济盈余（消费总效用减去电费支付和完成惩罚）。

核心挑战在于连续状态变量（剩余可延迟负荷和随机发电量）与连续动作变量（两类负荷的服务率）导致的无限维策略空间，加之 NEM 定价结构的非线性，进一步加剧了这一复杂性。

2. 方法论与理论分析

拖延原则

作者确立了最优调度策略遵循“拖延原则”。该原则规定：从电网购电应推迟到严格必须满足截止期限时才进行；反之，本地可再生能源发电应优先用于即时消费或出口，具体取决于未来的价格和发电风险。

最优策略的结构化特征

通过对贝尔曼方程的严格分析，本文证明最优策略可从无限维空间简化为由每个时间步 $t$ 的三个拖延参数（阈值）定义的有限维欧几里得空间：

$\theta^-_t(g_t)$ ：剩余可延迟负荷的下阈值。低于此阈值时，系统优先将本地发电用于出口，而非服务可延迟负荷，即使这意味着进一步延迟负荷。
$\theta^+_t(g_t)$ ：上阈值。高于此阈值时，系统必须利用本地发电和电网购电积极服务可延迟负荷，以避免完成惩罚。
$\theta^0_t(g_t)$ ：控制“净零”区域的参数，在此区域内家庭既不进口也不出口电力。

这些阈值将状态空间划分为三种不同的运行模式：

净生产：本地发电超过负荷；盈余被出口。
净消费：负荷超过本地发电；从电网购电。
净零：本地发电恰好匹配负荷；无电网交互。

在这些区域内，策略定义了本地发电在不可延迟负荷、可延迟负荷和出口之间的分配优先级结构。例如，在“净零”区域内，策略平衡不可延迟设备的边际效用与服务可延迟负荷的边际价值，具体由特定的阈值决定。

拖延阈值强化学习（PTRL）

为了解决底层概率分布未知的 MDP 问题，作者提出了PTRL，一种结构化的强化学习（RL）算法。

降维：PTRL 不是在连续的 $(K+1)$ 维空间（其中 $K$ 为不可延迟设备数量）上学习完整的动作策略，而是仅学习三个拖延阈值（ $\theta_t$ ）。
算法架构：PTRL 利用软演员 - 评论家（SAC）框架。“演员”网络根据当前状态输出拖延阈值的均值和协方差。“评论家”网络估计状态 - 阈值对的价值（Q 函数）。
策略执行：一旦演员生成阈值，实际调度动作（服务率）即利用定理 2 中推导的结构化规则确定性计算得出。

3. 关键结果

理论贡献

拖延的最优性：本文正式证明，对于时不变和时变的 NEM 电价，最优策略均由三个拖延阈值表征。这显著降低了调度问题的复杂度。
线性时间依赖性：对于时间独立的发电模型，本文证明拖延阈值满足线性时间依赖性（ $\theta^+_t = \theta^+_{t+1} + \bar{v}$ ），进一步减少了待学习参数的数量。

数值性能

实验使用了来自自适应充电网络（ACN）的电动汽车负荷真实数据轨迹，以及来自 Pecan Street 数据集的太阳能发电和家庭消费数据。

收敛性：与标准基准（如 SAC 和 DDPG）相比，PTRL 收敛速度显著更快（独立模型约 800 个回合，马尔可夫模型约 2,000 个回合），而 SAC 和 DDPG 分别需要约 6,000 和 2,000 个回合。
最优性差距：在与训练分布匹配的合成测试数据下，PTRL 与最优策略的差距仅为3.34%，而 SAC 为 36.76%，DDPG 为 25.91%。
现场数据鲁棒性：在样本外现场数据测试中，PTRL 以显著优势优于所有基准（SAC、DDPG 和模型预测控制）（例如，比 SAC 提高约 107%）。这证实了该算法对模型失配和现实世界随机性的鲁棒性。
计算效率：PTRL 在计算效率上显著优于模型预测控制（MPC），评估时间快约 19 倍，使其适用于在线实施。
能源源利用：PTRL 有效学会了在低谷时段（出口电价较低时）优先消耗可再生能源，并将高价值的峰时段可再生能源用于出口，而标准基准未能同样有效地复制这一策略。

4. 意义与主张

本文主张其主要贡献是对复杂现实世界能源调度问题最优策略的结构化表征。通过识别“拖延原则”，作者将一个不可处理的无限维 MDP 转化为低维参数估计问题。

这项工作的意义在于：

** bridging 理论与实践**：它提供了理论基础（阈值策略），使得开发高效的数据驱动学习算法（PTRL）成为可能，这些算法优于标准强化学习和传统控制方法（MPC）。
处理非线性定价：与以往常假设线性批发电价的工作不同，本文解决了受监管零售 NEM 电价的分段线性和时变特性，这对于住宅和商业环境的实际部署至关重要。
联合优化：这是首个将可延迟与不可延迟负荷与共置随机电源进行联合调度的工作，捕捉了现代产消者系统中固有的跨期依赖和经济权衡。

作者对未来扩展保持谦逊，指出当前框架假设不可延迟负荷的效用函数已知，且仅涉及一种可延迟任务类型。他们建议未来的工作可以包括集成在线逆优化以学习效用函数，并将框架扩展到多个同时存在的可延迟任务。