Learning to Modulate, Not to Cycle: Soft Actor---Critic Recovers Inverter-Style Heat-Pump Control

技术摘要：学习调制，而非循环

问题陈述
住宅热泵，特别是单级机组，由于频繁的开关循环，面临着显著的机械磨损和效率降低的问题。每一次压缩机的启动都会引发瞬态损失（制冷剂迁移、润滑油回流、压力平衡），这些现象会降低性能系数（COP）并加速组件失效。虽然变频驱动（可变容量）热泵通过调节转速来追踪负荷，从而自然地抑制了循环行为，但典型的用于建筑 HVAC 的强化学习（RL）控制器通常仅优化热舒适度和能源成本的加权和。这些标准的 RL 方法往往忽略了学习策略的循环行为，可能导致控制器虽然获得了良好的成本-舒适度评分，却产生了实际硬件无法承受的“抖动”现象。

方法论
作者将单区热泵控制建模为一个具有 15 分钟时间步长的离散时间马尔可夫决策过程（MDP），并使用了 BOPTEST 框架中的“最佳水力热泵（bestest hydronic heat pump）”测试案例。

• 动作空间： 智能体控制归一化的压缩机容量 $u_{HP} \in [0, 1]$。这种连续空间允许智能体在理论上表现为单级恒温器（在 0 和 1 之间切换）或变频器（在端点之间连续调制）。
• 奖励设计： 引入了一种新型奖励函数，该函数在标准舒适度和成本项的基础上，增加了平准化压缩机磨损项。该项基于代表性的更换成本在额定启动次数上的摊销，将每次压缩机启动进行货币化。至关重要的是，该项以相同的货币单位（欧元）与能源成本进行表达，使智能体能够直接在磨损与运行成本之间进行权衡。
• 训练环境： 智能体在通过稀疏识别非线性动力学（SINDy）识别出的快速数据驱动代理植物上进行训练，以降低计算成本。随后，策略在高性能的 BOPTEST 仿真器上进行评估。
• 对比算法： 研究在相同的奖励结构和观测空间下对比了两种无模型算法：
  • 软行为者-评论家算法 (SAC)： 一种离策（off-policy）最大熵行为者-评论家方法。
  • 近端策略优化 (PPO)： 一种在策（on-policy）截断策略梯度方法。

核心贡献

1. 感知平滑度的奖励： 本文引入了一个具有物理依据的、货币化的压缩机磨速项，使得切换成为一个“一等公民”目标，而无需设置显式的最小运行时间约束。
2. 算法类别的效应： 研究表明，算法的选择从根本上决定了控制信号的定性形式。即使在相同的环境和奖励下，SAC 也会学习到连续调制策略，而 PPO 则会坍缩为开关控制（bang–bang）策略。
3. 经过验证的权衡： 研究提供了经验证据，证明平滑的 SAC 策略可以显著减少热不舒适度并消除循环行为（在 BOPTEST 仿真器上），且仅带来适度的运行成本增加。

结果

• 循环行为： 在峰值和典型加热场景下，SAC 智能体实现了每日零次压缩机启动，使压缩机保持在永久参与的调制状态（变频器式运行）。相比之下，PPO 智能体学习到了开关控制策略，其循环频率比基准控制器高出 2 到 4 倍，尽管存在磨损惩罚，却实际上恶化了磨损问题。
• 性能指标：
  • 舒适度 vs. 成本： 在峰值加热场景下，SAC 策略在运行成本增加 11.5% 的情况下，将热不舒适度降低了 90.7%（从 8.38 降至 0.78 K·h）。
  • 能源使用： SAC 的成本增加是由更高的热源能耗驱动的（比基准高出 11.0%），这表明智能体通过提供更多热量来维持舒适度，而非利用电价时段。
  • PPO 表现： PPO 通过欠热处理来降低成本，但未能显著改善舒适度，并诱发了过度的循环。
• 控制信号： SAC 的控制信号连续变化（从未降至零），而 PPO 在 60–82% 的步骤中处于完全关闭状态，在边界处饱和。

意义与主张
论文认为，对于寿命由切换次数决定的设备，熵正则化的离策学习（SAC）在结构上与所需的平滑硬件相一致。SAC 的最大熵目标重视广泛的动作分布，并惩罚向确定性轨道（0 或 1）的坍缩，从而自然地引导智能体走向“常开”的调制最优解。相反，缺乏这种熵底层的 PPO 更容易通过混合全开和全关动作来提高平均占空比。

作者得出结论，通过在奖励函数中为每次启动定价，可以从学习过程中内生性地产生与工程化变频器相当的平滑度。研究表明，SAC 提供了一个理想的帕累托平衡点：在有限且可回收的成本溢价下，实现接近零的不舒适度和零磨损。本研究的局限性在于未对磨损权重进行全面扫描以绘制帕累托前沿，也未针对模型预测控制（MPC）进行基准测试。