Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

技术摘要：预测关键所在：针对未知离去时间的受控电动汽车充电的决策导向强化学习

问题定义
电动汽车（EV）的快速普及为电力系统带来了显著挑战，包括峰值需求激增和电网稳定性问题。虽然强化学习（RL）提供了一种数据驱动的方法来优化电动汽车充电调度（例如，最小化成本或平滑负荷），但其有效性往往受到信息不完整性的阻碍。在现实场景中，一个关键的不确定性是车辆的离去时间。如果不知道车辆何时离开，RL智能体就无法准确确定可用的时间灵活性，从而将充电转移到非高峰时段，这可能导致充电任务未完成或成本管理不佳。

现有文献通常假设离去时间具有完全的前瞻性，或者依赖于仅针对预测准确性（例如，最小化均方误差 MSE）进行训练的传统预测模型。然而，本文指出，一个旨在优化准确性的预测器并不一定会产生能导致最优控制决策的预测。标准预测中的误差会通过控制回路传播，从而降低整体控制策略的性能。

方法论：决策导向强化学习 (DF-RL)
为了解决预测准确性与决策质量之间的脱节问题，作者提出了一个决策导向强化学习 (DF-RL) 框架。其核心创新在于对离去时间预测器和 RL 控制智能体进行端到端的联合训练，其中预测器的更新是基于下游控制决策的质量，而非仅仅基于预测误差。

• MDP 建模： 该问题被建模为一个马尔可夫决策过程（MDP）。状态空间包括可测量变量（电价、剩余能量需求、时刻）和预测的剩余会话时长 ($\hat{d}_t$)。动作空间是二元的：全功率充电或保持闲置。
• 预测器： 一个神经网络 ($f_\psi$) 根据时间特征、已充电能量和剩余能量来预测总会话时长 ($\hat{T}_t$)。剩余时长通过从该预测值中减去已流逝的时间得出。
• RL 智能体： 作者使用了 Soft Actor-Critic (SAC)，这是一种离策（off-policy）演员-评论家算法，它在最大化预期回报的同时保持策略熵以进行探索。
• 联合训练目标： 预测器使用复合损失函数（公式 9）进行训练：
  $$L_{total} = \beta L_R + (1 - \beta) L_{DF}$$
  • $L_R$：标准的回归损失（MSE），衡量预测值与实际会话时长之间的偏差。
  • $L_{DF}$：决策导向组件，它利用 RL 智能体的优势函数 ($A(s,a)$) 来引导预测器的更新。该项鼓励预测器生成能够产生更高累积回报的预测。
  • $\beta$：一个平衡预测准确性与决策质量权重的超参数 ($\in [0,1]$)。

核心贡献

1. 用于电动汽车充电的 DF-RL 框架： 本文引入了决策导向学习在电动汽车充电调度中的新颖应用，专门针对离去时间的不确定性。不同于以往将 DF 学习与模型预测控制 (MPC) 或基于优化的方法相结合的工作（这些方法需要对 KKT 条件进行复杂的隐式微分），本方法直接将 DF 学习集成到 RL 流程中。
2. 端到端优化： 该框架允许直接根据控制目标来训练预测器。预测器和 RL 策略被联合更新，使得预测器能够学习对控制器而言“什么才是重要的”，而不仅仅是最小化统计误差。
3. 状态增强： 该方法利用基于神经网络的会话时长预测来丰富 RL 智能体的状态表示，使智能体能够在缺乏地面真值（ground-truth）离去数据的情况下做出明智决策。

实验结果
作者使用来自一家医院停车场设施的真实电动汽车充电会话数据集对 DF-RL 框架进行了评估。他们将其与以下基准进行了比较：

• BAU： 到达后立即充电。
• RL (无预测)： 不带任何离去时间信息的 RL。
• RL (常规预测器)： 使用仅基于回归损失训练的预测器的 RL ($\beta=1$)。
• RL (真实离去)： 具有完美离去时间知识的上界基准。

主要发现：

• 性能提升： 提出的 DF-RL 方法（特别是当 $\beta=0.2$ 或 $0.4$ 时）相比于没有离去时间预测的 RL 方法，实现了 14% 的总回报提升 和 55% 的未供应能量（因车辆离开导致充电失败）减少。
• 与常规预测的比较： 与使用常规预测器 ($\beta=1$) 的 RL 方法相比，DF-RL 方法将未满足需求率降低了约 14%（在最佳情况下从 7.3% 降至 6.3%），并提升了 5% 的总回报。
• 行为洞察： 文中指出，DF-RL 并不一定会产生更“准确”的离去时间数值预测。相反，它会产生对决策更有用的“保守型”预测。例如，在一个案例研究中，DF-RL 预测的会话时长比实际稍短，这促使智能体提前充电并成功完成了充电任务。相比之下，常规预测器高估了时长，导致充电延迟且任务未完成。
• 权衡： 较低的 $\beta$ 值（优先考虑决策质量而非原始准确性）会导致未满足需求的电动汽车减少，但充电成本略有上升，这反映了满足能量需求与最小化电费之间的权衡。

意义与主张
本文声称，其主要意义在于证明了预测准确性并非控制性能的唯一决定因素。通过利用来自控制智能体的反馈来训练预测器，系统学会了生成对充电问题的特定约束和目标具有鲁棒性的预测。

作者谦虚地表示，虽然其 DF-RL 方法比基准方案产生了更优的充电决策，但这只是在无需集成 DF 学习到传统优化求解器复杂性的情况下，处理电动汽车充电不确定性的一步。他们承认目前的工作侧重于单车场景及确定性价格曲线，并计划在未来工作中将该框架扩展到多车协作场景、动态价格曲线以及能捕捉季节性等时间模式的更具表达力的预测模型。