Understanding electricity consumption behaviour through Inverse Reinforcement Learning

技术摘要：通过逆强化学习理解电力消耗行为

问题陈述
住宅用电量是全球能源需求的关键组成部分，特别是在气候变化背景下，用于空间制冷的电力需求正不断增加。能源政策设计面临的一个重大挑战是理解家庭如何应对社会经济和气候冲击（例如价格飙升和热浪）。现有的方法往往过度简化消费者行为，要么依赖于缺乏细粒度的“白盒”模型，要么侧重于有限子群体的机器学习方法，从而阻碍了泛化能力。此外，现有文献缺乏对在结合了热压力与社会经济压力的情况下，制冷行为如何演变的定量理解，尤其是在亚日（sub-daily）时间分辨率层面。核心问题在于：如何在保持可解释性的同时，避免过度简化，并捕捉大规模消费群体中非线性、异质性的响应，从而对大规模家庭消费进行建模。

方法论
作者提出了一种基于**对抗逆强化学习（Adversarial Inverse Reinforcement Learning, AIRL）**的框架，用以推断代表家庭消费行为的奖励函数。该方法分为三个主要阶段：

1. 数据预处理与聚类：

   • 数据来源： 来自意大利家庭的小时级智能电表数据（2021–2023年5月至7月），涵盖了危机前、危机中及危机后的时期。
   • 上下文变量： 静态/准静态变量（收入、城市化程度、建筑年代、估计的空调拥有量、绿视率、计费能源价格）以及动态变量（UTCI 热应力指数、消耗剖面）。
   • 聚类： 为了处理异质性，作者采用了聚类流水线。静态变量经过标准化处理，而动态时间序列数据（消耗量与 UTCI）则通过**回声状态网络（Echo State Networks, ESNs）和张量主成分分析（Tensor PCA）**进行处理，以提取保留时间动态特性的低维嵌入。这些嵌入被拼接在一起（权重各占50%），并使用凝聚层次聚类（Ward 联动法）进行聚类。
   • 选择： 共识别出11个聚类。为了进行详细分析，选择了四个具有代表性的聚类：高消耗型、城市中等消耗型、城市低消耗型和农村低消耗型。

2. 对抗逆强化学习 (AIRL)：

   • 公式化： 将家庭视为马尔可夫决策过程（MDP）中的智能体。状态 $s$ 包括上下文变量（UTCI、时刻、日期类型、滚动均值），动作 $a$ 定义为消耗量的阶差（$e_{t+1} - e_t$）。
   • 算法： 为每个聚类训练一个 AIRL 算法（具体使用近端策略优化 PPO 作为生成器）。系统由一个生成器策略和一个判别器（奖励网络）组成。
   • 奖励解耦： 奖励函数 $r(s, a)$ 被分解为一个基础项 $f_\phi(s, a)$ 和一个基于势能的塑造项 $\Phi_\psi(s)$。这种结构确保了提取的奖励与环境动力学解耦，从而使其具备跨越变化条件（例如从2021年到2023年）的可迁移性。
   • 训练： 模型通过最大化生成器被分类为专家（真实数据）的似然度来进行训练。超参数通过贝叶斯优化进行调整，以最小化综合指标（Combined Metric, CM），该指标平衡了分布相似性、消耗误差和时间相关性。

3. 行为分析：

   • 一旦训练完成，通过对奖励网络进行查询来提取行为洞察。
   • 最优消耗： 基于学习到的奖励构建一个关于消耗值的 Softmax 分布，以可视化智能体在不同热压力水平下会选择的“最优”消耗状态。
   • 比较： 将这些模型隐含的最优曲线与经验平均消耗量进行比较，以识别行为的变化（持续性、瞬时性或微乎其微）。
   • 子聚类： 为了研究日内异质性，对高消耗聚类根据消耗时段进行了进一步的子聚类。

关键结果
研究分析了意大利在 2021、2022 和 2023 年夏季的家庭数据，涵盖了能源危机和 2022 年的一次严重热浪。

• 对冲击的异质性响应： 奖励函数揭示了冲击如何重塑不同群体的制冷行为：

  • 高消耗聚类： 表现出持续性转变。虽然他们在 2021 年对温度反应强烈，但 2022 年的危机导致了持久的消耗减少，且在 2023 年并未完全恢复。
  • 城市中等消耗聚类： 表现出瞬时性转变。他们在 2022 年放大了对热量的反应，但在 2023 年情况缓解后，基本回归到了 2021 年的趋势。
  • 农村低消耗聚类： 表现出结构性、缓慢的转变。最初表现平稳，但在 2022 年发展出了对温度更敏感的行为，并在 2023 年得以巩固，这表明存在潜在的制冷设备采用潜力。
  • 城市低消耗聚类： 表现出微乎其微的变化，是反应最弱的群体，可能受到建筑环境和预算的限制。

• 日内异质性： 通过按消耗时段对高消耗组进行子聚类，发现了截然不同的行为：

  • 下午高峰型： 拥有较高空调拥有量和白天活动的用户，在 2022 年危机高峰期显著降低了消耗。
  • 傍晚高峰型： 消耗高峰出现在傍晚的用户在短期内表现出更强的改变意愿不足，在 2022 年维持了高 UTCI 响应，随后在 2023 年向下午高峰组的行为趋同。
  • 这表明**使用时间（time-of-use）**是一个独立的异质性维度，独立于社会经济地位。

意义与主张
本文声称对文献有三个主要贡献：

1. 方法论创新： 引入了一个 AIRL 框架，用于从大规模智能电表数据中推断奖励隐含的行为响应曲面。不同于传统的经验相关性，该方法将家庭视为受解耦奖励函数塑造的智能体，捕捉了热力、社会经济和时间上下文之间的非线性相互作用。
2. 对危机动态的实证洞察： 通过应用该框架研究 2021–2023 年意大利能源危机，本研究量化了在并发的热压力与社会经济压力下，制冷行为如何变化。它区分了瞬时调整与持久转变，提供了对不同消费者群体如何适应（或未能适应）极端条件的细粒度观察。
3. 揭示隐藏的异质性： 研究证明，即使在社会经济和环境特征看似相似的群体内部，也存在行为差异。具体而言，它确定了消耗时段（日内模式）是影响家庭如何应对冲击的关键因素，而这一维度在聚合分析中经常被忽视。

局限性与未来工作
作者承认存在一些局限性，例如上下文变量的粒度问题（例如收入和城市化程度是在市/邮编层面汇总的）以及奖励函数的局部可辨识性问题（绝对尺度并非内在属性）。他们建议未来的工作可以纳入更高分辨率的社会经济数据，利用长短期记忆网络（LSTM）架构以更好地重现日内趋势，并探索奖励函数的高阶偏导数。研究还指出，合同变更和能源贫困剖面未被明确建模，建议将其作为未来整合的方向。