Understanding electricity consumption behaviour through Inverse Reinforcement Learning

기술 요약: 역강화학습을 통한 전력 소비 행동의 이해

문제 정의
주거용 전력 소비는 전 세계 에너지 수요, 특히 기후 변화로 인해 증가하고 있는 냉방 부문에서 중요한 구성 요소입니다. 에너지 정책 설계의 주요 과제는 가계가 사회경제적 및 기후적 충격(예: 가격 급등 및 폭염)에 어떻게 반응하는지 이해하는 것입니다. 기존의 접근 방식은 대개 지나치게 단순화된 "화이트 박스(white box)" 모델에 의존하여 세밀함이 부족하거나, 특정 하위 집단에 초점을 맞춘 머신러닝 방식을 사용하여 일반화가 어렵다는 한계가 있습니다. 또한, 현재의 문헌은 결합된 열적·사회경제적 스트레스 상황에서 냉방 행동이 어떻게 진화하는지에 대한 정량적 이해가 부족하며, 특히 일 단위 미만의 시간적 해상도 측면에서 그러합니다. 핵심 문제는 광범위한 소비자 그룹을 대상으로 하면서도 단순화를 피하고, 해석 가능성을 유지하며, 비선형적이고 이질적인 반응을 포착할 수 있도록 대규모 가계 소비를 어떻게 모델링할 것인가 하는 점입니다.

방법론
저자들은 가계 소비 행동을 나타내는 보상 함수(reward functions)를 추론하기 위해 역강화학습(Adversarial Inverse Reinforcement Learning, AIRL) 기반의 프레임워크를 제e안합니다. 방법론은 다음 세 가지 주요 단계로 진행됩니다.

1. 데이터 전처리 및 클러스터링:

   • 데이터 소스: 위기 전, 위기 중, 위기 후 기간(20212023년 5월7월)을 포함하는 이탈리아 가계의 시간당 스마트 미터 데이터.
   • 컨텍스트 변수: 정적/준정적 변수(소득, 도시화, 건물 연식, 추정 에어컨 보유 여부, 그린 뷰 지수(Green View Index), 청구된 에너지 가격) 및 동적 변수(UTCI 열 스트레스 지수, 소비 프로필).
   • 클러스터링: 이질성을 처리하기 위해 저자들은 클러스터링 파이프라인을 사용합니다. 정적 변수는 표준화되며, 동적 시계열 데이터(소비 및 UTCI)는 **에코 상태 네트워크(Echo State Networks, ESNs)**와 **텐서 PCA(Tensor PCA)**를 사용하여 시간적 역동성을 보존하는 저차원 임베딩으로 처리됩니다. 이들은 각각 50%의 가중치로 결합되어 Ward 연결법을 사용하는 응집형 계층 클러스터링(agglomerative hierarchical clustering)을 통해 클러스터링됩니다.
   • 선택: 11개의 클러스터가 식별되었습니다. 상세 분석을 위해 고소비, 도시 중간 소비, 도시 저소비, 농촌 저소비의 네 가지 대표 클러스터가 선정되었습니다.

2. 역강화학습 (Adversarial Inverse Reinforcement Learning, AIRL):

   • 정식화: 가계는 마르코프 결정 과정(MDP) 내의 에이전트로 취급됩니다. 상태 $s$는 컨텍스트 변수(UTCI, 시간대, 요일 유형, 이동 평균)를 포함하며, 행동 $a$는 소비의 1차 차분($e_{t+1} - e_t$)으로 정의됩니다.
   • 알고리즘: 각 클러스터에 대해 AIRL(생성기를 위해 근사 정책 최적화(PPO)를 사용)이 학습됩니다. 시스템은 생성기 정책과 판별기(보상 네트워크)로 구성됩니다.
   • 보상 분리(Reward Disentanglement): 보상 함수 $r(s, a)$는 기본 항 $f_\phi(s, a)$와 잠재 기반 형성 항 $\Phi_\psi(s)$로 분해됩니다. 이러한 구조는 추출된 보상이 환경 역동성으로부터 분리되도록 보장하여, 변화하는 조건(예: 2021년에서 2023년으로의 변화) 간의 전이 가능성을 높입니다.
   • 학습: 모델은 생성기가 전문가(실제 데이터)로 분류될 확률을 최대화하도록 학습됩니다. 하이퍼파라미터는 분포 유사성, 소비 오차, 시간적 상관관계를 균형 있게 조절하는 결합 지표(Combined Metric, CM)를 최소화하기 위해 베이지안 최적화를 통해 최적화됩니다.

3. 행동 분석:

   • 학습된 후, 보상 네트워크를 조사하여 행동 통찰력을 추출합니다.
   • 최적 소비: 학습된 보상을 기반으로 소비 값에 대한 소프트맥스(softmax) 분포를 구축하여, 에이전트가 다양한 열 스트레스 수준 하에서 선택할 "최적" 소비 상태를 시각화합니다.
   • 비교: 이러한 모델 기반 최적 곡선을 실제 평균 소비와 비교하여 행동의 변화(지속적, 일시적 또는 무시할 만한 수준)를 식별합니다.
   • 하위 클러스터링: 일중(intraday) 이질성을 조사하기 위해, 고소비 클러스터를 소비 타이밍(오후 피크형 vs 저녁 피크형)에 따라 추가로 하위 클러스터링하였습니다.

주요 결과
본 연구는 에너지 위기와 2022년의 심각한 폭염을 포함하는 이탈리아의 2021, 2022, 2023년 여름 데이터를 분석했습니다.

• 충격에 대한 이질적 반응: 보상 함수는 충격이 냉방 행동을 어떻게 다르게 재편했는지 보여주었습니다.

  • 고소비 클러스터: 지속적인(persistent) 변화를 보였습니다. 2021년에는 온도에 강하게 반응했으나, 2022년 위기로 인해 소비가 지속적으로 감소하였으며 2023년에도 완전히 회복되지 않았습니다.
  • 도시 중간 소비 클러스터: 일시적인(transient) 변화를 보였습니다. 2022년에는 열에 대한 반응을 증폭시켰으나, 조건이 완화된 2023년에는 다시 2021년의 추세로 거의 복귀했습니다.
  • 농촌 저소비 클러스터: 구조적이고 느린(structural, slow) 변화를 보였습니다. 초기에는 평탄했으나, 2022년에 더 온도 반응적인 행동을 보였고 이것이 2023년에도 공고해졌는데, 이는 냉방 도입의 잠재적 가능성을 시사합니다.
  • 도시 저소비 클러스터: 무시할 만한(negligible) 변화를 보였으며, 건축 환경과 예산 제약으로 인해 가장 반응이 적은 집단으로 남았습니다.

• 일중(Intraday) 이질성: 고소비 그룹을 소비 타이밍에 따라 하위 클러스터링한 결과 뚜렷한 행동 차이가 나타났습니다.

  • 오후 피크형(Afternoon-High): 에어컨 보유율이 높고 낮 시간 활동이 많은 사용자들은 2022년 위기 정점 동안 소비를 크게 줄였습니다.
  • 저녁 피크형(Evening-High): 저녁 피크를 보이는 사용자들은 단기적으로 변화에 덜 민감했으며, 2022년에도 높은 UTCI 반응을 유지하다가 2023년에 오후 그룹의 행동으로 수렴했습니다.
  • 이는 **사용 시간(time-of-use)**이 사회경제적 지위와는 독립적인 행동 이질성의 별도 차원임을 나타냅니다.

의의 및 주장
본 논문은 문헌에 대한 세 가지 주요 기여를 주장합니다.

1. 방법론적 혁신: 대규모 스마트 미터 데이터로부터 보상 기반의 행동 반응 표면을 추론하기 위한 AIRL 프레임워크를 도입했습니다. 단순한 경험적 상관관계와 달리, 이 방식은 가계를 열적, 사회경제적, 시간적 컨텍스트 사이의 비선형적 상호작용을 포착하는, 분리된 보상 함수에 의해 형성되는 에이전트로 표현합니다.
2. 위기 역동성에 대한 실증적 통찰: 이 프레임워크를 이탈리아의 2021~2023년 에너지 위기에 적용함으로써, 열적 및 사회경제적 스트레스가 동시에 발생할 때 냉방 행동이 어떻게 변하는지 정량화했습니다. 이를 통해 일시적 조정과 지속적 변화를 구분하여, 다양한 소비자 그룹이 극한 조건에 어떻게 적응(또는 적응하지 못하는지)하는지에 대한 세밀한 관점을 제공합니다.
3. 숨겨진 이질성 규명: 본 연구는 사회경제적 및 환경적 측면에서 유사해 보이는 집단 내에서도 행동적 차이가 존재함을 입증했습니다. 특히, 소비 타이밍(일중 패턴)이 가계의 충격 반응에 영향을 미치는 핵심 요소임을 확인하였으며, 이는 총량 분석에서는 흔히 간과되는 차원입니다.

한계 및 향후 과제
저자들은 컨텍스트 변수의 해상도(예: 소득 및 도시화가 시/군/구 단위로 집계됨)와 보상 함수의 부분 식별성(절대적 척도가 내재되어 있지 않음)에 대한 한계를 인정합니다. 향후 연구에서는 더 높은 해상도의 사회경제적 데이터를 통합하고, 더 나은 일중 추세 재현을 위해 LSTM 아키텍처를 활용하며, 보상 함수의 고차 편미분을 탐구할 것을 제안합니다. 또한, 특정 계약 변경 및 에너지 빈곤 프로파일이 명시적으로 모델링되지 않았음을 언급하며, 이를 통합할 수 있는 영역으로 제시했습니다.