State Representation Matters in Deep Reinforcement Learning: Application to Energy Trading

기술 요약: 에너지 트레이딩을 위한 딥 강화 학습에서의 상태 표현의 중요성

문제 정의
양수 발전(pumped-storage hydroelectricity)을 위한 에너지 트레이딩은 불확실성 하에서의 순차적 의사결정 문제이다. 에이전트는 현재 저수지 수위와 시장 정보를 바탕으로 매 시간 물을 펌핑할지(에너지 소비), 물을 방류할지(에너지 생성), 또는 대기할지를 결정해야 한다. 목표는 펌핑 시간과 발전 시간 사이의 가격 차이를 활용하여 수익을 극대화하는 것이다. 강화 학습(RL)은 이러한 환경에 자연스럽게 부합하지만, 학습된 정책의 품질은 에이전트에게 제공되는 **상태 표현(state representation)**에 크게 의존한다. 본 논문은 서로 다른 시장 특징군(feature families)—구체적으로 절대적(absolute), 상대적(relative), 예측(forecast) 특징—이 시장 조건이 변화할 때(예: 가격 수준, 변동성 또는 지리적 위치의 변화) 모델 프리(model-free) 딥 RL 에이전트의 성능과 일반화에 어떤 영향을 미치는지 조사한다.

방법론
저자들은 고정된 물리적 제약 조건(용량, 효율, 유량)과 고정된 행동 공간(최대 속도로 펌프, 대기, 방류)을 가진 양수 발전 시설을 시뮬레이션하는 통제된 환경인 HydroDam을 활용한다. 보상 함수는 양(+)의 가격과 음(-)의 가격을 모두 고려한 즉각적인 트레이딩 수익으로 정의된다.

상태 표현의 영향을 격리하기 위해, 본 연구는 고정된 Double DQN (DDQN) 아키텍처와 훈련 프로토콜을 사용하는 **통제된 절제 연구(controlled ablation study)**를 채택한다. 실험 전반에 걸쳐 변하는 유일한 변수는 입력 상태 특징이다. 테스트된 특징군은 다음과 같다:

1. 절대적 특징(Absolute Features): 정규화된 현재 가격, 로그 변환된 가격, 그리고 캘린더 인코딩(시간/요일에 대한 사인/코사인 함수, 주말 지표).
2. 상대적 특징(Relative Features): 최근 이력과 현재 가격을 비교하는 특징들로, 여기에는 24시간/168시간 z-점수, 이동 평균 기반의 롤링 가격 점수(quantile-based), 상대적 캘린더 특징, 그리고 기술적 지표(RSI, 볼린저 밴드, 이동 평균)가 포함된다.
3. 예측 특징(Forecast Features): 다섯 개의 LightGBM 모델 앙상블로 생성된 24시간 가격 예측값으로, 미래 가격 z-점수와 앙상블 불확실성 추정치를 포함한다.

실험 설정

• 데이터: 훈련 및 검증 데이터는 2007~2011년 사이의 벨기에 데이-어헤드(day-ahead) 가격으로 구성된다.
• 평가:
  • 동일 시장 테스트(Same-Market Test): 훨씬 높은 변동성, 음의 가격, 그리고 20212022년 에너지 위기를 포함하는 20122025년 벨기에 데이터를 통해 성능을 평가한다.
  • 교차 존 테스트(Cross-Zone Test): 고정된 정책을 39개의 다른 ENTSO-E 입찰 구역(bidding zones)에 평가하여, 서로 다른 시장 체제 간의 제로샷 전이(zero-shot transfer) 능력을 테스트한다.
• 베이스라인(Baselines): 최근 백분위수 대비 가격이 낮을 때 구매하고 높을 때 판매하는 롤링 가격 점수 휴리스틱(heuristic)이 강력한 비(non)-RL 베이스라인 역할을 한다. 최적 이익은 이론적 최대치의 백분율로 정규화하기 위해 완전한 예지력(perfect foresight)을 가진 동적 계획법(dynamic programming)을 통해 계산된다.

주요 기여

1. 통제된 테스트베드: 본 논문은 환경과 알고리즘을 고정하여 에너지 트레이딩을 위한 모델 프리 딥 RL의 상태 표현을 연구하기 위한 특정 테스트베드로 HydroDam을 정립한다.
2. 특징 절제 연구(Feature Ablation): 절대적, 상대적, 예측 상태 표현을 체계적으로 비교하여, 이들이 정책 성능에 미치는 개별적 및 결합된 효과를 격리하여 분석한다.
3. 일반화 분석: 학습되지 않은 시간대와 학습되지 않은 지리적 시장에서 정책을 평가함으로써, 상태 표현이 단순한 전처리 세부 사항이 아니라 전이 가능성의 핵심 요소임을 입증한다.

결과
연구 결과, 상태 표현은 RL 에이전트의 인지된 효과성을 극적으로 변화시킨다:

• 절대적 특징: 가장 높은 검증 성능(최적 이익의 78.9%)을 달-성했으나 심각한 과적합(overfitting)을 겪었으며, 동일 시장 테스트 세트에서는 28.8%, 39개 교차 존에서는 중앙값 **5.7%**로 급락했다.
• 상대적 및 예측 특징 (단독 사용): 각각 단독으로는 성능이 저조했다. 상대적 특징만 사용한 정책은 테스트 세트에서 10.3%에 그쳤고, 예측 특징만 사용한 정책은 33.4%를 기록했으며, 두 경우 모두 교차 존 중앙값에서 단순 롤링 가격 점수 휴리스틱을 일관되게 능가하지 못했다.
• 결합된 특징: 특징군을 결합했을 때 유의미하게 견고한 결과가 나타났다.
  • 절대적 + 상대적: 테스트 세트에서 49.9%, 교차 존 중앙값에서 39.8%에 도달했다.
  • 절대적 + 상대적 + 예측: 가장 강력한 성능을 보였으며, 테스트 세트에서 55.6%, 39개 구역 전체에서 **47.5%**의 중앙값을 달성했다. 이 전체 모델은 39개 구역 중 평균 38.2개 구역에서 휴리스틱을 능가했다.

의의 및 주장
본 논문은 에너지 저장 트레이딩에서 상태 표현이 정책 설계의 핵심적인 부분이지, 부수적인 전처리 선택 사항이 아니라고 주장한다. 결과는 다음과 같은 시사점을 준다:

• 단일 특징군에 의존하는 것은 시장 체제가 변화할 때(예: 평온했던 과거 시기에서 음의 가격가 발생하는 위기 시기로 전환될 때) 낮은 일반화 성능을 초래한다.
• 견고한 전이를 위해서는 다음을 결합한 하이브리드 상태 표현이 필요하다:
  1. 기회의 규모를 이해하기 위한 가격 규모(절대적 특징).
  2. 변화하는 가격 수준에 적응하기 위한 최근 상대적 맥락.
  3. 미래 상황을 예측하기 위한 단기 예측 정보.
• 결합된 접근 방식이 성능을 크게 향상시키기는 하지만, 모든 시장 환경(예: 낮은 인트라-데이 스프레드를 가진 노르딕 존)을 해결하는 것은 아니며, 이는 상태 설계가 성공을 위한 필수 조건이지만 충분조건은 아님을 나타낸다.

저자들은 변화하는 시장 조건에서도 효과를 유지하기 위해, 모델 프리 RL 에이전트가 가격 규모, 상대적 위치, 그리고 예측 정보를 동시에 접근할 수 있어야 한다고 결론짓는다.