기술 요약: 하이브리드 트랜스포머-XGBoost 프레임워크를 이용한 뉴잉글랜드 지역의 단기 전력 수요 예측

1. 문제 정의

정확한 단기 전력 수요 예측은 전력 계통 운영자가 실시간 급전, 발전기 기동 계획(unit commitment), 에너지 시장 결제를 관리하는 데 있어 기초가 됩니다. 고전적인 통계적 방법(예: ARIMA)과 현대적인 머신러닝 접근 방식(예: XGBoost, LSTM, Transformer)이 널리 적용되어 왔으나, 기상 민감도가 높고 구조적인 수요 변화가 발생하는 지역에서의 예측은 여전히 도전적인 과제로 남아 있습니다.

본 연구는 극심한 계절적 기상 변화와 코로나19 팬데믹(2020~2022년)으로 인한 구조적 행동 변화가 특징인 뉴잉글랜드 전력 시장(ISO-NE)의 구체적인 과제를 다룹니다. 식별된 핵심 공백은 역학적 지표(확진자 수, 사망률)가 급성 팬데믹 단계에서 포스트-급성 안정화 단계로 행동 적응이 진행됨에 따라 예측적 가치가 어떻게 변하는지에 대한 불확실성입니다. 본 논문은 시계열 특징 추출을 위한 딥러닝과 정형 데이터 예측을 위한 그래디언트 부스팅을 결리한 하이브리드 아키텍처가 견고한 정형 데이터 전용 베이스라인 모델보다 우수한 정확도를 제공하는지, 그리고 팬데믹 시대 특징의 효용성이 시간에 따라 어떻게 진화하는지를 조사합니다.

2. 방법론

데이터 및 특징 공학 (Feature Engineering)

본 연구는 2020년 2월 1일부터 2023년 3월 23일까지의 뉴잉글랜드 제어 구역의 일일 전력 수요 데이터를 활용합니다. 특징 공학 파이프라인은 다음을 통합합니다:

• 기상 관측 데이터: 6개 도시(Boston, Bridgeport, Burlington, Concord, Portland, Providence)를 대표하는 6개 뉴잉글랜드 주 전체의 16가지 일일 변수(최고/평균/최저 기온, 이슬점, 습도, 풍속, 기압, 강수량)를 통해 96개의 원시 기상 특징을 생성합니다.
• 달력 및 계절 지표: 공휴일, 주말, 평일, 브릿지 데이(bridge days)를 나타내는 이진 플래그와 요일, 연중 일수, 계절을 나타내는 연속 변수를 포함합니다.
• 자기회귀 시차 (Autoregressive Lags): 지속성과 계절성을 포착하기 위해 1일, 7일, 14일, 30일의 수요 시차를 활용합니다.
• 역학적 지표: 코로나19 확진자 및 사망자 수에서 유도된 8가지 특징(일일 확진자/사망자 수, 7일 및 14일 이동 평균, 일일 성장률 등)을 포함합니다.

모델 아키텍처

제안된 프레임워크는 하이브리드 트랜스포머-XGBoost 아키텍처를 채택합니다:

1. 트랜스포머 인코더 (Transformer Encoder): 시계열 채널(8개의 코로나 특징 + 4개의 수요 시차)의 슬라이딩 윈도우(길이 $L=30$)를 처리합니다. 사인 함수 기반 위치 인코딩(sinusoidal positional encoding), 4개의 어텐션 헤드, 2개의 인코더 레이어를 사용하여 32차원의 시계열 임베딩 벡터를 생성합니다. 이 구성 요소는 장기적인 시간 의존성과 복잡한 상호작용 패턴을 포착하도록 설계되었습니다.
2. XGBoost 회귀 모델 (XGBoost Regressor): 트랜스포머 임베딩 벡터와 전체 정형 데이터 특징 집합(기상, 달력, 시차)의 결합을 입력으로 받습니다. 과적합을 방지하기 위해 얕은 트리($max\_depth=3$)와 강력한 규제를 적용하여 구성되었습니다.

학습 및 최적화

• 데이터 분할: 시간적 누수(temporal leakage)를 방지하기 위해 엄격한 연대순 분할(7라벨링 70% 훈련, 15% 검증, 15% 테스트)을 적용합니다. StandardScaler는 오직 훈련 세트에 대해서만 피팅됩니다.
• 하이퍼파라미터 튜닝: 500회의 시행 동안 다변량 Tree-structured Parzen Estimator (TPE) 샘플러를 사용하는 Optuna 기반의 베이지안 최적화를 수행합니다. MedianPruner를 사용하여 유망하지 않은 실험을 조기에 중단합니다.
• 평가 지표: RMSE, MAPE, 결정 계수($R^2$)를 사용합니다. 성능 차이의 통계적 유의성은 Harvey-Leybourne-Newbold 보정이 적용된 Diebold-Mariano (DM) 테스트를 통해 평가합니다.
• 해석 가능성: 특징 기여도를 정량화하고 특징 중요도의 시간적 변화를 분석하기 위해 SHAP (SHapley Additive exPlanations)을 사용합니다.

3. 주요 결과

예측 성능

두 모델 모두 홀드아웃 테스트 세트(2022년 10월 ~ 2023년 3월)에서 높은 정확도를 달랐습니다:

• 하이브리드 모델: RMSE = 8,876 MWh, MAPE = 2.05%, $R^2$ = 0.906.
• XGBoost 전용 베이스라인: RMSE = 9,304 MWh, MAPE = 2.21%, $R^2$ = 0.896.

하이브리드 모델이 미세하게 더 나은 지표를 보였으나, Diebold-Mariano 테스트($DM = -1.126, p = 0.262$) 결과, 427.7 MWh의 RMSE 차이는 통계적으로 노이즈와 구별할 수 없는 수준임이 확인되었습니다. 따라서 두 아키텍처는 이 데이터셋에 대해 예측 정확도 측면에서 통계적으로 동등한 것으로 간주됩니다.

특징 중요도 및 절제 실험 (Ablation)

• 시차(Lags)의 지배력: 자기회귀 수요 시차(특히 1일 시차)가 가장 중요한 특징이었습니다. 이를 제거했을 때 두 모델 모두 테스트 RMSE가 약 15~18% 증가했습니다.
• 기상 및 달력: 이러한 특징들만으로도 수요 분산의 약 84~85%를 설명할 수 있었습니다 ($R^2 \approx 0.84$).
• 트랜스포머 임베딩: 트랜스포머 임베딩을 제거하면 하이브리드 모델의 테스트 RMSE가 7.4% 저하되었으며, 이는 임베딩이 실제적인 시간적 구조를 포착하고 있음을 확인시켜 줍니다. 다만 정형 데이터 베이스라인 대비 이득은 완만했습니다.
• 코로나19 특징 (비대칭성):
  • 훈련 기간: 코로나 특징은 XGBoost 전용 모델의 훈련 정확도를 향상시켰습니다 (제거 시 훈련 RMSE 2.5% 증가).
  • 테스트 기간: 효과가 비대칭적이었습니다. 코로나 특징을 제거했을 때 XGBoost 전용 모델의 테스트 RMSE는 1.2% 개선되었으나, 하이브리드 모델의 테스트 RMSE는 3.2% 저하되었습니다.
  • SHAP 분석: 핵심적인 발견은 8개의 코로나 특징 중 5개가 팬데믹 활성기(훈련 세트)보다 포스트-급성기(테스트 세트)에서 하이브리드 모델에 의해 더 높은 중요도를 가진 것으로 판단되었다는 점입니다. 이는 모델이 행동 양식이 정상화된 시기에 학습된 팬데믹 패턴을 **과하게 적용(over-apply)**하여 체계적인 오류를 일으켰음을 나타냅니다.

4. 의의 및 주장

본 논문은 하이브리드 딥러닝 아키텍처가 시간적 역동성을 포착할 수는 있지만, 풍부한 정형 데이터 특징이 존재하는 경우 잘 튜닝된 그래디언트 부스팅 모델보다 반드시 통계적으로 유의미한 정확도 향상을 가져오는 것은 아님을 입증합니다.

본 연구의 핵심 기여는 **'시간적 유효성 쇠퇴(temporal validity decay)'**를 예측 오차의 메커니즘으로 식별한 것입니다. 연구는 역학적 특징들이 급성 혼란기(20202021년)에는 매우 유익했으나, 행동 적응이 완료된 포스트-급성기(2022년 후반2023년)에는 오히려 역효과를 내는 노이즈가 되었음을 보여줍니다. 이는 바이러스 전파율과 전기 수요를 연결하던 행동적 동인(봉쇄, 원격 근무 명령 등)이 사라졌기 때문입니다.

저자들은 다음과 같이 결론짓습니다:

1. 운영적 간결성 (Operational Parsimony): 이러한 맥락에서의 일일 수요 예측을 위해, 정형 데이터 전용 XGBoost 모델은 하이브리드 모델과 유사한 정확도를 제공하면서도 구현 복잡성이 낮아 경쟁력 있는 운영 선택지가 될 수 있습니다.
2. 특징 생애주기 관리 (Feature Lifecycle Management): 행동 적응이 완료되면 역학적 특징은 시간 제한을 두거나 퇴출시켜야 합니다. 팬데믹의 급성기 이후에도 이들을 계속 사용하는 것은 오래된 패턴에 과적합되는 현상을 초래하며, 이는 중요도는 높아지지만 예측 효용은 감소하는 SHAP 시간적 분석을 통해 감지될 수 있습니다.
3. 행동적 동인 vs 바이러스적 동인: 코로나에 대한 수요 반응은 단순한 바이러스 전파율보다는 행동적 혼란에 의해 주도되었습니다. 일단 행동이 정상화되자, 바이러스 순환이 지속되더라도 코로나 사례 수와 전력 수요 사이의 상관관계는 무너졌습니다.