A Temporal Deep Feature Transfer Hybrid of LSTM and Gradient Boosting Machine for Multi Granularity Smart Grid Electricity Demand Forecasting

기술 요약: 스마트 그리드 전력 수요 예측을 위한 LSTM과 그래디언트 부스팅 머신의 시계열 딥 피처 전이 하이브리드 모델

문제 정의
다양한 시간적 입도(일간 및 월간)에 걸친 정확한 전력 수요 예측은 발전 배분, 송전 관리 및 수요 반응에 영향을 미치는 스마트 그리드의 효율적인 관리에 매우 중요하다. 그러나 기존 방법들은 이질적인 소비자 그룹(예: 농업용, 상업용, 산업용, 주거용, 가로등)을 예측할 때 상당한 문제에 직면한다.

• 고전적 한계: ARIMA, 지수 삼중 평활법(ETS), 가중 이동 평균(WMA)과 같은 전통적인 통계 모델은 선형성 및 정상성에 의존한다. 이러한 가정은 비선형적인 소비자 행동, 산업 주기 및 범주별 이질성으로 인해 스마트 그리드 데이터에서 빈번하게 위반된다. 본 연구는 이러한 방법들이 높은 오차율을 보이며, 특정 시나리오에서 MAPE 값이 340%를 초과하거나 550% 이상에 달한다고 지적한다.
• 딥러닝의 한계: LSTM 네트워크는 시계열 모델링에 탁월하지만, 표준 하이브리드 방식은 종종 LSTM의 최종 레이어로부터 원시 피처나 스칼라 출력을 다운스트림 회귀 모델(예: 그래디언트 부스팅 머신)로 직접 전달한다. 이러한 접근 방식은 LSTM의 중간 레이어에 인코딩된 풍부한 시계열 정보를 충분히 활용하지 못하여 회귀 정밀도를 저하시킨다.

방법론: TDF-LSTGBM 아키텍처
본 논문은 시계열 표현 학습과 최종 회귀를 분리하도록 설계된 새로운 2단계 지도 학습 파이프라인인 TDF-LSTGBM을 제안한다. 핵심 혁신은 시계열 딥 피처 전이(Temporal Deep Feature Transfer, TDF) 메커니즘이다.

1. 1단계: 스택형 LSTM 시계열 인코더 (피처 추출)

   • 아키텍처: 32개의 은닉 유닛과 0.3의 드롭아웃 비율을 가진 2개 층의 스택형 LSTM 인코더로 구성된다.
   • 학습: 모델은 정규화된 수요 데이터를 사용하여 Adam 옵티마이저(학습률 0.001)와 평균 제곱 오차(MSE) 손실 함수를 통해 300 에포크 동안 사전 학습된다.
   • TDF 추출: 최종 스칼라 출력 대신, 아키텍처는 완전 연결 층(penultimate dense layer)의 활성화 벡터(32차원 벡터, $\phi_i$)를 추출한다. 이 벡터는 학습된 시계열 패턴, 계절적 의존성 및 수요 역학을 캡슐화한다.
   • 시퀀스 구축: 슬라이딩 윈도우($W=12$ 월간, $W=7$ 일간)를 사용하여 감독 학습용 입-출력 쌍을 생성한다.

2. 2단계: 그래디언트 부스팅 머신(GBM) 회귀 모델

   • 피처 증강: 32차원의 시계열 피처 벡터($\phi_i$)는 외생적 범주형 및 시간적 변수(정수 0–4로 인코딩된 소비자 범주, 연도, 월 인덱스)와 결합된다. 이를 통해 증강된 35차원 입력 벡터($z_i$)가 생성된다.
   • 회귀: 100개의 얕은 결정 트리(최대 깊이 3)와 0.1의 학습률을 가진 GBM이 최종 회귀를 수행한다. GBM은 잔차를 보정하고, 순수 LSTM이 놓칠 수 있는 비선형성을 처리하기 위해 구조화된 피처 공간을 활용한다.

3. 데이터 생성 및 검증

   • 본 연구는 5가지 소비자 범주를 나타내는 현실적인 스마트 그리드 수요를 재현하기 위해 MATLAB 시뮬레이션을 통해 생성된 두 가지 데이터셋을 활용한다.
   • 일간 데이터셋: 일일 2,040개의 레코드.
   • 월간 데이터셋: 월간 1,066개의 레코드.
   • 데이터는 시간적 인과 관계를 보존하기 위해 시계열 순서대로 분할된다(80/20).

주요 기여

• 완전 연결 층 전이: 주요 혁신은 LSTM의 완전 연결 층 활성화를 GBM으로 전이하기 위한 구조화된 피처 벡터로 추출하는 것이다. 이는 원시 입력이나 최종 스칼라 출력을 사용하는 기존의 하이브리드 방식과 차별화된다.
• 다중 입도 파이프라인: 본 프레임워크는 각 입도에 대해 별도의 모델 튜닝을 요구하지 않고도 단일 아키텍처 패러다임 내에서 일간 및 월간 예측을 모두 성공적으로 처리한다.
• 범주 조건부 예측: 모델은 소비자 범주 레이블과 시간 인덱스를 명시적으로 포함하여, 다양한 부문(예: 농업 vs 산업) 간의 수요 패턴 이질성을 해결한다.
• 장기 투영: 아키텍처는 안정적인 범주 조건부 5개년 투영(2026–2031)을 지원하며, 이는 인프라 계획에 직접 적용 가능하다.

결과
TDF-LSTGBM 모델은 ARIMA, WMA, ETS, Vanilla LSTM, 그리고 표준 LSTM+XGBoost 하이브리드를 포함한 5가지 베이스라인과 비교 평가되었다.

• 성능 지표:
  • MAPE: 제안된 모델은 일간 예측에서 3.64%, 월간 예측에서 **3.66%**의 MAPE를 달성했다.
  • 비교: 이는 최상의 고전적 베이스라인(ARIMA, 약 51.96% MAPE)보다 14.2배 개선된 수치이다. 또한 Vanilla LSTM(7.68% MAPE)보다 2.1배, 표준 LSTM+XGBoost(6.12% MAPE)보다 1.7배 더 우수한 성능을 보였다.
  • RMSE/MAE: 모델은 두 입도 모두에서 RMSE 0.0873, MAE 0.0283을 달 기록하며 교차 해상도 안정성을 입증했다.
• 시각적 분석: 예측 그래프는 모델이 다른 모델에서 나타나는 점진적인 오차 누적 없이 실제 수요, 특히 피크 이벤트를 밀접하게 추적함을 보여준다. GBM 단계는 순수 LSTM 모델에서 흔히 발생하는 피크 저평가를 효과적으로 보정한다.
• 절제 연구(Ablation): 본 연구는 완전 연결 층 전이, 특정 GBM 하이퍼파라미터, 그리고 피처 증강의 각 구성 요소가 최종 정확도에 고유하게 기여함을 확인한다.

의의 및 주장
논문은 TDF-LSTGBM이 다중 입도 시계열 및 소비자 범주 분해를 체계적으로 처리함으로써 현재의 스마트 그리드 예측의 핵심적 공백을 해결한다고 주장한다. 스칼라 출력이 아닌 딥 시계열 피처를 전이함으로써, 모델은 고전적 선형 모델이 실패하는 이질적인 환경에서 탁월한 정밀도를 달성한다.

저자들은 모델이 드리프트(drift) 없는 안정적인 5개년 투영을 생성할 수 있다는 점을 근거로, 이 모델을 인프라 계획 및 수요 반응 스케줄링을 위한 강력한 도구로 위치시킨다. 본 연구는 시뮬레이션된 데이터를 사용했다는 점, 현재 피처 세트에 기상 변수가 없다는 점, 그리고 범위가 단일 국가의 맥락으로 제한되어 있다는 한계를 인정한다. 향-후 연구로는 기상 변수의 통합, 셀프 어텐션(self-attention) 메커니즘 도입, 그리고 개인정보 보호형 예측을 위한 연합 학습(federated learning) 아키텍처 탐색이 제안된다.