Regression Models Meet Foundation Models: A Hybrid-AI Approach to Practical Electricity Price Forecasting

이 논문은 시계열 파운데이션 모델이 생성한 예측 특징을 회귀 모델에 통합하는 'FutureBoosting'이라는 새로운 하이브리드 AI 접근법을 제안하여, 전력 가격 예측의 정확도를 기존 최첨단 모델 대비 30% 이상 향상시켰다고 요약할 수 있습니다.

핵심

이 논문은 **"전기 요금을 얼마나 정확하게 예측할 수 있을까?"**라는 질문에 대한 새로운 해법을 제시합니다. 전기 요금은 날씨, 수요, 공급 등 너무 많은 변수가 얽혀 있어 예측하기 매우 어렵습니다. 이 논문은 최신 AI 기술인 **'기초 모델 (Foundation Model)'**과 전통적인 **'회귀 모델 (Regression Model)'**을 섞어서, 서로의 단점을 보완하고 장점을 극대화하는 **'퓨처부스팅 (FutureBoosting)'**이라는 새로운 방식을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: 왜 전기 요금 예측은 어렵나요?

전기 요금은 마치 날씨와 비슷합니다. 갑자기 폭풍이 오거나, 기온이 뚝 떨어지거나, 예상치 못한 사건이 터지면 가격이 급등락합니다.

• 기초 모델 (Foundation Model) 의 한계: 이 모델들은 방대한 과거 데이터를 학습한 '천재 예보관'입니다. 과거의 패턴을 잘 기억해서 "내일은 비가 올 것 같다"는 시간적 흐름을 잘 예측합니다. 하지만, 내일 갑자기 어떤 공장이 문을 닫거나, 특정 지역의 바람이 어떻게 불지 같은 '구체적인 상황 (변수)'까지 고려하지는 못합니다.
• 회귀 모델 (Regression Model) 의 한계: 이 모델들은 '현실 감각이 뛰어난 분석가'입니다. "내일 바람이 강하면 발전량이 늘어나고, 가격은 떨어진다"는 인과관계를 잘 파악합니다. 하지만, 내일 바람이 얼마나 강할지 미리 알 수 없는 정보는 사용할 수 없습니다. 즉, 미래에 발생할 일을 예측할 수 있는 '눈'이 없습니다.

결국: 천재 예보관은 흐름은 알지만 세부 사정을 모르고, 현실 감각 분석가는 세부 사정은 알지만 미래를 못 봅니다. 둘 다 혼자서 전기 요금을 예측하면 큰 실수가 날 수 있습니다.

---

2. 해결책: 퓨처부스팅 (FutureBoosting) 이란?

이 논문은 이 두 모델을 팀워크로 묶었습니다. 마치 **스마트한 예보관 (기초 모델)**이 **현실 감각 분석가 (회귀 모델)**에게 "내일 비가 올 것 같으니 우산 챙겨"라고 알려주고, 분석가가 그 정보를 바탕으로 "우산을 챙기면 길거리 판매량이 줄겠군"이라고 최종 결론을 내리는 방식입니다.

단계 1: 미래의 '예상'을 만들어내다 (기초 모델의 역할)

먼저, **기초 모델 (TSFM)**을 사용합니다. 이 모델은 과거 데이터를 바탕으로 "내일 전력 수요가 얼마나 될지", "재생에너지 발전량이 얼마나 될지" 같은 아직 알 수 없는 미래의 변수들을 미리 예측합니다.

• 비유: 마치 내일 날씨 예보를 보고 "내일 비가 오겠구나"라고 미리 예상하는 것입니다. 아직 비가 오지 않았지만, 예보관 (기초 모델) 이 그 가능성을 미리 만들어낸 것입니다.

단계 2: 모든 정보를 합쳐서 최종 결정 (회귀 모델의 역할)

이제 이 '미리 예측한 정보'를 회귀 모델에게 가져갑니다.

• 입력: (1) 미리 예측한 미래 정보 + (2) 이미 알고 있는 내일 날씨/계획 + (3) 과거 데이터
• 작동: 회귀 모델은 이 풍부한 정보를 바탕으로 "아, 내일 비가 올 것 같고 (미리 예측), 바람도 강할 테니 (이미 알고 있음), 전기 요금은 이렇게 떨어지겠구나"라고 최종 가격을 계산합니다.

이 방식의 핵심은 **"미래에 일어날 일을 미리 예측해서, 그 정보를 분석가에게 주면 분석가가 훨씬 똑똑하게 결론을 내린다"**는 것입니다.

---

3. 왜 이 방식이 더 좋은가요?

이 논문은 실제 중국 산시 (Shanxi) 전력 시장 데이터를 가지고 실험했습니다. 결과는 놀라웠습니다.

• 정확도 대폭 상승: 기존에 쓰이던 가장 최신 AI 모델들보다 오류 (MAE) 를 30% 이상 줄였습니다.
• 극단적인 상황에도 강함: 전기 요금이 갑자기 폭등하거나 폭락하는 '극단적인 상황'에서도 이 방식이 가장 잘 대응했습니다.
• 가볍고 빠름: 거대한 AI 모델을 처음부터 다시 훈련시킬 필요 없이, 기존 모델을 '냉동' 상태로 두고 작은 분석 모델만 훈련시키면 되므로 컴퓨터 자원도 아끼고 속도도 빠릅니다.

---

4. 요약: 한 줄로 정리하면?

"미래를 예측하는 천재 (기초 모델) 가 미리 정보를 준비해 주고, 현실을 분석하는 전문가 (회귀 모델) 가 그 정보를 활용해 최종 결정을 내리는 팀워크를 만들었더니, 전기 요금 예측이 훨씬 정확해졌습니다."

이 기술은 전력 회사가 전기를 사고팔 때 (입찰), 혹은 우리가 전기 사용량을 계획할 때 더 정확한 정보를 제공하여 에너지 시장의 효율을 높이고 비용을 절감하는 데 큰 도움을 줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

전력 시장 가격은 수요 - 공급의 복잡한 역학, 재생 에너지의 간헐성, 규제 변화 등으로 인해 **극심한 변동성 (Volatility), 비선형성 (Nonlinearity), 비정상성 (Non-stationarity)**을 보입니다. 이러한 특성으로 인해 정확한 전력 가격 예측 (EPF) 은 매우 어렵습니다.

기존의 두 가지 주요 접근법은 각각 한계가 존재합니다:

• 시계열 파운데이션 모델 (TSFMs): 대규모 데이터로 사전 학습된 Transformer 기반 모델 (Chronos, Timer-XL 등) 은 장기적인 시간적 의존성을 포착하는 데 뛰어나지만, 교차 변수 (Cross-variate) 상관관계와 비주기적 패턴을 충분히 활용하지 못합니다. 또한, 벤치마크 성능이 실제 전력 시장 (특히 꼬리 분포와 극단적 사건이 빈번한 환경) 에서는 보장되지 않습니다.
• 회귀 모델 (Regression Models): LightGBM, XGBoost 등 구조화된 피처 간의 상호작용을 잘 포착하지만, **미래에 존재하지만 현재 예측 시점에 아직 관측 불가능한 변수 (예: 미래의 부하, 재생 에너지 발전량)**를 입력으로 사용할 수 없다는 한계가 있습니다. 즉, 미래의 불확실한 드라이버를 고려하지 못해 예측력이 제한적입니다.

2. 제안 방법론: FutureBoosting (Methodology)

저자들은 시간적 의존성을 학습하는 TSFM 과 교차 변수 상관관계를 학습하는 회귀 모델의 장점을 결합한 새로운 패러다임인 FutureBoosting을 제안합니다. 이 방법은 두 단계로 구성됩니다.

2.1. FutureBoosting 패러다임의 핵심 흐름

1. 1 단계 (Forecast - 특징 증강):
   • 고정된 (Frozen) TSFM 을 사용하여 예측 시점에 아직 관측 불가능한 미래 변수들 (시스템 부하, 재생 에너지 발전량 등) 을 예측합니다.
   • TSFM 은 역사적 패턴을 기반으로 이러한 미래 드라이버에 대한 '예상치 (Expectations)'를 생성합니다.
2. 2 단계 (Regress - 최종 예측):
   • 생성된 **예측된 특징 (Forecasted Features)**을 기존에 미래에 미리 알려진 변수 (날씨 예보, 계획된 발전 계획 등) 와 결합하여 **풍부한 특징 집합 (Enriched Feature Set)**을 구성합니다.
   • 이 특징 집합을 입력으로 받아 **경량 회귀 모델 (예: LightGBM)**을 훈련시켜 최종 전력 가격을 예측합니다.

2.2. 기술적 세부 사항

• 특징 증강 (Feature Augmentation): TSFM 은 미래의 불확실한 변수들을 예측하여 회귀 모델에 '미래 지향적 정보 (Forward-looking expectations)'를 제공합니다. 이는 회귀 모델이 복잡한 시간적 역학을 직접 모델링하는 대신, 풍부한 특징 공간 내에서 교차 변수 간의 복잡한 상호작용을 학습할 수 있게 합니다.
• 도메인 지식 기반 특징 (Domain-knowledge-guided Factors): 단순한 원시 변수 외에도 전력 시장 구조를 반영한 특징 (예: 열전력 경매 공간, 재생 에너지 비율) 을 추가하여 공급 측면의 구조를 더 잘 포착합니다.
• 유연성: 다양한 TSFM (TimerXL, Chronos2 등) 과 회귀 모델 (LightGBM, Linear Regression 등) 과 호환되는 플러그 앤 플레이 (Plug-and-play) 프레임워크입니다.

3. 주요 기여 (Key Contributions)

1. 혁신적인 하이브리드 패러다임 제안: TSFM 의 시간적 일반화 능력과 회귀 모델의 교차 변수 상관관계 모델링 능력을 결합한 FutureBoosting을 최초로 제안했습니다.
2. 경량 및 실용적인 EPF 프레임워크: TSFM 의 추론 결과를 특징으로 활용하여, 미세 조정 (Fine-tuning) 없이도 높은 성능을 내는 경량 프레임워크를 구현했습니다.
3. 실증적 검증 및 해석 가능성: 실제 전력 시장 데이터 (중국 산시성, 유럽 RealE) 에서 SOTA 모델들을 압도하는 성능을 입증했으며, SHAP 값을 통한 해석 가능한 AI (XAI) 기법으로 모델의 의사결정 과정을 규명했습니다.

4. 실험 결과 (Results)

연구진은 중국 산시성 (Shanxi) 의 실제 전력 시장 데이터 (2025 년 1 월~12 월) 와 유럽 (프랑스, 독일) 의 RealE 벤치마크를 사용하여 평가했습니다.

• 성능 향상:
  • shanxi (Day-ahead): Zero-shot TSFM 대비 MAE 32.40%, MSE 45.43% 감소. 기존 LightGBM 회귀 모델 대비 MAE 4.56% 추가 향상.
  • shanxi (Real-time): Zero-shot TSFM 대비 MAE 24.98%, MSE 39.27% 감소. 변동성이 큰 실시간 시장에서 특히 큰 개선을 보임.
  • RealE (FR/DE): Zero-shot TSFM 대비 평균 MAE 818% 향상, 기존 회귀 모델 대비 5863% 향상.
  • 최고 성능: TimerXL + FutureBoosting 조합이 산시성 일일 예측에서 MAE 94.78, MSE 33,978.45 를 기록하여 모든 베이스라인을 압도했습니다.
• 효율성 (Efficiency):
  • TSFM 을 미세 조정 (LoRA Fine-tuning) 하는 방식에 비해 GPU 메모리 사용량을 약 22 배 줄이고, 실행 시간을 약 150 배 단축했습니다.
  • TSFM 추론 결과를 캐싱 (Caching) 하면 CPU 만으로도 실시간 추론이 가능하여 자원 제약이 있는 환경에서도 배포 가능합니다.
• 해석 가능성 (Explainability):
  • SHAP 분석을 통해 TSFM 에서 생성된 특징 (예: Chronos2 기반 예측) 이 재생 에너지 비율, 열전력 경매 공간 등 도메인 지식과 함께 중요한 예측 요인으로 작용함을 확인했습니다.
  • 극단적인 저가/고가 regimes 에서 기존 TSFM 의 편향을 보정하고 실제 가격 변동을 더 잘 따라가는 것을 시각적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Foundation Model 과 전통적인 회귀 모델의 시너지를 통해 실용적인 AI 솔루션을 제시했다는 점에서 의의가 큽니다.

• 실무 적용 가능성: 복잡한 미세 조정 없이도 높은 정확도를 제공하며, 계산 비용이 적고 해석이 용이하여 전력 거래소나 발전사 등 실제 시장 참여자의 의사결정 (입찰 전략, 리스크 관리) 에 즉시 활용 가능합니다.
• 일반화된 프레임워크: 전력 가격 예측에 국한되지 않고, 미래에 관측 불가능하지만 중요한 드라이버가 존재하는 다른 시계열 예측 문제 (수요 예측, 금융 등) 에도 적용 가능한 일반적인 방법론을 제시합니다.
• 하이브리드 AI 의 새로운 방향: 거대 모델의 일반화 능력과 도메인 특화 모델의 정밀함을 결합하여, 단일 모델의 한계를 극복하는 새로운 패러다임을 정립했습니다.

요약하자면, FutureBoosting은 TSFM 이 제공하는 '미래에 대한 통찰'을 회귀 모델이 '구체적인 시장 변수'와 결합하여, 기존 방식보다 정확하고 효율적이며 해석 가능한 전력 가격 예측을 가능하게 한 획기적인 연구입니다.