🤖 machine learning

Market-Information-Aware Gated-LoRA of Foundation Models for Transferable Day-Ahead Electricity Price Forecasting

본 논문은 다중 소스 시장 정보와 상태 의존적 게이팅을 통합함으로써 데이터가 부족한 시장에서 전이 가능한 익일 전력 가격 예측을 위해 Chronos-2 파운데이션 모델을 적응시키는 시장 정보 인지형 게이트형 LoRA 프레임워크를 제안하며, 이를 통해 제로샷 및 바닐라 미세 조정 베이스라인 대비 유의미한 오차 감소를 달성한다.

원저자: Hang Fan, Wei Wei, Shengwei Mei

게시일 2026-08-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hang Fan, Wei Wei, Shengwei Mei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 번도 살아본 적 없는 새로운 도시의 날씨를, 전 세계용으로 설계된 일반적인 날씨 앱만을 가지고 예측하려고 노력한다고 상상해 보십시오. 당신은 기본적인 것은 알고 있습니다. 여름에는 더워지고 겨울에는 추워진다는 사실 말입니다. 하지만 이 특정 도시가 근처 호수로 인해 발생하는 기묘한 미기후를 가지고 있다거나, 현지의 바람 패턴이 매주 화요일마다 바뀐다는 사실은 모릅니다. 과학의 세계에서 이것은 "전이 학습(transfer learning)"이라는 과제에 직면한 것입니다. 이는 세상의 일반적인 법칙을 많이 알고 있는 똑똑하고 사전 학습된 두뇌(파운데이션 모델)를 가져와서, 모든 것을 처음부터 다시 배울 필요 없이 특정하고 까다로운 새로운 상황을 이해하도록 가르치는 기술입니다. 보통 이러한 모델들은 주가나 기온처럼 숫자의 패턴을 포착하는 데는 뛰어나지만, 게임의 규칙이 갑자기 변할 때, 예를 들어 가격이 급격히 치솟을 수 있는 새로운 전력 시장과 같은 상황에서는 어려움을 겪습니다.

이제 전력 가격을 단순히 화면 위의 숫자가 아니라, 거대하고 고속으로 진행되는 경매의 결과물이라고 상상해 보십시오. 매 15분마다 발전소, 풍력 발전소, 태양광 패널들이 에너지를 얼마나 팔 수 있는지 외치고, 도시와 공장들은 에너지가 얼마나 필요한지 외칩니다. 가격은 공급과 수요의 균형을 맞추는 "결정 가격(clearing price)"입니다. 문제는 이러한 시장은 매우 변동성이 크고 지역마다 독특하다는 점입니다. 새로운 시장이 열리면 공부할 과거 기록이 없기 때문에, 전통적인 컴퓨터가 가격을 정확하게 예측하는 것은 악몽과 같습니다. 이 논문은 바로 이 문제, 즉 충분한 현지 데이터를 확보하기도 전에 어떻게 똑똑한 사전 학습된 AI를 사용하여 새로운 시장의 전력 가격을 예측할 것인가에 대해 다룹니다.

이 연구를 진행한 연구진은 수백만 개의 서로 다른 시계열 패턴을 학습한 "보편적 시간 여행자"와 같은 강력한 AI인 Chronos-2를 사용하는 새로운 전략을 테스트하기로 했습니다. 단순히 과거의 가격만을 입력하는 대신, 그들은 AI에게 미래의 "참조 시트(reference sheet)"를 제공했습니다. 이것을 이렇게 생각해 보십시오. 만약 당신이 콘서트 티켓 가격을 추측한다면, 작년의 가격만 보는 것이 아니라 밴드의 인기, 경기장 수용 인원, 그리고 그날 비가 오는지 여부도 함께 볼 것입니다. 마찬가지로, 연구팀은 다중 소스 시장 정보(Multi-Source Market Information, MSMI) 인터페이스라는 특별한 인터페이스를 구축했습니다. 이 인터페이스는 AI에게 7일간의 가격 이력을 제공하지만, 결정적으로 전력 시장의 알려진 미래 세부 사항들을 함께 전달합니다: 즉, 얼마나 많은 풍력 및 태양광 전력이 가용할지, 전기가 얼마나 필요할지, 얼마나 많은 발전기가 유지보수 중인지, 그리고 얼마나 많은 예비 전력(reserves)이 준비되어 있는지와 같은 정보들 말입니다.

논문에 따르면 단순히 AI에게 이 풍부한 "참조 시트"를 제공하는 것만으로도 엄청난 차이를 만들어냅니다. 연구진이 기본 정보(표준 날씨 앱과 같은)만으로 AI를 테스트했을 때는 실수를 저질렀습니다. 하지만 MSMI 전체 참조 시트를 제공했을 때는 오류가 크게 감소했습니다. 네 곳의 중국 성(province) 단위 시장에서 가격을 예측하는 평균 오차(MAE)는 단지 AI가 받는 정보를 개선하는 것만으로 86.25에서 79.60으로 떨어졌습니다. 이는 전력 시장의 경우, 모델 자체만큼이나 모델에 어떤 종류의 정보를 입력하느냐가 중요하다는 것을 시사합니다.

하지만 연구진은 여기서 멈추지 않았습니다. 그들은 참조 시트가 있더라도, AI가 시장이 얼마나 타이트한지 혹은 느슨한지에 따라 자신의 "성격"을 조절할 방법이 필요하다는 것을 깨달았습니다. 도로 상황이 빙판길인지 햇볕이 내리쬐는 길인지에 따라 운전 스타일을 바꿔야 하는 운전자를 상상해 보십시오. 연구팀은 "게이티드 LoRA(Gated LoRA)" 메커니즘을 만들었습니다. 이것은 모델 파라미터의 약 **1%**만을 업데이트하는 아주 작고 가벼운 추가 장치로, 마치 스마트한 볼륨 조절 노브처럼 작동합니다. 이 장치는 현재의 시장 상태—전력 예비력이 얼마나 타이트한지, 재생 에너지가 얼마나 흐르고 있는지, 최근 가격 변동성이 어떠했는지 등—를 살펴보고, AI에게 "헤이, 오늘은 시장이 타이트하니 예측을 더 신중하게 해"라거나 "시장이 평온하니 좀 여유를 가져도 돼"라고 말해줍니다.

결과를 보면 이 "게이티드 LoRA" 방식이 승자였습니다. 이 방식은 평균 오차를 74.63까지 더 낮추며, 기본 AI와 다른 시장으로부터 단순히 학습만 한 버전을 모두 제쳤습니다. 논문은 단순한 고정 조정(글로벌 스칼라와 같은)이나 무작위 추측이 효과가 없음을 명시적으로 밝히며, "게이트(gate)"가 효과를 발휘하기 위해서는 시장의 상태에 맞춰 구체적으로 튜닝되어야 함을 입증했습니다. 그러나 저자들은 이 방법이 평균적인 예측의 정확도를 개선하기는 하지만, "신뢰 구간(가격이 실제로 위치할 수 있는 범위)"을 완벽하게 해결하지는 못한다는 점을 주의 깊게 언급하며, 이 방법이 강력한 실용적 단계이긴 하지만 모든 유형의 리스크에 대한 마법의 탄환은 아님을 시사했습니다.

결론적으로, 이 논문은 새로운 전력 시장을 위한 단계별 레시피를 제안합니다: 먼저 똑똑한 AI와 풍부한 "참조 시트(MSMI)"로 시작하여 즉시 괜찮은 예측을 얻으십시오. 그다음, 유사하거나 오래된 시장의 데이터가 있다면 "소스-LoRA(Source-LoRA)"를 사용하여 AI를 미세 조정하십시오. 마지막으로, "게이티드 LoRA"를 사용하여 AI가 매일 시장의 분위기에 반응하도록 하십시오. 이는 세계적인 수준의 전문가를 데이터가 부족한 새로운 마을에 데려와서, 수년간의 현지 경험 없이도 거의 즉시 효과적으로 일을 시작하게 만드는 방법입니다.

기술 요약: 전이 가능한 익일 전력 가격 예측을 위한 파운데이션 모델의 시장 정보 인지형 게이트형 LoRA (Market-Information-Aware Gated-LoRA)

문제 정의
정확한 익일 전력 가격 예측은 시장 참여자들에게 매우 중요하지만, 가격 변동성, 시장별 규칙, 그리고 재생 에너지 변동성, 네트워크 제약, 전략적 행동 간의 복잡한 상호작용으로 인해 여전히 어려운 과제로 남아 있습니다. 기존의 지도 학습 방식은 타겟 시장 특유의 과거 데이터에 크게 의존하기 때문에, 새롭게 설립된 시장이나 데이터가 부족한 시장에서는 효과를 발휘하기 어렵습니다. 시계열 파운데이션 모델(예: Chronos-2)은 제로샷(zero-shot) 전이 능력을 제공하지만, 일반적으로 단변량 예측 모델이거나 약한 외생 변수 모델로 작동하여, 시장 청산 전에 미리 알 수 있는 풍부한 미래 시장 정보(예: 수요-공급, 예비력, 유지보수 일정)를 활용하지 못한다는 한계가 있습니다. 핵심 과제는 타겟 시장의 학습 레이블을 사용하지 않고도, 이와 같은 익일 시장 정보를 활용하여 파운데 foundation 모델을 타겟 시장에 적응시키는 전이 프레임워크를 개발하는 것입니다.

방법론
저자들은 Chronos-2 시계열 파운데이션 모델을 기반으로 하며, 다음 세 가지 핵심 요소로 구성된 전이 가능한 예측 프레임워크를 제안합니다.

다중 소스 시장 정보(MSMI) 인터페이스:
본 프레임워크는 단순히 가격 이력에만 의료하는 대신, 7일간의 가격 컨텍스트를 포괄적인 사전 청산 변수들과 정렬하는 인터페이스를 구축합니다. 여기에는 부하(load), 재생 에너지 발전량(풍력/태양광), 예비력 상태, 유지보수 용량, 발전기 가용성 및 연계선 스케줄이 포함됩니다. 이 인터페이스는 이러한 변수들을 단순한 보조 피처가 아니라, 가격이 형성되는 경제적 정보 집합의 일부로 취급합니다.
소스 도메인 게이트형 LoRA 적응 (Source-Domain Gated LoRA Adaptation):
모델은 타겟 시장을 제외한 소스 시장 데이터만을 사용하여 학습된 저차원 적응(Low-Rank Adaptation, LoRA) 전략을 채택합니다.

Source-LoRA: 경량 어댑터는 관련 소스 시장의 데이터를 사용하여 모델 파라미터의 약 1%(구체적으로 셀프 어텐션 프로젝션 및 출력 패치 레이어)를 업데이트합니다. 프리트레인된 백본(backbone)은 동결된 상태를 유지합니다.
게이트 메커니즘 (Gated Mechanism): 시장 역학이 운영 상태에 따라 변한다는 점을 해결하기 위해, 시장 상태 게이트가 도입됩니다. 이 게이트는 예비력 타이트니스(reserve tightness), 순부하(net load), 재생 에너지 비중, 용량 마진, 최근 변동성을 기반으로 상태 벡터 $z_t$ 를 구성합니다. 학습된 함수는 LoRA 업데이트 강도( $\gamma_\psi(z_t)$ )를 동적으로 조절합니다. 결정적으로, 이 게이트는 소스 도메인 데이터를 사용하여 초기화되며, 소스 시장의 롤링 태스크(rolling tasks)에서만 학습되므로 타겟 시장 레이블로부터의 데이터 누수(leakage)가 발생하지 않습니다.

평가 프로토콜:
본 연구는 Leave-One-Market-Out (LOMO) 프로토콜을 활용합니다. 각 폴드(fold)에서 하나의 성(provincial) 단위 시장을 타겟으로 남겨두고, 나머지 시장들을 적응을 위한 소스 도메인으로 사용합니다. 이는 타겟 시장의 학습 레이블이 전혀 없는 시나리오를 엄격하게 시뮬레이션합니다.

주요 기여

MSMI 인터페이스 설계: 본 논문은 풍부한 다중 소스 시장 정보 인터페이스를 파운데이션 모델에 노출하는 것이 성능 향상의 주요 동력임을 입증하였으며, 이는 핵심 드라이버(부하, 풍력, 태양광)나 수동으로 설계된 엔지니어링 피처에 국한된 인터페이스보다 성능이 월등히 높았습니다.
상태 의존적 어댑터 캘리브레이션: 시장 상태 게이트형 LoRA 메커니즘의 도입은 소스 어댑터가 실시간 운영 조건(예: 예비력 타이트니스)에 따라 수정 강도를 조절할 수 있게 합니다. 이를 통해 백본을 전체 재학습하거나 별도의 시장 특화 모델을 만들 필요 없이 컴팩트한 캘리브레이션 레이어를 제공합니다.
타겟 시장 레이블 불필요 전이 증거: 본 연구는 데이터가 부족한 시장을 위한 실질적인 전이 경로를 확립했습니다. 시장 인지형 인터페이스와 소스 도메인 LoRA 적응을 결합하는 것이 제로샷 추론이나 일반적인 LoRA보다 우수한 결과를 낸다는 것을 타겟 시장의 레이블 없이도 보여주었습니다.

실험 결과
실험은 중국의 4개 성 단위 익일 스팟 시장(광둥, 랴오닝, 산둥, 산시)을 대상으로 수행되었습니다.

성능 향상: 시장 정보 인지형 제로샷 Chronos-2 베이스라인과 비교했을 때, 제안된 프레임워크는 평균 MAE를 6.24%, RMSE를 7.99% 감소시켰습니다. 게이트가 없는 일반적인 Source-LoRA 방식과 비교했을 때는 MAE에서 3.05%, RMSE에서 **3.52%**의 추가 감소를 달로 성취했습니다.
어블레이션 분석 (Ablation Insights):
- MSMI 인터페이스 단독으로는 제로샷 MAE를 86.25에서 79.60으로 낮추었으며, 이는 알려진 미래 시장 정보의 필요성을 확인시켜 줍니다.
- 게이트 메커니즘은 가장 우수한 결과(평균 MAE: 74.63)를 제공했습니다. 대조 실험 결과, 학습된 글로벌 스칼라 또는 무작위 게이트 초기화는 이러한 이득을 재현할 수 없었으며, 이는 상태 의존적 스케일링의 중요성을 입증합니다.
- 확률적 예측: 게이트형 LoRA는 연속 순위 확률 점수(CRPS)를 개선했으나, 80% 구간의 예측 구간 포함 확률(PICP)은 약간 낮아졌습니다. 이는 점 예측 정확도는 향상되었으나, 구간 캘리브레이션은 컨포멀 예측(conformal prediction) 등 추가적인 정교화가 필요한 미결 과제임을 나타냅니다.
- 점진적 적응: 본 연구는 제로샷 추론에서 시작하여, 관련 데이터가 있을 때 소스 도메인 LoRA를 적용하고, 게이트형 캘리브레이션을 적용하며, 로컬 이력이 축적되면 선택적으로 타겟 미세 조정을 사용하는 단계적 배포 스펙트럼을 제시합니다.

의의 및 주장
본 논문은 익일 전력 가격 예측에 있어 태스크 인터페이스가 부차적인 전처리 단계가 아니라 핵심적인 모델링 결정 사항이라고 주장합니다. 연구 결과는 에너지 시장을 위한 파운데이션 모델이 단순히 백본 아키텍처뿐만 아니라, 구조화된 시장 정보를 수용하고 경량화된 상태 인지형 메커니즘을 통해 적응하는 능력에 의해 평가되어야 함을 시사합니다.

저자들은 게이트형 LoRA가 데이터가 부족한 시장을 위한 실용적이고 경량화된 전이 경로를 제공하지만, 표준 Source-LoRA 대비 이득이 아주 크지는 않으며 변동성이 큰 시장(예: 랴오닝)에서 가장 두드러진다는 점을 들어 신중하게 결론을 맺습니다. 또한 모든 미래 시장 정보가 가용하다는 가정(데이터 지연 시 성립하지 않을 수 있음), 특정 입력 변수에 대한 인과적 격리의 부재, 그리고 보편적 전이 가능성을 주장하기 전 더 다양한 시장에 대한 광범위한 검증이 필요하다는 한계점을 인정합니다. 본 연구는 범용 시계열 파운데이션 모델과 전력 시장의 구체적인 경제적 현실 사이의 간극을 메우기 위한 하나의 단계로 자리매김하고 있습니다.

유사한 논문