A Multimodal Transformer Framework with State-Aware Adaptive Fusion for Ultra-Short-Term Solar Irradiance Forecasting with Sky Cloud Images

기술 요약: 초단기 태양광 일사량 예측을 위한 상태 인지 적응형 융합 기반 멀티모달 트랜스포머 프레임워크

문제 정의
정확한 초단기 태양광 일사량 예측은 태양광(PV) 전력을 그리드에 통합하고 시스템 안정성을 확보하는 데 매우 중요하다. 그러나 태양광 일사량은 정기적인 일주 주기와 구름의 생성 및 소멸로 인한 급격하고 무작위적인 국지적 기상 변화 모두에 의해 발생하는 상당한 확률적 변동성을 겪는다. 구조화된 수치 시계열(예: 과거 일사량 및 기상 데이터)에만 의존하는 기존 예측 방법은 구름에 의한 가림 현상으로 발생하는 갑작스러운 일사량 감소의 선행 지표를 포착하지 못해 예측 지연과 누적 오차를 초-래하는 경우가 많다. 반대로, 하늘-구름 이미지만을 사용하는 방법은 구름의 진화에 관한 풍부한 공간적 및 시간적 시각 정보를 제공하지만, 예측을 고정하는 데 필요한 역사적 물리적 제약 조건이나 절대적인 일사량 맥락이 부족하다. 기존의 멀티모달 접근 방식은 정적인 융합 전략(예: 단순 결합 또는 고정 가중치 평균)을 사용하는 경우가 많아, 다양한 기상 조건에 동적으로 적응하지 못하며 시각 데이터와 수치 데이터의 상호 보완적 특성을 활용하는 데 한계가 있다.

방법론
본 논문은 초단기 전지구 수평 일사량(GHI) 예측을 위해 하늘-구름 이미지와 수치 시퀀스를 시너지 효과를 내며 융합하도록 설계된 멀티모달 프레임워크인 TSGAN(Transformer Selective Gated Attention Network)을 제안한다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있다:

1. 통합 상태 인코더 (Unified State Encoder, USE): 이 모듈은 이질적인 입력값들을 공유 잠재 공간(shared latent space)으로 매핑한다.
   • 수치 분기(Numerical Branch): 과거의 GHI, 직달 일사량(DNI), 확산 수평 일사량(DHI) 및 기상 변수(풍속, 온도, 기압)의 이력 시퀀스를 처리하기 위해 트랜스포머 인코더를 활용한다. 이는 심층적인 시간적 의존성과 전역적 진화 패턴을 포착한다.
   • 시각 분기(Visual Branch): 하이브리드 CNN-트랜스포머 아키텍처를 채택한다. CNN은 개별 하늘 프레임으로부터 국지적 공간 특징(예: 구름의 가장자리, 태양 가림)을 추출하고, 시간적 트랜스포머는 시간 단계에 따른 구름 시퀀스의 동적 진화를 모델링한다.
2. 상태 인지 적응형 융합 메커니즘 (State-Aware Adaptive Fusion Mechanism): 이는 TSGAN의 핵심 혁신이다. 고정 가중치 융합 대신, 모델은 **선택적 게이트 어텐션 네트워크(Selective Gated Attention Network)**를 사용한다.
   • 모델은 수치 상태 벡터와 이미지 상태 벡터를 결려 결합된 상태 표현을 구축한다.
   • 경량 게이팅 네트워크는 이 결합된 상태를 기반으로 모달리티 선택 가중치를 생성한다. 이 가중치는 동적이며, 샘플 및 피처 차원별로 가변적이다.
   • 이 메커니즘은 특징을 적응적으로 필터링하고 융합한다. 수치적 추세가 안정적이면 과거 패턴을 우선시하고, 하늘 이미지가 급격한 구름 이동이나 가림을 나타내면 시각적 사전 정보(visual priors)의 기여도를 높인다. 이는 융합 과정을 "모달리티 상태 식별 — 모달리티 중요도 할당 — 상호 보완적 정보 융합" 결정 과정으로 변환한다.
3. 예측 디코더 (Predictive Decoder): 융합된 상태 표현은 디코더로 전달되어 향후 시간 단계(10, 20, 30분 후)의 GHI 예측값을 출력한다.

주요 기여

1. 협업적 표현 시스템: 본 논문은 시각적 기상 정보와 역사적 물리 패턴을 공동으로 모델링하는 프레임워크를 도입하여, 공간적 인지 또는 시간적 진화에 관한 단일 모달리티 접근 방식의 정보 공백 문제를 해결한다.
2. 이중 분기 상태 인코딩: 이질적인 입력을 위해 특화된 인코딩 구조를 구축하였으며, 수치 데이터의 시간적 의존성을 위해 트랜스포머를, 이미지의 시공간적 구름 역학을 위해 CNN-트랜스포머 하이브리드를 활용한다.
3. 상태 인지 적응형 융합: 저자들은 선택적 게이트 어텐션 네트워크를 통해 멀티모달 융합을 정적인 특징 결합에서 동적인 정보 선택으로 전환했다. 이를 통해 모델이 샘플 상태 인지 및 다양한 기상 조건하에서의 모달리티 신뢰도에 따라 적응적으로 융합 가중치를 조정할 수 있게 한다.

실험 결과
모델은 2021년 10분 해상도 데이터를 사용하는 Open Energy Data Initiative (OEDI) 데이터셋(뉴멕시코주 앨버커키)을 사용하여 평가되었다. 성능은 4개 분기와 3개 예측 지평(1, 2, 3단계 앞)에 대해 MAE, SMAPE, NRMSE 및 $R^2$를 사용하여 평가되었다.

• 수치 기반 베이스라인 대비: TSGAN은 전통적인 머신러닝(RF, XGBoost, MLP) 및 딥러닝 베이스라인(GRU, LSTM, Transformer, PatchTST)보다 우수한 성능을 보였다. 제안된 프레임워크는 평균 MAE 47.312를 달성하였으며, 단일 모달리티 수치 모델에 비해 오차를 크게 줄였다. 이러한 이점은 시각적 사전 정보가 급격한 변동을 보정해 주는 1단계 앞 예측에서 가장 두드러졌다.
• 이미지 전용 모델 대비: TSGAN은 단일 이미지 모델(CNN, ResNet, CNN-LSTM)을 능가하였으며, MAE를 32.38%, NRMSE를 23.32% 감소시켰다. 결과는 이미지가 구름 역학을 포착할 수는 있지만, 절대적인 일사량 수준을 정확히 결정하고 분포 편향을 줄이기 위해서는 수치적 제약 조건이 필요함을 나타낸다.
• 기타 융합 전략 대비: 직접 결합(direct concatenation), 표준 게이트 융합 및 교차 어텐션(Cross-Attention) 메커니즘과 비교했을 때, TSGAN은 평균 MAE를 18.39% 감소시켰고 $R^2$를 0.0260 개선했다. 결정적으로, TSGAN은 계절 및 예측 지평 전반에 걸쳐 더 높은 안정성을 보였으며 오차 분포가 더 좁게 나타났는데, 이는 적응형 메커니즘이 긴 예측 지평에서의 오차 누적을 효과적으로 완화함을 시사한다.
• 통계적 유의성: Diebold-Mariano (DM) 테스트를 통해 TSGAN의 성능 향상이 모든 벤치마크 모델에 대해 통계적으로 유의미함(96.88%의 비교에서 1% 수준에서 유의함)을 확인하였다.

의의 및 주장
저자들은 TSGAN이 태양광 멀티모달 예측에서 "정보 중첩"에서 "상태 선택"으로의 패러다임 전환을 제공한다고 주장한다. 그 의의는 다음과 같다:

• 메커니즘적 개선: 갑작스러운 변화를 위한 시각적 사전 정보를 통합함으로써 전통적인 시계열 모델의 정보 부재 문제를 해결하는 동시에, 순수 이미지 모델의 절대 일사량 수준에 대한 모호성을 수치적 제약을 통해 해결한다.
• 적응성: 상태 인지 융합 메커니즘을 통해 모델이 계절 및 기상 변화에 따른 서로 다른 모달리티의 신뢰도를 동적으로 식별할 수 있게 한다(예: 안정적인 조건에서는 이력에 더 의존하고, 급격한 구름 이동 시에는 이미지에 더 의존함). 이를 통해 정보 편향을 줄인다.
• 실용적 유용성: 본 프레임워크는 태양광 출력 평활화(smoothing), 에너지 저장 장치 제어 및 단기 그리드 급전(dispatch)을 위한 보다 시의적절하고 정확한 근거를 제공한다.

저자들은 현재의 연구 결과가 특정 데이터셋 범위와 예측 지평에 의해 제한된다는 점을 언급하며, 향후 연구에서 연속적인 구름 운동 특성화, 위성/적외선 이미지와의 통합, 그리고 확률적 구간 예측 등을 탐구할 수 있음을 시사하였다.