A Multimodal Transformer Framework with State-Aware Adaptive Fusion for Ultra-Short-Term Solar Irradiance Forecasting with Sky Cloud Images

Technische Samenvatting: Een Multimodaal Transformer-framework met Toestandsbewuste Adaptieve Fusie voor Ultra-kortetermijn Voorspelling van Zonne-instraling

Probleemstelling
Nauwkeurige voorspelling van de zonne-instraling op ultra-kortetermijn is cruciaal voor de integratie van fotovoltaïsche (PV) energie in het elektriciteitsnet en het waarborgen van de systeemstabiliteit. Echter, zonne-instraling is onderhevig aan significante stochastische fluctuaties die worden gedreven door zowel regelmatige diurnale cycli als snelle, willekeurige lokale weersveranderingen, met name wolkenvorming en -dissipatie. Traditionele voorspellingsmethoden die uitsluitend vertrouwen op gestructureerde numerieke tijdreeksen (bijv. historische instraling en meteorologische gegevens) falen vaak in het vastleggen van leidende indicatoren voor plotselinge dalingen in instraling veroorzaakt door bewolking, wat leidt tot voorspellingsvertragingen en cumulatieve fouten. Daartegenover staan methoden die uitsluitend vertrouwen op hemel-wolkenbeelden, die rijke ruimtelijke en temporele visuele informatie bieden over de evolutie van wolken, maar die een gebrek hebben aan de historische fysieke beperkingen en de absolute context van de instraling die nodig zijn om voorspellingen te verankeren. Bestaande multimodale benaderingen maken vaak gebruik van statische fusiestrategieën (bijv. eenvoudige concatenatie of fixed-weight averaging) die niet dynamisch kunnen adapteren aan variërende weersomstandigheden, wat hun vermogen om de complementaire aard van visuele en numerieke gegevens te benutten beperkt.

Methodologie
Het artikel stelt TSGAN (Transformer Selective Gated Attention Network) voor, een multimodaal framework dat is ontworpen om hemel-wolkenbeelden en numerieke sequenties synergetisch te fuseren voor ultra-kortetermijn voorspelling van de Globale Horizontale Instraling (GHI). De architectuur bestaat uit drie primaire componenten:

1. Unified State Encoder (USE): Deze module brengt heterogene inputs in kaart naar een gedeelde latente ruimte.
   • Numerieke tak: Maakt gebruik van een Transformer-encoder om historische sequenties van GHI, Directe Normale Instraling (DNI), Diffuse Horizontale Instraling (DHI) en meteorologische variabelen (wind, temperatuur, druk) te verwerken. Het legt diepe temporele afhankelijkheden en globale evolutionaire patronen vast.
   • Visuele tak: Gebruikt een hybride CNN-Transformer-architectuur. Een CNN extraheert lokale ruimtelijke kenmerken (bijv. wolkenranden, zonne-occlusie) uit individuele hemelframes, terwijl een temporele Transformer de dynamische evolutie van wolkensequenties over tijdstappen modelleert.
2. State-Aware Adaptive Fusion Mechanism: Dit is de kerninnovatie van TSGAN. In plaats van een fixed-weight fusie, gebruikt het model een Selective Gated Attention Network.
   • Het construeert een gezamenlijke toestandsrepresentatie door de numerieke en visuele toestandsvectoren te concateneren.
   • Een lichtgewicht gating-netwerk genereert modality-selectie gewichten op basis van deze gezamenlijke toestand. Deze gewichten zijn dynamisch en variëren per monster en per dimensie van de kenmerken.
   • Het mechanisme filtert en fuseert kenmerken adaptief: als de numerieke trend stabiel is, wordt de nadruk gelegd op historische patronen; als het hemelbeeld wijst op snelle wolkenbeweging of occlusie, wordt de bijdrage van visuele priors versterkt. Dit transformeert het fusieproces in een proces van "modality-state identificatie — modality-importance allocatie — complementaire informatie fusie".
3. Predictive Decoder: De gefuseerde toestandsrepresentatie wordt ingevoerd in een decoder om GHI-voorspellingen voor toekomstige tijdstappen (10, 20 en 30 minuten vooruit) te genereren.

Belangrijkste Bijdragen

1. Collaborative Representation System: Het artikel introduceert een framework dat visuele weersinformatie en historische fysieke patronen gezamenlijk modelleert, waarmee de informatiekloven van single-modality benaderingen met betrekking tot ruimtelijke perceptie of temporele evolutie worden aangepakt.
2. Dual-Branch State Encoding: Er wordt een gespecialiseerde encoding-structuur geconstrueerd voor heterogene inputs, waarbij gebruik wordt gemaakt van Transformers voor de temporele afhankelijkheid in numerieke data en een CNN-Transformer hybride voor de spatiotemporele wolken-dynamiek in afbeeldingen.
3. State-Aware Adaptive Fusion: De auteurs stellen een selectief gated attention netwerk voor dat de multimodal fusie verschuift van statische kenmerkcombinatie naar dynamische informatie selectie. Dit stelt het model in staat om adaptief fusiegewichten aan te passen op basis van sample-state awareness en de betrouwbaarheid van de modaliteit onder verschillende weersomstandigheden.

Experimentele Resultaten
Het model werd geëvalueerd met de Open Energy Data Initiative (OEDI) dataset (Albuquerque, NM), gebruikmakend van data met een resolutie van 10 minuten uit 2021. Prestaties werden beoordeeld over vier kwartalen en drie voorspellingshorizonten (1, 2 en 3 stappen) met behulp van MAE, SMAPE, NRMSE en $R^2$.

• vs. Numerieke Baselines: TSGAN presteerde beter dan traditionele machine learning (RF, XGBoost, MLP) en deep learning baselines (GRU, LSTM, Transformer, PatchTST). Het voorgestelde framework bereikte een gemiddelde MAE van 47.312, wat de fouten aanzienlijk verminderde vergeleken met single-modality numerieke modellen. Het voordeel was het meest uitgesproken in one-step-ahead voorspellingen waar visuele priors plotselinge fluctuaties corrigeren.
• vs. Image-Only Modellen: TSGAN overtrof single-image modellen (CNN, ResNet, CNN-LSTM), waarbij de MAE met 32,38% en de NRMSE met 23,32% werd verminderd. De resultaten geven aan dat hoewel afbeeldingen wolken-dynamiek vastleggen, ze numerieke beperkingen nodig hebben om de absolute instralingsniveaus nauwkeurig te bepalen en de distributionele bias te verminderen.
• vs. Andere Fusiestrategieën: Vergeleken met directe concatenatie, standaard gated fusion en Cross-Attention mechanismen, verminderde TSGAN de gemiddelde MAE met 18,39% en verbeterde de $R^2$ met 0,0260. Cruciaal is dat TSGAN een grotere stabiliteit toonde over seizoenen en voorspellingshorizonten, met nauwere foutenverdelingen, wat suggereert dat het adaptieve mechanisme effectief de foutaccumulatie in langere horizonten mitigeert.
• Statistische Significantie: Diebold-Mariano (DM) testen bevestigden dat de prestatieverbeteringen van TSGAN statistisch significant zijn (op het 1% niveau voor 96,88% van de vergelijkingen) ten opzichte van alle benchmarkmodellen.

Betekenis en Claims
De auteurs claimen dat TSGAN een paradigmaverschuiving biedt van "informatie superpositie" naar "toestand selectie" in de multimodale zonne-energie voorspelling. De significantie ligt in:

• Mechanistische Verbetering: Het pakt het gebrek aan leidende informatie in traditionele tijdreeksmodellen aan door visuele priors te integreren voor plotselinge veranderingen, terwijl het tegelijkertijd de ambiguïteit van absolute instralingsniveaus in pure beeldmodellen oplost door middel van numerieke beperkingen.
• Adaptiviteit: Het state-aware fusiemechanisme stelt het model in staat om dynamisch de betrouwbaarheid van verschillende modaliteiten te identificeren onder seizoensgebonden en weersvariaties (bijv. meer vertrouwen op historie in stabiele omstandigheden en meer op afbeeldingen tijdens snelle wolkenbeweging), waardoor informatiebias wordt verminderd.
• Praktisch Nut: Het framework biedt een tijdigere en nauwkeurigere basis voor de smoothing van PV-vermogen, opslagbeheer en kortetermijn netbeheer.

De auteurs merken op dat de huidige bevindingen beperkt worden door de specifieke datasetscope en voorspellingshorizonten, en suggereren dat toekomstig werk de continue wolkenbeweging-karakterisering, integratie met satelliet-/infraroodbeelden en probabilistische intervalvoorspelling kan verkennen.