Prediction of Major Solar Flares Using Interpretable Class-dependent Reward Framework with Active Region Magnetograms and Domain Knowledge

Probleemstelling

Zonnestormen en zonneweerssnelheden vormen een ernstige bedreiging voor menselijke activiteiten, zoals satellietnavigatie, radio-communicatie en elektriciteitsnetwerken. Het nauwkeurig voorspellen van grote zonneweerssnelheden (≥M-klasse) binnen 24 uur is cruciaal voor de veiligheid van ruimtevaart en infrastructuur.

De huidige uitdagingen in dit domein zijn:

1. Classificatie-ongelijkheid (Class Imbalance): Grote zonneweerssnelheden (M en X) komen veel minder vaak voor dan kleine of geen snelheden, wat leidt tot een sterk onbalans in de trainingsdata. Traditionele toezichtgeleerde (supervised learning) modellen worstelen hier vaak mee.
2. Beperkte Generalisatie: Bestaande modellen, vaak gebaseerd op Convolutional Neural Networks (CNN) of LSTM, hebben moeite om te generaliseren naar toekomstige data vanwege deze onbalans.
3. Data-keuze: Er is onduidelijkheid over welke combinatie van magnetische veldparameters (alleen lijn-van-zicht/LOS, alleen vector, of een combinatie) en of beeldgegevens (magnetogrammen) versus kennis-gedreven kenmerken de beste voorspellende kracht bieden.
4. Interpreteerbaarheid: Veel diepe leermodellen fungeren als "black boxes", waardoor het moeilijk is om te begrijpen welke fysische parameters de voorspelling daadwerkelijk sturen.

Methodologie

De auteurs stellen een nieuw raamwerk voor en testen dit op meerdere datasets en modellen:

1. Het Class-Dependent Reward (CDR) Framework:
Inspiratie getrokken uit Deep Reinforcement Learning (DRL), maar zonder de noodzaak van een Markov Decision Process (MDP) te creëren.

• Concept: In plaats van een standaard verliesfunctie, krijgt het model directe beloningen (rewards) toegewezen op basis van de uitkomst van de voorspelling (True Positive, True Negative, False Positive, False Negative).
• Implementatie: Het model (online network Q) leert een beleid om de totale beloning te maximaliseren. Er wordt gebruik gemaakt van experience replay om stabiliteit te garanderen.
• Doel: Dit raamwerk is specifiek ontworpen om het probleem van class imbalance aan te pakken door de beloningen voor zeldzame gebeurtenissen (zoals het voorspellen van een grote zonneweerssnelheid) strategisch in te stellen.

2. Modellen en Architecturen:
Er worden drie diepe leerarchitecturen getest, elk in een standaard versie en een CDR-versie:

• CNN en CNN-BiLSTM: Verwerken magnetogram-afbeeldingen (LOS magnetogrammen).
• Transformer: Verwerkt tijdreeksen van kennis-gedreven kenmerken (knowledge-informed features).
• CDR-Varianten: CDR-CNN, CDR-CNN-BiLSTM en CDR-Transformer.

3. Data en Kenmerken:

• Bron: SDO/HMI-data (SHARP-producten) van mei 2010 tot februari 2020.
• Kenmerken:
  • Kennis-gedreven: 31 LOS-parameters en 8 vector-parameters (bijv. R_VALUE, AREA_ACR, TOTUSJH).
  • Beelddata: LOS magnetogram-afbeeldingen.
• Dataset: 10 kruisvalidatie-datasets (CV) met alleen actieve regio's (AR) die uit één enkel magnetisch gebied bestaan om verwarring te voorkomen.

4. Evaluatiemetrics:

• Categorische voorspelling: True Skill Statistic (TSS) als hoofdmeter (onafhankelijk van class imbalance).
• Probabilistische voorspelling: Brier Skill Score (BSS).
• Interpreteerbaarheid: SHAP (SHapley Additive exPlanations) analyse om de bijdrage van individuele kenmerken te visualiseren.

Belangrijkste Bijdragen

1. Eerste toepassing van CDR: Voor het eerst wordt een toezichtgeleerd classificatiekader met class-afhankelijke beloningen (CDR) toegepast op de voorspelling van ≥M-klasse zonneweerssnelheden.
2. Uitgebreide Vergelijking: Een systematische vergelijking tussen beeldgebaseerde modellen (CNN) en kenmerkgebaseerde modellen (Transformer), en tussen standaard diepe leer en CDR-modellen.
3. Sensitiviteitsanalyse: Een analyse van hoe gevoelig het model is voor de specifieke keuze van de beloningswaarden (reward engineering).
4. Interpreteerbaarheid: Een diepgaande SHAP-analyse die de verschillen in feature-importance blootlegt tussen standaard deep learning en het CDR-framework.
5. Benchmarking: Vergelijking met bestaande operationele modellen van NASA/CCMC.

Resultaten

1. Kenmerkselectie en Data-type:

• Beste LOS-combinatie: De combinatie van R_VALUE en AREA_ACR levert de beste resultaten op voor LOS-parameters.
• LOS vs. Vector: Het Transformer-model presteert het beste wanneer het zowel LOS- als vector-magnetische veldparameters combineert (TSS ≈ 0.814), beter dan wanneer het slechts één type gebruikt.
• Kenmerken vs. Beeld: Modellen die gebruikmaken van kennis-gedreven kenmerken (Transformer) presteren significant beter dan modellen die puur op magnetogram-afbeeldingen vertrouwen (CNN/CNN-BiLSTM).

2. CDR vs. Standaard Deep Learning:

• Op Beelddata: Standaard CNN en CNN-BiLSTM presteren beter dan hun CDR-varianten. Dit suggereert dat deep learning goed is in het extraheren van features uit hoge-dimensionale beelddata, terwijl CDR hier minder baat bij heeft.
• Op Kenmerkdata: Het CDR-Transformer presteert lichtjes beter dan het standaard Transformer-model (TSS 0.829 vs 0.814). Het CDR-framework helpt hier effectief om de class imbalance aan te pakken en belangrijke kenmerken te benadrukken.
• Algemene Winnaar: Het CDR-Transformer-10 (gebaseerd op 10 geoptimaliseerde LOS- en vector-kenmerken) behaalt de hoogste prestaties van alle geteste modellen.

3. Sensitiviteit:

• De voorspellende prestaties van de CDR-modellen zijn niet overmatig gevoelig voor specifieke keuzes in de beloningswaarden (TP, TN, FP, FN). Zelfs bij perturbaties van de beloningen blijft de TSS en BSS score stabiel. Dit maakt het framework robuust en minder afhankelijk van hyperparameter-tuning.

4. Interpreteerbaarheid (SHAP):

• Standaard Transformer: Heeft de grootste focus op R_VALUE (magnetische flux in de buurt van de polariteitsomkeerlijn). Dit is een directe, snelle indicator van veranderingen.
• CDR-Transformer: Heeft de grootste focus op TOTUSJH (totale ongecorrigeerde stroom-heliciteit). Dit is een "extensieve parameter" die langdurige energieverzameling weerspiegelt.
• Conclusie: Het CDR-framework lijkt te prefereren naar stabielere, langetermijn-energie-indicatoren, terwijl het standaard Transformer meer reageert op directe, snelle veranderingen.

5. Vergelijking met NASA/CCMC:

• Op een getest dataset (gefilterd voor enkele AR's) behaalde het CDR-Transformer-10 een TSS-score van 0.968, wat significant hoger is dan de beste NASA/CCMC-modellen (TSS ≈ 0.853) en ook beter dan het iTransformer-model uit eerdere studies.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat het combineren van domain knowledge (fysische magnetische parameters) met een reinforcement learning-geïnspireerd kader (CDR) de staat van de kunst voor zonneweersvoorspelling verbetert.

• Praktische Toepassing: Het CDR-framework biedt een robuuste oplossing voor het class imbalance-probleem zonder de complexiteit van een volledig MDP.
• Operationeel Potentieel: De auteurs plannen om dit framework te implementeren in een operationeel zonneweersvoorspellingssysteem voor real-time gebruik.
• Uitbreiding: Het raamwerk is ook toepasbaar op andere zeldzame ruimteweersgebeurtenissen, zoals Coronal Mass Ejections (CMEs), en kan worden geïntegreerd met data van toekomstige zonneobservatoriums (zoals LAVSO en SPO) voor nog nauwkeurigere voorspellingen.

Kortom, deze studie levert een nieuwe, interpreteerbare en hoogpresterende methode voor het voorspellen van gevaarlijke zonneweerssnelheden, wat direct bijdraagt aan de veiligheid van ruimte- en grondgebonden technologieën.