Knowledge-Guided Machine Learning: Illustrating the use of Explainable Boosting Machines to Identify Overshooting Tops in Satellite Imagery

Dit artikel illustreert hoe Explainable Boosting Machines (EBMs) in samenwerking met menselijke expertise kunnen worden ingezet om een interpreteerbaar machine learning-model te ontwikkelen voor het detecteren van overshooting tops in satellietbeelden, waardoor de betrouwbaarheid en transparantie in de zware weersvoorspelling worden verbeterd.

De kern

🌩️ De "Slimme, Maar Doorzichtige" Weercomputer

Stel je voor dat je een supersterke, maar mysterieuze weercomputer hebt. Deze computer kan enorme hoeveelheden satellietfoto's bekijken en stormen voorspellen. Hij is zo snel en slim dat hij vaak beter presteert dan menselijke experts. Maar er is een groot probleem: we weten niet hoe hij denkt.

Het is alsof je een magiër hebt die een konijn uit een hoed tovert, maar als je vraagt "hoe deed je dat?", zegt hij: "Ik heb het gewoon gedaan." Als die magiër een fout maakt (bijvoorbeeld een konijn voorspellen waar er geen is), kun je niet zeggen waarom hij dat deed. In de weersvoorspelling is dit gevaarlijk: als de computer een tornado voorspelt die er niet is, of juist een echte mist, kan dat levens kosten.

Het doel van dit onderzoek:
De onderzoekers wilden een nieuwe soort computer bouwen die net zo slim is, maar dan volledig doorzichtig. Ze wilden een computer die niet alleen zegt "hier is een storm", maar ook kan uitleggen: "Ik zie hier een storm omdat de wolken hier erg ruw zijn en erg koud."

🛠️ De Oplossing: De "Bouwstenen"-Computer (EBM)

De onderzoekers gebruikten een speciale techniek genaamd Explainable Boosting Machines (EBM).

• De oude manier (Black Box): Denk aan een enorme, ingewikkelde lasagne. Je kunt erin bijten en het smaakt goed, maar je kunt niet zien welke laag (tomaten, kaas, pasta) precies welk effect heeft. Als je iets wilt veranderen, moet je de hele lasagne opnieuw maken.
• De nieuwe manier (EBM): Denk aan een LEGO-bouwsel. Elke LEGO-blok is een klein stukje kennis. Je kunt zien precies welk blokje (bijvoorbeeld "koude temperatuur" of "ruwe textuur") bijdraagt aan het eindresultaat. En het beste deel? Als je denkt dat een blokje verkeerd zit, kun je dat blokje handmatig verplaatsen of aanpassen zonder de hele constructie af te breken.

🧐 Het Proefje: De "Overschietende Top" vinden

Om dit te testen, gaven ze de computer de opdracht om "Overschietende Toppen" (Overshooting Tops) te vinden op satellietfoto's.

• Wat is dat? Stel je een enorme onweersbui voor. De luchtstroom is zo sterk dat de wolkenkop door de bovenkant van de stormlaag heen schiet, als een raket die de lucht verlaat. Dit is een teken van een zeer zware storm.
• Het probleem: Deze toppen zijn klein en lastig te zien op foto's.

Stap 1: De Vertaler (Feature Engineering)

De computer kan niet direct naar een foto kijken zoals wij dat doen. Hij heeft "cijfers" nodig. De onderzoekers maakten dus een vertaler:

1. Helderheid: Hoe wit is de wolk? (Net als een lampje dat harder schijnt).
2. Ruwe Textuur: Is de wolk glad als een ijsje, of ruw als een bloemkool? (Overschietende toppen zijn vaak heel ruw en bobbelig).
3. Temperatuur: Hoe koud is het bovenin? (Hoe kouder, hoe hoger de wolk).

Stap 2: De Leraar en de Leerling

De computer (de leerling) leerde van duizenden foto's. Maar net als een slimme leerling die probeert te "spieken", leerde de computer soms de verkeerde dingen.

• Voorbeeld: De computer zag dat als er een schaduw op de foto was, het een storm was. Maar dat was toeval! Soms is een schaduw gewoon een schaduw, geen storm.

Stap 3: De Menselijke Ingrijpen (Het "Knippen en Plakken")

Hier komt de magie van de EBM. Omdat de onderzoekers precies zagen hoe de computer dacht, konden ze ingrijpen:

• Ze zagen: "Ah, de computer denkt dat elke donkere plek een storm is."
• Actie: Ze pakten die specifieke "regel" in de computer en zeiden: "Nee, dat klopt niet. Als het donker is en koud, dan is het een storm. Als het alleen donker is, is het niets."
• Ze pasten de computer handmatig aan, zonder hem opnieuw te laten leren. Dit is als een leraar die een leerling corrigeert: "Kijk, je hebt de formule verkeerd onthouden, hier is de juiste versie."

🏆 Wat was het resultaat?

De aangepaste computer was misschien niet perfect (hij miste soms nog een paar stormen of zag er een waar geen was), maar hij deed het redelijk goed en, belangrijker nog: we wisten precies waarom.

• De winst: Als de computer een fout maakt, kunnen we het zien en begrijpen. We weten dat hij faalde omdat hij de textuur verkeerd interpreteerde, niet omdat hij "raar" deed.
• De les: In situaties waar levens op het spel staan (zoals zware stormen), is het belangrijker om een computer te hebben die je begrijpt en kunt vertrouwen, dan een computer die 1% slimmer is maar een mysterie blijft.

🚀 Conclusie in één zin

De onderzoekers hebben laten zien dat we weercomputers kunnen bouwen die niet alleen "slim" zijn, maar ook "eerlijk" en "aanpasbaar", zodat we samen met de computer betere stormvoorspellingen kunnen maken.

Het is de overgang van: "De computer zegt dat het gaat stormen, geloof het maar."
Naar: "De computer zegt dat het gaat stormen, en hier is de reden: de wolken zijn hier ruw, koud én helder, dus ik ben er zeker van."

Technische samenvatting

Probleemstelling

Machine Learning (ML) algoritmen worden steeds vaker toegepast in de meteorologie, maar ze hebben twee fundamentele tekortkomingen:

1. Gebrek aan transparantie: De meeste geavanceerde modellen (zoals Deep Learning/CNN's) werken als "black boxes". Het is moeilijk te begrijpen hoe ze tot een beslissing komen.
2. Slechte generalisatie: Ze hebben de neiging om foutieve strategieën aan te nemen die gebaseerd zijn op schijnverbanden (spurious correlations) in de trainingsdata. Dit kan leiden tot catastrofale fouten bij het voorspellen van extreme of ongebruikelijke gebeurtenissen, zoals zware stormen.

In hoog-risico toepassingen, zoals het voorspellen van zwaar weer, is het cruciaal om deze fouten te voorkomen en te begrijpen. Het doel van dit onderzoek is om te demonstreren hoe Explainable Boosting Machines (EBM's) kunnen worden gebruikt om interpreteerbare, mens-gestuurde strategieën in ML-modellen te implementeren voor het detecteren van overshooting tops (OT's) in satellietbeelden. OT's zijn kenmerken van convectieve stormen die vaak gepaard gaan met zwaar weer (hagel, tornado's, windstoten).

Methodologie

De auteurs hanteren een Knowledge-Guided Machine Learning (KGML) aanpak, waarbij menselijke expertise wordt gecombineerd met data-gedreven algoritmen. De workflow bestaat uit drie stappen:

1. Feature Engineering (Het vertalen van beeld naar scalair)
EBM's vereisen invoer in de vorm van scalair (getalsgewijze) data, niet direct ruwe pixels. De auteurs extraheren drie specifieke kenmerken uit GOES-16 satellietbeelden:

• Helderheid (Brightness): Een verscherpte en verduidelijkte versie van zichtbaar licht (VIS) beeld, waarbij textuur is verwijderd om de algehele helderheid van wolken te meten.
• Koude Contrast-Tegels (Cool Contrast Tiles): Gebruikmakend van Gray-Level Co-occurrence Matrices (GLCM) om textuur te kwantificeren in zichtbaar licht. Alleen tegels met koude temperaturen (infrarood < 250 K) worden behouden om hoge wolken te isoleren. Dit meet de "bobbels" die kenmerkend zijn voor OT's.
• Infrarood (IR): Ruwe infrarood data die dient als proxy voor wolkenhoogte (kouder = hoger).

2. Model Training met EBM
In plaats van een complexe CNN te gebruiken, trainen de auteurs een Explainable Boosting Machine (EBM).

• EBMs zijn een implementatie van Generalized Additive Models (GAMs) met interacties. Ze modelleren de uitkomst als een som van niet-lineaire functies voor elke feature en paarwise interacties.
• Het model wordt getraind op labels die afkomstig zijn van het MRMS-systeem (Multi-Radar Multi-Sensor), specifiek "convection flags". Omdat er geen perfecte OT-labels beschikbaar zijn, gebruiken ze convectielabels als proxy, met de verwachting dat OT's een subset vormen van deze convectie.

3. Mens-Machine Collaboratie en Bewerking (Editing)
Dit is de kern van de bijdrage. Na het trainen wordt het model niet als een black box gezien, maar geanalyseerd en handmatig bewerkt:

• De auteurs visualiseren de feature functions (hoe een specifieke waarde van een feature bijdraagt aan de voorspelling).
• Ze identificeren foutieve strategieën (bijvoorbeeld: het model reageerde verkeerd op lage helderheidswaarden veroorzaakt door lage wolken of schaduwen).
• Ze passen de scores van de feature functions direct aan (bijv. het "platmaken" van een piek in de grafiek) om het model te laten overeenkomen met de kennis van domeinexperts, zonder het model opnieuw te hoeven trainen.

Belangrijkste Bijdragen

• Introductie van EBMs in de meteorologie: Het artikel is een van de eerste die EBMs toepast op satellietbeeldanalyse voor zwaar weer, een domein dat gedomineerd wordt door black-box modellen.
• Interpreteerbaarheid en Bewerkbaarheid: Het demonstreert dat EBMs het mogelijk maken om de interne logica van een model te inspecteren en fouten direct te corrigeren door de feature functions aan te passen. Dit elimineert de noodzaak voor post-hoc uitlegmethode (XAI) die vaak onvolledig is.
• Transparante KGML-workflow: Het biedt een blauwdruk voor hoe meteorologen en data scientists samen kunnen werken: eerst features ontwerpen op basis van fysica, dan trainen, en vervolgens het model "repareren" op basis van menselijke observatie.
• Omgaan met imperfecte labels: Het toont aan hoe men kan werken met labels voor "convectie" in plaats van specifieke "OT's", en het model later kan verfijnen om specifiek OT's te detecteren door de strategieën aan te passen.

Resultaten

• Prestaties: Het bewerkte model presteerde redelijk goed, maar haalde niet de pure nauwkeurigheid van complexe deep learning-modellen (zoals U-Nets). De recall (het vinden van echte OT's) steeg van 0,070 naar 0,144 na bewerking, en de Heidke Skill Score verbeterde van 0,119 naar 0,216.
• Beperkingen van de evaluatie: De auteurs benadrukken dat de prestatie-metrics beperkt zijn omdat de trainingslabels (MRMS convectie) niet perfect overeenkomen met OT's. Dit leidde tot veel "false alarms" en "misses" in de statistieken, maar niet noodzakelijk omdat het model slecht was, maar omdat de evaluatiemethode niet perfect was.
• Case Studies:
  • Het model slaagde erin OT's te detecteren in heldere omstandigheden en in gebieden met schaduwen (dankzij interactie-features tussen helderheid en temperatuur).
  • Fouten: Het model had moeite OT's te onderscheiden van andere koude, getextureerde wolkenstructuren (zoals "cold U/V" vormen of boven-wolken cirruspluimen). Dit werd geïdentificeerd als een fundamentele beperking van het gekozen model (te weinig features om deze te onderscheiden) en niet als een "slimme Hans"-fout.

Significantie en Conclusie

De belangrijkste boodschap van dit werk is niet dat dit het allerbeste OT-detectiemodel is, maar dat het een nieuwe weg opent voor interpreteerbare AI in de meteorologie.

• Vertrouwen: Door het model transparant en bewerkbaar te maken, kunnen meteorologen vertrouwen op de voorspellingen en begrijpen ze waarom een detectie plaatsvindt.
• Kosten vs. Baten: Hoewel het bouwen van een interpreteerbaar model meer upfront tijd kost (feature engineering, handmatige correctie), bespaart het tijd op de lange termijn door het vermijden van onvoorspelbare catastrofale fouten en het elimineren van de noodzaak voor complexe post-hoc uitleg.
• Toekomst: De auteurs pleiten voor het creëren van grotere, hand-gelabelde datasets voor OT's en het uitbreiden van de toepassing van EBMs naar andere meteorologische taken, zoals het voorspellen van tropische cycloonintensiteit of het onderscheiden van stofwolken van wolken.

Kortom, dit artikel toont aan dat door menselijke kennis te integreren in een transparant ML-framework, we robuustere en betrouwbaardere systemen kunnen bouwen voor kritieke weersvoorspellingen.