Harnessing Self-Supervised Deep Learning and Geostationary Remote Sensing for Advancing Wildfire and Associated Air Quality Monitoring: Improved Smoke and Fire Front Masking using GOES and TEMPO Radiance Data

Technische Samenvatting: Het benutten van Self-Supervised Deep Learning en Geostationaire Remote Sensing voor Wildfire- en Luchtkwaliteitsmonitoring

Probleemstelling
Bosbranden in het westen van de Verenigde Staten zijn sinds 2000 toegenomen in frequentie en ernst, wat aanzienlijke uitdagingen creëert voor het monitoren en voorspellen van door bosbranden veroorzaakte luchtverontreiniging. Een primaire flessenhals is de moeilijkheid om rookpluimen van bosbranden te onderscheiden van wolken in satellietbeelden. Beide vertonen vergelijkbare kenmerken, zoals hoge reflectiviteit en opaciteit, waardoor operationele algoritmen rookpluimen vaak foutief als wolken classificeren. Deze misclassificatie leidt ertoe dat cruciale gegevens over atmosferische samenstelling (bijv. NO2, aerosolen) in downstream-producten worden weggefilterd.

Hoewel de Tropospheric Emissions: Monitoring of Pollution (TEMPO) missie ongekende uursgewijze monitoring van sporengassen over Noord-Amerika biedt, leunt de huidige gegevensverwerking van deze missie op wolkenfractiedrempels (bijv. het filteren van retrievals waarbij de wolkenfractie > 0,2 is). Bijgevolg worden waardevolle gegevens binnen rookpluimen vaak weggegooid. Bovendien hebben bestaande grondgebonden netwerken ruimtelijke hiaten, en bieden satellieten in een lage aardbaan (LEO), zoals TROPOMI, slechts dagelijkse momentopnames, waardoor de snelle chemische transformaties die plaatsvinden in de eerste uren van emissies door bosbranden worden gemist.

Methodologie
Om deze uitdagingen aan te pakken, stellen de auteurs een "Wildfire Mapping System" voor dat gebruikmaakt van een innovatief self-supervised deep learning framework genaamd SIT-FUSE (Segmentation, Instance Tracking, and data Fusion Using multi-SEnsor imagery).

• Self-Supervised Learning: Het systeem maakt gebruik van self-supervised representation learning om te kunnen opereren in domeinen met beperkte of geen gelabelde datasets. Het maakt gebruik van Deep Belief Networks (DBNs) met 2–3 lagen, gekozen vanwege hun compacte parameterruimte (~2 miljoen parameters) en bewezen representatieve capaciteiten in vergelijking met grotere modellen.
• Hiërarchische Deep Clustering: Het framework maakt gebruik van Information Invariant Clustering (IIC, Informatie-Invariante Clustering) gerangschikt in een hiërarchische boomstructuur. De output-heads worden getraind zodanig dat kind-nodes alleen monsters verwerken die aan de labelsets van hun ouder zijn toegewezen. Dit maakt segmentatie van scènes mogelijk op verschillende niveaus van specificiteit zonder dat elke pixel uitputtend gelabeld hoeft te worden.
• Expert-in-the-Loop Labeling: In plaats van 100% gelabelde trainingsdata te vereisen (zoals bij supervised learning), labelen experts op het gebied van de materie alleen gebieden met een "hoge zekerheid" van rook, vuur en achtergronden. Onzekere grensgebieden blijven ongelabeld. Deze aanpak vermindert de arbeid voorafgaand aan de analyse terwijl de wetenschappelijke nauwkeurigheid behouden blijft.
• Multi-Sensor Fusie: Het systeem verwerkt gegevens van GOES-18 (geostationair, hoge temporele resolutie) en TEMPO (trace gas monitoring). Deze afzonderlijke pipelines zijn ontworpen om te worden geaggregeerd om sub-uurlijk progressiemaps te creëren.
• Validatiemetrieken: Vanwege het gebrek aan directe grondwaarheid (ground truth) en de inherente onzekerheid in grensgevallen (bijv. vuurfronten), worden traditionele precisie/recall-metrieken als te streng beschouwd. In plaats daarvan gebruiken de auteurs de Structural Similarity Index (SSIM) om de prestaties te evalueren ten opzichte van operationele producten en hand-gelabelde subsets met een hoge zekerheid.

Belangrijkste Bijdragen

1. Rook/Wolk Discriminatie: De ontwikkeling van een methode om succesvol rookpluimen van wolken te onderscheiden met behulp van GOES-18 en TEMPO radiantiedata, waarmee een kritiek gat in huidige operationele producten wordt gedicht.
2. Data Restauratie: De generatie van rookmaskers die de restauratie van ontbrekende atmosferische gegevens (zoals NO2 troposferische verticale kolommen) in rookpluimen van bosbranden mogelijk maken, die anders als wolken zouden worden weggefilterd.
3. Efficiënt Deep Learning Framework: De demonstratie van een hiërarchisch, self-supervised deep learning systeem (SIT-FUSE) dat robuuste segmentatie bereikt met aanzienlijk minder gelabelde monsters dan traditionele supervised of semi-supervised benaderingen.
4. Multi-Modale Overeenstemming: De creatie van rook- en vuurfrontmaskers uit verschillende sensormodaliteiten (GORES en TEMPO) die een sterke overeenstemming vertonen, wat de fusie van datastromen mogelijk maakt voor meer fijnmazige monitoring.

Resultaten
Het systeem werd getest met de Park Fire in Californië op 26 juli 2024, als casestudy.

• Visuele Validatie: Het systeem genereerde succesvol rookmaskers (blauw) en vuurfrontmaskers (rood) die overeenkwamen met het visuele bewijs in de GOES-18 RGB-beelden, waarmee effectief de rookpluim werd geïdentificeerd die voorheen de filtering van TEMPO NO2-producten veroorzaakte.
• Kwantitatieve Prestaties: Op een validatieset van meer dan 7 miljoen pixels van vijf afzonderlijke dagen die niet tijdens de training zijn gezien:
  • Vergeleken met operationele VIIRS en GOES producten (in gevallen waar die producten goed presteerden), bereikte het systeem een SSIM van 0,86 voor rook en 0,71 voor vuur.
  • Vergeleken met hand-gelabelde pixels met een hoge zekerheid, bereikte het systeem een SSIM van 0,83 voor rook en 0,70 voor vuur.
• Operationele Verbetering: De resultaten tonen een significante verbetering aan ten opzichte van bestaande operationele producten, specifiek in scenario's waarin dikke rook foutief als wolken werd geclassificeerd, waardoor de retrieval van atmosferische compositiegegevens in voorheen uitgesloten gebieden mogelijk werd.

Betekenis en Claims
Het artikel beweert dat dit werk een stap is naar de transformatie van het beheer van bosbranden en de luchtkwaliteit in het westen van de VS door gebruik te maken van de uursgewijze datacapaciteiten van TEMPO en vooruitgang in self-supervised deep learning.

• Crisisbeheersing: De producten zijn gepositioneerd om de crisisbeheersing te verbeteren door instanties zoals FEMA in staat te stellen tijdige en nauwkeurige bosbrandwaarschuwingen en luchtkwaliteitswaarschuwingen uit te geven, wat potentieel levens en eigendommen in kwetsbare gemeenschappen kan beschermen.
• Data Integratie: De gegenereerde maskers en progressiemaps zijn ontworpen om te worden geïntegreerd in Earth System Digital Twins en modelleringsplatforms, zoals de Fire Alarm en Pyrecast van het Jet Propulsion Laboratory.
• Toekomstig Nut: De auteurs merken op dat deze fijnmazige datasets kunnen worden ingezet voor kortetermijnvoorspellingen van vuur en rook, evenals voor impactbeoordelingen en toekomstige risicoevaluaties met betrekking tot vuur, rookschade en luchtkwaliteit.
• Wetenschappelijke Exploratie: De tussenliggende segmentatiesubsets stellen deskundigen op het gebied van de materie in staat om parameters en kenmerken die gecorreleerd zijn aan specifieke subklassen gezamenlijk te verkennen, wat een rijker analysegebied biedt voor toekomstig onderzoek.

De auteurs nemen een bescheiden standpunt in door te erkennen dat, hoewel het systeem beter presteert dan operationele producten, het opereert in een domein zonder directe grondwaarheid, en dat verdere inspanningen nodig zijn om de complexiteit van de encoder te optimaliseren voor wereldwijde operationele productie.