Technische Samenvatting: Verklaarbare Vergelijking van Op Kenmerken Gebaseerde en Deep Learning-modellen voor TROPOMI-methaanpluimdetectie

Probleemstelling

De continue wereldwijde detectie van grote methaanemissies is essentieel voor het mitigeren van de opwarming van de aarde, vooral gezien het feit dat een aanzienlijk deel van de emissies afkomstig is van "super-emitters" zoals kolenmijnen en olie/gas-infrastructuur. Het TROPOspheric Monitoring Instrument (TROPOMI) aan boord van de Sentinel-5P-satelliet biedt dagelijkse wereldwijde waarnemingen die deze pluimen kunnen detecteren. Een grote uitdaging bij geautomatiseerde screening is echter het onderscheid maken tussen echte methaanpluimen en retrievalsartefacten. Deze artefacten, die pluimachtige kenmerken nabootsen, ontstaan door hoogtegradiënten, variaties in oppervlakte-albedo, hoge aerosolbelasting, kustlijnen en waterlichamen.

Huidige operationele workflows, zoals de Methane Hotspot Explorer van de Copernicus Atmospheric Monitoring Service (CAMS), vertrouwen op een machine learning-pijplijn om deze artefacten te filteren. De bestaande classifier in de tweede fase maakt gebruik van een Support Vector Machine (SVM) die is getraind op handgemaakte scalaire kenmerken. Hoewel deze aanpak effectief is, kent deze beperkingen: het beperkt het algoritme tot door experts gedefinieerde informatie, verstoort het ruimtelijke relaties tussen pixels en verliest het informatie door statistische aggregatie. Deze studie adresseert de noodzaak om te evalueren of geavanceerde op afbeeldingen gebaseerde deep learning-modellen deze op kenmerken gebaseerde methoden kunnen overtreffen of aanvullen, terwijl de interpreteerbaarheid behouden blijft.

Methodologie

De studie vergelijkt twee families van machine learning-modellen voor binaire classificatie (methaanpluim versus retrievalsartefact) met behulp van TROPOMI-gegevens:

1. Op Kenmerken Gebaseerde Modellen: Deze werken met vooraf geëxtraheerde numerieke beschrijvers afgeleid van de afbeeldingspatches. De studie evalueert:

   • Support Vector Classifier (SVC): Gebruikt als baseline om directe vergelijkbaarheid met de benchmarkstudie [5] te waarborgen.
   • Random Forest (RF) en Extreme Gradient Boosting (XGBoost): Geselecteerd vanwege hun aangetoonde superioriteit ten opzichte van SVM's in vergelijkbare TROPOMI-gerelateerde taken.
   • Input: Een set van 32 handgemaakte kenmerken, waaronder statistische momenten van methaank concentratie, pluimgeometrie (verlenging, lengte), windvectoren en correlaties tussen methaan en retrievalsdiagnostiek (bijv. albedo, optische dikte van aerosolen).

2. Op Afbeeldingen Gebaseerde Modellen: Dit zijn deep learning-architecturen die direct worden getraind op afbeeldingspatches, waardoor het vastleggen van ruimtelijke patronen en contextuele informatie mogelijk is.

   • ResNet-18 en ResNet-34: Varianten van residuale neurale netwerken gekozen vanwege hun vermogen om diepe netwerken via skip-verbindingen te hanteren.
   • Input: Multi-kanaals afbeeldingspatches inclusief methaank concentratie, bias-corrected XCH4, oppervlakte-albedo, optische dikte van aerosolen (AOT), oppervlaktedruk, windcomponenten en een specifiek "pluimmasker"-kanaal. Het pluimmasker encodeert de betrouwbaarheidsscore van de initiële pluimdetectie-CNN, vermenigvuldigd met een binair masker.

Experimenteel Ontwerp:

• Dataset: Een uitgebreide dataset van 8.883 afbeeldingspatches (6.085 pluimen, 2.798 artefacten) die de periode van april 2019 tot augustus 2024 bestrijken.
• Evaluatie-instellingen:
  • Ongelijke Verdeling (Imbalanced Setting): Weerspiegelt real-world klasverhoudingen (ongeveer 1:2) met behulp van 5-voudige kruisvalidatie.
  • Gebalanceerde Verdeling (Balanced Setting): isoleert het intrinsieke discriminatievermogen van modellen op een vastgehouden testset met gebalanceerde klassen.
• Hyperparameter-optimalisatie: Een random search-techniek werd gebruikt om de Average Precision (AP) te maximaliseren onder 5-voudige kruisvalidatie.
• Verklaarbaarheid: SHapley Additive exPlanations (SHAP) werden toegepast op beide modelfamilies. Boomgebaseerde modellen gebruikten de TreeExplainer, terwijl op afbeeldingen gebaseerde modellen gebruik maakten van de GradientExplainer om attributies op kanaalniveau en pixelniveau te analyseren.

Belangrijkste Resultaten

Prestatiemetrics

• Ongelijke Verdeling (Kruisvalidatie): Op kenmerken gebaseerde modellen, met name boomgebaseerde ensemble-methoden, vertoonden de meest robuuste en stabiele prestaties.
  • Random Forest (RF) behaalde de hoogste Average Precision (0,948 ± 0,008) en ROC-AUC (0,908 ± 0,014).
  • XGBoost presteerde vergelijkbaar, met een licht achterstand ten opzichte van RF.
  • ResNet-18/34 vertoonden in deze setting een lagere average precision en ROC-AUC, met hogere standaardafwijkingen, wat wijst op gevoeligheid voor ongelijke klasverdeling en beperkte effectieve trainingsdata per fold.
• Gebalanceerde Verdeling (Vastgehouden Testset): De relatieve rangschikking verschuift, waarbij het discriminatievermogen van deep learning naar voren komt wanneer klassendominantie wordt verwijderd.
  • ResNet-18 presteerde beter dan alle andere modellen, met de hoogste Average Precision (0,937) en ROC-AUC (0,939).
  • ResNet-34 presteerde sterk, maar overtrof ResNet-18 niet, wat aangeeft dat een toename van de diepte geen verdere winst opleverde voor deze specifieke taak.
  • XGBoost behaalde de hoogste Balanced Accuracy (0,859), maar bleef achter bij ResNet-18 op de algehele discriminatiemetrics (AP en ROC-AUC).

Inzichten in Verklaarbaarheid

• Op Kenmerken Gebaseerde Modellen: SHAP-analyse identificeerde de CNN-pluimscore (de betrouwbaarheid van het initiële detectiemodel) als het meest invloedrijke kenmerk. Andere significante kenmerken waren gemiddelde QA-waarden (kwaliteitsborging) en correlaties tussen methaan en optische dikte van aerosolen (AOT). XGBoost leunde zwaarder op windgerelateerde context, terwijl RF prioriteit gaf aan statistieken van versterkingsvormen.
• Op Afbeeldingen Gebaseerde Modellen: Het pluimmasker-kanaal (dat de CNN-pluimscore en ruimtelijke structuur encodeert) was de belangrijkste input. In tegenstelling tot boomgebaseerde modellen, gebruikte ResNet-18 effectief oppervlakte-albedo als primair kenmerk, waarbij het de ruimtelijke correspondentie tussen albedopatronen en methaanversterkingen leerde om artefacten te identificeren. Het model vertoonde gebalanceerde positieve en negatieve bijdragen binnen de kanalen, wat zijn vermogen weerspiegelt om ruimtelijke context en gelokaliseerde patronen te interpreteren.

Betekenis en Conclusies

De paper concludeert dat beide modelfamilies complementaire sterktes bieden voor operationele methaanscreening:

• Robuustheid versus Discriminatievermogen: Boomgebaseerde modellen (RF/XGBoost) zijn preferabel wanneer robuustheid onder ongelijke klasverdeling en beperkte trainingsdata de primaire vereiste is, zoals gezien in de huidige operationele pijplijn. Omgekeerd is ResNet-18 optimaal wanneer het doel is om het discriminatievermogen en de flexibiliteit van drempels te maximaliseren, mits voldoende gebalanceerde data beschikbaar is.
• Operationele Implicaties: Voor de Methane Hotspot Explorer, waar het minimaliseren van vals-positieven cruciaal is om de workload voor handmatige verificatie te verminderen, is de robuustheid van boomgebaseerde modellen onder onbalans een belangrijke troef. De superieure prestaties van ResNet-18 in gebalanceerde settings suggereren echter dat deep learning de detectiemogelijkheden van de pijplijn kan verbeteren als de data-beschikbaarheid en -balans verbeteren.
• Interpreteerbaarheid: De studie demonstreert dat SHAP de interpretatie van uiteenlopende modeltypen kan verenigen. Beide benaderingen bevestigen dat de betrouwbaarheid van de initiële pluimdetectie de primaire drijver van de classificatie is. Op afbeeldingen gebaseerde modellen maken echter gebruik van ruimtelijke coherentie en vorminformatie die op kenmerken gebaseerde modellen moeten benaderen via statistische aggregatie.

De auteurs benadrukken dat deze bevindingen praktische richtlijnen bieden voor modelselectie in operationele workflows en onderstrepen dat het detectiemodel in de eerste fase een kritiek onderdeel blijft van de algehele pijplijn. Toekomstig werk kan zich richten op het verbeteren van de pijplijn in de eerste fase of het verkennen van complexere deep learning-architecturen.