An uncertainty-aware Bayesian framework for machine learning classification models: A case study in land cover classification

Technische Samenvatting: Een onzekerheidsbewust Bayesiaans Kader voor Machine Learning Classificatiemodellen

Probleemstelling

Machine learning (ML) classificatiemodellen worden steeds meer gebruikt in toepassingen zoals landbedekking (LC) mapping, maar ze missen vaak "betrouwbaarheid" vanwege het onvermogen om beslissingen te verklaren of onzekerheid te kwantificeren. Hoewel het huidige onderzoek in onzekerheidskwantificering (UQ) zich sterk richt op epistemische onzekerheid (modelonzekerheid), wordt meetonzekerheid van de invoer vaak verwaarloosd. In de metrologie en Aardeobservatie dragen invoergegevens vaak inherente onzekerheid met zich mee door beperkingen van apparatuur of als gevolg van eerdere meetmodellen in een traceerbaarheidsketen. Het negeren van deze invoeronzekerheid breekt de traceerbaarheidsketen voor downstream-toepassingen (bijvoorbeeld klimaatmodellering, broeikasgasadministratie). Bovendien staan standaard complexe modellen zoals Random Forests (RF's) en Neurale Netwerken (NN's) niet van nature toe om meetonzekerheid van de invoer te integreren zonder computationally dure Monte Carlo ensemble-benaderingen.

Methodologie

De auteurs stellen een algemeen Bayesiaans kader voor om meetonzekerheid van de invoer te integreren in generatieve ML-classificatiemodellen. De kernmethodologie rust op een Errors-in-Variables (EiV)-benadering, waarbij gemeten invoer wordt behandeld als realisaties van ware, onbekende waarden.

1. Kaderformulering:

   • Het model gaat ervan uit dat gemeten invoer $x$ realisaties zijn van ware invoer $\chi$ die onderhevig zijn aan meetfout $\epsilon_x$ ($x = \chi + \epsilon_x$).
   • Met behulp van de stelling van Bayes wordt de a posteriori voorspellende waarschijnlijkheid van de klasse afgeleid door te integreren over de ware, onbekende invoer en modelparameters.
   • Het kader onderscheidt tussen gevallen waarin parameters van meetonzekerheid bekend/vast zijn versus onbekend (geschat naast modelparameters). Het artikel richt zich op het laatste geval, waarbij onzekerheidsparameters worden geleerd via Bayesiaanse inferentie.

2. Specifieke Implementatie: Bayesiaanse Quadratische Discriminantanalyse (BQDA):

   • De auteurs concretiseren het kader met behulp van Quadratische Discriminantanalyse (QDA), een parametrisch generatief classifier dat klasse-voorwaardelijke verdelingen modelleert als multivariate Gaussische verdelingen.
   • Meetmodel: Meetonzekerheid van de invoer wordt gemodelleerd als een multivariate Gaussische verdeling gecentreerd rond de ware invoer.
   • Analytische Oplossing: Door geconjugeerde priors aan te nemen voor de Gaussische parameters, leiden de auteurs een analytische uitdrukking af voor de a posteriori voorspellende verdeling. Dit elimineert de noodzaak van steekproeftechnieken zoals Markov Chain Monte Carlo (MCMC), die doorgaans vereist zijn voor onhandelbare posteriors in complexe modellen.
   • Resultante Verdeling: De uiteindelijke voorspellende verdeling voor een klasse is een multivariate t-verdeling, die op natuurlijke wijze rekening houdt met zowel de onzekerheid in de modelparameters (epistemisch) als de meetruis van de invoer (aleatorisch).

3. Casestudy: Landbedekkingsclassificatie:

   • Data: Copernicus Sentinel-2 data (2020–2021) over een gebied van 20 km × 20 km in Schotland.
   • Labels: Afgeleid automatisch van UKCEH-kaarten met behulp van een criterium voor temporele stabiliteit (onveranderde labels over drie jaar) en een kwaliteitscriterium (>95% classificatiekans).
   • Generatie van Onzekerheid: Om invoeronzekerheid te simuleren, varieerden de auteurs de Aerosol Optical Depth (AOD) die werd gebruikt bij atmosferische correctie (Sen2Cor). Ze genereerden 25 realisaties van de reflectantie aan de onderkant van de atmosfeer (BOA) voor elke pixel door AOD te bemonsteren uit een Gaussische verdeling gebaseerd op CAMS-data-onzekerheden.
   • Klassen: Vier LULUCF-klassen: Bos, Akkerland, Grasland en Bebouwing.

Belangrijkste Bijdragen

• Kader voor Invoeronzekerheid: Een concrete Bayesiaanse methodologie die meetonzekerheid van de invoer expliciet integreert in generatieve classifiers, verdergaand dan de standaard aanname van ruisvrije invoer.
• Analytische BQDA-Afleiding: De afleiding van een gesloten-vorm oplossing voor BQDA die invoerruis modelleert, wat efficiënte berekening mogelijk maakt zonder ensemble-gemiddelden of MCMC.
• Benchmarking: Een uitgebreide vergelijking van BQDA met standaard classifiers (Standaard QDA, LDA, Random Forests en Neurale Netwerken) op zowel reële LC-data als synthetische datasets met variërende ruissterktes en dimensies.

Resultaten

De studie evalueert de prestaties aan de hand van macro F1/F2-scores, Cross-Entropy-verlies en de Brier-score (een juiste scoreregel voor probabilistische kalibratie), naast de rekenkosten.

1. Reële Landbedekkingsdata:

   • Kleine Data Regime: BQDA presteert significant beter dan standaard QDA en andere benchmarks wanneer trainingsdata schaars is (bijvoorbeeld <1000 pixels). Standaard QDA faalt vaak (singuliere covariantiematrices) in deze scenario's, terwijl de Bayesiaanse prior in BQDA fungeert als regularisator.
   • Generaliseerbaarheid: Bij training en testen op verschillende jaren (bijvoorbeeld trainen 2020, testen 2021) behoudt BQDA de meest consistente prestaties (laagste Brier-score), wat wijst op een superieure hantering van voorspellende onzekerheid over domeinen heen.
   • Klasseprestaties: Hoewel alle modellen worstelden met "Akkerland" vanwege de hoge spectrale variantie, leverde BQDA betrouwbaardere probabilistische output.
   • Efficiëntie: BQDA, QDA en LDA waren significant rekenkundig efficiënter dan RF's en NN's. In tegenstelling tot RF's/NN's produceert BQDA reproduceerbare resultaten bij dezelfde data, omdat het vertrouwt op analytische uitdrukkingen in plaats van willekeurige getallengeneratie tijdens training.

2. Synthetische Data-experimenten:

   • Experimenten werden uitgevoerd op synthetische Gaussische data met 2, 10 en 50 invoervariabelen, met variërende ruissterktes (Gaussisch en Uniform).
   • Robuustheid: Naarmate de ruissterkte toenam, behaalde BQDA consequent betere metriekscores dan andere modellen.
   • Hogedimensionale Ruis: In hogedimensionale instellingen (50 variabelen) overtrof BQDA niet alleen de benchmarks, maar nam de prestatie ook langzamer af naarmate de ruis toenam, wat het regulariserende effect van de Bayesiaanse prior tegen overfitting aantoont.
   • Verdelingsonafhankelijkheid: Het prestatievoordeel van BQDA gold voor zowel Gaussische als Uniforme invoerruisverdelingen.

Betekenis en Claims

Het artikel stelt dat het voorgestelde BQDA-kader een meer betrouwbare en interpreteerbaar alternatief biedt voor complexe black-box-modellen voor toepassingen die metrologische traceerbaarheid vereisen.

• Interpreteerbaarheid: In tegenstelling tot NN's of RF's, corresponderen BQDA-parameters direct met het gemiddelde en de covariantie van invoergegevens, waardoor de beslissingsgrenzen van het model en de bronnen van onzekerheid transparant zijn.
• Efficiëntie: Het biedt een rekenkundig efficiënte manier om rekening te houden met invoeronzekerheid zonder de zware kosten van Monte Carlo-ensembles.
• Metrologische Relevantie: Door meetonzekerheid van de invoer expliciet te modelleren, ondersteunt het kader de "traceerbaarheidsketen" die vereist is in de metrologie, zodat downstream-toepassingen (zoals klimaatmodellering) onzekerheden correct kunnen doorgeven.

De auteurs merken bescheiden beperkingen op: het huidige werk adresseert geen onzekerheid in klasselabels (bijvoorbeeld gemengde pixels) en richt zich op gevallen waarbij de verdeling van invoeronzekerheid moet worden geleerd in plaats van a priori bekend is. Het kader wordt echter gepresenteerd als uitbreidbaar naar deze toekomstige uitdagingen.