Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

Technische Samenvatting: Benchmarking van de afstemming tussen datakwaliteitsmetrieken, menselijk oordeel en landbedekking-segmentatieprestaties voor Earth Observation

Probleemstelling
Het trainen van deep learning-modellen voor Earth Observation (EO) wordt vaak beperkt door het volume en de kwaliteit van beschikbare datasets. Hoewel synthetische data-augmentatie via deep generative modellen (bijv. GANs, Diffusion Models) een oplossing biedt, blijft het beoordelen van de werkelijke bruikbaarheid van deze synthetische data een uitdaging. Standaard evaluatiepraktijken vertrouwen op metrieken voor afstand op distributieniveau (bijv. Fréchet Inception Distance [FID], Kernel Inception Distance [KID], Inception Score [IS]) die worden berekend in de latente ruimte van netwerken die zijn voorgetraind op generieke datasets zoals ImageNet.

Het kernprobleem dat is geïdentificeerd, is dat deze metrieken, die geoptimaliseerd zijn voor natuurlijke afbeeldingen met objectgerichte composities, mogelijk niet effectief kunnen worden overgedragen naar het gespecialiseerde domein van EO. EO-beelden worden gekenmerkt door top-down perspectieven, willekeurige oriëntaties en gedistribueerde semantische informatie. Bijgevolg kunnen standaard metrieken er niet in slagen om de bruikbaarheid voor downstream-taken te reflecteren, kunnen ze afwijken van de menselijke perceptie onder onmerkbare perturbaties, of kunnen ze worden misleid door structurele memorisatie die cruciale hoogfrequente details voor segmentatietaken onderdrukt. Er is een gebrek aan systematisch onderzoek naar hoe automatische metrieken, menselijke perceptie en downstream-prestaties in dit specifieke domein op elkaar zijn afgestemd.

Methodologie
De auteurs hebben een uitgebreide drieweg-afstemmingsstudie uitgevoerd met reële en synthetische remote sensing-datasets die diverse geografische regio's beslaan (Turkije, Europa, Zuid-Korea en Californië-Nevada). De studie integreerde drie afzonderlijke evaluatiezuilen:

1. Perturbatie-experimenten: Zeven kwantitatieve metrieken (FID, KID, IS, LPIPS, SSIM, PSNR) werden geëvalueerd tegen zes specifieke beeldtransformaties: Gaussische ruis, perspectivische vervorming, rotatie, flipping, resized cropping en een gecombineerde transformatie. Dit testte de robuustheid van de metrieken tegen semantisch behoudende en semantisch veranderende wijzigingen.
2. Menselijke Perceptiestudie: Een vierfasen-vragenlijst waarbij 88 deelnemers het volgende beoordeelden:
   • Augmentatie-afstemming: Het vermogen om identieke scènes te identificeren onder geometrische transformaties.
   • Downstream Bruikbaarheid: Het vermogen om Earth observation-beelden te koppelen aan hun bijbehorende landbedekking-segmentatiemaskers (het testen van de interpreteerbaarheid van reële versus synthetische paren).
   • Voorkeur voor Conditionele Generatie: Voorkeur tussen outputs van verschillende generatieve architecturen (Stable Diffusion, U-Net GAN, StyleGAN3) gegeven een conditioneel masker.
   • Realismebeoordeling: Likert-schaal beoordeling (1–5) van de realisme van beelden over reële en synthetische datasets.
3. Downstream Taak Benchmark: Semantische segmentatiemodellen (inclusclusief UNet, DeepLabV3+, SegFormer, etc.) werden getraind op variërende mengsels van reële en synthetische data. Prestaties werden gemeten via F1-scores om te bepalen of synthetische data de baselines verbeterde, ondanks potentieel slechte fidelity-scores.

Belangrijkste Bijdragen

• Kwetsbaarheid van Generatieve Metrieken: De studie toont aan dat breed gebruikte metrieken voor latente ruimte-distributie zeer gevoelig zijn voor kleine, semantisch behoudende perturbaties (bijv. rotatie), die de scores drastisch veranderen zonder de menselijke herkenning te beïnvloeden.
• Menselijke Perceptie Baseline: Een vierfasen-studie die menselijke herkenningsnauwkeurigheid, visuele voorkeur en cognitieve belasting kwantificeert, wat een menselijk referentiepunt biedt om de validiteit van automatische kwaliteitsmetrieken te evalueren.
• Drieweg Afstemmingsanalyse: Een kwantitatieve analyse die significante discrepanties onthult tussen menselijke perceptie, automatische metrieken en downstream-modelprestaties, waardoor faalmodi in standaard automatische evaluatie worden blootgelegd.
• Landbedekking Segmentatie Benchmark: Bewijs dat visuele fidelity (gemeten via FID) de downstream-prestaties niet betrouwbaar voorspelt. Synthetische data met slechte automatische scores kunnen de baselines van reële data verbeteren wanneer ze worden gecombineerd, terwijl hoge fidelity-scores geen bruikbaarheid garanderen.

Resultaten

• Metriek Instabiliteit: Automatische metrieken vertoonden een hoge volatiliteit onder perturbaties. Zo verhoogde rotatie de FID van de ARAS-Test dataset van 2.09 naar 36.51, terwijl de menselijke nauwkeurigheid slechts daalde van 97.13% naar 94.05%. Omgekeerd veroorzaakten ruis en gecombineerde perturbaties de meest significante degradatie in menselijke scèneperceptie, maar waren zij ook het meest schadelijk voor de metriekscores.
• Perceptie vs. Metrieken: Synthetische datasets ontvingen vaak lagere FID-scores dan reële datasets, maar werden door mensen als even realistisch of zelfs realistischer ervaren. Bijvoorbeeld, de synthetische ARAS-SGAN3 dataset (FID ~16.85) werd bijvoorbeeld als realistischer beoordeeld (µ=3.43) dan reële datasets zoals BELDE (µ=3.32) en BELDE-CA-NV (µ=3.09), ondanks dat de laatste aanzienlijk betere FID-scores hadden in sommige vergelijkingen.
• Ontkoppeling van Bruikbaarheid: Er werd een scherpe mismatch gevonden tussen FID-scores en downstream-bruikbaarheid. Het augmenteren van reële data met door CUGAN gegenereerde synthetische data verslechterde de FID-score van 2.09 naar 21.27, maar verbeterde de downstream segmentatie F1-score van 76.5% naar 77.6%. Evenzo correleerde de menselijke voorkeur voor realisme (bijv. BELDE-K versus BELDE-CA-NV) niet met de prestaties van het segmentatiemodel op die datasets.
• Modelvoorkeuren: In conditionele generatietaken werden Stable Diffusion-modellen getraind op ARAS400k het meest door mensen verkozen (39%), maar zij ontvingen de laagste standalone realisme scores (2.51), wat aangeeft dat trouw aan een conditioneel masker en waargenomen realisme verschillende eigenschappen zijn.

Betekenis en Claims
Het artikel stelt dat de automatische kwaliteitsevaluatie van synthetische datasets voor Earth observation niet uitsluitend kan vertrouwen op metrieken die geworteld zijn in op ImageNet voorgetrainde feature-ruimtes. De auteurs beweren dat:

1. Metrieken zijn Onbetrouwbare Proxies: Standaard metrieken zoals FID zijn onbetrouwbare indicatoren voor geospatial data omdat ze hypergevoelig zijn voor laag-niveau structurele veranderingen (zoals rotatie) die irrelevant zijn voor menselijke waarnemers en downstream-taken.
2. Bruikbaarheid is Ontkoppeld van Fidelity: Hoge visuele fidelity (lage FID) garandeert geen hoge downstream-bruikbaarheid; synthetische data met slechte fidelity-scores kunnen nog steeds de modelprestaties verbeteren wanneer ze worden gemengd met reële data.
3. Noodzaak voor Holistische Evaluatie: Een betrouwbaar evaluatiekader moet kwantitatieve metrieken, menselijke perceptie en downstream-taakprestaties gezamenlijk overwegen. Geen enkele enkele as is voldoende, vooral gezien de domeinverschuiving tussen natuurlijke afbeeldingen en Earth observation-beelden.

De auteurs concluderen dat het puur optimaliseren van generatieve modellen voor het minimaliseren van automatische metrieken het risico loopt de prioriteit te geven aan "visuele netheid" boven werkelijke databruikbaarheid. Toekomstig werk zou zich moeten richten op het ontwikkelen van metrieken die robuust zijn tegen perturbaties, afgestemd zijn op menselijke perceptie en voorspellend zijn voor downstream-prestaties.