Benchmarking the Alignment of Data-Quality Metrics, Human Judgment and Land-Cover Segmentation Performance for Earth Observation

Sintesi Tecnica: Benchmarking dell'allineamento tra metriche di qualità dei dati, giudizio umano e prestazioni di segmentazione della copertura del suolo per l'osservazione della Terra

Problema
L'addestramento di modelli di deep learning per l'osservazione della Terra (EO) è spesso limitato dal volume e dalla qualità dei dataset disponibili. Sebbene l'aumento dei dati sintetici tramite modelli generativi profondi (ad es., GAN, Modelli di Diffusione) offra una soluzione, valutare l'effettiva utilità di tali dati sintetici rimane una sfida. Le pratiche di valutazione standard si affidano a metriche di distanza a livello di distribuzione (ad es., Fréchet Inception Distance [FID], Kernel Inception Distance [KID], Inception Score [IS]) calcolate nello spazio latente di reti pre-addestrate su dataset generici come ImageNet.

Il problema centrale identificato è che queste metriche, ottimizzate per immagini naturali con composizioni centrate su oggetti, potrebbero non trasferirsi efficacemente nel dominio specializzato dell'EO. L'imagery EO è caratterizzata da viste zenitali, orientamenti arbitrari e informazioni semantiche distribuite. Di conseguenza, le metriche standard possono non riflettere l'utilità nei task a valle, divergere dalla percezione umana sotto perturbazioni impercettibili o essere fuorvianti a causa della memorizzazione strutturale che sopprime i dettagli ad alta frequenza cruciali per i compiti di segmentazione. Esiste una mancanza di investigazione sistematica su come le metriche automatiche, la percezione umana e le prestazioni a valle si allineino in questo specifico dominio.

Metodologia
Gli autori hanno condotto uno studio di allineamento tripartito completo utilizzando dataset di telerilevamento reali e sintetici che coprono diverse regioni geografiche (Turchia, Europa, Corea del Sud e California-Nevada). Lo studio ha integrato tre distinti pilastri di valutazione:

1. Esperimenti di Perturbazione: Sette metriche quantitative (FID, KID, IS, LPIPS, SSIM, PSNR) sono state valutate contro sei trasformazioni specifiche dell'immagine: rumore Gaussiano, deformazione prospettica, rotazione, flipping, ritaglio ridimensionato e una trasformazione combinata. Questo ha testato la robustezza delle metriche contro cambiamenti che preservano o alterano la semantica.
2. Studio della Percezione Umana: Un questionario in quattro fasi coinvolgendo 88 partecipanti ha valutato:
   • Allineamento dell'Augmentation: Capacità di identificare scene identiche sotto trasformazioni geometriche.
   • Utilità a Valle: Capacità di associare immagini di osservazione della Terra con le rispettive maschere di segmentazione della copertura del suolo (test della interpretabilità di coppie reali vs sintetiche).
   • Preferenza di Generazione Condizionale: Preferenza tra gli output di diverse architetture generative (Stable Diffusion, U-Net GAN, StyleGAN3) dato un livello di condizionamento (mask).
   • Valutazione del Realismo: Valutazione su scala Likert (1–5) del realismo delle immagini attraverso dataset reali e sintetici.
3. Benchmark del Task a Valle: Modelli di segmentazione semantica (inclusi UNet, DeepLabV3+, SegFormer, ecc.) sono stati addestrati su diverse miscele di dati reali e sintetici. Le prestazioni sono state misurate tramite punteggi F1 per determinare se i dati sintetici migliorassero i baseline nonostante potenziali scarsi punteggi di fedeltà.

Contributi Chiave

• Vulnerabilità delle Metriche Generative: Lo studio dimostra che le metriche di distribuzione nello spazio latente ampiamente utilizzate sono altamente sensibili a piccole perturbazioni che preservano la semantica (ad es., la rotazione), le quali alterano drasticamente i punteggi senza influenzare il riconoscimento umano.
• Baseline della Percezione Umana: Uno studio in quattro fasi che quantifica l'accuratezza del riconoscimento umano, la preferenza visiva e il carico cognitivo, fornendo un riferimento umano per valutare la validità delle metriche di qualità automatizzate.
• Analisi dell'Allineamento Tripartito: Un'analisi quantitativa che rivela discrepanze significative tra la percezione umana, le metriche automatizzate e le prestazioni dei modelli a valle, esponendo i modi di fallimento della valutazione automatica standard.
• Benchmark della Segmentazione della Copertura del Suolo: Evidenza che la fedeltà visiva (misurata tramite FID) non predice in modo affidabile l'utilità a valle. L'aumento dei dati reali con dati sintetici generati da CUGAN peggiora il punteggio FID da 2.09 a 21.27 ma migliora il punteggio F1 di segmentazione a valle dal 76.5% al 77.6%. Similmente, l'alta fedeltà delle metriche non garantisce l'utilità.

Risultati

• Instabilità delle Metriche: Le metriche automatiche hanno mostrato un'alta volatilità sotto perturbazione. Ad esempio, la rotazione ha aumentato il FID del dataset ARAS-Test da 2.09 a 36.51, mentre l'accuratezza umana è scesa solo dal 97.13% al 94.05%. Al contrario, il rumore e le perturbazioni combinate hanno causato la degradazione più significativa nella percezione della scena da parte degli umani, ma sono state anche le più deleterie per i punteggi delle metriche.
• Percezione vs. Metriche: I dataset sintetici hanno spesso ricevuto punteggi FID inferiori rispetto ai dataset reali, ma sono stati percepiti come ugualmente o più realistici dagli umani. Ad esempio, il dataset sintetico ARAS-SGAN3 (FID ~16.85) è stato valutato più realistico (µ=3.43) rispetto ai dataset reali come BELDE (µ=3.32) e BELDE-CA-NV (µ=3.09), nonostante questi ultimi avessero punteggi FID significativamente migliori in alcuni confronti.
• Disaccoppiamento dell'Utilità: È stata riscontrata una forte disallineamento tra i punteggi FID e l'utilità a valle. L'aumento dei dati reali con dati sintetici generati da CUGAN ha degradato il punteggio FID da 2.09 a 21.27, ma ha migliorato il punteggio F1 di segmentazione a valle dal 76.5% al 77.6%. Allo stesso modo, la preferenza umana per il realismo (ad es., BELDE-K vs. BELDE-CA-NV) non è correlata con le prestazioni del modello di segmentazione su tali dataset.
• Preferenze del Modello: Nei compiti di generazione condizionale, i modelli Stable Diffusion addestrati su ARAS400k sono stati i più preferiti dagli umani (39%), pur avendo ricevuto i punteggi di realismo standalone più bassi (2.51), indicando che la fedeltà a una maschera di condizionamento e il realismo percepito sono proprietà distinte.

Significatività e Rivendicazioni
Il documento sostiene che la valutazione automatica della qualità dei dataset sintetici per l'osservazione della Terra non può fare affidamento esclusivamente su metriche radicate negli spazi di caratteristiche pre-addestrati su ImageNet. Gli autori affermano che:

1. Le Metriche sono Proxy inaffidabili: Le metriche standard come FID sono indicatori inaffidabili per i dati geospaziali perché sono ipersensibili a cambiamenti strutturali di basso livello (come la rotazione) che sono irrilevanti per gli osservatori umani e i task a valle.
2. L'Utilità è Disaccoppiata dalla Fedeltà: L'alta fedeltà visiva (basso FID) non garantisce un'alta utilità a valle, e i dati sintetici con scarsi punteggi di fedeltà possono comunque migliorare le prestazioni dei modelli quando miscelati con dati reali.
3. Necessità di una Valutazione Olistica: Un framework di valutazione affidabile deve considerare congiuntamente le metriche quantitative, la percezione umana e le prestazioni del task a valle. Nessun singolo asse è sufficiente, specialmente dato lo spostamento di dominio tra le immagini naturali e l'imagery di osservazione della Terra.

Gli autori concludono che ottimizzare i modelli generativi puramente per la minimizzazione delle metriche automatiche rischia di dare priorità alla "pulizia visiva" rispetto alla reale utilità dei dati, e il lavoro futuro dovrebbe mirare a sviluppare metriche che siano robuste alle perturbazioni, allineate con la percezione umana e predittive delle prestazioni dei task a valle.