Contrastive Mask Fidelity: Reference-Free Auditing of Ground-Truth Masks in Remote Sensing Semantic Segmentation

Sintesi Tecnica: Fedeltà di Maschera Contrastiva (CMF)

Definizione del Problema: Il Paradosso della Valutazione
La segmentazione semantica nel telerilevamento affronta un fondamentale "paradosso della valutazione". I modelli vengono addestrati e valutati rispetto a maschere disegnate da esseri umani, che sono convenzionalmente trattate come verità assoluta (ground truth) infallibile. Tuttavia, le annotazioni del telerilevamento sono frequentemente grossolane, incomplete, disallineate o eccessivamente levigate a causa della complessità delle immagini aeree e satellitari (ad esempio, oggetti piccoli, copertura del suolo eterogenea). Di conseguenza, le metriche di sovrapposizione standard come la mIoU quantificano l'accordo con etichette potenzialmente difettose piuttosto che la fedeltà all'evidenza visiva. Una maschera visivamente superiore può ricevere un punteggio inferiore se devia da un'annotazione imperfetta. I metodi esistenti sulla qualità delle etichette spesso si affidano a modelli addestrati sulla stessa distribuzione di etichette rumorose, ereditando proprio i bias che mirano a rilevare. Esiste una mancanza di un arbitro reference-free capace di confrontare direttamente maschere concorrenti (umana vs modello) rispetto all'evidenza dell'immagine senza designare nessuna delle due come la verità assoluta.

Metodologia: La Pipeline GeoVeritas
Gli autori propongono GeoVeritas, un sistema di auditing a tre stadi, privo di addestramento (training-free), centrato sulla Fedeltà di Maschera Contrastiva (CMF).

1. Generazione dei Candidati (Stadio I):
   Il sistema utilizza Seg-Probe, una sonda di segmentazione open-vocabulary priva di addestramento costruita sul backbone congelato SegEarth-OV3 (che utilizza un encoder SAM 3 congelato). Seg-Probe non è il contributo primario ma serve come fonte robusta di maschere candidate per sfidare le annotazioni umane. Impiega tre componenti training-free per generare candidati di alta qualità:

   • Sinonym Evidence Pooling (SEP): Aggrega l'evidenza da molteplici prompt sinonimi utilizzando un log-sum-exp soft-OR per ridurre la dipendenza da nomi di classi specifici.
   • Multi-Scale Evidence (MSE): Estrae e allinea l'evidenza da molteplici scale dell'immagine.
   • Test-Time Augmentation (TTA): Media l'evidenza tra la vista originale e quella riflessa orizzontalmente.

2. Punteggio di Fedeltà di Maschera Contrastiva (Stadio II):
   La CMF valuta la fedeltà di una maschera binaria $M_c$ per la classe $c$ rispetto a un'immagine $x$ utilizzando un giudice vision-language esterno e congelato (RemoteCLIP). Il processo prevede la creazione di due viste controfattuali dell'immagine:

   • Vista di Mantenimento (Keep View, $x^k$): Rivela solo la regione definita dalla maschera $M_c$, mentre sfoca il resto.
   • Vista di Cancellazione (Erase View, $x^e$): Nasconde la regione $M_c$ (sfocandola) mentre rivela il resto dell'immagine.

   Il giudice calcola la probabilità $P(c|r)$ per ciascuna vista utilizzando una softmax scalata per temperatura sulle descrizioni testuali delle classi. Il Punteggio di Fedeltà $F(M_c)$ è definito dalla differenza:
   $$F(M_c) = P(c | x^k_c) - P(c | x^e_c)$$
   Questo design contrastivo assicura che il punteggio rifletta sia la purezza (la regione mantenuta contiene la classe) sia la completezza (non rimane evidenza della classe al di fuori della maschera). Fondamentalmente, la normalizzazione della softmax e la natura opposta dei due termini riducono la sensibilità all'inflazione triviale dell'area della maschera.

3. Arbitrato e Correzione delle Etichette (Stadio III):
   Per ogni coppia immagine-classe, il sistema confronta il punteggio di fedeltà della maschera candidata ($M^p_c$) con l'annotazione umana ($M^a_c$). Se la differenza $\Delta F > 0$, il candidato è considerato più fedele. Una regola di arbitrato conservativa sostituisce l'etichetta umana con la maschera candidata solo se il margine $\Delta F$ supera una soglia (default $\delta=0$), altrimenti mantiene l'etichetta umana per evitare sovra-correzioni.

Contributi Chiave

• Metrica CMF: Una metrica reference-free e training-free che trasforma il disaccordo tra maschere in un contrasto condizionato dall'immagine (keep-erase contrast), utilizzando un giudice vision-language esterno congelato per valutare la fedeltà della maschera semantica.
• Audit su Larga Scala: Un audit di 10.731 coppie immagine-classe attraverso dieci benchmark di telerilevamento (inclusi LoveDA, Potsdam, Vaihingen, ecc.). Lo studio rivela distorsioni di annotazione sistematiche e dipendenti dalla classe: le classi create dall'uomo (edifici, strade, auto) favoriscono i candidati del modello nel 62–85% dei casi, mentre la copertura del suolo ambigua spesso favorisce le annotazioni umane.
• Validazione degli Esperti: Su un set di consenso a tre annotatori in cieco, la CMF eguaglia il giudizio degli esperti nell'81% delle coppie, superando lo scoring keep-only, la confidenza del modello e una baseline di qualità delle etichette addestrata.
• Supervisione Azionabile: L'addestramento di un segmentatore leggero su etichette arbitrate dalla CMF produce prestazioni di trasferimento cross-dominio migliorate rispetto a modelli addestrati su annotazioni grezze o pure etichette pseudo, isolando il beneficio del processo di arbitrato.

Risultati

• Performance di Seg-Probe: Seg-Probe supera i precedenti baselines training-free su 9 dataset su 10, raggiungendo una mIoU media del 56,3% (rispetto al 55,4% di SegEarth-OV3), validando il suo ruolo di forte generatore di candidati.
• Sensibilità alla Corruzione: La CMF è stata calibrata su corruzioni controllate della maschera e ha dimostrato di rispondere correttamente agli errori noti pur mantenendo la stabilità rispetto alle variazioni dell'area della maschera.
• Trasferimento Cross-Dominio: I modelli addestrati su etichette arbitrate dalla CMF hanno dimostrato una capacità di trasferimento superiore verso domini target non visti rispetto a quelli addestrati su annotazioni grezze o controlli di sostituzione corrispondenti, confermando che i guadagni derivano dalla selezione di etichette ad alta fedeltà piuttosto che dalla semplice distillazione di pseudo-etichette.

Significato
Il documento posiziona la CMF non come un metodo per sostituire interamente l'annotazione umana, ma come uno strumento scalabile per l'audit della verità di base (ground truth). Trattando la maschera di riferimento come un'ipotesi piuttosto che come una verità infallibile, la CMF fornisce un meccanismo per identificare e correggere errori sistematici di annotazione, in particolare per oggetti creati dall'uomo ben delineati. Questo approccio affronta il paradosso della valutazione spostando il focus dall'accordo con un'etichetta alla fedeltà all'evidenza dell'immagine, offrendo una via per una supervisione più affidabile nella segmentazione semantica del telerilevamento.