Riepilogo Tecnico: Rilevamento di Anomalie basato su Embedding per la Pulizia di Dataset di Riferimento Globali per i Tipi di Coltura

Definizione del Problema

I dati di riferimento di alta qualità rappresentano un collo di bottiglia critico per la mappatura dei tipi di coltura su scala globale. I sistemi operativi come WorldCereal aggregano etichette da fonti eterogenee (registri dei lotti, database nazionali, rilievi sul campo e prodotti derivati da mappe). Queste fonti introducono rumore nelle etichette di origine ignota, incoerenze regionali e artefatti. Le semplici regole di pulizia globali sono inefficaci perché la fenologia delle colture e le condizioni di osservazione variano significativamente tra le regioni e le stagioni. Inoltre, distinguere tra veri outlier ambientali (es. siccità) ed errori di etichettatura è difficile nei dati di Osservazione della Terra (EO). La sfida consiste nell'identificare i campioni etichettati erroneamente senza una firma invariante globale per le colture, dato l'elevata variabilità intra-classe e il fatto che le moderne pipeline EO spesso riassumono serie temporali complesse in embedding compatti dove classi distinte possono sovrapporsi.

Metodologia

Gli autori propongono un framework di rilevamento delle anomalie basato su embedding (EBA - Embedding-based Anomaly detection) che opera su embedding generati da un encoder di osservazione terrestre pre-addestrato (specificamente un modello di tipo Presto). Il presupposto fondamentale è che un campione sia probabilmente etichettato erroneamente se il suo embedding è anomalo rispetto ad altri campioni della stessa classe dichiarata all'interno della stessa località geografica.

1. Rappresentazione e Scomposizione dei Dati

• Embedding: Ogni campione di addestramento è rappresentato da un vettore a dimensione fissa (es. $d=128$) che riassume il proprio ambiente multi-temporale e multi-modale. Questi sono calcolati utilizzando pesi ufficiali pre-addestrati per evitare il "label leakage".
• Slices Locali: Per evitare assunzioni globali, i dati sono partizionati in "slice" basate su una cella della griglia H3, un'etichetta specifica di coltura/copertura del suolo e, opzionalmente, l'anno o il dataset di origine.
• Dimensione Minima: Le slice con meno di una soglia configurabile (es. 50 campioni) vengono accorpate ai vicini o escluse per garantire una popolazione di riferimento stabile.

2. Punteggio di Anomalia

Per ogni campione all'interno di una slice, il framework calcola due metriche di distanza complementari:

• Distanza dal Centroide: La distanza coseno rispetto al centroide della slice.
• Distanza dal Vicino più Prossimo: La media della distanza coseno dai $k$-vicini più prossimi all'interno della slice.

Queste distanze grezze sono normalizzate in punteggi $[0, 1]$ utilizzando i percentili empirici specifici della slice. Un mean_score finale viene derivato mediando tre componenti:

1. Il punteggio di distanza normalizzato ($S_i$).
2. Un punteggio basato sul rango ($S^{\text{rank}}_i$) che mappa l'ordine del campione all'interno della slice in $[0, 1]$.
3. Un robusto z-score ($S^{\text{z}}_i$) basato sulla mediana e dalla Deviazione Assoluta della Mediana (MAD).

3. Flagging e Graduazione

I campioni sono contrassegnati (flagged) come anomalie se il loro punteggio supera la mediana della slice di più di $k$ MAD (default $k=4$). Per evitare una pulizia eccessiva, la quota di punti contrassegnati in qualsiasi slice è limitata al 10%. I campioni sono graduati in quattro categorie:

• Normale: Non contrassegnato.
• Flagged (Contrassegnato): Anomalia lieve.
• Suspect (Sospetto): Contrassegnato e presente nella coda estrema (es. rank > 0.98).
• Candidate (Candidato): Gli errori più estremi (es. rank > 0.99).

4. Ponderazione della Confidenza e Robustezza

Invece di una rimozione binaria, il sistema genera un punteggio confidence_nonoutlier (vicino a 1 per i campioni puliti, che decade per gli outlier) per consentire una debolezza (down-weighting) durante l'addestramento.

• Centroide Robusto: Il centroide della slice è calcolato utilizzando una media troncata resistente alla contaminazione per evitare che gli outlier possano "mascherarsi" influenzando la media verso di sé.
• Gate di Separabilità: Se la geometria degli embedding di un vicinato non riesce a separare le classi (basso punteggio di silhouette), i flag in quell'area vengono soppressi per evitare di penalizzare campioni validi a causa di una rappresentazione debole.
• Consistenza: Il punteggio di confidenza continuo è legato al flag discreto; i campioni non contrassegnati mantengono una confidenza di 1.

Contributi Chiave

1. Formulazione a Slice Locali: Un approccio generico al rilevamento degli outlier in cui i campioni sono giudicati solo rispetto ai vicini della stessa classe nella stessa località, affrontando la mancanza di firme globali per le colture.
2. Meccanismo di Punteggio Composto: Un rilevatore basato su embedding che combina la distanza dal centroide, la struttura del vicino locale e la statistica robusta (MAD) in un punteggio di anomalia graduato con output di confidenza.
3. Valutazione Completa: Una strategia di valutazione in tre parti:
   • Recupero del rumore sintetico iniettato.
   • Un test indipendente dal modello su dati reali.
   • Valutazione delle prestazioni a valle sul modello operativo WorldCereal in cinque macro-regioni.

Risultati

Verità Fondamentale Sintetica

Quando il rumore nelle etichette è stato iniettato in dati affidabili, il rilevatore ha concentrato con successo gli errori pianificati nel set contrassegnato:

• Errori Grossolani: Arricchiti di 2,5–5,0$\times$ rispetto al caso casuale tra le regioni (fino a 9$\times$ nei lift del top-5%), con punteggi AUROC fino a 0,84.
• Errori Sottili: Gli errori di classe confondibile sono stati arricchiti di 3,0–3,8$\times$ (AUROC $\approx$ 0,72).
• Limitazione: Il rilevatore si è comportato a livelli casuali per la corruzione dell'intero dataset (dove un intero dataset di origine è etichettato erroneamente), poiché il centroide della slice stessa risulta corrotto.

Test Indipendente dal Modello

Su dati reali, la rimozione o la riduzione del peso dei punti contrassegnati nel set di hold-out ha costantemente migliorato l'accuratezza dei modelli già addestrati:

• Per 54/55 modelli di tipo di coltura e 55/55 modelli di copertura del suolo, la riduzione del peso dei punti contrassegnati ha aumentato il macro-F1, il weighted-F1 e l'accuratezza.
• Ciò suggerisce che i punti contrassegnati sono sproporzionatamente inaffidabili per il modello, indipendentemente dal fatto che siano etichettati erroneamente o semplicemente difficili da classificare.

Impatto a Valle (WorldCereal)

L'applicazione del framework di pulizia ai dati di addestramento del modello a doppia testa di WorldCereal (tipo di coltura + copertura del suolo) attraverso cinque macro-regioni ha prodotto:

• La Pulizia Conservativa Funziona: I miglioramenti migliori sono derivati dalla rimozione solo dei "candidati" o dall'applicazione della ponderazione della confidenza. La rimozione aggressiva di tutti i punti contrassegnati ha spesso degradato le prestazioni eliminando campioni di confine corretti ma difficili.
• Guadagni Quantitativi: Con il rilevatore ristretto, il macro-F1 delle colture è migliorato di +1,2 a +3,4 punti (media +2,1) in tutte e cinque le regioni. Anche la copertura del suolo ha registrato miglioramenti.
• Guadagni Specifici per Classe: I miglioramenti sono stati guidati quasi esclusivamente da colture rare e confondibili (es. il miglio nel Sud Asia è migliorato di +15 punti F1), mentre le colture maggioritarie sono rimaste largamente invariate.

Significato e Rivendicazioni

Il documento sostiene che gli embedding da modelli di fondazione geospaziali forniscono una base vitale per la pulizia di grandi dataset di riferimento rumorosi senza richiedere l'ispezione manuale o complessi sistemi basati su regole. Il framework EBA è significativo perché:

• È riproducibile ed estendibile, progettato per lavorare con qualsiasi encoder pre-addestrato (dimostrato con entrambi gli embedding di Presto e AlphaEarth).
• Affronta il problema della località, riconoscendo che la "normalità" varia per regione e stagione.
• Offre uno spettro di strategie di pulizia (dalla rimozione dei candidati alla ponderazione morbida), permettendo agli operatori di bilanciare precisione e richiamo in base alle loro specifiche esigenze.
• Fornisce un modello per la pulizia di grandi dataset di riferimento per l'osservazione della terra oltre la semplice mappatura delle colture.

Gli autori mantengono una posizione modesta, notando che, sebbene il metodo migliori le prestazioni del modello, non può distinguere perfettamente tra dati etichettati erroneamente e validi ma rari estremi ambientali. Riconoscono inoltre che il metodo è meno efficace contro errori di etichettatura sistematici dell'intero dataset e dipende dalla capacità discriminativa dell'encoder pre-addestato sottostante.