Weakly Supervised Spatio-Temporal Candidate Discovery of Dairy Farm Sites from Seasonal Satellite Imagery

Sintesi Tecnica: Scoperta deboli supervisionata di candidati siti di aziende agricole lattiero-casearie

Definizione del problema
La scoperta di aziende agricole lattiero-casearie da immagini satellitari è un problema di ragionamento spazio-temporale debolmente supervisionato e particolarmente complesso. Le aziende agricole raramente si manifestano come oggetti visivi isolati; esse si presentano invece come configurazioni spaziali complesse di pascoli, confini di campi, strade, edifici e modelli di vegetazione stagionale. Questi indizi possono estendersi per centinaia di metri e spesso somigliano a villaggi, siti industriali o altri usi del suolo agricolo. Il rilevamento completamente supervisionato è difficile perché le etichette dirette delle aziende agricole sono spesso incomplete, i confini non sono disponibili e le etichette specifiche per tipo sono scarse o rumorose. Sebbene esistano benchmark di deep learning per l'uso del suolo e la comprensione delle scene, essi tipicamente presuppongono etichette esplicite o annotazioni dense, che sono carenti per la scoperta di candidati agricoli.

Metodologia
Il documento propone una pipeline debolmente supervisionata progettata per classificare i cluster spaziali che probabilmente corrispondono a siti associati ad aziende agricole, piuttosto che produrre un inventario definitivo di aziende agricole. Il framework integra indizi di telerilevamento stagionali, prior geografici deboli, apprendimento di rappresentazioni auto-supervisionato e ragionamento spaziale basato su grafi.

1. Dati e Input: Il metodo utilizza immagini multispettrali allineate di primavera, estate e autunno della Contea di Cork, Irlanda. Ogni tile (128×128 pixel) contiene 36 canali: sei bande spettrali Sentinel (B2, B3, B4, B8, B11, B12) e sei indici derivati (NDVI, NDWI, NDBI, NDRE, EVI e un canale del pascolo) attraverso tre stagioni.
2. Embedding Auto-supervisionati: Un encoder ResNet-18 è addestrato utilizzando l'obiettivo Barlow Twins su tile multi-stagionali senza etichette di aziende agricole. Questo apprende rappresentazioni visive che catturano strutture temporali e spettrali. La testa di proiezione viene scartata e l'output dell'encoder funge da embedding per ogni tile.
3. Configurazione della Debole Supervisione: Le caratteristiche relative alle aziende agricole di OpenStreetMap (OSM) (aziende agricole, cortili agricoli, stalle) sono suddivise in due set disgiunti: un set di priorità ($O_{prior}$) e un set tenuto in riserva ($O_{heldout}$). Il set di priorità fornisce indizi di prossimità deboli durante la punteggiatura, mentre il set tenuto in riserva è riservato esclusivamente alla valutazione proxy.
4. Punteggio dei Candidati: Ogni tile riceve un punteggio basato su regole ($f_i$) che combina tre flussi di evidenza:
   • Prossimità Debole ($q_i$): Distanza normalizzata dalla caratteristica più vicina in $O_{prior}$.
   • Evidenza del Pascolo ($p_i$): Un riepilogo dell'evidenza del pascolo attraverso le stagioni.
   • Verdezza Estiva ($v_i$): NDVI estivo normalizzato.
     Il punteggio primario è calcolato come $f_i = 0.40q_i + 0.35p_i + 0.25v_i$.
5. Smoothing del Grafo e Clustering: I punteggi sono raffinati utilizzando un grafo di rappresentazione spaziale. I tile sono connessi ai loro 8 vicini geografici più prossimi. Un punteggio smussato ($f^G_i$) viene calcolato propagando i punteggi in base alla prossimità geografica e alla similarità degli embedding. Il punteggio finale è una combinazione pesata: $\tilde{f}_i = 0.85f_i + 0.15f^G_i$.
6. Formazione dei Cluster: I tile al di sopra del 92° percentile del punteggio finale vengono selezionati e raggruppati in componenti connesse basate sull'adiacenza a griglia. Questi formano cluster candidati classificati.

Contributi Chiave

1. Pipeline di Debole Supervisione: Il documento presenta una pipeline per la scoperta di candidati aziende agricole che opera senza etichette dirette delle aziende, affidandosi invece a immagini satellitari stagionali e a prior di mappe aperte.
2. Framework Integrato: Esso combina in modo unico la dinamica stagionale del pascolo, la verdezza estiva, la debole prossimità dell'azienda agricola, gli embedding dei tile auto-supervisionati e lo smoothing basato su grafi e il clustering spaziale.
3. Protocollo di Valutazione Proxy: Gli autori introducono un protocollo che suddivide le caratteristiche delle aziende agricole di OSM in set di priorità e tenuti in riserva. Ciò consente la valutazione rispetto all'evidenza della mappa non utilizzata come prior, pur riconoscendo esplicitamente che le metriche misurano la classificazione dei candidati rispetto a un'evidenza della mappa rumorosa piuttosto che una definitiva accuratezza di rilevamento dell'azienda agricola.

Risultati
Il framework è stato valutato su 26.722 tile multi-stagionali validi nella Contea di Cork.

• Selezione: L'esecuzione principale ha ridotto il dataset a 535 tile ad alta confidenza, formando 71 cluster candidati.
• Precisione: Classificando per il punteggio del metodo smussato:
  • I primi 5 cluster hanno raggiunto una precisione di 0,60 entro 500 m e una precisione di 0,80 entro 1000 m delle caratteristiche OSM tenute in riserva.
  • I primi 10 cluster hanno raggiunto una precisione di 0,40 entro 500 m e una precisione di 0,80 entro 1000 m.
• Allineamento Spaziale: Tra tutti i 71 cluster, 19 erano entro 500 m e 46 erano entro 1000 m di una caratteristica tenuta in riserva, con una distanza mediana di 744,3 m.
• Studi di Ablazione: Le varianti che utilizzano solo NDVI, solo pascolo, solo caratteristiche estive o solo prior OSM hanno ottenuto prestazioni significativamente inferiori. La variante "Solo Regole" (senza smoothing del grafo) ha ottenuto una precisione nei primi cinque livelli simile, ma una distanza mediana maggiore (784,6 m rispetto a 744,3 m), indicando che lo smoothing del grafo migliora la coerenza spaziale e riduce la distanza mediana preservando al contempo la precisione dei primi classificati.

Significato e Rivendicazioni
Il documento sostiene che l'apprendimento delle rappresentazioni stagionali e i deboli prior geografici possono efficacemente ridurre grandi collezioni di immagini satellitari in set compatti di candidati classificati, adatti alla revisione umana. I risultati dimostrano che il framework cattura una struttura spaziale significativa associata alle aziende agricole sotto debole supervisione.

Gli autori sottolineano che si tratta di un compito di scoperta di candidati, non di un censimento completo delle aziende agricole. Di conseguenza, il richiamo (recall) è basso (poiché il metodo privilegia i cluster ad alta confidenza rispetto a un inventario esaustivo), rendendo la precisione-al-rango (precision-at-rank) la metrica più rilevante. La valutazione si basa su metriche proxy; poiché le caratteristiche OSM sono incomplete e spazialmente rumorose, la prossimità alle caratteristiche tenute in riserva non è trattata come verità fondamentale definitiva. Il documento conclude che la debole supervisione, l'apprendimento auto-supervisionato e il ragionamento basato su grafi offrono una via percorribile per scoprire candidati agricoli da immagini su larga scala dove le etichette dirette non sono disponibili.