Space2Ground 2.0: A Multi-Source Dataset and Framework for Agricultural Monitoring through Fusion of Street-Level and Satellite Imagery

Sintesi Tecnica: Space2Ground 2.0

Problematica
Il monitoraggio agricolo accurato e scalabile a livello di particella affronta limitazioni significative quando si basa esclusivamente sull'osservazione della Terra (EO) satellitare. I sensori ottici (ad es., Sentinel-2) sono ostacolati dalla copertura nuvolosa e dalle condizioni atmosferiche, mentre i dati SAR (ad es., Sentinel-1), pur essendo operativi in ogni condizione meteorologica, sono complessi da interpretare e meno direttamente collegati a specifiche caratteristiche delle colture. Inoltre, la risoluzione spaziale dei sistemi satellitari standard spesso risulta insufficiente per campi piccoli o eterogenei. Sebbene i satelliti commerciali ad altissima risoluzione (VHR) e le immagini aeree offrano dettagli più fini, i loro elevati costi e le limitate frequenze di rivisitazione ne restringono l'uso operativo su larga scala. Al contrario, i tradizionali rilievi in situ sono troppo costosi e laboriosi per fornire i dati di verità a terra continui e scalabili richiesti dalle moderne politiche agricole basate sui dati, come la Politica Agricola Comune (PAC). Sebbene le immagini stradali crowdsourced offrano un'alternativa promettente ed economica, la loro integrazione nei flussi di lavoro operativi è ostacolata da condizioni di acquisizione eterogenee, copertura sparsa, contenuti rumorosi e dalla mancanza di annotazioni dirette a livello di particella.

Metodologia
Il documento presenta Space2Ground 2.0, un framework automatizzato end-to-end progettato per trasformare le immagini stradali crowdsourced in dati pronti per l'analisi e collegati alle particelle, fondendoli con serie temporali Sentinel-1 e Sentinel-2. La metodologia è stata applicata alla stagione di crescita 2022 a Cipro, utilizzando un dataset di riferimento di 325.673 particelle agricole dal sistema nazionale di domanda di aiuti geospaziali (GSAA).

La pipeline di elaborazione consiste in quattro fasi primarie:

1. Acquisizione e Recupero dei Dati: Il framework ingerisce oltre 900.000 immagini georeferenziate raccolte tramite telecamere montate su veicoli (GoPro e smartphone) e caricate sulla piattaforma Mapillary. Metadati (timestamp, coordinate, orientamento) e prodotti di computer vision (rilevamento oggetti, segmentazione semantica) vengono recuperati tramite l'API di Mapillary.
2. Filtraggio Semantico: Per rimuovere contenuti non agricoli (strade, edifici), la pipeline utilizza gli output di segmentazione semantica di Mapillary. Le immagini in cui vegetazione e suolo occupano meno del 20% della scena visibile vengono scartate, riducendo il dataset a circa 506.000 immagini.
3. Valutazione della Qualità dell'Immagine (NR-IQA): Una valutazione della qualità dell'immagine senza riferimento (no-reference) impiega quattro modelli di deep learning (MANIQA, HyperIQA, CLIP-IQA, TReS). Le immagini che rientrano nel 5% più basso dei punteggi di qualità in almeno tre modelli vengono rimosse, raffinando ulteriormente la collezione a circa 472.000 immagini.
4. Associazione e Raffinamento della Particella:
   • Proiezione del Punto di Vista: Utilizzando la posizione e l'orientamento della telecamera (o la direzione ricostruita del veicolo), un punto di vista viene proiettato 10 metri in avanti per identificare la particella agricola osservata. Ciò semplifica il processo di associazione rispetto ai precedenti approcci con telecamere frontali.
   • Assegnazione dell'Etichetta: Le immagini ricevono l'etichetta del tipo di coltura della particella intersecata dal database GSAA.
   • Clustering e Curatela: Le caratteristiche visive profonde (VGG-16) vengono ridotte tramite PCA e raggruppate (k-means). I cluster dominati da rumore o associazioni errate vengono ispezionati manualmente e scartati.
   • Output Finale: La pipeline produce un dataset curato di 46.050 immagini stradali annotate collegate a 8.581 particelle agricole attraverso 14 classi di colture.

Contributi Chiave
Il documento delinea tre contributi:

1. Metodologia Automatizzata: Una pipeline scalabile per convertire immagini crowdsourced opportunistiche in dataset strutturati e collegati alle particelle attraverso filtraggio semantico, controllo della qualità e associazione spaziale.
2. Framework Multi-fonte: Un flusso di lavoro riproducibile per integrare le serie temporali di EO satellitare con immagini stradali per supportare il monitoraggio agricolo, la verifica visiva e la risoluzione delle controversie (ad es., controlli del Sistema di Monitoraggio dell'Area).
3. Dataset di Benchmark Aperto: Il rilascio del dataset Space2Ground 2.0, accompagnato da valutazioni baseline di machine learning/deep learning per la classificazione delle colture multimodale, facilitando la ricerca riproducibile.

Risultati Sperimentali
L'utilità del dataset è stata valutata attraverso esperimenti di classificazione delle colture a livello di particella confrontando approcci basati solo su satelliti, solo su immagini stradali e fusioni multimodali.

• Solo Satelliti: Le serie temporali Sentinel-1 e Sentinel-2 si sono dimostrate la modalità singola più forte. Il modello XGBoost ha raggiunto l'accuratezza complessiva più alta (78,90%) e il F1-score (69,09%) tra i baseline a singola modalità.
• Solo Livello Stradale: Le prestazioni autonome sono state inferiori (ViT-B/16 ha raggiunto il 70,17% di accuratezza), a causa della natura opportunistica dei dati (copertura temporale limitata per particella) e delle incertezze di acquisizione (occlusioni, errori GPS).
• Fusione Multimodale: L'integrazione di entrambe le modalità ha prodotto miglioramenti significativi.
  • Early Fusion (a livello di feature): La concatenazione degli embedding VGG-16 con le feature satellitari ha migliorato l'accuratezza all'82,65%.
  • Late Fusion (a livello di decisione): Combinare le predizioni di un modello satellitare XGBoost e di un modello stradale ViT-B/16 ha ottenuto la prestazione migliore: 84,12% di accuratezza complessiva e 82,78% di F1-score.
  • Conclusione: I risultati dimostrano che le immagini a livello stradale forniscono informazioni visive complementari su piccola scala (struttura della coltura, aspetto della chioma) che migliorano la classificazione quando fuse con le serie temporali satellitari, migliorando in particolare le prestazioni bilanciate tra le classi (F1-score).

Significatività e Rivendicazioni
Gli autori posizionano Space2Ground 2.0 come una soluzione pratica per colmare il divario tra la crescente disponibilità di dati di telerilevamento eterogenei e la loro applicazione nel monitoraggio agricolo scalabile. Il framework offre una via per:

• Migliorare l'accuratezza del monitoraggio a livello di particella e supportare i "controlli sul posto da scrivania" (OTSC) nell'ambito delle evoluzioni delle regolamentazioni della PAC.
• Ridurre la dipendenza dai costosi e laboriosi ispezioni fisiche sul campo.
• Fornire una metodologia riproducibile per generare dataset collegati alle particelle che possano essere trasferiti ad altre regioni con disponibilità di dati simile.

Il documento riconosce modestamente alcuni limiti, tra cui i vincoli di accessibilità stradale, le potenziali occlusioni, le imprecisioni del GPS e il rumore intrinseco nelle etichette di riferimento dichiarate dagli agricoltori (GSAA). Tuttavia, afferma che la pipeline proposta, che include un raffinamento leggero con intervento umano (human-in-the-loop), trasforma efficacemente dati crowdsourced debolmente strutturati in una risorsa affidabile per applicazioni di IA agricola multimodale.