A Proxy Consistency Loss for Grounded Fusion of Earth Observation and Location Encoders

1. Il Problema

L'apprendimento supervisionato basato su dati di osservazione terrestre (Earth Observation - EO) è spesso limitato dalla scarsità di dati etichettati di alta qualità o misurazioni in-situ.

• Sfida principale: In settori come il monitoraggio ambientale (es. qualità dell'aria) o l'economia dello sviluppo (es. mappatura della povertà), i dati reali sono raccolti solo in punti sparsi (stazioni di sensori o cluster di sondaggi), rendendo difficile addestrare modelli che generalizzino su vaste aree geografiche.
• Limitazioni delle soluzioni attuali:
  • L'uso di dati "proxy" (variabili correlate ma non identiche al target) come semplici bande di input aggiuntive offre guadagni marginali.
  • L'uso di location encoder (codificatori di posizione) pre-addestrati e congelati fornisce un contesto geografico utile, ma non è ottimizzato per il compito specifico.
  • Sbloccare e addestrare un location encoder specifico per il compito senza ulteriori vincoli porta spesso a un overfitting sui pochi punti di addestramento disponibili, compromettendo la generalizzazione spaziale.

2. Metodologia: Proxy Consistency Loss (PCL)

Gli autori propongono un nuovo framework di apprendimento multi-task che integra dati proxy abbondanti direttamente nel processo di apprendimento del location encoder tramite una Proxy Consistency Loss (PCL).

Architettura del Modello

Il modello fonde due componenti a livello di embedding:

1. Observation Encoder: Codifica i dati osservati (es. immagini satellitari, serie temporali) in un embedding $e_{obs}$.
2. Location Encoder: Codifica le coordinate spaziali e temporali (longitudine, latitudine, tempo) in un embedding $e_{loc}$.
   I due embedding vengono concatenati e passati a un "testa di previsione" (MLP) per stimare il target principale $y$.

Il Meccanismo PCL

L'innovazione chiave risiede nell'addestramento congiunto del location encoder su due compiti:

1. Compito Principale: Prevedere il target supervisionato $y$ (es. PM2.5) utilizzando sia l'osservazione che la posizione.
2. Compito Proxy (PCL): Utilizzare solo l'output del location encoder per ricostruire una variabile proxy continua $z$ (es. dati di rianalisi atmosferica o luci notturne VIIRS) disponibile su tutto il dominio geografico.

La funzione di perdita totale è una somma pesata:
$$\mathcal{L} = \mathcal{L}^{pred} + \lambda \mathcal{L}^{proxy-consistency}$$
Dove $\mathcal{L}^{proxy-consistency}$ misura l'errore tra la previsione proxy $\hat{z}$ (generata solo dall'encoder di posizione) e il vero valore proxy $z$.

Campionamento Indipendente

Un aspetto cruciale è che i punti per il calcolo della PCL vengono campionati indipendentemente dalla disponibilità delle etichette del target principale. Durante l'addestramento, si possono campionare batch di dati proxy uniformemente su tutta la regione di interesse (UAR - Uniformly At Random), agendo come un regolarizzatore spaziale che impedisce al location encoder di adattarsi eccessivamente ai soli punti etichettati.

3. Contributi Chiave

1. Nuova Formulazione di Perdita: Introduzione della Proxy Consistency Loss per vincolare lo spazio latente del location encoder a essere coerente con variabili proxy continue e abbondanti.
2. Regolarizzazione Geografica: Dimostrazione che l'uso della PCL permette di addestrare location encoder specifici per il compito senza overfitting, superando i limiti degli encoder pre-addestrati congelati (troppo generici) e degli encoder addestrati da zero senza vincoli (troppo specifici/overfittati).
3. Fusione Effettiva: Il metodo fonde implicitamente i dati proxy nel contesto geografico, ottenendo prestazioni superiori rispetto allo stacking diretto dei dati proxy come input o all'uso di encoder congelati.
4. Generalizzazione Fuori Campione: Il metodo migliora significativamente la capacità di previsione in aree non coperte dai dati di addestramento (out-of-sample), un problema critico nelle applicazioni EO.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark principali:

• Previsione della qualità dell'aria (PM2.5) negli USA: Utilizzando dati EPA (punti sparsi) e dati di rianalisi NCAR (copertura completa).
• Mappatura della povertà in Africa: Utilizzando dati DHS (cluster sparsi) e dati VIIRS Night Lights (copertura completa).

Risultati Principali:

• Prestazioni In-Sample: Il modello PCL ha ottenuto le migliori prestazioni sia per la previsione PM2.5 che per la mappatura della povertà, superando sia la baseline "solo osservazione" che l'uso di encoder congelati (GeoCLIP, Climplicit).
  • Nel task PM2.5: Miglioramento del 12.2% in $R^2$ e riduzione del 9.5% dell'RMSE rispetto alla baseline senza PCL.
  • Nel task Povertà: Il modello PCL ha superato significativamente le baseline, mostrando che l'addestramento congiunto è superiore al pre-addestramento in due fasi.
• Prestazioni Out-of-Sample (Estrapolazione Spaziale): In scenari di "checkerboard split" (dove le aree di test sono geograficamente distanti da quelle di addestramento), il modello PCL ha dimostrato una robustezza superiore, mantenendo le prestazioni più alte mentre gli altri modelli degradavano.
• Analisi Qualitativa: La visualizzazione degli embedding ha mostrato che il modello PCL produce rappresentazioni spazialmente più lisce e con una struttura temporale più coerente rispetto ai modelli che addestrano solo sui punti EPA, confermando l'effetto regolarizzante.
• Impatto del Rapporto di Campionamento ($\rho$): È stato dimostrato che campionare proxy uniformemente su tutto lo spazio-tempo (anche in punti senza etichette reali) è fondamentale per la generalizzazione.

5. Significato e Conclusioni

Questo lavoro offre una soluzione elegante al problema della scarsità di dati etichettati nelle scienze della Terra.

• Impatto Scientifico: Dimostra che i dati proxy, spesso considerati solo come input aggiuntivi, possono essere utilizzati più efficacemente come vincoli di regolarizzazione per modellare lo spazio latente geografico.
• Generalizzabilità: Il framework è applicabile a qualsiasi compito EO dove esistono variabili proxy continue (es. umidità del suolo, qualità dell'acqua) che possono essere campionate più densamente dei dati di ground truth.
• Limitazioni: Il metodo richiede la disponibilità di un dataset proxy correlato e globalmente disponibile. Inoltre, c'è il rischio che il modello erediti i bias del dataset proxy (es. sottostima di certi eventi nei dati di rianalisi), richiedendo un'attenta selezione del peso $\lambda$.

In sintesi, la Proxy Consistency Loss permette di costruire prior geografici robusti e specifici per il compito, migliorando sia l'interpolazione che l'estrapolazione spaziale nei modelli di apprendimento automatico per l'osservazione terrestre.