GAIR: Location-Aware Self-Supervised Contrastive Pre-Training with Geo-Aligned Implicit Representations

1. Il Problema

Il dominio della geoinformatica si basa su una vasta quantità di dati non etichettati (immagini satellitari, immagini stradali, dati vettoriali), ma i dati etichettati sono scarsi e costosi da produrre. Sebbene i modelli fondazionali geospaziali (GeoFM) abbiano fatto progressi, affrontano due sfide fondamentali:

• Divario di Scala Spaziale: Esiste una discrepanza intrinseca tra le immagini di telerilevamento (RS, vista dall'alto) e le immagini di strada (SV, vista a livello del suolo). Una singola immagine satellitare (es. Sentinel-2) può coprire centinaia di immagini stradali. I metodi attuali che tentano di allineare queste modalità spesso richiedono immagini RS ad altissima risoluzione o creano coppie fisse che perdono informazioni spaziali fini.
• Mancanza di Allineamento Geografico Esplicito: I modelli esistenti tendono a trattare le coppie RS-SV come campioni indipendenti o si basano su allineamenti a livello di "patch" generici, senza modellare esplicitamente le relazioni spaziali continue tra coordinate geografiche specifiche e contenuti visivi. Questo limita la capacità di ragionamento spaziale e la generalizzazione attraverso diverse scale e contesti.

2. Metodologia: GAIR

Gli autori propongono GAIR, un framework di pre-addestramento auto-supervisionato (SSL) che integra dati RS, immagini stradali e metadati di geolocalizzazione. L'architettura si basa su tre componenti chiave:

A. Encoder Multimodali Fattorizzati

Il modello utilizza tre encoder distinti per estrarre caratteristiche specifiche per modalità:

1. Encoder Immagini RS ($f$): Basato su Vision Transformer (ViT), produce una mappa di caratteristiche a patch che preserva la struttura spaziale.
2. Encoder Immagini SV ($g$): Un ViT che produce un embedding globale dell'immagine stradale.
3. Encoder di Posizione ($e$): Mappa le coordinate geografiche (latitudine/longitudine) in un vettore di embedding, utilizzando Random Fourier Features (RFF).

B. Interpolazione Locale Implicita Neurale (NILI)

Questa è l'innovazione centrale. Per colmare il divario di scala tra RS e SV senza richiedere immagini RS ad altissima risoluzione, GAIR introduce il modulo NILI.

• Invece di estrarre una patch fissa dall'immagine RS, NILI apprende una rappresentazione neurale continua dell'immagine RS.
• Data una specifica coordinata geografica $x_i$ (dove si trova l'immagine SV), NILI interpola le caratteristiche discrete della mappa RS per generare un embedding RS localizzato e continuo ($z_i^{(q)}$) esattamente in quella posizione.
• Il modulo utilizza una funzione di interpolazione basata su quattro patch vicine e una rete MLP condivisa, permettendo un allineamento geografico preciso a livello di sub-pixel, indipendentemente dalla risoluzione di input.

C. Obiettivo di Apprendimento Contrastivo Geo-Allineato

Il pre-addestramento utilizza due obiettivi contrastivi per allineare le tre modalità nello stesso spazio di embedding:

1. INCL (Implicit Neural Contrastive Learning): Allinea l'embedding RS localizzato ($z_i^{(q)}$) con l'embedding dell'immagine SV ($g(s_i)$) corrispondente.
2. SECL (Spatially Explicit Contrastive Learning): Allinea esplicitamente gli embedding di posizione ($e(x_i)$) sia con le immagini RS che con quelle SV, utilizzando un memory bank per gestire grandi batch.

3. Dataset: Streetscapes1M

Per addestrare GAIR, gli autori hanno costruito Streetscapes1M, un dataset multimodale globale composto da 1 milione di triple $(r_i, s_i, x_i)$:

• Immagini stradali campionate da 688 città in tutto il mondo.
• Immagini RS corrispondenti (Sentinel-2) che coprono le coordinate delle immagini stradali.
• Metadati di geolocalizzazione precisi.
  Il dataset è stato progettato per garantire una distribuzione geografica diversificata, sebbene sia inizialmente sbilanciato verso le aree urbane.

4. Risultati Sperimentali

GAIR è stato valutato su 9 task geospaziali e 22 dataset, superando lo stato dell'arte (SOTA) in tutte le categorie:

• Immagini Stradali: GAIR ha ottenuto risultati superiori nella regressione di indicatori socio-economici (es. densità di popolazione, reddito) e nella percezione umana (es. "sicurezza", "bellezza"), nonché nella classificazione della direzione di visione e della piattaforma di acquisizione.
• Telerilevamento (RS): Ha superato modelli fondazionali esistenti (come SatMAE, CROMA, SpectralGPT) in compiti di segmentazione semantica (es. rilevamento di cicatrici da incendio, delimitazione di coltivi) e mappatura dei tipi di coltura, nonostante utilizzi un backbone ViT-B standard (più leggero di molti competitor ViT-L o ViT-SO400M).
• Task Basati sulla Posizione: Nel riconoscimento di specie (geo-aware species recognition) e nella regressione di variabili geospaziali (es. luminosità notturna, copertura forestale), l'integrazione dell'encoder di posizione ha portato a significativi miglioramenti rispetto a modelli privi di questo componente.

Analisi di Ablazione:

• NILI è cruciale: Sostituire NILI con interpolazioni standard (bilineare o bicubica) o rimuoverlo completamente causa un calo drastico delle prestazioni, dimostrando che l'allineamento spaziale continuo appreso è superiore ai metodi deterministici.
• Contrasto vs Ricostruzione: L'obiettivo contrastivo supera di gran lunga gli obiettivi basati sulla ricostruzione (come MAE), indicando che l'allineamento semantico è più importante della ricostruzione pixel-per-pixel per task geospaziali.
• Fusione Multimodale: L'uso combinato di tutte e tre le modalità (RS + SV + Posizione) riduce l'errore medio (RMSE) fino al 20% rispetto all'uso di modalità singole.

5. Significato e Contributi Chiave

• Superamento del Divario di Scala: GAIR risolve il problema fondamentale dell'allineamento tra viste aeree e terrestri attraverso rappresentazioni implicite continue, eliminando la necessità di immagini RS ultra-risolte.
• Generalizzazione Geografica: Il modello dimostra una forte capacità di generalizzazione attraverso diverse scale spaziali, contesti temporali e regioni geografiche.
• Efficienza e Flessibilità: L'architettura fattorizzata permette di "degenerare" elegantemente in scenari privi di dati stradali (es. aree rurali o selvagge), utilizzando solo RS e posizione, mantenendo alte prestazioni.
• Debiasing Geografico: Gli autori hanno dimostrato che un ulteriore pre-addestramento su un sottoinsieme bilanciato urbano-rurale (utilizzando solo RS e posizione) riduce significativamente il bias geografico del modello senza sacrificare le prestazioni complessive.

In conclusione, GAIR rappresenta un avanzamento significativo verso modelli fondazionali geospaziali veramente multimodali, capaci di comprendere le relazioni spaziali complesse tra il mondo visto dall'alto e quello visto dal basso, aprendo la strada a applicazioni più robuste in pianificazione urbana, monitoraggio ambientale e scienze sociali.