From Pixels to Patches: Pooling Strategies for Earth Embeddings

1. Il Problema: Disallineamento Risoluzione e Pooling

Il lavoro affronta una sfida critica nell'uso dei Modelli Fondamentali Geospaziali (GFMs). Questi modelli generano prodotti di embedding a livello di pixel (dense pixel embeddings) che possono essere scaricati e riutilizzati senza accesso al codificatore sottostante. Tuttavia, molte attività a valle (come la classificazione dell'uso del suolo) operano su oggetti o regioni (patch) etichettate, creando un disallineamento tra la risoluzione dell'input (pixel) e quella dell'etichetta (patch).

Per colmare questo divario, è necessario un passo di aggregazione post-hoc che mappi gli embedding pixel densi in una singola rappresentazione della patch.

• La sfida attuale: La scelta predefinita è il pooling medio (mean pooling). Questo metodo, tuttavia, scarta la variabilità intra-patch e può portare a prestazioni inferiori quando si verifica uno spostamento nella distribuzione spaziale (spatial distribution shift), ovvero quando il modello deve generalizzare su nuove aree geografiche non presenti nel set di addestramento.
• L'ipotesi: Le statistiche distribuzionali più ricche (varianza, estremi, covarianza) potrebbero preservare segnali di classe che il semplice medio cancella, migliorando la robustezza spaziale.

2. Metodologia e Setup Sperimentale

Dataset e Risorse

• EuroSAT-Embed: Gli autori hanno introdotto un nuovo dataset di benchmark composto da 81.000 file GeoTIFF contenenti embedding a livello di pixel. Questi sono derivati da tre modelli fondazionali distinti:
  1. AlphaEarth (64 dimensioni).
  2. OlmoEarth-Nano (128 dimensioni).
  3. Tessera (128 dimensioni).
• Dataset di Valutazione: Utilizzo del dataset EuroSAT (27.000 patch Sentinel-2, 10 classi di uso del suolo).
• Split dei Dati: Le valutazioni sono state condotte su due tipi di divisione dei dati:
  1. Split Casuale (Random): Standard per la ricerca.
  2. Split Spaziale (Geographically Disjoint): Le patch sono divise in base alla longitudine per eliminare la correlazione spaziale tra addestramento e test, simulando una vera sfida di generalizzazione geografica.

Metodi di Pooling Valutati

Sono stati confrontati 13 metodi di pooling divisi in tre categorie:

1. Statistiche del Primo Ordine (Training-free): Media, Max, Generalized Mean (GeM), Media pesata al centro.
2. Statistiche Distribuzionali (Training-free):
   • Std: Deviazione standard.
   • Mean+Std / Mean+Max: Concatenazione di segnali complementari.
   • Stats: Pila di min/max/mean/std (4x la dimensione originale).
   • Percentili: 5 quantili riassuntivi.
   • Covarianza: Estrazione della parte superiore della matrice di covarianza dei pixel (dimensione $D(D+1)/2$).
3. Metodi Parametrici (Fitted on train set): PCA (proiezione su media) e Bag of Visual Words (BoVW) con k-means.

Protocollo di Valutazione

• Probe: Due approcci di classificazione senza ri-addestrare l'encoder:
  • k-NN (k=5, distanza coseno) per testare la geometria dello spazio degli embedding.
  • Regressione Logistica Lineare (Linear Probe) per testare la separabilità lineare.
• Metriche: Accuratezza su split casuali e spaziali, e il "Gap" (caduta di accuratezza dallo split casuale a quello spaziale).

3. Risultati Chiave

I risultati, presentati nelle tabelle 1 e 2 e nella figura 2, mostrano differenze significative:

• Miglioramento della Generalizzazione Spaziale:
  • Il pooling medio (Mean) soffre di un gap di generalizzazione elevato (caduta di ~8.8 punti percentuali dallo split casuale a quello spaziale per i linear probe).
  • Le statistiche distribuzionali riducono questo gap di oltre il 50%. Ad esempio, il metodo Stats riduce il gap a soli 3.8 punti percentuali.
• Accuratezza Assoluta:
  • Su split spaziali, il metodo Stats (4x la dimensione) raggiunge un'accuratezza media del 93.0% (vs 87.3% del Mean), con un guadagno fino al 6%.
  • Il pooling di covarianza offre la massima accuratezza assoluta su due dei tre encoder (es. 94.4% su Tessera), a costo di una dimensionalità molto più alta.
• Confronto tra Probe:
  • Le statistiche di secondo ordine (covarianza) aiutano significativamente i linear probe, ma meno i k-NN, suggerendo che la struttura di covarianza è più utile per la classificazione lineare che per la ricerca di similarità.
  • Non esiste un compromesso (trade-off) tra accuratezza e robustezza: i metodi più accurati su split spaziali sono anche quelli con il gap di generalizzazione più basso.

4. Contributi Principali

1. Rilascio di EuroSAT-Embed: Un dataset pubblico e allineato di embedding a livello di pixel derivati da tre diversi modelli fondazionali, progettato specificamente per studiare il comportamento del pooling.
2. Benchmark Controllato: Una valutazione sistematica di 11 metodi di pooling training-free e 2 baselines parametriche, coprendo diverse architetture di encoder e strategie di split dei dati.
3. Linee Guida Pratiche: La dimostrazione che semplici statistiche distribuzionali migliorano costantemente le prestazioni di generalizzazione spaziale rispetto al pooling medio, fornendo una strategia raccomandata per gli utenti.

5. Significato e Raccomandazioni

Il paper conclude che il pooling non dovrebbe essere considerato un semplice passo di pre-processing, ma una scelta di progettazione fondamentale per le applicazioni geospaziali con etichette grossolane.

Strategia a tre livelli raccomandata per i praticanti:

1. Baseline: Usare il Mean Pooling come punto di partenza.
2. Default Consigliato: Utilizzare lo Stats Pooling (min/max/mean/std), che aumenta la dimensione dell'embedding di 4 volte ma offre il miglior compromesso tra accuratezza e robustezza spaziale su tutti gli encoder.
3. Massima Accuratezza: Utilizzare il Covariance Pooling quando la dimensionalità non è un vincolo e si richiede la massima precisione possibile.

Impatto: Questo lavoro evidenzia che la variabilità interna alla patch (eterogeneità) contiene informazioni critiche per la generalizzazione geografica. Ignorarla tramite il semplice medio porta a modelli fragili quando applicati a nuove regioni, mentre l'uso di statistiche distribuzionali rende i modelli fondazionali geospaziali molto più robusti e pronti per l'uso reale.