Riepilogo Tecnico: SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

Problematica

I modelli di fondazione multimodali hanno fatto progressi significativi grazie a grandi benchmark ottici, ma risorse comparabili per il Radar ad Apertura Sintetica (SAR) rimangono scarse. Gli attuali dataset SAR-ottici si basano principalmente su prodotti GRD (Ground Range Detected) a bassa risoluzione e solo intensità (ad esempio, Sentinel-1). Questi dataset scartano le misurazioni a valori complessi (fase e ampiezza) e la geometria di acquisizione nativa, perdendo così informazioni fisiche critiche come layover, ombra e foreshortening. Di conseguenza, le risorse attuali offrono un supporto limitato per l'apprendimento di rappresentazioni che sfruttino appieno le proprietà fisiche specifiche del SAR. Esiste una netta mancanza di dataset su larga scala, pubblici, che combinino immagini SAR Single Look Complex (SLC) a risoluzione molto elevata (VHR), osservazioni ottiche allineate e descrizioni in linguaggio naturale in geometria nativa di slant-range.

Metodologia

Gli autori presentano SARLO-80, un dataset multimodale costruito a partire da acquisizioni spotlight ad accesso aperto della costellazione di satelliti Umbra. La pipeline di creazione del dataset prevede le seguenti fasi chiave:

1. Selezione dei Dati Sorgente: Gli autori hanno selezionato 2.565 scene di dati indipendenti dal sensore (SICD) da Umbra, che coprono 72 paesi e ambienti diversificati (urbani, rurali, costieri, montuosi). Queste scene presentano polarizzazione VV o HH, angoli di incidenza da 10° a 70° e risoluzioni native compresi tra 20 cm e 2 m.
2. Ricampionamento nel Dominio della Frequenza: Per standardizzare i dati preservando al contempo la struttura del segnale complesso, tutte le scene sono state ricampionate su una griglia a slant-range di 80 cm fissa. Ciò è stato ottenuto tramite operazioni di 2D Fast Fourier Transform (FFT): ritaglio della banda centrale per il downsampling o zero-padding per l'upsampling, seguiti da una FFT inversa. Questo assicura un ricampionamento coerente con lo standard Shannon–Nyquist senza distorsioni geometriche.
3. Geolocalizzazione e Tiling: Per ogni scena è stata calcolata una griglia di geolocalizzazione densa, mappando i pixel SAR in coordinate Earth-Centered, Earth-Fixed (ECEF) e WGS84 (latitudine, longitudine, altitudine). Le scene standardizzate sono state poi suddivise in patch sovrapposte da 1024 × 1024 pixel (stride 512).
4. Allineamento Ottico: Tile ottiche ad alta risoluzione sono state recuperate (Google Satellite TMS, zoom 19) e deformate sulla griglia slant-range del SAR. Questo è stato eseguito utilizzando una trasformazione affine 2D di primo ordine stimata dalle corrispondenze tra gli angoli della crop SAR e l'immagine ottica, seguita da interpolazione bilineare. Questo approccio mantiene il SAR nella sua geometria nativa fornendo al contempo controparti ottiche allineate a livello di pixel.
5. Generazione delle Caption: Tre varianti di caption (SHORT, MID, LONG) sono state generate per ogni patch ottica utilizzando il modello CogVLM2. I prompt sono stati progettati per descrivere caratteristiche strutturali evitando termini cromatici e speculazioni. Un Large Language Model (LLM) è stato successivamente utilizzato per post-elaborare e normalizzare le caption per garantire la coerenza.
6. Archiviazione dei Dati: Il dataset viene rilasciato come WebDataset (~1,42 TB) contenente tripletti: array SAR complessi, anteprime di ampiezza e descrizioni testuali. Le immagini ottiche non vengono ridistribuite; invece, vengono forniti i metadati per ricostruirle su richiesta, rispettando i vincoli di licenza di terze parti.

Contributi Chiave

• Primo Dataset VHR SLC SAR-Ottico-Testo su Larga Scala: SARLO-80 contiene 119.566 tripletti che coprono 257 località in 72 paesi. È la prima risorsa pubblica che combina dati SAR SLC VHR (a valori complessi), immagini ottiche allineate e linguaggio naturale a risoluzione sub-metrica.
• Geometria Nativa Slant-Range: A differenza di altri dataset precedenti che riproiettano il SAR in ground range, questo dataset preserva la geometria nativa slant-range e i segnali a valori complessi. Ciò consente un ricampionamento post-hoc teoricamente fondato e mantiene fenomeni fisici come layover e ombra senza artefatti di distorsione geometrica.
• Risoluzione Standardizzata di 80 cm: Il dataset fornisce una rappresentazione uniforme a slant-range di 80 cm, colmando il divario tra i prodotti GRD grossolani (tipicamente 10–30 m) e i dati grezzi del sensore.
• Benchmarking Riproducibile: Gli autori rilasciano split di addestramento/validazione/test fissi (disgiunti per passaggio satellitare per prevenire il data leakage), codice completo di preprocessing e codice di valutazione baseline.

Risultati Sperimentali

Gli autori hanno condotto esperimenti di base per dimostrare l'utilità del dataset per il recupero cross-modale e la generazione condizionale, senza rivendicare prestazioni allo stato dell'arte.

• Generazione Text-to-SAR: Utilizzando un modello di diffusione latente (SDXL) perfezionato, gli autori hanno valutato diverse strategie di addestramento. Un modello addestrato con tre varianti di caption e una fase finale di ottimizzazione del timestep (M_C3_TO) ha ottenuto la perdita di addestramento più bassa e l'autocorrelazione locale più bassa (0,38 rispetto a 0,21 per il SAR reale), indicando un migliore ripristino della struttura dello speckle ad alta frequenza rispetto ai modelli che utilizzano singole caption. I risultati qualitativi hanno mostrato una maggiore coerenza nelle strutture portuali, nelle texture forestali e nei confini fluviali.
• Recupero Cross-Modale: Gli esperimenti utilizzando backbone CLIP congelati hanno mostrato prestazioni scarse (R@10 < 10%), evidenziando il significativo gap modale tra i modelli ottici pre-addestrati e il backscatter SAR. Tuttavia, il fine-tuning completo ha migliorato significativamente le prestazioni di recupero, con il backbone ViT-L/14 che ha raggiunto un R@10 del 28,47% (Image-to-Text) e del 28,86% (Text-to-Image). Ciò conferma che l'adattamento del dominio è necessario per allineare il VHR SLC SAR al linguaggio naturale.

Significato e Rivendicazioni

Il paper posiziona SARLO-80 come una risorsa fondamentale per l'addestramento di modelli multimodali SAR-aware, inclusi i Vision-Language Models (VLM) e i modelli generativi. Gli autori sottolineano che:

• Il dataset abilita la ricerca sul allineamento multimodale e sulla generazione condizionale specificamente nella geometria nativa del SAR, una capacità precedentemente non disponibile su larga scala.
• Preservare i dati a valori complessi permette lo studio di effetti fisici specifici del SAR (es. layover, statistiche non gaussiane) che si perdono nei dataset basati solo sull'intensità.
• Il dataset supporta compiti diversi come la super-risoluzione, la comprensione semantica e il ragionamento multimodale.
• Gli autori inquadrano modestamente gli esperimenti di base come una "prova di concetto" per illustrare il potenziale del dataset piuttosto che per stabilire nuovi modelli allo stato dell'arte, notando che la modellazione del SAR ad altissima risoluzione rimane un problema di ricerca aperto e impegnativo a causa dello speckle noise e della complessa fisica dello scattering.

Il dataset è pubblicamente disponibile su Hugging Face Hub all'indirizzo https://huggingface.co/datasets/ONERA/SARLO-80.