Technische Samenvatting: SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

Probleemstelling

Multimodale fundamentele modellen zijn aanzienlijk geavanceerd dankzij grote optische benchmarks, maar vergelijkbare middelen voor Synthetic Aperture Radar (SAR) blijven schaars. Bestaande SAR-optische datasets vertrouwen voornamelijk op laag-resolutie, intensiteit-gebaseerde Ground Range Detected (GRD) producten (bijv. Sentinel-1). Deze datasets negeren complex-waardige metingen (fase en amplitude) en de natuurlijke acquisitiegeometrie, waardoor kritieke fysieke informatie zoals layover, schaduw en foreshortening verloren gaat. Bijgevolg bieden huidige bronnen beperkte ondersteuning voor het leren van representaties die de SAR-specifieke fysieke eigenschappen volledig benutten. Er is een duidelijk gebrek aan grootschalige, publieke datasets die zeer hoog-resolutie (VHR) SAR Single Look Complex (SLC) beelden, uitgelijnde optische observaties en natuurlijke taalbeschrijvingen in de oorspronkelijke slant-range geometrie combineren.

Methodologie

De auteurs presenteren SARLO-80, een multimodale dataset geconstrueerd uit open-access spotlight-acquisities van de Umbra-satellietconstellatie. De creatie van de dataset omvat de volgende belangrijke stappen:

1. Selectie van Brongegevens: De auteurs selecteerden 2.565 Sensor Independent Complex Data (SICD) scènes van Umbra, die 72 landen en diverse omgevingen (stedelijk, landelijk, kust, bergachtig) beslaan. Deze scènes bevatten VV- of HH-polarisatie, incidentiehoeken van 10° tot 70°, en natuurlijke resoluties variërend van 20 cm tot 2 m.
2. Resampling in het Frequentiedomein: Om de data te standaardiseren terwijl de complexe signaalstructuur behouden blijft, werden alle scènes gehersampled naar een vast 80 cm slant-range raster. Dit werd bereikt via 2D Fast Fourier Transform (FFT) operaties: het croppen van de centrale band voor downsampling of zero-padding voor upsampling, gevolgd door een inverse FFT. Dit zorgt voor een Shannon–Nyquist-consistente resampling zonder geometrische distorties.
3. Geolocatie en Tiling: Voor elke scène werd een dicht geolocatie-raster berekend, waarbij SAR-pixels werden gemapt naar Earth-Centered, Earth-Fixed (ECEF) en WGS84 (breedtegraad, lengtegraad, hoogte) coördinaten. De gestandaardiseerde scènes werden vervolgens getiled in overlappende 1024 × 1024 pixel patches (stride 512).
4. Optische Uitlijning: Hoog-resolutie optische tiles werden opgehaald (Google Satellite TMS, zoom 19) en gewarped naar het SAR slant-range raster. Dit gebeurde met behulp van een eerste-orde 2D affine transformatie, geschat op basis van hoek-correspondenties tussen de SAR-crop en de optische afbeelding, gevolgd door bilineaire interpolatie. Deze aanpak behoudt de SAR in zijn oorspronkelijke geometrie terwijl uitgelijnde optische tegenhangers worden geboden.
5. Generatie van Captions: Drie varianten van captions (SHORT, MID, LONG) werden voor elke optische patch gegenereerd met behulp van het CogVLM2-model. De prompts waren ontworpen om structurele kenmerken te beschrijven terwijl kleurtermen en speculatie werden vermeden. Een Large Language Model (LLM) werd vervolgens gebruikt om de captions te post-processen en te normaliseren voor consistentie.
6. Opslag van Data: De dataset wordt vrijgegeven als een WebDataset (~1,42 TB) met triplets: complexe SAR-arrays, amplitude-previews en tekstbeschrijvingen. Optische afbeeldingen worden niet herverdeeld; in plaats daarvan wordt metadata verstrekt om ze op aanvraag te reconstrueren, in overeenstemming met de licentievoorwaarden van derden.

Belangrijkste Bijdragen

• Eerste Grootschalige VHR SLC SAR-Optisch-Tekst Dataset: SARLO-80 bevat 119.566 triplets verspreid over 257 locaties in 72 landen. Het is de eerste publieke bron die VHR SAR SLC-data (complex-waardig), uitgelijnde optische beelden en natuurlijke taal combineert op submeter-resolutie.
• Natuurlijke Slant-Range Geometrie: In tegenstelling tot eerdere datasets die SAR naar ground range herprojecteren, behoudt deze dataset de natuurlijke slant-range geometrie en complex-waardige signalen. Dit maakt theoretisch verantwoorde post-hoc resampling mogelijk en behoudt fysieke fenomenen zoals layover en schaduw zonder geometrische warping-artefacten.
• Gestandaardiseerde 80 cm Resolutie: De dataset biedt een uniforme 80 cm slant-range representatie, waarmee het gat tussen grove GRD-producten (meestal 10–30 m) en ruwe sensordata wordt overbrugd.
• Reproduceerbare Benchmarking: De auteurs stellen vaste train/validatie/test-splits vrij (disjunct per satellietpassage om data-lekkage te voorkomen), volledige preprocessing-code en baseline evaluatiecode.

Experimentele Resultaten

De auteurs voerden baseline-experimenten uit om het nut van de dataset voor cross-modale retrieval en conditionele generatie aan te tonen, zonder aanspraak te maken op state-of-the-art prestaties.

• Text-to-SAR Generatie: Gebruikmakend van een gefinetuned latent diffusion model (SDXL), evalueerden de auteurs verschillende trainingsstrategieën. Een model getraind met drie caption-varianten en een finale timestep-optimalisatiefase (M_C3_TO) bereikte de laagste trainingsverlies en de laagste lokale autocorrelatie (0,38 vs. 0,21 voor echte SAR), wat wijst op een betere restauratie van de hoogfrequente speckle-structuur vergeleken met modellen die enkelvoudige captions gebruiken. Kwalitatieve resultaten toonden verbeterde coherentie in havenstructuren, bostexturen en riviergrenzen.
• Cross-Modale Retrieval: Experimenten met bevroren CLIP-backbones toonden zwakke prestaties (R@10 < 10%), wat de significante modaliteitskloof tussen vooraf getrainde optische modellen en SAR-backscatter benadrukt. Echter, volledige fine-tuning verbeterde de retrieval-prestaties aanzienlijk, waarbij de ViT-L/14 backbone een R@10 bereikte van 28,47% (Image-to-Text) en 28,86% (Text-to-Image). Dit bevestigt dat domeinadaptatie noodzakelijk is om VHR SLC SAR uit te lijnen met natuurlijke taal.

Betekenis en Claims

Het artikel positioneert SARLO-80 als een fundamentele bron voor het trainen van multimodale SAR-bewuste modellen, inclusief Vision-Language Models (VLMs) en generatieve modellen. De auteurs benadrukken dat:

• De dataset onderzoek mogelijk maakt naar multimodale uitlijning en conditionele generatie specifiek in natuurlijke SAR-geometrie, een capaciteit die voorheen niet op schaal beschikbaar was.
• Het behoud van complex-waardige data de studie van SAR-specifieke fysieke effecten (bijv. layover, niet-Gaussische statistieken) mogelijk maakt die verloren gaan in intensiteit-alleen datasets.
• De dataset diverse taken ondersteunt zoals super-resolutie, semantisch begrip en multimodale redenering.
• De auteurs de baseline-experimenten bescheiden inkaderen als een "proof-of-concept" om het potentieel van de dataset te illustreren in plaats van nieuwe state-of-the-art modellen te vestigen, waarbij zij opmerken dat het modelleren van SAR op zeer hoge resolutie een uitdagend open onderzoeksveld blijft vanwege speckle-ruis en complexe verstrooiingsfysica.

De dataset is publiekelijk beschikbaar op de Hugging Face Hub op https://huggingface.co/datasets/ONERA/SARLO-80.