Resumo Técnico: SARLO-80: Worldwide Slant SAR Language Optic Dataset 80cm

Declaração do Problema

Os modelos de fundação multimodais avançaram significativamente devido a grandes benchmarks ópticos, mas recursos comparáveis para Radar de Abertura Sintética (SAR) permanecem escassos. Os conjuntos de dados SAR–ópticos existentes dependem principalmente de produtos de baixa resolução e apenas de intensidade, como o Ground Range Detected (GRD) (ex: Sentinel-1). Esses conjuntos de dados descartam medições de valor complexo (fase e amplitude) e a geometria de aquisição nativa, perdendo, assim, informações físicas críticas como layover, sombra e foreshortening. Consequentemente, os recursos atuais oferecem suporte limitado para o aprendizado de representações que exploram plenamente as propriedades físicas específicas do SAR. Há uma falta distinta de conjuntos de dados em larga escala e públicos que combinem imagens SAR Single Look Complex (SLC) de altíssima resolução (VHR), observações ópticas alinhadas e descrições em linguagem natural em geometria nativa de distância de inclinação (slant-range).

Metodologia

Os autores apresentam o SARLO-80, um conjunto de dados multimodal construído a partir de aquisições de spotlight de acesso aberto da constelação de satélites Umbra. O pipeline de criação do conjunto de dados envolve as seguintes etapas principais:

1. Seleção de Dados de Origem: Os autores selecionaram 2.565 cenas de Sensor Independent Complex Data (SICD) da Umbra, cobrindo 72 países e diversos ambientes (urbano, rural, costeiro, montanhoso). Essas cenas apresentam polarização VV ou HH, ângulos de incidência de 10° a 70°, e resoluções nativas variando de 20 cm a 2 m.
2. Reamostragem no Domínio da Frequência: Para padronizar os dados preservando a estrutura do sinal complexo, todas as cenas foram reamostradas para uma grade de distância de inclinação fixa de 80 cm. Isso foi alcançado via operações de Transformada Rápida de Fourier (FFT) 2D: recortando a banda central para downsampling ou realizando zero-padding para upsampling, seguido por uma FFT inversa. Isso garante uma reamostragem consistente com o critério de Shannon–Nyquist sem distorções geométricas.
3. Geolocalização e Tiling: Uma grade de geolocalização densa foi computada para cada cena, mapeando pixels SAR para coordenadas Earth-Centered, Earth-Fixed (ECEF) e WGS84 (latitude, longitude, altitude). As cenas padronizadas foram então divididas em patches sobrepostos de 1024 × 1024 pixels (stride 512).
4. Alinhamento Óptico: Tiles ópticos de alta resolução foram recuperados (Google Satellite TMS, zoom 19) e deformados para a grade de distância de inclinação do SAR. Isso foi feito usando uma transformação afim 2D de primeira ordem estimada a partir de correspondências de cantos entre o recorte SAR e a imagem óptica, seguida de interpolação bilinear. Esta abordagem mantém o SAR em sua geometria nativa enquanto fornece contrapartes ópticas alinhadas por pixel.
5. Geração de Legendas: Três variantes de legenda (SHORT, MID, LONG) foram geradas para cada patch óptico usando o modelo CogVLM2. Os prompts foram projetados para descrever características estruturais evitando termos de cores e especulações. Um Modelo de Linguagem de Grande Escala (LLM) foi subsequentemente utilizado para pós-processar e normalizar as legendas para consistência.
6. Armazenamento de Dados: O conjunto de dados é liberado como um WebDataset (~1,42 TB) contendo tripletos: arrays SAR complexos, prévias de amplitude e descrições de texto. As imagens ópticas não são redistribuídas; em vez disso, metadados são fornecidos para reconstruí-las sob demanda, aderindo às restrições de licenciamento de terceiros.

Principais Contribuições

• Primeiro Conjunto de Dados VHR SLC SAR-Óptico-Texto em Larga Escala: O SARLO-80 contém 119.566 tripletos cobrindo 257 localizações em 72 países. É o primeiro recurso público que combina dados SAR SLC VHR (valor complexo), imagens ópticas alinhadas e linguagem natural em resolução submetrica.
• Geometria Nativa de Distância de Inclinação (Slant-Range): Ao contrário de conjuntos de dados anteriores que reprojetam o SAR para a distância de solo (ground range), este conjunto preserva a geometria nativa de distância de inclinação e os sinais de valor complexo. Isso permite uma reamostragem post-hoc teoricamente sólida e retém fenômenos físicos como layover e sombra sem artefatos de distorção geométrica.
• Resolução Padronizada de 80 cm: O conjunto de dados fornece uma representação uniforme de 80 cm de distância de inclinação, preenchendo a lacuna entre produtos GRD grosseiros (tipicamente 10–30 m) e dados brutos do sensor.
• Benchmarking Reproduzível: Os autores liberam divisões fixas de treino/validação/teste (disjuntas por passagem de satélite para evitar vazamento de dados), código completo de pré-processamento e código de avaliação de baseline.

Resultados Experimentais

Os autores conduziram experimentos de baseline para demonstrar a utilidade do conjunto de dados para recuperação cross-modal e geração condicional, sem reivindicar desempenho de estado da arte.

• Geração Text-to-SAR: Usando um modelo de difusão latente ajustado (SDXL), os autores avaliaram diferentes estratégias de treinamento. Um modelo treinado com três variantes de legenda e uma fase final de otimização de tempo (timestep) (M_C3_TO) alcançou a menor perda de treinamento e a menor autocorrelação local (0.38 vs. 0.21 para SAR real), indicando uma melhor restauração da estrutura de speckle de alta frequência em comparação com modelos que usam legendas únicas. Resultados qualitativos mostraram maior coerência em estruturas de portos, texturas de florestas e limites de rios.
• Recuperação Cross-Modal: Experimentos usando backbones CLIP congelados mostraram desempenho pobre (R@10 < 10%), destacando o significativo gap de modalidade entre modelos ópticos pré-treinados e o retroespalhamento (backscatter) de SAR. No entanto, o ajuste fino total (full fine-tuning) melhorou significativamente o desempenho de recuperação, com o backbone ViT-L/14 alcançando um R@10 de 28,47% (Imagem-para-Texto) e 28,86% (Texto-para-Imagem). Isso confirma que a adaptação de domínio é necessária para alinhar o VHR SLC SAR com a linguagem natural.

Significância e Alegações

O artigo posiciona o SARLO-80 como um recurso fundamental para o treinamento de modelos multimodais conscientes de SAR, incluindo Modelos de Visão-Linguagem (VLMs) e modelos generativos. Os autores enfatizam que:

• O conjunto de dados possibilita a pesquisa em alinhamento multimodal e geração condicional especificamente na geometria nativa de distância de inclinação do SAR, uma capacidade anteriormente indisponível em escala.
• A preservação de dados de valor complexo permite o estudo de efeitos físicos específicos do SAR (ex: layover, estatísticas não-gaussianas) que são perdidos em conjuntos de dados de apenas intensidade.
• O conjunto de dados suporta diversas tarefas, como super-resolução, compreensão semântica e raciocínio multimodal.
• Os autores enquadram modestamente os experimentos de baseline como uma "prova de conceito" para ilustrar o potencial do conjunto de dados, em vez de estabelecer novos modelos de estado da arte, observando que modelar SAR em altíssima resolução continua sendo um problema de pesquisa desafiador devido ao ruído de speckle e à física complexa de espalhamento.

O conjunto de dados está publicamente disponível no Hugging Face Hub em https://huggingface.co/datasets/ONERA/SARLO-80.