SSL4EO-S12 v1.1: A Multimodal, Multiseasonal Dataset for Pretraining, Updated

Este trabalho apresenta o SSL4EO-S12 v1.1, um conjunto de dados multimodal e multitemporal atualizado para pré-treinamento de modelos fundacionais de observação da Terra, que corrige inconsistências de alinhamento geoespacial e estrutura de dados do predecessor, adiciona novas modalidades como elevação e cobertura do solo, e oferece acesso eficiente a quase um milhão de patches de imagem das 10.000 maiores cidades do mundo sob licença aberta.

O essencial

Imagine que você quer ensinar um robô superinteligente a entender o nosso planeta, como se ele fosse um detetive global. Para isso, o robô precisa de "livros de fotos" gigantes e organizados. É exatamente isso que os cientistas criaram com o SSL4EO-S12 v1.1.

Vamos descomplicar esse trabalho técnico usando algumas analogias do dia a dia:

1. O Problema: A Foto Desalinhada e a Cozinha Bagunçada

A versão anterior desse "livro de fotos" (chamada v1) já era ótima, mas tinha dois defeitos principais:

• O Desalinhamento: Imagine que você tem duas fotos da mesma rua tiradas por câmeras diferentes. Na versão antiga, se você tentasse colar uma foto de cima da outra, as casas não encaixavam perfeitamente. Uma estava um pouquinho para a esquerda, a outra para a direita. Isso confundia o robô.
• A Bagunça na Cozinha: Os dados estavam guardados de um jeito difícil de acessar, como se você tivesse que abrir 100 caixas de papelão diferentes para pegar apenas uma maçã. Isso deixava o processo de "cozinhar" (treinar o modelo) muito lento.

2. A Solução: O "Kit de Sobremesa" Perfeito (v1.1)

Os pesquisadores da IBM e do Centro Aeroespacial Alemão (DLR) pegaram esse kit e fizeram uma grande reforma:

• Alinhamento Perfeito (O Encaixe de Quebra-Cabeça): Eles reprocessaram as imagens para garantir que, se você olhar para uma cidade, a foto de radar (que vê através das nuvens) e a foto óptica (que vê a cor das coisas) estejam perfeitamente encaixadas, pixel por pixel. Agora, o robô não se confunde mais.
• Pronto para Uso (ARD): Eles limparam a "cozinha". Agora, os dados vêm prontos para uso, sem sujeira (valores faltantes ou erros) e organizados em um formato que qualquer computador moderno consegue ler rapidamente, como se fosse um prato já servido na mesa.

3. O Grande Aumento: De Fotos para um Filme Multimodal

A grande novidade da versão 1.1 é que eles não trouxeram apenas mais fotos, mas novos tipos de sentidos para o robô:

• A Visão Anterior (v1): O robô via apenas o que os olhos humanos veem (cores) e o que o radar vê (formas e texturas).
• A Visão Atual (v1.1): Agora, o robô também tem:
  • Mapas de Terreno (Elevação): Como se ele tivesse um mapa topográfico para saber se é uma montanha ou um vale.
  • Mapas de Uso do Solo: Como um guia que diz "aqui é uma floresta", "aqui é uma cidade", "aqui é um campo".
  • Índice de Vegetação (NDVI): Um "termômetro de plantas" que diz o quão verde e saudável é a vegetação.

Além disso, em vez de mostrar apenas uma foto estática, eles entregam séries temporais. É como se, em vez de uma foto de um aniversário, eles dessem um filme mostrando a mesma cidade em quatro estações diferentes (primavera, verão, outono, inverno). Isso permite que o robô aprenda como as coisas mudam com o tempo (neve derretendo, árvores crescendo, cidades crescendo).

4. A Embalagem Inteligente (Zarr e WebDataset)

Para que tudo isso caiba na internet e seja fácil de baixar, eles usaram uma tecnologia chamada Zarr.

• Analogia: Imagine que você tem milhões de blocos de Lego. Em vez de guardar cada bloco em um saco plástico separado (o que seria um pesadelo para organizar), eles colocaram todos os blocos de uma mesma "cena" em um único arquivo compactado e inteligente.
• Isso permite que o robô "leia" os dados enquanto eles estão sendo baixados, sem precisar esperar o arquivo inteiro terminar de carregar. É como assistir a um filme em streaming em vez de baixar o arquivo inteiro antes de assistir.

5. Por que isso importa?

Com esse novo kit de ferramentas, os cientistas podem treinar "Fundamentos" (modelos de IA gigantes) que entendem o mundo de forma muito mais profunda.

• Eles podem prever enchentes com mais precisão.
• Podem monitorar desmatamento.
• Podem planejar cidades melhores.

Resumo da Ópera:
O SSL4EO-S12 v1.1 é como a atualização de um sistema de GPS e câmera de um carro autônomo. A versão antiga funcionava, mas às vezes as imagens tremiam e faltavam informações. A nova versão (v1.1) traz imagens perfeitamente alinhadas, adiciona sensores de altura e saúde das plantas, organiza tudo em um filme de quatro estações e entrega tudo em um pacote digital super rápido. Isso permite que a inteligência artificial aprenda a "ver" e "entender" a Terra como nunca antes.

O projeto é gratuito e aberto para todos os pesquisadores usarem, acelerando a descoberta de soluções para problemas globais.

Resumo técnico

Visão Geral

O artigo apresenta a versão SSL4EO-S12 v1.1, uma atualização do conjunto de dados de Observação da Terra (EO) projetado para o pré-treinamento de modelos de base (Foundation Models) em larga escala. Esta nova versão corrige limitações críticas da versão anterior, introduz novas modalidades e otimiza a estrutura de dados para facilitar o carregamento e a análise.

1. O Problema

A versão original do SSL4EO-S12, embora amplamente adotada, apresentava duas deficiências principais que dificultavam o treinamento eficiente de modelos de aprendizado auto-supervisionado:

• Desalinhamento Espacial: Existiam imprecisões no alinhamento geoespacial entre os patches do Sentinel-1 (S-1, radar) e do Sentinel-2 (S-2, óptico), o que prejudicava o aprendizado multimodal.
• Falta de Dados Prontos para Análise (ARD): A estrutura de dados original não era ideal para carregamento direto em pipelines de pré-treinamento modernos, e a disponibilidade de dados limpos e padronizados era limitada.
• Limitação de Modalidades: A versão anterior carecia de dados de elevação, cobertura do solo e índices de vegetação alinhados temporalmente, essenciais para tarefas multimodais avançadas.

2. Metodologia e Processamento de Dados

A equipe desenvolveu a v1.1 através de um rigoroso processo de reprocessamento e integração de dados, utilizando o Google Earth Engine:

• Correção de Alinhamento e Projeção:

  • Em vez de projetar tudo para EPSG:4326 (o que distorce distâncias), a v1.1 mantém as zonas UTM nativas para preservar a precisão espacial.
  • Áreas maiores são baixadas para criar um "buffer" que compensa desvios durante a reprojeção.
  • O Sentinel-1 (GRD) é reprojetado para corresponder exatamente às coordenadas do Sentinel-2 (L2A).
  • Todos os patches são padronizados para 264x264 pixels (divisível por 6 para acomodar resoluções de 10m, 20m e 60m do S-2) e upsampleados para 10m.

• Filtragem e Limpeza (ARD):

  • Seleção de 4 timestamps (estações diferentes) entre 2019-2021 com cobertura de nuvens <10%.
  • Filtragem rigorosa: locais com >1% de valores ausentes (NaN) são descartados; os restantes são preenchidos por interpolação de vizinho mais próximo.
  • Máscaras de Nuvem: As máscaras nativas do S-2 são consideradas propensas a erros para treinamento. O modelo SEnSeI v2 é utilizado para gerar máscaras de nuvem e neve precisas.

• Processamento de Imagem RGB:

  • Para evitar saturação em regiões brilhantes (nuvens, neve) ou imagens muito escuras, aplica-se um mapeamento adaptativo baseado em quantis (2% e 98%) e fatores de escala, garantindo uma representação visual equilibrada em 8 bits.

• Novas Modalidades Alinhadas:

  • NDVI: Calculado a partir do S-2 L2A como proxy para vegetação.
  • LULC (Uso e Cobertura do Solo): Dados da ESRI, alinhados temporalmente.
  • DEM (Elevação): Dados do Copernicus DEM (30m), reamostrados para a grade do S-2 (10m). Como o terreno é estático, é fornecido como um único timestamp.

• Formato de Armazenamento e Acesso:

  • Os dados são empacotados em arquivos Zarr (comprimidos) dentro de shards WebDataset (tar), permitindo carregamento eficiente e streaming direto.
  • Suporte a carregamento preguiçoso (lazy loading) via Dask e xarray.

3. Principais Contribuições

1. Correção de Alinhamento: Atualização de todas as localizações originais com patches de satélite perfeitamente alinhados espacialmente entre S-1 e S-2.
2. Formato ARD e Limpeza: Fornecimento de dados prontos para análise, com filtragem estrita de NaNs e máscaras de nuvem aprimoradas pelo modelo SEnSeI v2.
3. Expansão Multimodal: Inclusão de dados de elevação (DEM), cobertura do solo (LULC) e índice de vegetação (NDVI), todos alinhados com o conjunto de dados TerraMesh.
4. Estrutura Otimizada: Uso de Zarr e WebDataset para reduzir o overhead de I/O e facilitar o treinamento em clusters HPC e plataformas como Hugging Face.
5. Escala: O conjunto final contém 246.144 localizações distintas (cobrindo as 10.000 maiores cidades do mundo e arredores), resultando em 984.576 amostras (4 timestamps cada).

4. Resultados Experimentais

O artigo apresenta comparações no benchmark PANGAEA:

• O modelo TerraMind, treinado com os dados multimodais da v1.1 (incluindo S-1, S-2, DEM, LULC e NDVI), superou todos os outros modelos de base (incluindo CROMA, MAE, DINO e MoCo) na maioria das tarefas de benchmark.
• O modelo CROMA (treinado apenas com S-1 e S-2 da v1) já superava modelos treinados apenas com S-2, mas a adição de modalidades semânticas e topográficas na v1.1 proporcionou ganhos adicionais significativos.
• Os resultados demonstram que a multimodalidade e a consistência temporal dos dados da v1.1 são cruciais para melhorar a representatividade e a generalização dos modelos de EO.

5. Significado e Impacto

O SSL4EO-S12 v1.1 representa um avanço fundamental para a comunidade de ciência de dados de Observação da Terra:

• Padrão para Pré-treinamento: Oferece uma base robusta e "pronta para uso" para o desenvolvimento da próxima geração de Modelos de Base de EO.
• Facilitação de Pesquisa Multimodal: Permite o avanço de técnicas de fusão multimodal e raciocínio temporal, que eram limitados pela falta de dados alinhados.
• Acesso Aberto: Disponibilizado sob licença CC-BY-4.0 no Hugging Face, democratizando o acesso a dados de alta qualidade para pesquisa acadêmica e industrial.
• Versatilidade: Suporta uma vasta gama de tarefas downstream, como detecção de mudanças, segmentação de inundações, planejamento urbano e detecção de objetos.

Em suma, a v1.1 resolve as inconsistências técnicas da versão anterior e expande o escopo do dataset, tornando-se um recurso essencial para o treinamento de modelos de IA geoespacial de última geração.