Multi-modal, multi-scale representation learning for satellite imagery analysis just needs a good ALiBi

Resumo Técnico: Scale-ALiBi para Análise de Imagens de Satélite

1. O Problema

O volume de imagens de satélite geradas por constelações governamentais e comerciais supera a capacidade de análise humana. Embora existam poucas imagens rotuladas, há uma abundância de dados não rotulados com metadados precisos (localização, sensor, tempo).
O desafio atual na aprendizagem de representações (representation learning) para imagens de satélite é que a maioria dos modelos foca em apenas um dos seguintes aspectos:

• Estabilidade através de diferentes distâncias de amostragem no solo (GSD - Ground Sample Distance);
• Estabilidade através de diferentes modalidades de imagem (ex: Radar SAR vs. Óptico);
• Estabilidade através de capturas temporais.

Poucos modelos conseguem capturar simultaneamente múltiplas modalidades e múltiplas resoluções espaciais em uma única arquitetura, o que é essencial para tarefas como classificação de uso do solo e monitoramento de mudanças.

2. Metodologia

Os autores propõem o Scale-ALiBi, uma extensão do mecanismo de atenção ALiBi (Attention with Linear Biases) adaptada para visão computacional em escala geoespacial.

• Mecanismo de Atenção Scale-ALiBi:

  • O modelo introduz um viés linear na matriz de atenção que incorpora tanto a distância euclidiana entre os patches (pedaços da imagem) quanto a escala (GSD) da imagem de origem.
  • A fórmula da atenção é modificada para: $a_{hij} = \text{atenção normal} - g(i, j) \cdot m(h)$, onde $g(i, j)$ é o produto da distância euclidiana entre os patches e o GSD da imagem fonte.
  • Isso permite que o modelo compare nativamente imagens de diferentes resoluções (ex: uma imagem de 256x256 pixels vs. uma de 512x512 pixels cobrindo a mesma área física), tratando-as como sequências de tokens de comprimentos diferentes, mas semanticamente alinhadas.

• Arquitetura do Modelo:

  • Baseia-se em uma arquitetura de Triple-Contrastive e Reconstrutiva.
  • Codificadores (Encoders): Três codificadores ViT (Vision Transformers) distintos:
    1. Óptico de baixa resolução (Sentinel-2).
    2. SAR de baixa resolução (Sentinel-1).
    3. Óptico de alta resolução (NAIP - 2x a resolução dos outros).
  • Cross-Encoders: Os tokens codificados são fundidos através de cross-encoders para criar uma representação conjunta radar-óptica e, subsequentemente, integrar o fluxo de tokens de alta resolução.
  • Objetivos de Treinamento:
    1. Perda Contrastiva (InfoNCE): Alinha as representações das três modalidades (SAR, Óptico LR, Óptico HR) de uma mesma localização física, "espremendo"-as juntas e afastando-as de outras cenas.
    2. Perda de Reconstrução (MAE): Utiliza um Masked Autoencoder para reconstruir todas as modalidades de sensores a partir de patches mascarados, forçando a fusão das informações dos sensores.

3. Contribuições Principais

1. Mecanismo Scale-ALiBi: Extensão do mecanismo 2D-ALiBi/X-ALiBi para incorporar explicitamente a informação de escala (GSD) no processo de treinamento de transformadores, permitindo a extrapolação para resoluções não vistas durante o treinamento.
2. Arquitetura Multi-Escala e Multi-Modal: Um modelo que opera nativamente sobre imagens de múltiplas resoluções e modalidades (SAR e Óptico) simultaneamente.
3. Novo Conjunto de Dados (Dataset): Curadoria e liberação pública de um novo dataset alinhado contendo pares de imagens:
   • Óptico de baixa resolução (Sentinel-2).
   • SAR de baixa resolução (Sentinel-1).
   • Óptico de alta resolução (NAIP).
   • O dataset cobre os EUA continentais e Porto Rico, com diferentes níveis de zoom (Y=15 e Y=17).

4. Resultados

O modelo foi avaliado no benchmark GEO-Bench, que contém tarefas de classificação e segmentação para imagens ópticas e SAR de alta e baixa resolução.

• Comparação com CROMA: O Scale-ALiBi foi treinado com os mesmos dados e hardware que o modelo CROMA (estado da arte anterior) para comparação justa.
• Desempenho:
  • O Scale-ALiBi demonstrou desempenho similar ou superior ao CROMA na maioria das tarefas de classificação (ex: m-pv4ger, m-forestnet, m-brick-kiln) e agrupamento (k-Means, k-NN).
  • Em algumas métricas específicas (como m-euronet com k-NN), o Scale-ALiBi superou significativamente o CROMA (64,40% vs 66,30% no caso de k-NN para m-euronet no modelo Scale-ALiBi, embora os números variem por tarefa).
  • Os autores notam que, embora os resultados preliminares sejam promissores, um treinamento mais extenso com o dataset completo pode levar a melhorias ainda maiores, aproximando-se ou superando os resultados publicados do CROMA.

5. Significado e Conclusão

Este trabalho é significativo porque resolve a lacuna na aprendizagem de representações de satélite que lidam com a heterogeneidade de dados (diferentes sensores e resoluções) de forma unificada.

• Viabilidade Técnica: Demonstra que é possível criar modelos fundacionais que entendem a relação física entre pixels de diferentes resoluções sem necessidade de alinhamento manual complexo ou perda de informação.
• Reprodutibilidade: A liberação do dataset alinhado e do código facilita pesquisas futuras na área de sensoriamento remoto.
• Futuro: Os autores planejam expandir o dataset para cobrir mais áreas geográficas e realizar ciclos de treinamento mais longos para refinar o modelo Scale-ALiBi.

Em suma, o Scale-ALiBi oferece uma "desculpa" (alibi) convincente para a complexidade de lidar com dados multi-escala e multi-modal, provando que a incorporação de viés de escala na atenção do transformador é uma abordagem eficaz para a próxima geração de modelos fundacionais de satélite.