Cross-Scale Pretraining: Enhancing Self-Supervised Learning for Low-Resolution Satellite Imagery for Semantic Segmentation

Resumo Técnico: Pré-treinamento Multi-Escala para Imagens de Satélite de Baixa Resolução

Declaração do Problema
A segmentação semântica em sensoriamento remoto é crítica para aplicações como segurança alimentar, gestão de desastres e pesquisa climática. No entanto, o desempenho de aprendizado profundo neste domínio é frequentemente limitado pela escassez de anotações em nível de pixel. Embora o Aprendizado Auto-supervisionado (SSL) ofereça uma solução ao aproveitar imagens não rotuladas abundantes, a literatura atual de SSL em sensoriamento remoto depende predominantemente de conjuntos de dados de média resolução (MR) (por exemplo, Sentinel-1/2, GSD ≥10m) devido à sua disponibilidade. Embora conjuntos de dados de alta resolução (HR) (GSD ≤5m) forneçam detalhes espaciais mais ricos que naturalmente produzem desempenho superior, eles são frequentemente custosos, proprietários ou restritos.

Uma abordagem direta de pré-treinamento apenas em dados HR falha em capturar os benefícios das imagens MR, como dimensões espectrais mais altas, e pode não transferir bem para tarefas subsequentes que utilizam entradas MR. Por outro lado, o pré-treinamento apenas em dados MR perde o detalhe espacial disponível nas imagens HR. O desafio central abordado por este trabalho é como integrar conjuntos de dados HR no pré-treinamento auto-supervisionado de imagens MR para aprimorar a aprendizagem de representações sem perder as vantagens específicas dos dados MR.

Metodologia
Os autores propõem uma estratégia de Pré-treinamento Multi-Escala utilizando um Componente de Afinidade Espacial projetado para ser integrado em frameworks SSL existentes. A metodologia emprega um conjunto de dados pareado real (Sen2Venus), contendo imagens Sentinel-2 (10m) e Venus (5m) co-temporais.

• Arquitetura: O componente utiliza uma arquitetura estudante-professor para auto-distilação.
  • Codificador Estudante: Processa patches da imagem de média resolução ($I_{MR}$). Este codificador é compartilhado com o framework SSL hospedeiro e é atualizado via retropropagação.
  • Codificador Professor (Professor HR): Processa patches da imagem de alta resolução ($I_{HR}$). Ele compartilha a mesma arquitetura que o estudante, mas é atualizado via uma Média Móvel Exponencial (EMA) dos parâmetros do estudante para evitar colapso.
• Correspondência de Patches: Dado um fator de escala $s=2$, cada patch em $I_{MR}$ corresponde a $s^2$ patches em $I_{HR}$. A saída do professor HR para esses patches correspondentes é subamostrada (via projeção bilinear, bicúbica ou linear) para corresponder à dimensionalidade da saída do estudante.
• Função de Perda: O núcleo do método é a Perda Gram. Em vez de minimizar o Erro Quadrático Médio (MSE) entre as representações de patches diretamente, o método minimiza o MSE entre as matrizes Gram (produtos escalar pareados de representações normalizadas em L2) do estudante e do professor subamostrado. Esta abordagem tolera diferenças específicas do sensor entre as duas resoluções, enquanto penaliza diferenças na estrutura espacial em nível de patch.
• Frameworks Testados: O componente foi avaliado em dois frameworks de Modelagem de Imagem Mascarada (MIM): I-JEPA (que usa amostragem por blocos) e LatentMIM (que usa amostragem aleatória não contígua).

Principais Contribuições

1. Componente de Afinidade Espacial: Um módulo novo que permite que frameworks SSL existentes aproveitem imagens HR para aprender representações mais ricas de imagens MR através de um objetivo de super-resolução no espaço latente.
2. Estratégia de Pré-treinamento Multi-Escala: Uma demonstração de que combinar dados de pares reais HR e MR durante o pré-treinamento produz melhor desempenho subsequente do que o pré-treinamento em qualquer resolução isoladamente.
3. Validação Empírica: Avaliação abrangente em quatro tarefas diversas de segmentação semântica MR (tipo de cultura, mapeamento de inundações, mapeamento de culturas e detecção de poluentes marinhos), mostrando melhorias consistentes.

Resultados
Os autores avaliaram o modelo SA proposto (pré-treinado com o componente de Afinidade Espacial em pares HR/MR) contra modelos MR (pré-treinados apenas em MR) e modelos HR (pré-treinados apenas em HR) usando sondagem linear em quatro conjuntos de dados: m-SA-Crop-Type, Sen1Floods11, PASTIS e MADOS.

• Desempenho: O modelo SA superou o modelo MR em todos os casos, exceto um, e superou o modelo HR na maioria dos casos em ambos os frameworks I-JEPA e LatentMIM. Por exemplo, usando LatentMIM, o modelo SA alcançou uma Interseção sobre União média (mIoU) de 23,39 em m-SA-Crop-Type, comparado a 21,41 (MR) e 22,39 (HR).
• HR Real vs. Falso: Estudos de ablação confirmaram que os ganhos de desempenho derivam do conteúdo informativo de dados HR reais. Modelos treinados com dados HR "falsos" (gerados via interpolação de imagens MR) geralmente tiveram desempenho inferior aos treinados com pares HR reais, validando que o método aprende características específicas genuínas do sensor, e não apenas escalonamento de resolução.
• Ablações:
  • Perda Gram: Superou a perda MSE padrão em tarefas subsequentes.
  • Subamostragem: A subamostragem bilinear provou ser a mais eficaz e computacionalmente eficiente em comparação com projeção bicúbica ou linear.
  • Amostragem: A amostragem por blocos não melhorou o desempenho sobre a amostragem aleatória padrão para LatentMIM.

Significado e Alegações
O artigo afirma que o componente de afinidade espacial proposto aproveita efetivamente o detalhe visual mais rico das imagens de satélite HR, mantendo os benefícios das imagens MR (como dimensões espectrais e disponibilidade). Os autores argumentam que esta abordagem demonstra que estratégias de treinamento eficazes usando dados HR e MR podem superar modelos treinados em uma única resolução.

O trabalho destaca que, embora os dados HR sejam valiosos, simplesmente pré-treiná-los é subótimo para tarefas subsequentes MR. Ao usar pares reais HR/MR e uma distilação baseada em perda Gram, o modelo aprende a representar patches MR com um nível de detalhe espacial que se aproxima ao das imagens HR. Os autores concluem modestamente que, embora seu método seja eficaz, trabalhos futuros devem focar em reduzir a dependência de pares de imagens HR/MR co-temporais de alta qualidade, dada a escassez e a dificuldade de aquisição de tais conjuntos de dados.