Clustering Guided Domain-Specific Pretrained Foundation Model Very High-Resolution Arctic Remote Sensing

Resumo Técnico: Agrupamento Orientado para Modelo de Fundação Pré-treinado Específico de Domínio para Sensoriamento Remoto Ártico de Altíssima Resolução

Definição do Problema
Apesar da disponibilidade sem precedentes de dados de observação da Terra (EO), vastos arquivos permanecem subutilizados para síntese científica. Um desafio central na informática terrestre é transformar grandes conjuntos de dados de sensoriamento remoto heterogêneos em produtos prontos para a ciência. Embora avanços recentes em aprendizado autossupervisionado e modelos de fundação (por exemplo, Autoencoders de Máscara ou MAEs) tenham mostrado promessa na visão computacional, sua aplicação direta ao sensoriamento remoto não é trivial. As imagens de sensoriamento remoto diferem fundamentalmente das imagens cotidianas; "geoobjetos" são propriedades emergentes de escala, contexto espacial e processos temporais, em vez de instâncias visuais discretas. Além disso, os modelos de fundação de sensoriamento remoto (RSFMs) existentes, como o Prithvi-EO-2.0, são treinados primariamente em dados de resolução média a grossa ou conjuntos de dados de resolução mista. Isso levanta a questão de se um único modelo generalizado pode representar adequadamente diversos processos do sistema terrestre, ou se a adaptação de domínio é necessária para capturar padrões específicos do ambiente, particularmente no Ártico, onde mudanças rápidas impulsionadas pelo clima e feições de permafrost em escala fina (ex: polígonos de cunha de gelo, escarpas de degelo retrogressivo) exigem análise de altíssima resolução espacial (VHSR).

Metodologia
O estudo propõe um novo framework para o desenvolvimento de um RSFM focado no Ártico, combinando curadoria de imagens em escala regional com consciência de diversidade e pré-treinamento MAE de um codificador Vision Transformer (ViT). A metodologia consiste em cinco componentes principais:

1. Curadoria e Amostragem de Dados:

   • Fonte: Os autores utilizaram 267 TB de imagens multiespectrais de satélite Vantor VHSR (aprox. 0,5 m de resolução) abrangendo cerca de 5 milhões de km² da ecorregião de tundra de permafrost do Ártico.
   • Estratégia: Para evitar a sobreamostragem de áreas visualmente repetitivas ou de baixa informação, foi empregado um fluxo de trabalho de agrupamento (clustering) em duas etapas.
     • Etapa 1 (Nível de cena): Aproximadamente 32.000 cenas candidatas foram caracterizadas por meio de descritores espectrais (média/DP por banda) e metadados de aquisição. O agrupamento por propagação de afinidade foi usado para selecionar exemplares de cenas representativas sem especificar previamente o número de clusters.
     • Etapa 2 (Nível de chip): As cenas selecionadas foram particionadas em chips não sobrepostos de 1024x1024 pixels. Esses chips foram posteriormente caracterizados por estatísticas espectrais e características de textura baseadas em Gabor. Um segundo passo de agrupamento por propagação de afinidade selecionou exemplares de chips representativos dentro de cada cena.
   • Resultado: Este processo curou aproximadamente 3 milhões de patches de treinamento representativos, garantindo ampla diversidade de cenas enquanto reduzia a redundância.

2. Arquitetura de Pré-treinamento:

   • Modelo: Um codificador ViT-Large foi pré-treinado usando um objetivo MAE adaptado ao domínio.
   • Função de Perda: O objetivo de reconstrução combinou um termo de Mahalanobis consciente da covariância e um termo de Analisador de Ângulo Espectral (SAM) para capturar tanto o desvio espectral multivariado quanto a consistência da forma espectral, refletindo melhor o comportamento espectral do sensoriamento remoto do que a perda padrão por pixel.
   • Treinamento: O modelo foi treinado em 16 nós de computação (64 GPUs no total) por 800 épocas. Checkpoints foram avaliados em tarefas de validação downstream para selecionar os pesos finais, em vez de depender apenas da perda de reconstrução.

3. Avaliação Downstream:

   • O codificador pré-treinado foi integrado ao framework ViTDetLoc (uma arquitetura de detecção e segmentação baseada em transformer aumentada com embeddings de localização).
   • Datasets: O modelo foi ajustado (fine-tuning) e avaliado em quatro conjuntos de dados de mapeamento de feições do Ártico rotulados manualmente:
     • Infraestrutura construída pelo homem (edifícios, estradas, tanques).
     • Polígonos de cunha de gelo (IWP).
     • Escarpas de degelo retrogressivo (RTS).
     • Redes capilares de tundra (TCNs).
   • Baselines: O desempenho foi comparado contra um baseline de ViT-Large inicializado com ImageNet e o modelo de fundação de observação da Terra de uso geral, Prithvi-EO-2.0.

Principais Contribuições

• Curadoria Específica de Domínio: O artigo introduz uma estratégia de amostragem escalável e consciente da diversidade que seleciona dados de treinamento baseando-se em características reais da imagem (espectral, textura, metadados) em vez de rótulos de cobertura da terra grosseiros, abordando a variabilidade de escala fina inerente às imagens VHSR do Ártico.
• Modelo de Fundação Específico do Ártico: O desenvolvimento de um RSFM pré-treinado especificamente em imagens VHSR curadas do Ártico, demonstrando que o pré-treinamento autossupervisionado adaptado ao domínio produz representações mais transferíveis para o mapeamento de escala fina do Ártico do que modelos de uso geral.
• Validação em Feições Esparsas: O estudo valida o modelo em feições do Ártico desafiadoras, esparsas e visualmente sutis (ex: redes capilares e escarpas de degelo) onde modelos padrão frequentemente falham.

Resultados

• Análise de Curadoria: Enquanto a amostragem aleatória produziu subconjuntos com menores distâncias de Wasserstein em relação ao arquivo completo (indicando um melhor ajuste às distribuições marginais), a abordagem baseada em agrupamento resultou em maior dispersão no espaço de descritores. Isso confirmou que a estratégia de curadoria priorizou com sucesso a diversidade e reduziu a redundância, expondo o modelo a uma gama mais ampla de condições visuais e de aquisição.
• Desempenho Downstream:
  • O modelo MAE pré-treinado para o Ártico superou consistentemente o baseline inicializado com ImageNet em todas as quatro tarefas, alcançando melhorias de aproximadamente 5 a 8 pontos percentuais no F1 score médio de foreground.
  • Os F1 scores médios de foreground específicos para o MAE do Ártico foram: 0,87 (Infraestrutura), 0,72 (IWP), 0,93 (RTS) e 0,87 (TCNs).
  • Crucialmente, o modelo proposto superou o Prithvi-EO-2.0 em todas as comparações downstream, alcançando uma melhoria de pelo menos 15%. Os autores atribuem isso ao descompasso de resolução (Prithvi usa dados de 30m vs. 0,5m do Vantor) e ao shift de domínio, sugerindo que a transferência de resolução cruzada de modelos gerais é insuficiente para tarefas especializadas e de escala fina no Ártico.

Significância e Alegações
O artigo afirma que otimizar a distribuição dos dados de pré-treinamento em uma escala regional, mantendo a arquitetura e o objetivo MAE fixos, pode produzir um codificador reutilizável e específico de domínio para múltiplas aplicações de sensoriamento remoto VHSR. Os autores argumentam que, para tarefas envolvendo textura de escala fina, morfologia local e condições de superfície específicas (como a dinâmica do permafrost do Ártico), o pré-treinamento autossupervisionado de domínio específico em imagens curadas fornece representações mais transferíveis do que depender de modelos de fundação de observação da Terra de uso geral. Este trabalho demonstra um caminho escalável para transformar grandes arquivos de imagens do Ártico não rotulados em modelos de fundação que suportam tarefas de detecção e segmentação mesmo com dados rotulados limitados.