Resumo Técnico: Escalonamento de Modelos de Fundação de Sensoriamento Remoto

Declaração do Problema

Embora as leis de escalonamento para modelos de fundação (FMs) estejam bem estabelecidas em processamento de linguagem natural e domínios de imagens naturais, sua aplicabilidade ao sensoriamento remoto (RS) permanece pouco compreendida. Os dados de RS apresentam desafios únicos, incluindo propriedades espectrais e espaciais diversas, amostras rotuladas limitadas e um potencial limite superior na capacidade de representação devido à variedade finita de objetos observáveis em imagens aéreas. Existe uma lacuna crítica na compreensão da relação entre o tamanho do conjunto de dados de treinamento, os parâmetros do modelo e o desempenho na escala de petapixels. Especificamente, não está claro se os atuais modelos de fronteira de RS são limitados pela disponibilidade de dados ou pela capacidade do modelo, e se o aumento do tamanho do modelo ou do tamanho do lote (batch size) gera retornos decrescentes neste domínio.

Metodologia

Os autores conduziram um estudo sistemático utilizando o Akupara, um novo conjunto de dados global de sensoriamento remoto que compreende mais de 1 petapixel (1 × 10¹⁵ pixels) de imagens de satélite de alta resolução da Maxar (GSD de 0,3m–1,2m). O conjunto de dados inclui mais de 1 milhão de imagens de satélite completas cobrindo 415 milhões de km².

Para gerar rótulos de treinamento nesta escala, a equipe desenvolveu o G-DAUG (Geospatial Data Augmentation), um pipeline que emparelha chips de imagem com dados vetoriais do OpenStreetMap (OSM) para criar rótulos de supervisão fraca automatizados (segmentação semântica, segmentação de instância e caixas delimitadoras rotacionadas) para 37 classes de objetos.

O design experimental focou em quatro questões norteadoras usando duas arquiteturas de modelo:

1. MTP (Multi-Task Pretraining): Um framework totalmente supervisionado usando um backbone ViT compartilhado com decodificadores específicos para tarefas de segmentação e detecção.
2. ScaleMAE: Um autoencoder mascarado de auto-supervisão que incorpora a escala real (GSD) em embeddings posicionais.

Os experimentos principais incluíram:

• Sensibilidade ao Tamanho do Lote (Batch Size): Varredura de tamanhos de lote (128–512) para determinar os tamanhos de lote críticos para eficiência de convergência.
• Estabilidade da Taxa de Aprendizado (LR): Implementação de um protocolo "Fail Fast" (Falhe Rápido) para triagem de LRs instáveis antes de comprometer execuções de treinamento completas, utilizando um cronograma WSD (Warmup, Stable, Decay).
• Escalonamento de Dados: Treinamento de um modelo fixo e superdimensionado (ViT-Giant, 1,8B parâmetros) em subconjuntos aninhados do Akupara variando de 5k a 1M de imagens para isolar efeitos de dados.
• Escalonamento de Parâmetros: Treinamento de modelos de tamanhos variados (86M a 1,8B parâmetros) em um conjunto de dados fixo (100k imagens) para isolar efeitos de parâmetros.

Principais Contribuições

O artigo fornece um relato orientado a processos sobre o escalonamento de modelos de fundação de RS, oferecendo as seguintes percepções empíricas:

• Lições de Escalonamento de Throughput: O treinamento nos estágios inicial e intermediário é amplamente insensível ao aumento do tamanho do lote além de limiares moderados. A eficiência é melhor alcançada através da diversidade de dados e agendamento de LR do que por um lote agressivo.
• Cronogramas de Otimização Estáveis: Um regime WSD com uma taxa de aprendizado base moderada (especificamente 1 × 10⁻⁴ para MTP com ViT-L) proporciona convergência robusta. O protocolo de warmup "Fail Fast" identifica e descarta efetivamente candidatos de alto LR instáveis, economando recursos computacionais.
• Lei de Escalonamento de Dados Empírica: Dentro do intervalo de 5k a 1M de imagens de cena completa, a perda de validação segue uma lei de potência consistente ($L(N) = A + BN^{-a}$) com um expoente $a \approx 0,03$. Isso indica retornos decrescentes, mas não saturados, apoiando o valor da expansão contínua de dados.
• Lei de Escalonamento de Parâmetros Empírica: Em modelos de tamanhos variados de 86M a 1,8B parâmetros, os ganhos de desempenho foram efetivamente planos ($b \approx 0$) quando os dados e os orçamentos de treinamento foram mantidos constantes. Isso sugere que, em regimes de dados típicos, escalar apenas os parâmetros produz benefícios negligíveis.
• Supervisão Fraca Escalável: O pipeline G-DAUG demonstra um método reproduzível para gerar supervisão de escala global a partir de fontes vetoriais abertas, preenchendo a lacuna entre dados GIS e treinamento de raster de alta resolução.

Resultados

• Dados vs. Parâmetros: O estudo confirma que os modelos de fundação de RS operam atualmente em um regime limitado por dados. O aumento do tamanho do conjunto de dados melhora consistentemente o desempenho (seguindo uma lei de potência), enquanto o aumento dos parâmetros do modelo sem um aumento correspondente de dados ou tokens de treinamento por parâmetro não reduz a perda.
• Tamanho do Lote: O aumento do tamanho do lote de 128 para 512 não acelerou a convergência nem melhorou a eficiência nos estágios iniciais a intermediários de treinamento.
• Taxas de Aprendizado: Taxas de aprendizado altas (ex: $10^{-3}$) causaram divergência ou oscilação. A taxa estável ideal identificada foi $10^{-4}$, que permitiu a redução monotônica da perda.
• Modos de Falha: Aproximadamente metade das execuções de escalonamento de dados ficou presa em mínimos locais no início do treinamento, destacando a sensibilidade do treinamento de RS em larga escala à inicialização e dinâmica de otimização.

Significância e Alegações

Os autores afirmam que este trabalho estabelece os primeiros comportamentos de escalonamento empíricos para modelos de fundação de RS treinados em escala de petapixels. A principal significância reside na mudança do paradigma de desenvolvimento de modelos de RS de um foco em "modelos maiores" para "melhor diversidade de dados e estratégias de otimização".

O artigo argumenta que:

1. RS é Limitado por Dados: Ao contrário de alguns domínios de imagens naturais onde a capacidade do modelo pode ser um gargalo, o desempenho de RS é atualmente limitado pela disponibilidade de dados diversos e no domínio.
2. Retornos Decrescentes são Gerenciáveis: Embora o expoente de escalonamento de dados ($a=0,03$) indique retornos decrescentes, os retornos não estão saturados, implicando que a coleta contínada de dados gera ganhos mensuráveis.
3. Engenharia sobre Arquitetura: O progresso futuro depende de alavancas de engenharia, como estratificação de dados (geografia, sensor, estação), qualidade de rótulos e cronogramas de otimização estáveis, em vez de simplesmente aumentar a contagem de parâmetros ou o tamanho do lote.
4. Diretrizes Práticas: O estudo fornece um "checklist prático" para a comunidade, enfatizando taxas de aprendizado conservadoras, amostragem de dados estratificada para evitar duplicação de conteúdo e triagem rigorosa de hiperparâmetros para evitar desperdício de computação.

Os autores concluem que o progresso sustentável na modelagem de fundação de RS depende do uso de dados mais diversos (incluindo fontes multimodais e multitemporais) em vez de meramente escalar computação ou o tamanho do modelo.