Resumo Técnico: A Visão do Espaço: Navegando pelas Diferenças de Instrumentação com EOFMs

Declaração do Problema

Os Modelos de Fundação de Observação da Terra (EOFMs) tornaram-se ferramentas prevalentes para o processamento de volumes massivos de dados de sensoriamento remoto, frequentemente utilizando saídas pré-treinadas como embeddings para tarefas como busca por similaridade e consultas específicas de conteúdo. No entanto, existe uma lacuna crítica na compreensão de como diversas arquiteturas de sensores impactam as representações internas desses modelos.

Embora a visão computacional tradicional opere em um espaço relativamente uniforme (bandas RGB consistentes e quantização padrão), os dados de observação da Terra são altamente não uniformes. Os sensores possuem arquitetas diversas, condições de observação e stacks de processamento complexos (calibração radiométrica/geométrica, correção atmosférica, máscara de nuvens). O trabalho existente frequentemente treina modelos em modalidades únicas e os avalia simplesmente correspondendo as bandas espectrais entre diferentes sensores (por exemplo, assumindo que um modelo treinado no Landsat-8 deve se generalizar perfeitamente para o Harmonized Landsat and Sentinel (HLS) ou Sentinel-2). Não está claro se pequenas diferenças nos leitores de instrumentos e nas arquiteturas de sensores resultam em variações significativas nos espaços de embedding dos EOFMs, potencialmente prejudicando sua utilidade em tarefas de jusante (downstream), como aprendizado de poucos disparos (few-shot learning) ou busca por similaridade.

Metodologia

Para avaliar a sensibilidade dos espaços de representação dos EOFMs à arquitetura do sensor, os autores construíram um novo conjunto de dados e empregaram uma abordagem de análise não supervisionada com pesos de modelo congelados.

Construção do Conjunto de Dados:

• Localização: 600 pontos amostrados aleatoriamente de Indiana, EUA.
• Resolução: Resolução espacial de 30 metros, mosaicos compostos de 2 meses de 224x224 pixels.
• Modalidades: Quatro conjuntos de dados ópticos (HLS, Landsat-8, Landsat-9 e Sentinel-2) e um conjunto de dados SAR (Sentinel-1, polarizações VV/VH).
• Pré-processamento: Os dados ópticos foram mascarados para oclusão de nuvens >20% usando pixels de QA. O USDA Crop Data Layer foi alinhado como uma referência semântica.

Modelos Avaliados:

• Prithvi: Um modelo pré-treinado exclusivamente em dados HLS com uma entrada fixa de seis bandas. Ele representa o arquétipo de modelos que exigem a correspondência de bandas espectrais por comprimento de onda e o descarte de excedentes.
• DOFA: Um modelo que utiliza uma camada de embedding de rede dinâmica que gera pesos de convolução baseados nos comprimentos de onda centrais das entradas. Foi treinado em diversas modalidades (RGB aérea a satélite) e pode aceitar qualquer configuração de banda, caracterizando as entradas unicamente pelo comprimento de onda central.

Técnicas de Avaliação:

1. Visualização do Espaço de Embedding: Utilizou-se t-SNE para reduzir o espaço latente de 768 dimensões para 2D, visualizando agrupamentos (clusters) baseados na modalidade de origem. O objetivo era determinar se os dados se agrupam por tipo de sensor em vez de características semânticas (ex: cobertura do solo).
2. Análise de Vizinhança Local:
   • Tokens CLS: Mediu-se a sobreposição de vizinhos mais próximos (5, 10, 20) entre modalidades para avaliar a similaridade global da imagem.
   • Embeddings de Patch: Comparou-se os 10 Vizinhos Mais Próximos de patches de imagem usando similaridade de cosseno. A similaridade semântica foi representada pela porcentagem de vizinhos que compartilham a mesma classe do USDA Crop Data Layer.
   • Classificação de Modalidade: Treinou-se classificadores simples (Random Forest e 5-NN) para prever a modalidade de entrada de um embedding de patch, testando o quão facilmente o espaço de embedding pode ser particionado pela fonte do sensor.

Principais Resultados

O estudo demonstra que os espaços de representação dos EOFMs são altamente sensíveis à arquitetura do sensor, levando a mudanças distributivas significativas mesmo quando as bandas espectrais são nominalmente correspondentes.

• Agrupamento Visual: Os gráficos de t-SNE (Figuras 1 & 2) revelaram clusters claros e distintos baseados na modalidade de origem tanto para o Prithvi quanto para o DOFA. Isso indica que, no espaço de alta dimensão, os dados são distribuídos principalmente pelo sensor de origem, em vez do conteúdo semântico. Embora o DOFA tenha mostrado maior resiliência a mudanças de modalidade comparado ao Prithvi, separações distintas permaneceram na maioria dos casos pareados.
• Baixa Sobreposição de Vizinhança: Na análise de vizinhança local de tokens CLS, a porcentagem média de vizinhos correspondentes entre diferentes modalidades raramente ultrapassou 30%. Por exemplo, entre Landsat-8 e Sentinel-2, apenas ~18-20% dos vizinhos coincidiam. Isso sugere que, em contextos de busca por similaridade, a modalidade de entrada torna-se o determinante primário de candidatos "similares", potencialmente sobrepondo-se à similaridade semântica.
• Deriva Semântica: Ao analisar os embeddings de patch, a porcentagem de vizinhos compartilhando a mesma classe de cultura variou em até 4% dependendo da modalidade. Isso confirma que as mudanças de modalidade alteram não apenas a estrutura de vizinhança, mas também a similaridade semântica dos patches locais da imagem.
• Alta Previsibilidade de Modalidade: Classificadores simples puderam prever a modalidade de origem de um embedding de patch com alta precisão (90,7% para Prithvi e 88,7% para DOFA) usando um Random Forest. Isso implica que os espaços de embedding são facilmente particionados pela fonte do sensor, tornando difícil alcançar representações invariantes à modalidade.

Significância e Alegações

O artigo afirma que o design e o uso atuais dos EOFMs enfrentam obstáculos significativos devido à falta de consideração pela diversidade da arquitetura dos sensores.

• Limitações das Práticas Atuais: Os autores argumentam que simplesmente corresponder as bandas espectrais por comprimento de onda e treinar em modalidades únicas é insuficiente. Essas abordagens falham em considerar as mudanças mais sutis nas distribuições subjacentes causadas por diferentes tecnologias de sensores e stacks de processamento.
• Implicações para Usuários: Os usuários de EOFMs devem alinhar cuidadosamente seus regimes de coleta de dados com os dados de pré-treinamento do modelo escolhido. Confiar em embeddings de um modelo treinado em um sensor para dados de outro sensor sem validação rigorosa acarreta risco de degradação significativa de desempenho em tarefas de jusante.
• Direções Futuras: As descobertas motivam o desenvolvimento de modelos que considerem explicitamente diversas modalidades de sensores e as complexidades da tecnologia de captura espectral. Os autores defendem a criação de conjuntos de dados altamente multimodais e de fluxos de múltiplas entradas (como o construído neste estudo) para testar rigorosamente as capacidades de cross-modalidade de novos modelos.

O artigo conclui que compreender essas diferenças de instrumentação é vital para que a comunidade avance em direção a uma ciência de sensoriamento remoto robusta, garantindo que os EOFMs entreguem um impacto confiável através do diversificado panorama dos dados de observação da Terra.