From Pixels to Patches: Pooling Strategies for Earth Embeddings

Resumo Técnico: Estratégias de Pooling para Embeddings Terrestres

1. O Problema: A Incompatibilidade de Resolução e a Perda de Informação

O artigo aborda um desafio crítico no uso de Modelos Fundacionais Geoespaciais (GFMs). Embora esses modelos gerem embeddings (representações vetoriais) densos em nível de pixel (ex: 10m de resolução), muitas tarefas de sensoriamento remoto operam em nível de objetos ou regiões (ex: campos agrícolas, lotes urbanos, painéis solares) que exigem rótulos em uma resolução mais grossa (ex: 640m).

• Desafio Principal: Existe uma "incompatibilidade de resolução entre entrada e rótulo". Para aplicar esses embeddings a tarefas de classificação de patches, é necessário um passo de agregação pós-hoc (pooling) para mapear os embeddings densos de pixels para uma única representação vetorial do patch.
• Limitação Atual: A escolha padrão, pooling por média (mean pooling), ignora a variabilidade dentro do patch. O artigo argumenta que essa heterogeneidade (ex: um bairro residencial misturando telhados, vegetação e estradas) contém sinais semânticos importantes que a média simples descarta, levando a um desempenho inferior, especialmente sob deslocamento espacial (quando o modelo é testado em regiões geográficas diferentes das de treinamento).

2. Metodologia e Dados

Os autores propõem um estudo controlado para avaliar como diferentes estratégias de pooling afetam a generalização espacial, sem acesso ao codificador original (apenas aos embeddings fixos).

• Novo Dataset (EuroSAT-Embed): Os autores criaram e liberaram um conjunto de dados contendo 81.000 arquivos GeoTIFF de embeddings derivados de três modelos fundacionais distintos:
  1. AlphaEarth (64 dimensões).
  2. OlmoEarth-Nano (128 dimensões).
  3. Tessera (128 dimensões).
     Nota: O objetivo não é comparar os GFMs, mas sim estudar o comportamento de pooling sobre produtos de embedding fixos.
• Tarefa de Avaliação: Classificação de cobertura do solo (10 classes) no dataset EuroSAT.
• Divisões de Dados:
  • Aleatória (Random Split): Divisão padrão para medir capacidade de aprendizado.
  • Espacial (Spatial Split): Divisão baseada em longitude para forçar uma generalização geográfica e evitar vazamento de dados por autocorrelação espacial.
• Métodos de Pooling Benchmarkizados:
  • 11 Métodos "Training-Free" (Sem treinamento): Incluem estatísticas de primeira ordem (média, máximo, mediana) e de segunda ordem/distribucionais (variância, min/max, percentis, covariância, estatísticas combinadas como stats pooling).
  • 2 Métodos Ajustados no Conjunto de Treino: PCA (após média) e Bag of Visual Words (BoVW).
• Probes (Testadores): Avaliação via k-Nearest Neighbors (kNN) e Regressão Logística Linear (Linear Probe) para testar separabilidade linear e geometria dos dados.

3. Contribuições Principais

1. Lançamento do EuroSAT-Embed: Um conjunto de dados alinhado de embeddings em nível de pixel para três modelos fundacionais diferentes, facilitando a reprodutibilidade.
2. Benchmark Controlado: Uma avaliação rigorosa de 13 métodos de pooling sob diferentes condições (split aleatório vs. espacial, diferentes sondas e modelos).
3. Descoberta de Padrões: Evidência de que estatísticas distribucionais simples superam consistentemente a média simples na generalização espacial, sem necessidade de treinamento adicional do modelo.

4. Resultados Chave

Os resultados demonstram que a escolha do método de pooling é uma decisão de design crítica, não apenas um pré-processamento trivial.

• Melhoria na Generalização Espacial:
  • O pooling por média sofreu uma queda de acurácia de 8,8 pontos percentuais ao passar da divisão aleatória para a espacial.
  • O pooling estatístico (Stats Pooling), que concatena min/max/média/desvio padrão, reduziu essa lacuna para apenas 3,8 pontos percentuais (uma redução de 57% no gap de generalização).
  • Em termos de acurácia absoluta em divisões espaciais, métodos distribucionais melhoraram a precisão em até 6% em comparação à média.
• Desempenho por Método:
  • Stats Pooling (4x dimensão): Foi o método mais robusto e consistente, oferecendo o melhor equilíbrio entre acurácia e robustez espacial.
  • Covariância Pooling (D(D+1)/2 dimensões): Alcançou a maior acurácia absoluta em dois dos três modelos (AlphaEarth e Tessera), mas requer representações de dimensão muito maior.
  • kNN vs. Linear Probe: Estatísticas de segunda ordem (como covariância) beneficiaram mais a classificação linear do que a busca por similaridade (kNN), sugerindo que a estrutura de variância é crucial para separadores lineares.
• Alinhamento entre Acurácia e Robustez: Não houve trade-off observado; os métodos mais acurados em divisões espaciais também foram os mais robustos (menor gap de generalização).

5. Significado e Recomendações

O artigo conclui que, para praticantes que utilizam produtos de embedding geoespacial fixos, o pooling deve ser tratado como uma escolha de design de primeira ordem.

A estratégia recomendada de três níveis é:

1. Baseline: Mean Pooling (simples, mas perde variabilidade).
2. Padrão Recomendado: Stats Pooling (min/max/mean/std). Aumenta a dimensão em 4x, mas oferece o melhor desempenho geral e robustez espacial.
3. Máxima Acurácia: Covariance Pooling. Ideal quando o custo computacional de dimensões maiores é aceitável e a precisão máxima é a prioridade.

Impacto: Este trabalho muda o paradigma de como embeddings de fundação são utilizados em tarefas de sensoriamento remoto, demonstrando que preservar a variabilidade intra-patch através de estatísticas distribucionais é essencial para modelos que precisam generalizar para novas regiões geográficas.