LEPA: Learning Geometric Equivariance in Satellite Remote Sensing Data with a Predictive Architecture

O artigo propõe a arquitetura LEPA, que supera as limitações da interpolação em modelos fundacionais geoespaciais ao prever diretamente embeddings transformados geometricamente, permitindo ajustes precisos em imagens de satélite sem a necessidade de recodificação.

O essencial

Imagine que você tem um mapa do tesouro feito por satélites. Esse mapa não é feito de papel, mas de "códigos matemáticos" (chamados embeddings) que descrevem cada pedaço da Terra com extrema precisão.

O problema é que esses códigos são como peças de um quebra-cabeça fixo. Se você quer olhar para uma área que fica "entre" as peças, ou se você quer girar o mapa para ver de outro ângulo, o sistema tradicional quebra.

Aqui está a explicação do paper LEPA usando uma analogia simples:

1. O Problema: O Mapa Rígido e a "Cola" Quebrada

Imagine que o sistema de satélite divide a Terra em quadrados perfeitos (como um tabuleiro de xadrez gigante) e cria um código único para cada quadrado.

• O jeito antigo (Interpolação): Se você quer ver algo que fica no meio de dois quadrados, o sistema antigo tentava "misturar" os códigos dos dois vizinhos, como se estivesse misturando duas tintas de pintura.
  • O que acontece: A tinta fica marrom e sem graça. O código resultante não representa nada real. É como tentar criar uma foto de um gato misturando a foto de um cachorro e a de um pássaro; você não obtém um animal novo, apenas um borrão sem sentido. O papel mostra que essa "mistura" falha miseravelmente (menos de 20% de sucesso).

2. A Solução: O "Mestre da Transformação" (LEPA)

Os autores criaram uma nova inteligência artificial chamada LEPA. Em vez de tentar misturar os códigos, eles ensinaram o sistema a prever como o código mudaria se a imagem fosse girada, ampliada ou movida.

• A Analogia do Mágico:
  Imagine que você tem um mágico (o modelo LEPA) que olha para o código de uma foto de uma montanha.
  • Se você diz: "Gire a foto 90 graus", o mágico não tenta adivinhar o que é uma montanha girada. Ele calcula magicamente qual seria o novo código exato para essa montanha girada, sem precisar olhar a foto original de novo.
  • Ele aprendeu a "sentir" a geometria. Ele sabe que se girar a imagem, o código também gira de uma maneira específica e previsível.

3. Como eles ensinaram isso?

Eles usaram uma técnica chamada JEPA (uma arquitetura que aprende prevendo o futuro).

• Eles mostraram para o computador: "Aqui está a foto original (Contexto). Aqui está a foto girada (Alvo). Aprenda a transformar o código da primeira na segunda."
• O computador aprendeu a criar um "modelo de mundo" interno. Ele não apenas vê a imagem; ele entende como a imagem se comporta quando você mexe nela.

4. O Resultado: Um Salto Gigante

Os testes foram impressionantes:

• O jeito antigo (Misturar tintas): Funcionava em menos de 20% dos casos.
• O jeito novo (O Mágico LEPA): Funciona em mais de 80% dos casos.

Isso significa que, agora, os cientistas podem pegar dados de satélite pré-calculados (que são baratos e rápidos de usar) e ajustá-los perfeitamente para qualquer área ou ângulo que o usuário quiser, sem precisar gastar dinheiro e tempo processando as imagens brutos de novo.

Resumo em uma frase:

O paper ensina a criar um "tradutor geométrico" inteligente que consegue transformar códigos de imagens de satélite perfeitamente, evitando que a gente precise refazer todo o trabalho pesado de análise sempre que quisermos mudar o ângulo ou o tamanho da nossa visão.

Resumo técnico

Título: LEPA: Aprendendo Equivariância Geométrica em Dados de Sensoriamento Remoto Satelital com uma Arquitetura Preditiva

1. O Problema

Os modelos fundamentais de geoespaço (geospatial foundation models) geram embeddings (vetores de características) pré-calculados para grandes volumes de dados de sensoriamento remoto. Embora esses embeddings reduzam gargalos de transferência de dados e custos computacionais, eles apresentam um problema crítico de mismatch geométrico:

• Os embeddings são pré-calculados em uma grade fixa.
• Quando os usuários definem Áreas de Interesse (AOI) que não se alinham perfeitamente com essa grade (exigindo rotação, redimensionamento ou translação), é necessário ajustar os vetores.
• Falha da Interpolação Padrão: A interpolação linear no espaço latente (ex: interpolação bilinear entre vetores de patches) é altamente não confiável. O manifold dos embeddings é altamente não convexo; portanto, combinar vetores linearmente gera representações que não correspondem a entradas realistas, destruindo a informação geométrica contida dentro de cada patch.

2. Metodologia: LEPA

Os autores propõem a Arquitetura Preditiva de Equivariância Aprendida (LEPA - Learned Equivariance-Predicting Architecture) como uma alternativa à interpolação.

• Conceito Central: Em vez de calcular a média de vetores, o LEPA utiliza um modelo preditor que, condicionado a parâmetros de transformação geométrica (rotação, escala, translação), prevê o embedding transformado diretamente no espaço latente.
• Base Arquitetural: O modelo é baseado na arquitetura I-JEPA (Image Joint-Embedding Predictive Architecture), que utiliza um codificador (estudante) e um codificador "professor" (média móvel exponencial).
• Mecanismo de Treinamento:
  • O sistema recebe uma imagem de contexto (não modificada) e gera patch embeddings.
  • Um preditor recebe esses embeddings de contexto mais os parâmetros da transformação geométrica desejada.
  • O objetivo do preditor é "inpaint" (prever) os embeddings da imagem alvo que teria sido gerada se a transformação geométrica tivesse sido aplicada na imagem original antes do codificação.
  • Isso força o modelo a aprender a equivariância geométrica: se $T$ é uma transformação no espaço da imagem e $E$ é o codificador, o modelo aprende a aproximar $E(T(x))$ a partir de $E(x)$ e dos parâmetros de $T$.
• Inovações Arquiteturais:
  • Uso de tokens de classificação (CLS) para agregar informações globais.
  • Codificações Posicionais Condicionadas: Os índices posicionais são centralizados no centro da imagem (em vez de um canto) para refletir melhor as mudanças de posição sob transformações geométricas.

3. Contribuições Principais

1. Identificação de Limitações: Demonstração empírica de que métodos tradicionais de interpolação e downsampling falham ao serem aplicados a embeddings de patches, devido à natureza não convexa do espaço latente.
2. Nova Abordagem de Alinhamento: Proposta de um modelo preditivo adicional para alinhar embeddings a dados do usuário sem a necessidade de reexecutar o codificador fundamental (evitando inferências caras).
3. Modelo I-JEPA Otimizado: Treinamento de um modelo I-JEPA em dados ImageNet-1k e HLS (Harmonized Landsat-Sentinel) que compete com modelos fundamentais existentes (como Prithvi-EO-2.0) em benchmarks de segmentação semântica, com melhorias arquitetônicas específicas.
4. Alta Equivariância Geométrica: Desenvolvimento do LEPA, que supera drasticamente a interpolação na tarefa de prever transformações geométricas no espaço latente.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados HLS (imagens de satélite) e ImageNet-1k, com avaliação no benchmark PANGAEA e métricas de equivariância.

• Qualidade de Representação (PANGAEA):

  • Os modelos I-JEPA treinados sem mudanças arquiteturais já produzem embeddings competitivos.
  • O modelo treinado no ImageNet-1k performou surpreendentemente bem em dados de sensoriamento remoto (fora da distribuição), superando em alguns casos (como detecção de detritos marinhos) modelos treinados especificamente em dados de satélite.
  • A adição de um token CLS melhorou a segmentação semântica para modelos ImageNet, mas teve efeito misto nos modelos HLS.

• Equivariância Geométrica (MRR - Mean Reciprocal Rank):

  • Interpolação Padrão: O Prithvi-EO-2.0 e a interpolação por vizinhos mais próximos/bilinear atingiram um MRR abaixo de 0,2, indicando que a ordem das transformações não é preservada corretamente no espaço latente.
  • LEPA (Sem Fine-tuning): Aumentou o MRR para aproximadamente 0,7.
  • LEPA (Com Fine-tuning do Preditor): Ao congelar o codificador e treinar apenas o preditor para prever as transformações, o MRR subiu para acima de 0,8.
  • Conclusão: O LEPA permite ajustes geométricos precisos sem re-codificação, mantendo a integridade semântica dos embeddings.

• Análise de Ruído: Foi observado que modelos treinados no ImageNet exibem um "ruído específico de classe" no fundo das imagens (padrão visto no DINOv3), que é mitigado pelo token CLS. Modelos HLS, por não terem um sujeito central fixo, não apresentam esse padrão da mesma forma.

5. Significado e Impacto

O trabalho LEPA oferece uma solução prática para um dos maiores obstáculos na aplicação de modelos fundamentais de sensoriamento remoto: a flexibilidade geométrica.

• Eficiência Operacional: Permite que usuários ajustem embeddings pré-calculados para suas áreas de interesse específicas sem o custo computacional proibitivo de rodar novamente o codificador massivo.
• Viabilidade de Aplicações: Torna os embeddings de modelos fundamentais verdadeiramente utilizáveis em cenários do mundo real onde a geometria da área de interesse raramente coincide com a grade de pré-processamento.
• Direção Futura: O estudo sugere que a equivariância geométrica pode ser aprendida eficientemente através de arquiteturas preditivas, abrindo caminho para modelos mais robustos e menores (usando preditores menores) para tarefas de sensoriamento remoto.

Em resumo, o LEPA substitui a interpolação linear falha por uma aprendizagem de transformações geométricas, elevando a precisão de ajuste de embeddings de <0,2 para >0,8, o que é um avanço significativo para a comunidade de observação da Terra.