UNIGEOCLIP: Unified Geospatial Contrastive Learning

1. Problema e Motivação

O aprendizado de representações geoespaciais robustas é fundamental para tarefas como classificação de uso do solo, monitoramento ambiental e inferência socioeconômica. Embora existam paradigmas anteriores bem-sucedidos, eles apresentam limitações significativas:

• Campos de Embedding: Mapeiam coordenadas para vetores latentes, mas atuam como "instantâneos" estáticos, com dificuldade em modelar dinâmicas e dependências espaciais complexas.
• Modelos de Fusão Multimodal: Combinam múltiplas observações em uma única representação, o que impede a comparação ou recuperação cruzada entre modalidades individuais.
• Abordagens Contrastivas Existentes (ex: GeoCLIP, SatCLIP): Geralmente alinham coordenadas geográficas com apenas uma modalidade de observação da Terra (frequentemente imagens aéreas), ignorando dados textuais e outras perspectivas (como visão de rua ou elevação). Além disso, muitas dependem de uma "modalidade pivô" central, o que restringe a flexibilidade.

O objetivo do UNIGEOCLIP é superar essas limitações criando um espaço de embedding unificado que permita alinhamento, recuperação e raciocínio robustos entre qualquer combinação de modalidades geoespaciais.

2. Metodologia

O UNIGEOCLIP é um framework de aprendizado contrastivo massivamente multimodal que alinha cinco modalidades complementares em um único espaço vetorial:

1. Imagens Aéreas (visão de cima).
2. Imagens de Rua (visão de nível do solo).
3. Modelos Digitais de Superfície (DSM) (dados de elevação/geomorfologia).
4. Descrições Textuais (geradas automaticamente com base em dados georreferenciados).
5. Coordenadas Geográficas (Latitude e Longitude).

Arquitetura e Componentes Principais

• Alinhamento "All-to-All" (Tudo para Tudo): Diferente de modelos como ImageBind que usam uma modalidade pivô (geralmente visão), o UNIGEOCLIP emprega uma formulação totalmente holística. Todos os pares de modalidades são contrastados diretamente uns com os outros durante o treinamento, sem um pivô central. Isso cria um espaço latente compartilhado onde qualquer modalidade pode ser usada para recuperar ou inferir qualquer outra.
• Codificadores de Modalidade:
  • Imagens (Rua e Aérea) e Texto: Utilizam encoders baseados no SigLIP-2.
  • DSM: Um encoder específico treinado do zero usando um Vision Transformer (ViT) com tokens de registro.
  • Coordenadas (GPS): Um Novo Encoder de Coordenadas Escalado.
• Encoder de Coordenadas Escalado (Scaled Latitude-Longitude Encoder):
  • Para mitigar distorções esféricas, as coordenadas são projetadas via Projeção Equal Earth.
  • Utiliza Recursos de Fourier Aleatórios (Random Fourier Features - RFF) com múltiplas frequências (espectros crescentes).
  • Diferente de abordagens anteriores que processam escalas independentemente e as média, este encoder trata cada projeção de frequência como um token e processa-os através de blocos de auto-atenção (Transformer). Isso permite interações não lineares entre diferentes escalas espaciais, capturando estruturas geográficas multi-escala.
• Objetivo de Treinamento: Minimiza a perda InfoNCE sobre todos os pares ordenados de modalidades $(m, n)$. Isso força representações de locais idênticos a estarem próximas no espaço de embedding, independentemente da modalidade de entrada.

3. Contribuições Chave

1. UNIGEOCLIP: O primeiro framework puramente contrastivo a alinhar conjuntamente cinco modalidades georreferenciadas (rua, aérea, DSM, texto e coordenadas) em um espaço unificado.
2. Encoder de Coordenadas Escalado: Propõe um novo codificador que supera embeddings baseados apenas em Fourier ou MLPs, modelando explicitamente dependências espaciais multi-escala através de atenção entre frequências.
3. Desempenho Superior: Demonstra melhorias consistentes em comparação com modelos contrastivos de modalidade única e baselines baseadas apenas em coordenadas em diversas tarefas de sondagem e downstream.

4. Resultados Experimentais

O modelo foi avaliado em um conjunto de dados massivo cobrindo áreas metropolitanas dos EUA, com divisão temporal estrita (treino 2017-2024, exceto 2023; teste 2023).

• Recuperação Cross-Modal (Zero-Shot):

  • O UNIGEOCLIP superou consistentemente o GeoCLIP re-treinado e o ScalingGeoloc na tarefa de recuperação de localização a partir de imagens de rua.
  • A engenharia de ensemble multimodal (combinar similaridades de todas as modalidades) atingiu 69.4% de precisão (Acc@100m), superando significativamente qualquer modalidade individual.
  • O modelo demonstrou forte generalização para dados fora da distribuição (OOD) em Amsterdã, mantendo desempenho competitivo mesmo treinado apenas em dados dos EUA.

• Avaliação de Encoders Downstream:

  • Encoder de Imagem Aérea: Superou modelos especializados (SatCLIP, AnySat) e gerais (SigLIP) em detecção de painéis solares e segmentação semântica de cobertura do solo, sem supervisão específica para essas tarefas.
  • Encoder de Coordenadas: Alcançou um $R^2$ médio de 57.0 em 27 tarefas de regressão socioeconômica e ambiental, superando campos de embedding existentes (AlphaEarth) e outras abordagens contrastivas. A visualização via PCA mostrou que o encoder aprende um manifold suave que reflete estruturas urbanas (ex: Central Park), ao invés de apenas hash de coordenadas.
  • Encoder DSM: Com apenas linear probing, superou modelos U-Net e ViT treinados do zero em segmentação de cobertura do solo, evidenciando o valor do pré-treinamento contrastivo para dados de elevação.

• Estudos de Ablação:

  • Aumentar a profundidade do encoder de coordenadas (número de blocos de atenção) melhorou consistentemente o desempenho, confirmando que a capacidade de interação entre escalas é crucial.
  • A adição progressiva de modalidades (de apenas coordenadas/aéreas para incluir rua, texto e DSM) melhorou linearmente a precisão da recuperação.

5. Significado e Impacto

O UNIGEOCLIP representa um avanço significativo na representação geoespacial ao demonstrar que o alinhamento contrastivo "tudo para tudo" de modalidades heterogêneas é viável e superior.

• Flexibilidade: Permite raciocínio geoespacial robusto mesmo quando algumas modalidades estão ausentes (ex: recuperar uma localização apenas com texto ou apenas com elevação).
• Generalização: A capacidade de generalizar para novas regiões geográficas e tarefas downstream sem ajuste fino específico sugere que o modelo aprende uma representação fundamental da estrutura geoespacial e semântica.
• Aplicações: Oferece uma base escalável para aplicações de observação da Terra em larga escala, inferência socioeconômica e sistemas de localização que integram dados de satélite, rua e texto de forma coesa.

O código de referência está disponível publicamente, facilitando a adoção e extensão desta abordagem pela comunidade de pesquisa.