What's in an Earth Embedding? An Explainability Analysis of Location Encoders

Resumo Técnico: O que há em um Embedding de Terra? Uma Análise de Explicabilidade de Codificadores de Localização

Declaração do Problema
Representações Neurais Implícitas (INRs) geográficas aprendem a mapear qualquer coordenada da Terra para um "embedding de localização", codificando implicitamente vastos dados geoespaciais em pesos de redes neurais. Esses embeddings servem como representações compactas e de uso geral para tarefas subsequentes, como mapeamento de temperatura, previsão de qualidade do ar e identificação de espécies. No entanto, existe uma lacuna crítica: não existem ferramentas principiais para auditar quais informações geográficas ou semânticas específicas esses embeddings capturam. Diferente dos modelos de imagem tradicionais, onde os inputs correspondem a imagens individuais, os embeddings de localização correspondem a coordenadas de latitude/longitude, tornando seu conteúdo de informação interna opaco. A avaliação atual depende exclusivamente do desempenho preditivo em benchmarks, o que falha em explicar por que os embeddings têm sucesso ou quando podem falhar devido à dependência de proxies espúrios (ex: infraestrutura em vez de indicadores de pobreza).

Metodologia
Os autores propõem um framework para decompor embeddings de localização em três conjuntos de características complementares e interpretáveis por humanos: conceitos latentes esparsos, conceitos de linguagem natural e características visuais.

1. Conceitos Latentes Esparsos (Não Supervisionado):

   • Abordagem: Os autores empregam Autoencoders Esparsos (SAEs), especificamente o método BatchTopK, para destrinchar os embeddings de localização em um dicionário esparso de conceitos.
   • Mecanismo: Um SAE projeta os embeddings em um espaço de maior dimensionalidade sob uma restrição de esparsidade, ativando apenas um pequeno número de neurônios ($k=20$) por amostra.
   • Métricas: Para interpretar esses neurônios, eles introduzem duas métricas:
     • Monossemanticidade Visual (MS): Mede se um neurônio ativa para imagens com características visuais semelhantes (usando correlação entre ativação e similaridade visual).
     • Monossemanticidade Geográfica (GeoMS): Mede se um neurônio ativa sobre uma região geográfica local ou global (usando distância de Haversine inversa).
   • Datasets: SAEs foram treinados em duas distribuições: Aleatória Uniformemente (UAR) através de massas de terra (para SatCLIP, Climplicit) e áreas visitadas por humanos do conjunto de dados Geo-YFCC (para GeoCLIP).

2. Conceitos de Linguagem Natural (Supervisionado/Baseado em Dicionário):

   • Abordagem: Os autores adaptam o framework de Embeddings de Conceito Linear Esparso (SpLiCE) para decompor embeddings em um dicionário predefinido de 2.000 conceitos textuais geoespaciais (ex: "cidade", "floresta").
   • Alinhamento: Como o SpLiCE requer um espaço semântico compartilhado entre localização e texto, os autores ou utilizaram modelos pré-treinados com alinhamento CLIP (GeoCLIP) ou alinharam manualmente outros codificadores congelando o codificador de localização e ajustando um codificador de texto (OpenCLIP ViT-L) no conjunto de dados Git-10M.
   • Otimização: Eles aplicam regularização $\ell_1$ para incentivar a esparsidade, visando de 5 a 20 conceitos ativos por exemplo, e medem a reconstrução via similaridade de cosseno e Erro Quadrático Médio (MSE).

3. Características Visuais (Atribuição de Características):

   • Abordagem: Os autores utilizam CLIP Surgery para gerar mapas de saliência, identificando quais regiões da imagem de entrada (natural ou de satélite) mais influenciam a predição do modelo.
   • Adaptação: Como os codificadores de localização carecem de uma "classe nula" (ao contrário dos modelos de linguagem), os autores usam o Polo Norte como um embedding "nulo" heurístico para aproximar o ruído.
   • Pipeline: Para imagens de satélite, eles computaram mapas de saliência, os transformaram em máscaras binárias por meio de limiarização, recortaram as regiões salientes e agruparam esses recortes usando t-SNE e DBSCAN para identificar padrões visuais recorrentes (ex: estradas, rotatórias).

Principais Resultados

• Conceitos Latentes Esparsos:

  • Reconstrução: Os embeddings de SatCLIP e Climplicit foram reconstruídos com pontuações de $R^2$ quase perfeitas (>0.92) pelo SAE, enquanto o GeoCLIP alcançou pontuações menores (~0.52–0.65).
  • Interpretabilidade: Neurônios de alta monossemanticidade capturaram padrões geográficos distintos. Exemplos incluem neurônios que ativam especificamente para florestas amazônicas, desertos australianos e sítios arqueológicos do Oriente Médio.
  • Artefatos: A análise identificou com sucesso artefatos visuais nos dados de pré-treinamento, como anomalias específicas nas imagens do Sentinel-2 ao redor da Groenlândia.

• Conceitos de Linguagem Natural (SpLiCE):

  • Preservação de Estrutura: O SpLiCE manteve a estrutura direcional no espaço de embedding (similaridade de cosseno > 0.29) enquanto utilizava significativamente menos conceitos ativos do que a dimensão original do embedding.
  • Diferenças de Codificador:
    • GeoCLIP: Mostrou sinais finos e específicos em áreas altamente fotografadas (ex: Paris), mas teve dificuldades em regiões menos fotografadas (ex: Sibéria).
    • SatCLIP: Capturou tendências de cobertura de solo mais amplas (ex: "tundra", "deserto") de forma mais consistente entre as regiões.
    • Climplicit: Mostrou interpretabilidade mista, performando bem em sinais de cobertura de solo grosseiros (Saara), mas de forma menos coerente em outros.

• Características Visuais (Mapas de Saliência):

  • *Imagens Naturais (GeoCLIP): A atenção focou em marcos arquitetônicos distintos, características naturais (árvores, céu) e pistas textuais (placas de rua).
  • *Imagens de Satélite (SatCLIP): A atenção concentrou-se em limites estruturais, incluindo padrões de estradas (ex: rotatórias em cidades europeias vs. aglomerados suburbanos nos EUA), bordas terra-água e grandes estruturas urbanas como estádios.
  • Consistência: As características visuais destacadas pelos mapas de saliência alinharam-se com os conceitos semânticos encontrados na decomposição textual (ex: estruturas urbanas vs. biomas naturais).

Significância e Alegações
O artigo afirma fornecer o primeiro passo em direção a representações geoespaciais interpretáveis para INRs geográficas. Ao demonstrar que os embeddings de localização podem ser decompostos em representações interpretáveis por humanos (latentes, textuais e visuais) mantendo uma alta capacidade de reconstrução, os autores revelam que esses codificadores de "caixa preta" codificam estruturas geográficas sistemáticas, como florestas, desertos, características urbanas e sinais climáticos.

Os autores enfatizam que esses métodos oferecem insights complementares:

• Para Usuários: A capacidade de auditar qual codificador captura sinais específicos (ex: infraestrutura urbana vs. biomas amplos) auxilia na seleção do modelo correto para tarefas subsequentes.
• Para Desenvolvedores: O framework permite o debug ao identificar lacunas de conceitos, características visuais irrelevantes ou artefatos de baixa qualidade nos dados (como visto na anomalia da Groenlândia).

O artigo permanece modesto, reconhecendo que a interpretabilidade atual exige esforço manual (ex: inspeção de ativação de neurônios, alinhamento de espaços) e que trabalhos futuros devem focar em frameworks "interpretáveis por design" ou no ajuste mais profundo desses métodos especificamente para modelos geoespaciais.