Textual Supervision Enhances Geospatial Representations in Vision-Language Models

Resumo Técnico: A Supervisão Textual Melhora as Representações Geoespaciais em Modelos de Visão-Linguagem

Declaração do Problema
A compreensão geoespacial é uma dimensão crítica, embora subexplorada, nos sistemas de aprendizado de máquina, particularmente para tarefas como geolocalização de imagens e raciocínio espacial. Embora os modelos de visão tenham avançado significativamente por meio de arquiteturas como Vision Transformers (ViT) e aprendizado autossupervisionado, permanece incerto até que ponto esses modelos codificam implicitamente o conhecimento de localização global sem supervisão geoespacial explícita. Além disso, a opacidade dos emergentes Modelos de Visão-Linguagem (VLMs) obscurece os mecanismos pelos quais a informação espacial é codificada, levantando preocupações sobre disparidades geográficas e vieses de generalização indesejados. Este trabalho investiga se arquiteturas de apenas visão e modelos de fundação multimodais internalizam representações geoespaciais durante seus pipelines de treinamento padrão e como a supervisão textual influencia essa capacidade.

Metodologia
Os autores conduziram uma análise sistemática de representações geoespaciais através de três famílias de modelos:

1. Arquiteturas de apenas visão: Incluindo ViT, ViT Masked Autoencoders (MAE), DINOv2 e modelos Web-SSL.
2. Modelos de Visão-Linguagem (VLMs): Incluindo CLIP, MetaCLIP, LLaVA-1.5, Qwen2.5 e Gemma 3.
3. Modelos de fundação multimodais de larga escala: Representando a interseção dos acima citados.

O estudo utilizou dois conjuntos de dados primários: um subconjunto de 4M de imagens do YFCC100M (particionado em 40 clusters semânticos via agrupamento não supervisionado) e um subconjunto do Google Landmarks (580 mil imagens). Para mitigar o viés espacial em direção à Europa e América do Norte, os autores empregaram uma estratégia de amostragem baseada em geocélulas para equilibrar os conjuntos de dados.

A técnica analítica central foi a sonda linear (linear probing - regressão de ridge) aplicada camada a camada nos estados ocultos dos modelos. Os autores extraíram representações de tokens de resumo (ex: [CLS] ou resíduos do token final) de cada camada e treinaram regressores para prever latitude e longitude. O desempenho foi medido utilizando o coeficiente de determinação ($R^2$).

As principais variações experimentais incluíram:

• Análise camada a camada: Examinando onde os sinais geoespaciais emergem ou degradam ao longo da profundidade da rede.
• Prompting textual: Testando se fornecer um prompt (ex: "Adivinhe a latitude e a longitude...") altera a propagação da informação geoespacial em VLMs.
• Redução de dimensionalidade: Identificando a proporção de dimensões latentes necessária para recuperar o máximo poder preditivo geoespacial.
• Troca de representação (Representation swapping): Intervindo no fluxo residual ao trocar dimensões geoespacialmente relevantes entre uma imagem de origem e uma de destino para observar mudanças no texto gerado.
• Avaliação de tarefa downstream: Ajustando (fine-tuning) os modelos em uma tarefa de identificação de país para correlacionar o desempenho da sonda com a utilidade prática.

Principais Contribuições e Resultados

1. A Supervisão Textual Melhora a Estrutura Geoespacial: O estudo revela que modelos treinados conjuntamente em texto e imagens exibem representações geoespaciais substancialmente mais fortes do que modelos de apenas visão. Embora modelos de apenas visão mostrem alguma capacidade de aprender características geoespaciais (escalando com o tamanho do modelo, ex: DINOv2-giant), eles são consistentemente superados por VLMs menores (ex: CLIP-base). O $R^2$ médio para VLMs frequentemente excede 0,4, enquanto modelos de apenas visão tipicamente permanecem abaixo de 0,3.

2. Dinâmica de Camadas:

   • Modelos de apenas visão: As representações geoespaciais desenvolvem-se progressivamente, com os sinais mais fortes encontrados nas camadas mais profundas.
   • VLMs sem prompts: Os sinais geoespaciais frequentemente estagnam ou degradam nas camadas posteriores do bloco de linguagem, sugerindo que o modelo desprioriza a informação espacial quando não é explicitamente solicitado.
   • VLMs com prompts: Fornecer um prompt geoespacial estabiliza ou até aumenta o $R^2$ nas camadas posteriores. Por exemplo, o uso de prompt no Qwen2.5 levou a valores de $R^2$ tão altos quanto 0,88 para imagens de marcos (landmarks), indicando que pistas textuais reativam e refinam as representações espaciais.

3. Codificação Geoespacial Compacta: A informação geoespacial não é distribuída uniformemente, mas concentrada em um subconjunto compacto de dimensões. Os autores descobriram que aproximadamente 40% das dimensões (classificadas pelos coeficientes da sonda) são suficientes para recuperar quase o máximo de $R^2$. Para alguns modelos, 90% do desempenho preditivo é retido usando apenas os 10% superiores de características.

4. Controlabilidade via Troca de Representação: Ao trocar as principais dimensões geoespaciais entre uma imagem de origem (ex: Pirâmide de Degraus de Djoser) e uma imagem de destino (ex: Fontana di Trevi), os autores conseguiram direcionar com sucesso o texto gerado pelo VLM para refletir a localização do destino (ex: mudando "Saqqara" para "Roma"), demonstrando que essas representações estão causalmente ligadas ao output do modelo.

5. Utilidade Downstream: Modelos com maiores pontuações de $R^2$ da sonda (especificamente CLIP e DINOv2) demonstraram desempenho superior em uma tarefa de identificação de país ajustada, validando que as representações geoespaciais implícitas são benéficas para aplicações downstream.

Significância e Alegações
O artigo argumenta que o aprendizado multimodal é uma direção chave para o avanço da IA geoespacial. Os autores afirmam que a linguagem atua como uma modalidade complementar eficaz para codificar o contexto espacial, aumentando significamente a eficiência do aprendizado de representações geoespaciais em comparação com o escalonamento de apenas visão. Este achado alinha-se com a "Hipótese da Representação Platônica", sugerindo que a supervisão textual ajuda os modelos a convergir para uma representação mais robusta e compartilhada do mundo.

O trabalho destaca que, embora essas capacidades ofereçam potencial para aplicações como monitoramento ambiental e planejamento urbano, elas também impõem riscos significativos de privacidade e equidade. Os modelos exibem desequilíbrios espaciais, performando pior em regiões sub-representadas (ex: América do Sul, África), e sua capacidade de extrair dados de localização precisos a partir de imagens pode ser explorada para vigilância ou perseguição (stalking). Os autores concluem que o deployment de tais modelos requer políticas regulatórias robustas, transparência e consentimento explícito do usuário para garantir o uso seguro e justo.