Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

Resumo Técnico: Explicações em Nível de Objeto para Modelos de Geolocalização de Imagens

Declaração do Problema
Modelos de geolocalização de imagens, que preveem o local de captura de uma imagem com base no conteúdo visual, alcançaram alto desempenho utilizando aprendizado profundo. No entanto, compreender a evidência visual específica que impulsiona essas previsões permanece desafiador. Enquanto os humanos dependem de pistas concretas em nível de objeto (por exemplo, placas de trânsito, vegetação, detalhes arquitetônicos) em jogos como GeoGuessr, métodos de atribuição padrão (por exemplo, Grad-CAM) tipicamente produzem mapas de calor difusos e sobrepostos. Esses mapas destacam regiões amplas em vez de entidades visuais coerentes, tornando difícil vincular decisões do modelo a objetos específicos e interpretáveis ou a padrões perceptíveis. Essa lacuna limita a capacidade de interpretar, confiar e analisar modelos de geolocalização em uma granularidade de nível de conceito.

Metodologia
Os autores propõem um pipeline de análise centrado em objetos para decompor mapas de atribuição em elementos discretos e semelhantes a objetos, avaliando sua relevância preditiva. A metodologia consiste em três etapas principais:

1. Treinamento do Modelo e Atribuição: Uma Rede Neural Convolucional (ResNet50) é treinada para classificação de países. Mapas de atribuição são gerados usando métodos baseados em gradiente e baseados em pontuação (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) para identificar regiões salientes que influenciam a previsão. Esses mapas são limiados para reter o percentil superior-$p$ de pixels, criando "regiões guiadas por atribuição".
2. Extração de Objetos: Dentro dessas regiões salientes, um modelo de segmentação (especificamente variantes do Segment Anything Model: MobileSAM, SAM2 e SAM3) é usado para extrair elementos visuais discretos. Esses elementos não recebem rótulos semânticos, mas são tratados como unidades perceptíveis (por exemplo, um carro, uma placa).
   • Pontuação: Cada segmento candidato é pontuado com base em sua sobreposição com pixels de alta saliência, seu valor médio de atribuição e o valor de atribuição em seu centro geométrico.
   • Filtragem: Segmentos abaixo de um limiar de relevância são descartados. Segmentos sobrepostos são filtrados usando um critério de Interseção sobre União (IoU) baseado em contenção para remover quase-duplicatas, preservando ao mesmo tempo detalhes pequenos.
   • Saída: Os segmentos restantes são convertidos em caixas delimitadoras retangulares com um pequeno preenchimento para preservar o contexto.
3. Avaliação de Fidedignidade: A relevância preditiva desses elementos extraídos é testada contra regiões selecionadas aleatoriamente de cobertura similar usando duas métricas padrão de XAI:
   • Teste de Exclusão: As imagens recortadas extraídas são ocluídas na imagem original. Uma queda significativa na precisão de classificação indica que as regiões removidas continham informações críticas.
   • Teste de Inserção: Apenas as imagens recortadas extraídas são preservadas, enquanto o restante da imagem é mascarado. Alta precisão retida indica que os recortes contêm informações preditivas suficientes.

Principais Contribuições

• Pipeline Centrado em Objetos: O artigo introduz um framework pós-hoc que preenche a lacuna entre mapas de atribuição em nível de pixel difusos e evidência visual localizada e semelhante a objetos, sem exigir conceitos pré-definidos ou modificar o classificador subjacente.
• Validação Quantitativa: O estudo fornece uma avaliação rigorosa mostrando que os recortes guiados por atribuição retêm consistentemente mais informações preditivas do que recortes aleatórios de tamanho similar.
• Análise de Segmentação: O trabalho investiga o impacto da qualidade da segmentação na interpretabilidade, demonstrando que a escolha do modelo de segmentação (por exemplo, SAM3 vs. SAM2) influencia significativamente a cobertura e a eficácia das pistas extraídas.

Resultados
Experimentos foram conduzidos em um benchmark composto por imagens de três países: França, Índia e Japão (usando o conjunto de dados OSV-5M).

• Relevância Preditiva: Em todas as configurações testadas, os recortes guiados por atribuição superaram as linhas de base aleatórias. Nos testes de exclusão, ocluir essas regiões causou uma queda maior na precisão, e nos testes de inserção, eles preservaram significativamente mais informações preditivas.
• Comparação de Métodos:
  • Métodos de Atribuição: Grad-CAM++ e outros métodos baseados em gradiente forneceram mapas de saliência eficazes para guiar a extração.
  • Modelos de Segmentação: O SAM3, que gera um número maior de segmentos, alcançou resultados mais fortes em ambos os cenários de ablação em comparação com SAM2 e MobileSAM. Os autores observam que o SAM2 performou mal nos testes de exclusão, provavelmente devido à geração de muito poucos segmentos, resultando em cobertura espacial insuficiente para remover informações significativas.
• Achados Qualitativos: Os elementos extraídos incluíram padrões visuais diversos, como veículos, paredes, placas de rua e marcações rodoviárias. No entanto, os autores reconhecem limitações, observando que alguns elementos extraídos se sobrepõem, correspondem apenas a partes de estruturas maiores ou permanecem amorfos devido a restrições de segmentação.

Significado e Alegações
O artigo afirma que os mapas de atribuição em modelos de geolocalização contêm evidência localizada que pode ser significativamente decomposta em regiões visuais perceptíveis. Isso sugere que as previsões do modelo podem ser rastreadas até pistas específicas em nível de objeto, semelhantes às usadas por humanos. Os autores posicionam este trabalho como um passo em direção à interpretabilidade em nível de objeto e explicações baseadas em conceitos na geolocalização de imagens.

Os autores permanecem modestos quanto ao escopo de suas descobertas. Eles reconhecem que os elementos extraídos são aproximados e podem estar supersegmentados. Além disso, a avaliação é limitada a um cenário de três países sem linhas de base adicionais. Um trabalho futuro é proposto para estender o framework para benchmarks maiores e de granularidade fina e para incorporar avaliação humana para verificar o alinhamento com o raciocínio humano em tarefas de geolocalização.