Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

Resumen Técnico: Explicaciones a Nivel de Objeto para Modelos de Geolocalización de Imágenes

Enunciado del Problema
Los modelos de geolocalización de imágenes, que predicen la ubicación de captura de una imagen basándose en su contenido visual, han logrado un alto rendimiento utilizando aprendizaje profundo. Sin embargo, comprender la evidencia visual específica que impulsa estas predicciones sigue siendo un desafío. Mientras que los humanos se basan en señales concretas a nivel de objeto (por ejemplo, señales de tráfico, vegetación, detalles arquitectónicos) en juegos como GeoGuessr, los métodos estándar de atribución (por ejemplo, Grad-CAM) suelen producir mapas de calor difusos y superpuestos. Estos mapas resaltan regiones amplias en lugar de entidades visuales coherentes, lo que dificulta vincular las decisiones del modelo con objetos específicos e interpretables o patrones perceptibles. Esta brecha limita la capacidad de interpretar, confiar y analizar los modelos de geolocalización con una granularidad a nivel de concepto.

Metodología
Los autores proponen un pipeline de análisis centrado en objetos para descomponer los mapas de atribución en elementos discretos similares a objetos y evaluar su relevancia predictiva. La metodología consta de tres etapas principales:

1. Entrenamiento del Modelo y Atribución: Se entrena una Red Neuronal Convolucional (ResNet50) para la clasificación de países. Se generan mapas de atribución utilizando métodos basados en gradientes y basados en puntuaciones (Grad-CAM, Grad-CAM++, SmoothGrad, Score-CAM) para identificar regiones salientes que influyen en la predicción. Estos mapas se umbralizan para retener el percentil superior-$p$ de píxeles, creando "regiones guiadas por atribución".
2. Extracción de Objetos: Dentro de estas regiones salientes, se utiliza un modelo de segmentación (específicamente variantes del Segment Anything Model: MobileSAM, SAM2 y SAM3) para extraer elementos visuales discretos. Estos elementos no se asignan etiquetas semánticas, sino que se tratan como unidades perceptibles (por ejemplo, un coche, una señal).
   • Puntuación: Cada segmento candidato se puntúa en función de su superposición con píxeles de alta saliencia, su valor de atribución promedio y el valor de atribución en su centro geométrico.
   • Filtrado: Los segmentos por debajo de un umbral de relevancia se descartan. Los segmentos superpuestos se filtran utilizando un criterio de Intersección sobre Unión (IoU) basado en la contención para eliminar casi-duplicados mientras se preservan los detalles pequeños.
   • Salida: Los segmentos restantes se convierten en cajas delimitadoras rectangulares con un relleno ligero para preservar el contexto.
3. Evaluación de Fidelidad: La relevancia predictiva de estos elementos extraídos se prueba frente a regiones seleccionadas aleatoriamente de cobertura similar utilizando dos métricas estándar de XAI:
   • Prueba de Eliminación: Los recortes extraídos se ocultan en la imagen original. Una caída significativa en la precisión de clasificación indica que las regiones eliminadas contenían información crítica.
   • Prueba de Inserción: Solo se conservan los recortes extraídos mientras el resto de la imagen se enmascara. Una alta precisión retenida indica que los recortes contienen información predictiva suficiente.

Contribuciones Clave

• Pipeline Centrado en Objetos: El artículo introduce un marco post-hoc que cierra la brecha entre los mapas de atribución a nivel de píxel difusos y la evidencia visual localizada y similar a objetos, sin requerir conceptos predefinidos ni modificar el clasificador subyacente.
• Validación Cuantitativa: El estudio proporciona una evaluación rigurosa que demuestra que los recortes guiados por atribución retienen consistentemente más información predictiva que los recortes aleatorios de tamaño similar.
• Análisis de Segmentación: El trabajo investiga el impacto de la calidad de la segmentación en la interpretabilidad, demostrando que la elección del modelo de segmentación (por ejemplo, SAM3 frente a SAM2) influye significativamente en la cobertura y la eficacia de las señales extraídas.

Resultados
Se realizaron experimentos en un conjunto de referencia que comprende imágenes de tres países: Francia, India y Japón (utilizando el conjunto de datos OSV-5M).

• Relevancia Predictiva: En todas las configuraciones probadas, los recortes guiados por atribución superaron a las líneas base aleatorias. En las pruebas de eliminación, ocultar estas regiones provocó una mayor caída en la precisión, y en las pruebas de inserción, conservaron significativamente más información predictiva.
• Comparación de Métodos:
  • Métodos de Atribución: Grad-CAM++ y otros métodos basados en gradientes proporcionaron mapas de saliencia efectivos para guiar la extracción.
  • Modelos de Segmentación: SAM3, que genera un mayor número de segmentos, logró resultados más sólidos en ambos escenarios de ablación en comparación con SAM2 y MobileSAM. Los autores señalan que SAM2 tuvo un rendimiento deficiente en las pruebas de eliminación, probablemente debido a la generación de demasiados pocos segmentos, lo que resultó en una cobertura espacial insuficiente para eliminar información significativa.
• Hallazgos Cualitativos: Los elementos extraídos incluyeron patrones visuales diversos como vehículos, muros, señales de tráfico y marcas viales. Sin embargo, los autores reconocen limitaciones, señalando que algunos elementos extraídos se superponen, corresponden solo a partes de estructuras más grandes o permanecen amorfos debido a las restricciones de segmentación.

Importancia y Afirmaciones
El artículo afirma que los mapas de atribución en los modelos de geolocalización contienen evidencia localizada que puede descomponerse significativamente en regiones visuales perceptibles. Esto sugiere que las predicciones del modelo pueden rastrearse hasta señales específicas a nivel de objeto, similares a las utilizadas por los humanos. Los autores posicionan este trabajo como un paso hacia la interpretabilidad a nivel de objeto y las explicaciones basadas en conceptos en la geolocalización de imágenes.

Los autores mantienen modestia respecto al alcance de sus hallazgos. Reconocen que los elementos extraídos son aproximados y pueden estar sobre-segmentados. Además, la evaluación se limita a un entorno de tres países sin líneas base adicionales. Se propone trabajo futuro para extender el marco a conjuntos de referencia más grandes y de granularidad fina, e incorporar evaluación humana para verificar la alineación con el razonamiento humano en tareas de geolocalización.