Image-based Geo-localization for Robotics: Are Black-box Vision-Language Models there yet?

Resumen Técnico: Geolocalización basada en imágenes para la robótica: ¿Están los modelos de visión y lenguaje de caja negra listos para este reto?

Planteamiento del problema
La geolocalización basada en imágenes —la tarea de identificar coordenadas geográficas únicamente a partir de datos visuales— es crítica para la relocalización global robótica, particularmente en escenarios de "robot secuestrado" donde un robot debe recuperar su pose sin conocimiento previo de su ubicación. Si bien los Modelos de Visión y Lenguaje (VLM) han mostrado potencial al incorporar conocimiento semántico y contextual para esta tarea, la mayoría de los modelos de vanguardia (SOTA) son cajas negras propietarias accesibles solo mediante API. Esto restringe el acceso a características internas, gradientes y datos de entrenamiento, impidiendo el reentrenamiento o el ajuste fino (fine-tuning). Además, las evaluaciones existentes suelen depender de conjuntos de datos públicos estrechos que pueden solaparse con los datos de entrenamiento del modelo, lo que plantea preocupaciones sobre la contaminación de datos y la generalización de estos modelos a entornos reales no vistos. El artículo aborda el potencial inexplorado y las limitaciones del uso de VLM generativos SOTA como sistemas de geolocalización de disparo cero (zero-shot) independientes bajo restricciones realistas de caja negra.

Metodología
Los autores proponen un marco de evaluación sistemática para investigar los VLM SOTA a través de tres escenarios distintos, utilizando una estrategia de prompting de "Menos a Más" (LTM, Least-to-Most) y variaciones de una sola oración.

1. Modelos evaluados: Se probaron tres VLM SOTA que representan diferentes paradigmas:

   • GPT-4v (Código cerrado, basado en API).
   • IDEFICS-80b-Instruct (Pesos abiertos).
   • LLaVA-1.5-13b (Código abierto).
   • Nota: Variantes más pequeñas (por ejemplo, IDEFICS-9b, LLaVA-7b) se probaron preliminarmente pero se descartaron debido a un rendimiento insignificante (<1% de precisión).

2. Conjuntos de datos: Para asegurar una evaluación rigurosa más allá de los benchmarks estándar, el estudio utilizó:

   • Conjuntos de datos públicos: IM2GPS y Tokyo 24/7 (capturados durante el día, el atardecer y la noche).
   • Conjuntos de datos no públicos: CSN y LZR (capturados en pueblos italianos bajo diversas condiciones climáticas, de iluminación y de puntos de vista). Estos se utilizaron para probar la generalización a distribuciones no vistas.

3. Escenarios:

   • Escenario 1 (Generalización): Evaluación del rendimiento a través de diversos conjuntos de datos utilizando un prompt LTM fijo.
   • Escenario 2 (Sensibilidad al Prompt): Evaluación de la estabilidad de los modelos frente a variaciones de prompts semánticamente equivalentes (tanto en formato de oración única como en formato LTM) manteniendo las imágenes fijas.
   • Escenario 3 (Robustez Ambiental): Evaluación de la robustidad frente a cambios ambientales (iluminación, clima, hora del día) utilizando imágenes de consulta semánticamente equivalentes con un prompt fijo.

4. Métricas:

   • Precisión (Accuracy): Medida mediante la distancia de Haversine contra la verdad de campo en umbrales estándar (1km, 25km, 200km, 750km, 2500km).
   • Consistencia: Una métrica novedosa introducida para medir la estabilidad de las salidas a través de entradas semánticamente equivalentes, teniendo en cuenta la naturaleza autorregresiva y probabilística de los VLM generativos.

Contribuciones clave

• Primer estudio sistemático de caja negra: Este trabajo proporciona la primera investigación exhaustiva de los VLM generativos SOTA como sistemas de geolocalización de disparo cero independientes en un entorno de caja negra.
• Benchmarking exhaustivo: El estudio evalúa los modelos tanto en conjuntos de datos públicos estándar como en conjuntos de datos no públicos para descubrir la inflación del rendimiento debida al solapamiento de los datos de entrenamiento.
• Análisis de sensibilidad: El artículo cuantifica sistemáticamente la sensibilidad de los modelos tanto al fraseo de los prompts como a las variaciones ambientales, factores que a menudo se pasan por alto en la investigación previa de geolocalización.
• Nueva métrica: La introducción de la "Consistencia del Modelo" para evaluar la fiabilidad de las salidas generativas más allá de la simple precisión.

Resultados

• Localización gruesa vs. fina: Todos los modelos demostraron un fuerte desempeño en niveles espaciales gruesos (escala de país o región), aprovechando la comprensión de escenas de alto nivel. Sin embargo, la localización de grano fino (nivel de calle/ciudad) se degradó significamente, particularmente en los conjuntos de datos no públicos.
• Sesgo de distribución de datos: Los modelos funcionaron significativamente mejor en los conjuntos de datos públicos (IM2GPS, Tokyo 24/7) que en los no públicos (CSN, LZR). Por ejemplo, GPT-4v logró aproximadamente un 70% de precisión a nivel de calle en Tokyo 24/7, pero casi un 0% de precisión en CSN/LZR con el mismo umbral. Esto sugiere una inflación del rendimiento debido al solapamiento de los datos de entrenamiento con los datos web públicos extraídos.
• Sensibilidad al Prompt: Los prompts estructurados LTM superaron consistentemente a los prompts de una sola oración tanto en precisión como en consistencia. Sin embargo, incluso con prompts LTM, los modelos exhibieron sensibilidad al fraseo semánticamente equivalente. Notablemente, algunos modelos (por ejemplo, LLaVA-13b) ocasionalmente replicaron las coordenadas encontradas en el prompt en lugar de generar predicciones independientes, inflando artificialmente las puntuaciones de consistencia.
• Robustez Ambiental: El rendimiento fue altamente sensible a las condiciones de iluminación. Los modelos generalmente funcionaron peor en condiciones de poca luz (crepúsculo/noche) en comparación con entornos bien iluminados, con caídas de precisión de hasta el 50% en los conjuntos de datos no públicos. El conjunto de datos Tokyo 24/7 mostró mayor estabilidad, probablemente debido a las pistas textuales persistentes (letreros, vallas publicitarias) que permanecieron legibles a través de las distintas horas del día.
• Desacoplamiento de Precisión-Consistencia: Una alta precisión no siempre se correlacionó con una alta consistencia. Por ejemplo, IDEFICS-80b-Instruct logró una mayor precisión que LLaVA-13b en muchos casos, pero exhibió una consistencia significativamente menor, lo que indica patrones de razonamiento inestables.

Significado y Reivindicaciones
El artículo concluye que, si bien los VLM de caja negra poseen fuertes sesgos de localización de nivel grueso adecuados para la comprensión semántica de alto nivel o la relocalización regional, aún no son fiables como sistemas de geolocalización de grano fino independientes para la navegación robótica robusta en el mundo abierto.

Los autores enfatizan que:

1. Desafíos de fiabilidad: La localización de grano fino se degrada significamente bajo variaciones realistas en los prompts y las condiciones ambientales, particularmente en entornos no vistos.
2. Limitaciones de las métricas: Depender únicamente de la precisión sobreestima la fiabilidad; la consistencia es una métrica crítica y a menudo ignorada para los modelos generativos.
3. Idoneidad de despliegue: Los VLM de caja negra actuales son más adecuados para proporcionar sesgos de alto nivel que para la recuperación precisa de la pose, especialmente dadas las limitaciones de inferencia en tiempo real y de computación a bordo.

El estudio sirve como un benchmark de advertencia, resaltando que antes de desplegar VLM en sistemas robóticos de seguridad crítica, se necesita más investigación para abordar las brechas de generalización, la sensibilidad al prompt y la robustez ambiental.