GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

1. Planteamiento del Problema

La navegación segura e independiente es un desafío crítico para los aproximadamente 2.200 millones de personas en todo el mundo afectadas por la ceguera y la baja visión (BLV). Aunque los Modelos de Lenguaje Multimodal Grandes (MLLM) ofrecen potencial para la navegación asistiva, su desarrollo se ve obstaculizado por una escasez severa de conjuntos de datos conscientes de la accesibilidad.

• Limitaciones de los Datos Existentes: Los conjuntos de datos actuales (por ejemplo, VizWiz, VIALM) suelen ser de pequeña escala, carecen de diversidad geográfica o dependen de anotadores videntes que luchan por anticipar necesidades específicas de BLV (por ejemplo, orientación espacial, proximidad de obstáculos).
• Cuello de Botella en la Anotación: Crear datos de orientación de alta calidad tradicionalmente requiere una anotación experta intensiva en mano de obra, lo que limita la escalabilidad.
• Brecha Técnica: Los modelos existentes a menudo no cumplen con los estándares establecidos de orientación para BLV, particularmente en la provisión de percepción de profundidad precisa y descripciones espaciales estructuradas (por ejemplo, direcciones de reloj, conteo de pasos).

2. Metodología

Los autores introducen GUIDEDOG, un conjunto de datos a gran escala y una nueva tubería de construcción diseñada para superar los cuellos de botella en la anotación mientras se mantiene una alta fidelidad a las necesidades de BLV.

A. Los Estándares GUIDEDOG

Para asegurar que los datos sean accionables para los usuarios de BLV, los autores extrajeron directrices de organizaciones expertas (por ejemplo, Vision Australia, Be My Eyes) en tres estándares estructurados:

1. S1 (Entorno): Describir la ubicación actual y los elementos ambientales clave para establecer la conciencia espacial.
2. S2 (Obstáculos): Identificar peligros con ubicación específica (rostro de reloj: 10–2 en punto), tipo y proximidad (en pasos).
3. S3 (Resumen y Dirección): Proporcionar una instrucción de navegación concisa e intuitiva (por ejemplo, "proceda ligeramente hacia adelante a la izquierda") en lugar de mediciones métricas precisas.

B. Tubería Humano-IA (Centrada en la Verificación)

En lugar de generar descripciones desde cero (lo cual es propenso a errores), los autores emplean una tubería de generación a verificación:

1. Recolección de Datos: Se obtuvieron 269 "videos de caminata" de YouTube (Creative Commons) en 46 países y 183 ciudades. Se filtraron por perspectivas peatonales y se eliminó el contenido no relacionado con calles.
2. Extracción de Información de la Escena:
   • Global: Se utilizó GPT-4o para extraer descripciones de la escena y validar la idoneidad de la calle.
   • Local: Se utilizaron detectores de objetos de mundo abierto y modelos de estimación de profundidad para identificar objetos y calcular distancias relativas (convertidas en "pasos").
3. Generación de Etiquetas Plateadas: Un MLLM combinó los datos extraídos con los estándares GUIDEDOG para generar "etiquetas plateadas" iniciales.
4. Verificación de Etiquetas Doradas: Anotadores humanos (expertos videntes) verificaron y refinaron las etiquetas plateadas, filtrando imágenes inadecuadas y corrigiendo imprecisiones para producir "etiquetas doradas" de alta fidelidad.
5. Privacidad: Se aplicó EgoBlur para enmascarar automáticamente rostros y matrículas.

C. Punto de Referencia: GUIDEDOGQA

Para evaluar la percepción visual de grano fino, los autores construyeron GUIDEDOGQA, un punto de referencia de 818 muestras que presenta:

• Reconocimiento de Objetos: Preguntas de opción múltiple para verificar si están presentes objetos específicos.
• Comparación de Profundidad Relativa: Preguntas que solicitan cuál de dos objetos está más cerca/lejos, probando el razonamiento espacial esencial para la navegación.

3. Contribuciones Clave

1. Conjunto de Datos GUIDEDOG: Un conjunto de datos escalable de 22.084 pares de imagen-descripción (incluyendo 2.106 etiquetas doradas verificadas por humanos) que cubre 46 países. Es el primer conjunto de datos que combina diversidad geográfica con una adhesión estricta a los estándares de orientación BLV.
2. Tubería Escalable: Un nuevo flujo de trabajo humano-IA que desplaza la carga de anotación de la generación a la verificación, permitiendo la recolección de datos a gran escala sin sacrificar la calidad.
3. Punto de Referencia GUIDEDOGQA: Una suite de evaluación especializada para probar el reconocimiento de objetos y la percepción de profundidad en escenas egocéntricas del mundo real.
4. Evaluación Exhaustiva: Experimentos extensos que demuestran que los MLLM actuales luchan con la comprensión espacial y el cumplimiento de estándares, destacando la necesidad de entrenamiento especializado.

4. Resultados Experimentales

Los autores evaluaron varios modelos de código abierto (LLaVA, Qwen, Molmo), propietarios (GPT-4o, Gemini) y socráticos.

• Generación de Orientación:

  • Modelos Propietarios: GPT-4o demostró las capacidades zero-shot más fuertes, superando a los modelos de código abierto.
  • Ajuste Fino: El ajuste fino de modelos de código abierto (Qwen-2.5-VL) en las etiquetas plateadas resultó en mejoras dramáticas de rendimiento, superando a muchos modelos propietarios zero-shot.
  • Aprendizaje en Contexto: Los ejemplos few-shot mejoraron significativamente el rendimiento de la mayoría de los modelos, ayudándolos a adaptarse a los estándares específicos de GUIDEDOG.
  • Modelos Socráticos: Los modelos que dependen del razonamiento solo de texto (después de convertir imágenes a texto) tuvieron un rendimiento peor que los MLLM directos, confirmando que la percepción visual directa es crucial para una orientación efectiva.

• Percepción Visual (GUIDEDOGQA):

  • Reconocimiento de Objetos: Los modelos de código abierto tuvieron un rendimiento sorprendentemente bueno, a menudo superando a los modelos propietarios.
  • Percepción de Profundidad: Esto siguió siendo un desafío significativo. La mayoría de los modelos de código abierto tuvieron un rendimiento cercano al azar. Aunque el ajuste fino mejoró la percepción de profundidad, sigue siendo un cuello de botella clave.
  • Estudio de Usuarios: Los evaluadores humanos calificaron a GPT-4o como el más alto en cumplimiento de estándares. Las puntuaciones bajas para "Información de Obstáculos" (S2) en todos los modelos se correlacionaron con los pobres resultados de percepción de profundidad.

5. Significado e Impacto

• Cerrando la Brecha: GUIDEDOG aborda la falta crítica de datos estandarizados a gran escala para tecnologías asistivas de BLV, yendo más allá de conjuntos de datos pequeños y de nicho.
• Estandarización: Al codificar la orientación BLV en estándares S1-S3, el artículo proporciona un marco claro para evaluar y entrenar futuras IA asistivas.
• Aplicabilidad en el Mundo Real: La diversidad geográfica del conjunto de datos asegura que los modelos entrenados con él sean más propensos a generalizar a escenarios del mundo real a través de diferentes culturas e infraestructuras.
• Futuras Direcciones: Los resultados indican que, aunque los MLLM están mejorando, la comprensión espacial y la percepción de profundidad son los principales obstáculos. El artículo llama a una investigación enfocada en estas capacidades específicas para crear ayudas de navegación verdaderamente seguras e independientes para las personas con discapacidad visual.

Limitaciones Notadas: El conjunto de datos utiliza imágenes estáticas (aislando la calidad de la orientación de la dinámica temporal) y depende de footage de recorridos a pie realizado por videntes, lo cual puede diferir ligeramente de la perspectiva de la cámara montada en la cabeza de los usuarios reales de BLV (aunque el análisis de movimiento sugiere que la brecha es manejable). Además, las variaciones interculturales en el lenguaje espacial no están modeladas completamente.