Resumen Técnico: Floorplan2Guide

Enunciado del Problema

La navegación en interiores sigue siendo un desafío crítico para las personas Ciegas y con Baja Visión (BLV), quienes enfrentan barreras significativas en la orientación y la adquisición de información espacial. Si bien las soluciones basadas en infraestructura (por ejemplo, balizas BLE, RFID) ofrecen precisión, requieren una instalación y mantenimiento costosos. Por el contrario, los enfoques ligeros basados en visión y aprendizaje profundo a menudo carecen de generalización hacia nuevos entornos, requieren un reentrenamiento extenso para diseños específicos y fallan al adaptarse a condiciones de iluminación dinámicas o estructuras no vistas. Además, los métodos tradicionales de análisis de planos dependen de heurísticas geométricas y preprocesamiento manual, lo cual es laborioso y propenso a errores. El desafío central abordado es la construcción automática de un grafo de conocimiento espacial robusto a partir de imágenes estáticas de planos arquitectónicos para habilitar la búsqueda de rutas fiable y la navegación consciente del contexto sin dependencias de infraestructura pesada.

Metodología

El marco propuesto Floorplan2Guide utiliza Modelos de Lenguaje Grandes (LLM) y Modelos de Lenguaje Grandes Multimodales (MLLM) para transformar imágenes estáticas de planos en grafos de conocimiento legibles por máquinas y navegables. El sistema opera mediante una pipeline estructurada y multifase:

1. Preprocesamiento y Extracción Semántica:

   • Las imágenes de planos de alta calidad se someten a Reconocimiento Óptico de Caracteres (OCR) utilizando herramientas como PaddleOCR, EasyOCR o Tesseract para extraer datos textuales (números de habitación, etiquetas).
   • Estos datos textuales se combinan con la entrada visual para enriquecer la comprensión del modelo sobre la distribución.

2. Generación del Grafo de Conocimiento Espacial:

   • Un MLLM (por ejemplo, GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2) procesa la imagen del plano y el texto extraído para generar un grafo estructurado $G = (V, E, A, M_\eta, W, S)$.
   • Nodos ($V$): Representan habitaciones distintas, intersecciones o lugares, almacenando centroides geométricos, atributos semánticos (tipo de habitación) y metadatos.
   • Aristas ($E$): Codifican la navegabilidad y la adyacencia entre nodos (por ejemplo, puertas, pasajes).
   • Pesos ($W$): Capturan información de distancia y accesibilidad, escalada a dimensiones del mundo real.
   • El sistema emplea un prompt del sistema para guiar al LLM en la extracción de mapas de nodos y validar la conectividad, utilizando rondas de refinamiento para minimizar errores de extracción.

3. Generación de Instrucciones de Navegación:

   • A diferencia del razonamiento visual directo donde el LLM interpreta la imagen cruda, este enfoque alimenta al LLM con el grafo de conocimiento estructurado.
   • El LLM utiliza las relaciones topológicas y semánticas explícitas del grafo para generar instrucciones de navegación paso a paso, legibles por humanos (por ejemplo, "camina 15 metros, gira a la izquierda").
   • El sistema prioriza la generación de direcciones optimizadas basadas en el grafo en lugar de depender exclusivamente de algoritmos tradicionales de camino más corto, buscando descripciones en lenguaje natural adecuadas para usuarios BLV.

4. Localización mediante Marcadores ArUco:

   • Para cerrar la brecha entre el grafo digital y el entorno físico, el sistema emplea marcadores fiduciales ArUco colocados en ubicaciones clave (entradas, intersecciones, habitaciones).
   • Los usuarios escanean estos marcadores mediante un dispositivo equipado con cámara. El ID único del marcador se vincula a un nodo específico en el grafo de conocimiento, permitiendo al sistema localizar la posición del usuario.
   • El sistema proporciona retroalimentación: si el usuario está en el camino correcto, repite la última instrucción; si se desvía, les alerta. Este estudio utiliza marcadores para puntos de control de localización en lugar de redirigimiento dinámico.

Contribuciones Clave

1. Marco de Análisis Novel: Introducción de una solución que utiliza modelos fundacionales para analizar planos transformando la información espacial en un grafo de conocimiento, permitiendo una extracción semántica precisa y una representación estructurada para la navegación.
2. Integración de Aprendizaje con Pocos Ejemplos (Few-Shot): Demostración de que el aprendizaje con pocos ejemplos mejora significativamente el rendimiento de navegación (medido por la Tasa de Éxito) en comparación con el aprendizaje sin ejemplos (zero-shot), mejorando la consistencia del razonamiento espacial sin requerir ajuste fino del modelo.
3. Validación en el Mundo Real: Validación exitosa del sistema en un entorno real (Edificio de Matemáticas y Psicología de UMBC, MP-1), mostrando que las instrucciones basadas en grafos que especifican conteos de pasos y distancias son efectivas para usuarios BLV.

Resultados Experimentales

El sistema se evaluó en el conjunto de datos CVC-FP (punto de referencia estandarizado) y en un entorno real en UMBC. Se probaron tres modelos: GPT-4o, Claude 3.7 Sonnet y LLaMA 3.2 Vision-Instruct 11B.

• Impacto del Aprendizaje con Pocos Ejemplos:

  • En el conjunto de datos CVC-FP, todos los modelos mostraron mejora con la indicación de pocos ejemplos. Claude 3.7 Sonnet logró las tasas de éxito más altas: 84.6% (corto), 76.9% (medio) y 61.5% (largo).
  • En evaluaciones en el mundo real (MP-1), Claude 3.7 Sonnet bajo indicación de 5 ejemplos alcanzó la mayor precisión: 92.31% (corto), 76.92% (medio) y 61.54% (largo).
  • Generalmente, el aprendizaje con pocos ejemplos mejoró las Tasas de Éxito (SR) entre un 6% y un 9% sobre el aprendizaje sin ejemplos, particularmente en rutas complejas y de múltiples turnos.

• Basado en Grafos vs. Razonamiento Visual Directo:

  • Un experimento comparativo (Experimento III) evaluó el impacto de la representación explícita de grafos frente al razonamiento visual directo (sin ejemplos, sin grafo intermedio).
  • La estructuración espacial basada en grafos mejoró el rendimiento en todos los modelos. Por ejemplo, Claude 3.7 Sonnet mejoró de 76.92% a 84.62% en rutas cortas al utilizar el grafo.
  • En general, el enfoque basado en grafos produjo una tasa de éxito un 15.4% mayor que el razonamiento visual directo, confirmando que la codificación topológica explícita reduce las alucinaciones y fortalece la consistencia espacial.

Significado y Afirmaciones

El artículo afirma que Floorplan2Guide ofrece una solución más precisa y accesible para la navegación en interiores aprovechando las capacidades de razonamiento de los LLM combinadas con datos espaciales estructurados.

• Independencia de Infraestructura: El sistema requiere únicamente una imagen de plano y un dispositivo equipado con cámara para escanear marcadores ArUco, evitando los altos costos y el mantenimiento de sistemas pesados en infraestructura como las balizas BLE.
• Fiabilidad Mejorada: Al convertir planos en grafos de conocimiento, el sistema mitiga los errores de "alucinación" comunes en el razonamiento visual directo, proporcionando una planificación de rutas más fiable.
• Diseño Centrado en el Usuario: La generación de instrucciones paso a paso con distancias específicas y conteos de pasos hace que la salida sea más accesible para usuarios BLV en comparación con direcciones abstractas.
• Escalabilidad: El enfoque demuestra potencial para generalizarse en diferentes entornos sin necesidad de reentrenamiento específico del entorno, siempre que el plano esté disponible.

Los autores reconocen limitaciones, incluida la falta de evitación dinámica de obstáculos y la necesidad de estudios de usuarios más amplios con participantes BLV para validar completamente la robustez en diversos entornos reales. Sin embargo, los resultados sugieren que el análisis de grafos guiado por LLM es una dirección viable y prometedora para la navegación asistiva en interiores.