Do VLMs See What Sensors Feel? A Scalable Expert-Guided Design for Wheelchair Accessibility Assessment from Street View

Resumen Técnico: ¿Ven los VLM lo que los sensores sienten? Un diseño escalable guiado por expertos para la evaluación de la accesibilidad para sillas de ruedas desde Street View

Planteamiento del problema

Evaluar la accesibilidad para sillas de ruedas en el entorno construido es intrínsecamente difícil porque la movilidad en el mundo real está limitada por barreras distribuidas, dependientes del contexto y a menudo temporales (por ejemplo, pavimentos irregulares, caminos obstruidos, construcción transitoria) que son difíciles de capturar a escala. Los métodos de evaluación actuales dependen en gran medida de auditorías manuales laboriosas o inventarios GIS estáticos, los cuales no logran capturar la experiencia dinámica y corporal de los usuarios de sillas de ruedas. Si bien los Modelos de Lenguaje-Visión (VLM) han mostrado potencial en la interpretación de imágenes de Street View para la percepción urbana, sigue sin estar claro si estos modelos pueden identificar barreras de accesibilidad de una manera que se alinee con la realidad física de la navegación en silla de ruedas, específicamente con respecto a señales conductuales como el tiempo de permanencia prolongado.

Metodología

El estudio propone un marco de generación aumentada por recuperación (RAG) guiado por expertos para evaluar la accesibilidad para sillas de ruedas utilizando imágenes de Google Street View (GSV) y compararlas con datos de sensores del mundo real.

1. Recopilación de Datos y Verdad de Terreno (Ground Truth):

   • Datos de Sensores: Los investigadores recopilaron trazas de GPS de sillas de ruedas manuales que atravesaban rutas de alto tráfico en el campus de la Universidad de Florida (UF). El "tiempo de permanencia" (ubicaciones donde la silla de ruedas se detuvo por un periodo prolongado) se utilizó como un proxy conductual de la fricción de la movilidad. El conjunto de datos incluye 407 ubicaciones únicas de GSV vinculadas a 1,253 puntos de permanencia y 720 puntos sin permanencia.
   • Datos Visuales: Para cada ubicación, se recuperaron imágenes de GSV desde ocho ángulos panorámicos.

2. Diseño del Pipeline de VLM:

   • Razonamiento Aumentado por Recuperación: El sistema recupera orientación relevante sobre accesibilidad de una base de conocimientos destilada de los estándares de la ADA, las directrices de diseño del campus de la UF, PROWAG y heurísticas derivadas de expertos.
   • Estrategia de Prompting: El pipeline emplea un enfoque de prompting estructurado de múltiples preguntas (10 subpreguntas que cubren condiciones de la superficie, ancho del camino, obstáculos, rampas de acera, etc.) en lugar de prompts de una sola pregunta.
   • Variantes de Modelos: El estudio evaluó múltiples familias de VLM (InternVL3 y Qwen3) a través de diferentes tamaños (de 2B a 78B de parámetros) y configuraciones (Base vs. Aumentado con RAG; Proyecciones de Perspectiva vs. Panoramas Completos).
   • Salida: Los modelos generan puntuaciones de accesibilidad estructuradas (10–50) con justificaciones basadas en evidencia visual observable.

3. Métricas de Evaluación:

   • Correlación: Coeficiente de correlación de Pearson ($r$) entre el tiempo de permanencia (fricción) y las puntuaciones de accesibilidad de los VLM. Una fuerte correlación negativa indica alineación (alta fricción = baja puntuación).
   • Acuerdo Distribucional: Distancia del Moviente de la Tierra (EMD) para medir la similitud entre las distribuciones de los tiempos de permanencia y las puntuaciones de los VLM.
   • Análisis de Claves Visuales: Análisis de diferencia de rangos (AMI y AII) para identificar qué objetos ambientales se correlacionan con el acuerdo del modelo o con calificaciones de accesibilidad específicas.

Contribuciones Clave

1. Pipeline de VLM Estructurado: Un pipeline escalable para evaluar barreras de accesibilidad a partir de imágenes de Street View que integra claves visuales con criterios específicos del dominio.
2. Aumentación Guiada por Expertos: Una estrategia que fundamenta el razonamiento de los VLM en manuales de la ADA y rúbricas de expertos, demostrando que la recuperación de conocimiento regulatorio mejora la alineación con los patrones de movilidad física.
3. Benchmark a Escala de Campus: Un nuevo conjunto de datos que vincula las imágenes de GSV con trazas de sensores de sillas de ruedas, permitiendo la evaluación de dónde las evaluaciones basadas en VLM se alinean o divergen de los patrones de movilidad derivados de sensores.

Resultados

• Correlación con la Fricción de la Movilidad: Las calificaciones de los VLM muestran una correlación negativa constante con el tiempo de permanencia de la silla de ruedas, lo que indica una alineación parcial pero significativa con los proxies conductuales de la fricción de la movilidad.
  • Escala del Modelo: Los modelos más grandes demostraron un mayor acuerdo. El modelo InternVL3-78B logró la mayor correlación ($r = -0.54$), seguido por Qwen3-32B ($r = -0.47$). Los modelos más pequeños (por ejemplo, variantes 2B) mostraron correlaciones débiles ($r \approx -0.10$ a $-0.13$).
• Impacto de RAG: La Generación Aumentada por Recuperación mejoró significativamente el desempeño. Para InternVL3-78B, el RAG mejoró la correlación de $-0.40$ (sin RAG) a $-0.54$ y redujo la Distancia del Moviente de la Tierra (EMD), indicando un mejor alineamiento de la distribución.
• Formato de Entrada: Las proyecciones de perspectiva (específicamente las vistas de $90^\circ$ y $270^\circ$) produjeron un mayor alineamiento con los datos de los sensores que las entradas panorámicas completas, probablemente debido a una reducción de la distorsión geométrica y un mejor alineamiento con la perspectiva de un usuario que mira hacia adelante.
• Estrategia de Prompting: El prompting de múltiples preguntas superó sustancialmente al de una sola pregunta, mejorando la correlación de $-0.21$a$-0.54$ para InternVL3-78B.
• Claves Visuales: Los modelos asociaron con éxito los soportes de infraestructura (cruces peatonales, rampas de acera, pavimentos táctiles) con puntuaciones de accesibilidad más altas y mayor alineación. Por el contrario, las condiciones sutiles de la superficie (grietas, superficies sueltas) y las obstrucciones transitorias (vehículos estacionados) se asociaron con puntuaciones más bajas y una mayor divergencia en la predicción.

Significado y Reivindicaciones

El artículo afirma que los VLM guiados por expertos ofrecen una capa de cribado escalable para la evaluación de la accesibilidad. Los hallazgos sugieren que, si bien los VLM no pueden reemplazar las auditorías profesionales sobre el terreno o los datos de la experiencia vivida, pueden identificar eficazmente ubicaciones donde se requiere más revisión humana.

El estudio posiciona este pipeline como una herramienta para apoyar a los planificadores urbanos y a las oficinas de accesibilidad al:

• Proporcionar un método rentable para identificar barreras potenciales en áreas geográficas extensas.
• Alinear la inferencia visual con los indicadores de navegación en el mundo real derivados de sensores.
• Resaltar que fundamentar los modelos en estándares regulatorios (ADA) y heurísticas de expertos es crítico para cerrar la brecha entre la apariencia visual y la accesibilidad corporal.

Los autores señalan explícitamente las limitaciones, incluyendo la naturaleza piloto del estudio (un solo campus), la obsolescencia temporal de las imágenes de Street View respecto a las barreras transitorias, y el hecho de que el tiempo de permanencia es un proxy y no una etiqueta directa de accesibilidad. En consecuencia, el marco se presenta como una herramienta de priorización para la revisión humana en lugar de una auditoría de cumplimiento definitiva.