Accessibility Scout: Personalized Accessibility Scans of Built Environments

Resumen Técnico: Accessibility Scout

Declaración del Problema
Evaluar la accesibilidad de entornos construidos desconocidos es crítico para personas con discapacidades, particularmente para aquellas con movilidad limitada. Sin embargo, los métodos actuales sufren de una brecha significativa de escalabilidad y personalización. Las evaluaciones manuales realizadas por usuarios o profesionales de la salud son laboriosas y no escalables. Por el contrario, los enfoques de aprendizaje automático automatizados existentes (por ejemplo, RASSAR, Project Sidewalk) dependen de listas de verificación estandarizadas y características de accesibilidad predefinidas (a menudo basadas en los códigos de la ADA). Estos sistemas basados en listas de verificación no logran tener en cuenta las capacidades únicas de un individuo, sus preferencias y cómo estas necesidades evolucionan con el tiempo. Este desajuste puede conducir a percepciones erróneas de la accesibilidad, causando frustración o situaciones peligrosas para los usuarios, o imponiendo restricciones innecesarias que limitan las oportunidades espaciales.

Metodología
Los autores proponen Accessibility Scout, un sistema que aprovecha los Modelos de Lenguaje de Gran Escala (LLMs) y la visión computacional para realizar escaneos de accesibilidad personalizados y semiautomáticos de entornos construidos a partir de imágenes. El sistema opera a través de un pipeline diseñado para imitar los procesos de evaluación humana:

1. Modelado de Usuario: El sistema construye un modelo de usuario estructurado (en formato JSON) que captura las capacidades motoras, las preferencias sensoriales y los intereses ambientales del usuario. Este modelo se actualiza iterativamente mediante tres métodos de elicitación:

   • Autodescripción: Los usuarios proporcionan descripciones de texto no estructuradas de sus capacidades, las cuales el LLM descompone en atributos de movimiento específicos.
   • Anotaciones Ambientales: Los usuarios anotan preocupaciones en las imágenes, las cuales el LLM utiliza para inferir las preferencias del usuario.
   • Retroalimentación sobre Anotaciones de la IA: Los usuarios validan o corrigen las preocupaciones generadas por la IA, permitiendo que el LLM refine el modelo de usuario.

2. Evaluación Basada en Tareas: En lugar de una lista de verificación genérica, el sistema desglosa la evaluación de accesibilidad en un problema de "afordancia de tareas" (task affordance).

   • Identificación de Tareas: Dado una imagen de un entorno y la intención de un usuario (por ejemplo, "ir a una cita"), el LLM predice tareas potenciales (por ejemplo, cenar, ir al baño) y las descompone en subtareas y movimientos primitivos (por ejemplo, alcanzar, agarrar).
   • Identificación de Preocupaciones: Utilizando prompting de Conjunto de Marcas (Set-of-Mark) combinado con máscaras de segmentación semántica (de Semantic-SAM), el LLM identifica las características ambientales que prohíben tareas específicas para el modelo de usuario particular.
   • Concatenación de Preocupaciones: Para manejar la redundancia de las solicitudes paralelas al LLM, el sistema agrupa las preocupaciones utilizando similitud semántica de texto (Sentence-BERT) para fusionar hallazgos superpuestos.

3. Colaboración Humano-IA: El sistema cuenta con una interfaz web (Gradio) donde los usuarios visualizan las preocupaciones detectadas, proporcionan retroalimentación y actualizan sus modelos de usuario. Este bucle colaborativo está diseñado para mejorar la precisión y relevancia del sistema a lo largo del tiempo.

Contribuciones Clave
El artículo presenta tres contribuciones principales:

1. Auditoría de Accesibilidad Basada en LLM: El primer enfoque que utiliza LLMs para evaluaciones de accesibilidad personalizadas y semiautomáticas, demostrando que la personalización escalable es factible utilizando inferencia de bajo costo y datos en línea.
2. Modelado de Usuario Dinámico: Un método novedoso para actualizar continuamente el perfil de accesibilidad de un usuario mediante anotaciones colaborativas humano-IA, yendo más allá de las listas de verificación estáticas hacia modelos adaptativos.
3. Evaluación Empírica: Una evaluación exhaustiva que incluye un estudio formativo (6 participantes), una evaluación técnica de 500 imágenes a través de 11 modelos de usuario y un estudio de usuario (10 participantes) que compara salidas personalizadas frente a genéricas.

Resultados

• Evaluación Técnica: El sistema generó 5,500 escaneos de accesibilidad (39,394 preocupaciones) a través de 500 imágenes. Las tasas de alucinación se midieron en 6.63% (preocupaciones que identifican objetos no presentes en la imagen). El sistema generó con éxito preocupaciones que se extendieron más allá de las categorías tradicionales de la ADA, identificando problemas relacionados con la sensibilidad al ruido y arreglos de mobiliario específicos.
• Diferenciación de la Personalización: El análisis utilizando la Distancia de Wasserstein mostró que el sistema generó distribuciones de preocupaciones significativamente diferentes para usuarios con distintos perfiles de movilidad (por ejemplo, usuarios de silla de ruedas frente a personas con problemas de fatiga).
• Estudio de Usuario: En una prueba ciega comparando escaneos personalizados contra un modelo genérico:
  • Utilidad: Las preocupaciones únicas personalizadas fueron calificadas significativamente más útiles (media de 4.68/7) que las preocupaciones únicas genéricas (media de 3.35/7).
  • Descripciones: Aunque se prefirieron las descripciones personalizadas, la diferencia en la calificación entre la redacción genérica y la personalizada para preocupaciones similares no fue estadísticamente significativa, lo que sugiere que la identificación de la preocupación es más crítica que la fraseología específica.
  • Confianza y Control: Los participantes valoraron la capacidad de "doble comprobación" y de corregir a la IA, señalando que el entrenamiento colaborativo aumentó su confianza y sentido de control sobre el sistema.

Significancia y Reivindicaciones
El artículo afirma que Accessibility Scout abre un nuevo camino hacia la evaluación de la accesibilidad personalizada al transformar la forma en que las personas con movilidad limitada interactúan con el mundo físico. Al aprovechar la gran cantidad de imágenes en línea (por ejemplo, de Airbnb, Yelp, Google Maps), el sistema permite a los usuarios tomar decisiones de viaje informadas, reservaciones de habitaciones y planificación de eventos a una escala previamente inalcanzable.

Los autores enfatizan que la significancia del sistema radica en su capacidad para capturar la "accesibilidad percibida" de un entorno —cómo un individuo específico experimenta un espacio— en lugar de solo su cumplimiento con códigos estáticos. El trabajo destaca que la personalización no solo mejora la utilidad de los datos, sino que también valida las experiencias de los usuarios, haciendo que los individuos se sientan "escuchados". El artículo concluye que, si bien el sistema sirve como una herramienta de alerta de propósito general en lugar de un sistema de auditoría integral (debido a las limitaciones de los datos de solo imagen), demuestra el potencial de la IA para construir espacios y tecnologías más inclusivos a través del diseño centrado en el ser humano y escalable.