Accessibility Scout: Personalized Accessibility Scans of Built Environments

Resumo Técnico: Accessibility Scout

Declaração do Problema
Avaliar a acessibilidade de ambientes construídos desconhecidos é crítico para indivíduos com deficiências, particularmente aqueles com mobilidade limitada. No entanto, os métodos atuais sofrem de uma lacuna significativa de escalabilidade e personalização. Avaliações manuais por usuários ou profissionais de saúde são laboriosas e não escaláveis. Por outro lado, as abordagens de aprendizado de máquina automatizadas existentes (ex: RASSAR, Project Sidewalk) dependem de checklists padronizados e recursos de acessibilidade pré-definidos (frequentemente baseados em códigos ADA). Esses sistemas baseados em checklists falham em considerar as habilidades únicas de um indivíduo, suas preferências e como essas necessidades evoluem ao longo do tempo. Esse descompasso pode levar a percepções enganosas de acessibilidade, causando frustração ou situações perigosas para os usuários, ou impondo restrições desnecessárias que limitam oportunidades espaciais.

Metodologia
Os autores propõem o Accessibility Scout, um sistema que utiliza Grandes Modelos de Linguagem (LLMs) e visão computacional para realizar varreduras de acessibilidade personalizadas e semiautomáticas de ambientes construídos a partir de imagens. O sistema opera através de um pipeline projetado para mimetizar processos de avaliação humana:

1. Modelagem do Usuário: O sistema constrói um modelo de usuário estruturado (em formato JSON) que captura as capacidades motoras, preferências sensoriais e interesses ambientais de um usuário. Este modelo é atualizado iterativamente através de três métodos de elicitação:

   • Autodescrição: Os usuários fornecem descrições de texto não estruturadas de suas capacidades, que o LLM decompõe em atributos de movimento específicos.
   • Anotações Ambientais: Os usuários anotam preocupações em imagens, que o LLM utiliza para inferir as preferências do usuário.
   • Feedback sobre Anotações da IA: Os usuários validam ou corrigem as preocupações geradas pela IA, permitindo que o LLM refine o modelo do usuário.

2. Avaliação Baseada em Tarefas: Em vez de um checklist genérico, o sistema decompõe a avaliação de acessibilidade em um problema de "afordância de tarefa" (task affordance).

   • Identificação de Tarefas: Dado uma imagem de ambiente e a intenção de um usuário (ex: "ir a um encontro"), o LLM prevê tarefas potenciais (ex: jantar, usar o banheiro) e as decompõe em subtarefas e movimentos primitivos (ex: alcançar, agarrar).
   • Identificação de Preocupações: Usando Set-of-Mark prompting combinado com máscaras de segmentação semântica (provenientes do Semantic-SAM), o LLM identifica características ambientais que proíbem tarefas específicas para o modelo de usuário específico.
   • Concatenação de Preocupações: Para lidar com a redundância de solicitações paralelas de LLM, o sistema agrupa preocupações usando similaridade de texto semântico (Sentence-BERT) para mesclar achados sobrepostos.

3. Colaboração Humano-IA: O sistema apresenta uma interface web (Gradio) onde os usuários visualizam as preocupações detectadas, fornecem feedback e atualizam seus modelos de usuário. Este ciclo colaborativo é projetado para melhorar a precisão e a relevância do sistema ao longo do tempo.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Auditoria de Acessibilidade Baseada em LLM: A primeira abordagem para utilizar LLMs para avaliações de acessibilidade personalizadas e semiautomáticas, demonstrando que a personalização escalável é viável usando inferência de baixo custo e dados online.
2. Modelagem Dinâmica do Usuário: Um método inovador para atualizar continuamente o perfil de acessibilidade de um usuário através de anotações colaborativas humano-IA, indo além de checklists estáticos para modelos adaptativos.
3. Avaliação Empírica: Uma avaliação abrangente incluindo um estudo formativo (6 participantes), uma avaliação técnica de 500 imagens através de 11 modelos de usuário e um estudo de usuário (10 participantes) comparando saídas personalizadas versus genéricas.

Resultos

• Avaliação Técnica: O sistema gerou 5.500 varreduras de acessibilidade (39.394 preocupações) em 500 imagens. As taxas de alucinação foram medidas em 6,63% (preocupações identificando objetos não presentes na imagem). O sistema gerou com sucesso preocupações que foram além das categorias tradicionais da ADA, identificando problemas relacionados à sensibilidade ao ruído e arranjos específicos de mobiliário.
• Diferenciação de Personalização: A análise utilizando a Distância de Wasserstein mostrou que o sistema gerou distribuições de preocupações significativamente diferentes para usuários com diferentes perfis de mobilidade (ex: usuários de cadeira de rodas vs. pessoas com problemas de fadiga).
• Estudo de Usuário: Em um teste cego comparando varreduras personalizadas contra um modelo genérico:
  • Utilidade: Preocupações únicas personalizadas foram classificadas significativamente mais úteis (média 4,68/7) do que preocupações únicas genéricas (média 3,35/7).
  • Descrições: Embora as descrições personalizadas tenham sido preferidas, a diferença na classificação entre a redação genérica e a personalizada para preocupações semelhantes não foi estatisticamente significativa, sugerindo que a identificação da preocupação é mais crítica do que a frase específica.
  • Confiança e Controle: Os participantes valorizaram a capacidade de "dupla checagem" e correção da IA, observando que o treinamento colaborativo aumentou sua confiança e senso de controle sobre o sistema.

Significância e Alegações
O artigo afirma que o Accessibility Scout pavimenta um novo caminho para a avaliação de acessibilidade personalizada ao transformar a maneira como pessoas com mobilidade limitada interagem com o mundo físico. Ao aproveitar o vasto número de imagens online (ex: Airbnb, Yelp, Google Maps), o sistema permite que os usuários tomem decisões de viagem informadas, reservas de quartos e planejamento de eventos em uma escala anteriormente inalcançável.

Os autores enfatizam que a significância do sistema reside em sua capacidade de capturar a "acessibilidade percebida" de um ambiente — como um indivíduo específico experiencia um espaço — em vez de apenas sua conformidade com códigos estáticos. O trabalho destaca que a personalização não apenas melhora a utilidade dos dados, mas também valida as experiências dos usuários, fazendo com que os indivíduos se sintam "ouvidos". O artigo conclui que, embora o sistema sirva como uma ferramenta de alerta de propósito geral e não como um sistema de auditoria abrangente (devido às limitações de dados apenas de imagem), ele demonstra o potencial da IA para construir espaços e tecnologias mais inclusivos através de um design centrado no ser humano e escalável.