Do VLMs See What Sensors Feel? A Scalable Expert-Guided Design for Wheelchair Accessibility Assessment from Street View

Resumo Técnico: Os VLMs Veem o que os Sensores Sentem? Um Design Escalável Guiado por Especialistas para Avaliação de Acessibilidade de Cadeiras de Rodas via Street View

Declaração do Problema

Avaliar a acessibilidade para cadeiras de rodas no ambiente construído é inerentemente difícil porque a mobilidade no mundo real é restringida por barreiras distribuídas, dependentes de contexto e frequentemente temporárias (ex: calçadas irregulares, caminhos obstruídos, construções transitórias) que são difíceis de capturar em escala. Os métodos atuais de avaliação dependem fortemente de auditorias manuais de alto esforço ou inventários estáticos de SIG, que falham em capturar a experiência dinâmica e incorporada dos usuários de cadeira de rodas. Embora os Modelos de Linguagem-Visão (VLMs) tenham mostrado promessa na interpretação de imagens de Street View para percepção urbana, permanece incerto se esses modelos podem identificar barreiras de acessibilidade de uma forma que se alinhe com a realidade física da navegação em cadeira de rodas, especificamente em relação a sinais comportamentais como o tempo de permanência prolongado.

Metodologia

O estudo propõe um framework de geração aumentada por recuperação (RAG) guiado por especialistas para avaliar a acessibilidade de cadeiras de rodas usando imagens do Google Street View (GSV) e comparar com dados de sensores do mundo real.

1. Coleta de Dados e Verdade de Campo (Ground Truth):

   • Dados de Sensores: Pesquisadores coletaram traços de GPS de cadeiras de rodas manuais percorrendo rotas de alto tráfego no campus da Universidade da Flórida (UF). O "tempo de permanência" (locais onde a cadeira de rodas parou por um período prolongado) foi usado como um proxy comportamental para a fricção de mobilidade. O conjunto de dados inclui 407 localizações únicas de GSV vinculadas a 1.253 pontos de permanência e 720 pontos de não permanência.
   • Dados Visuais: Para cada localização, imagens do GSV foram recuperadas de oito ângulos panorâmicos.

2. Design do Pipeline de VLM:

   • Raciocínio Aumentado por Recuperação: O sistema recupera orientações de acessibilidade relevantes de uma base de conhecimento destilada de padrões da ADA, diretrizes de design do campus da UF, PROWAG e heurísticas derivadas de especialistas.
   • Estratégia de Prompting: O pipeline utiliza uma abordagem de prompting estruturada de múltiplas perguntas (10 subperguntas cobrindo condições de superfície, largura de caminho, obstáculos, rampas de meio-fio, etc.) em vez de prompts de pergunta única.
   • Variantes de Modelo: O estudo avaliou múltiplos VLMs (famílias InternVL3 e Qwen3) através de diferentes tamanhos (de 2B a 78B de parâmetros) e configurações (Base vs. Aumentado por RAG; Projeções de Perspectiva vs. Panoramas Completos).
   • Saída: Os modelos geram pontuações de acessibilidade estruturadas (10–50) com justificativas baseadas em evidências visuais observáveis.

3. Métricas de Avaliação:

   • Correlação: Coeficiente de correlação de Pearson ($r$) entre o tempo de permanência (fricção) e as pontuações de acessibilidade do VLM. Uma forte correlação negativa indica alinhamento (alta fricção = baixa pontuação).
   • Acordo Distribucional: Distância do Transportador de Terra (EMD) para medir a semelhança entre as distribuições dos tempos de permanência e das pontuações do VLM.
   • Análise de Pistas Visuais: Análises de diferença de ranking (AMI e AII) para identificar quais objetos ambientais correlacionam-se com o acordo do modelo ou com classificações específicas de acessibilidade.

Principais Contribuições

1. Pipeline de VLM Estruturado: Um pipeline escalável para avaliar barreiras de acessibilidade a partir de imagens de Street View que integra pistas visuais com critérios específicos do domínio.
2. Aumento Guiado por Especialistas: Uma estratégia que fundamenta o raciocínio do VLM em manuais da ADA e rubricas de especialistas, demonstrando que a recuperação de conhecimento regulatório melhora o alinhamento com padrões de mobilidade física.
3. Benchmark de Escala de Campus: Um novo conjunto de dados que vincula imagens de GSV com traços de sensores de cadeiras de rodas, permitindo a avaliação de onde as avaliações baseadas em VLM se alinham ou divergem dos padrões de mobilidade derivados de sensores.

Resultados

• Correlação com Fricção de Mobilidade: As classificações dos VLMs mostram uma correlação negativa consistente com o tempo de permanência da cadeira de rodas, indicando um alinhamento parcial, mas significativo, com proxies comportamentais de fricção de mobilidade.
  • Escala do Modelo: Modelos maiores demonstraram maior concordância. O modelo InternVL3-78B alcançou a maior correlação ($r = -0,54$), seguido pelo Qwen3-32B ($r = -0,47$). Modelos menores (ex: variantes 2B) mostraram correlações fracas ($r \approx -0,10$ a $-0,13$).
• Impacto do RAG: A Geração Aumentada por Recuperação melhorou significativamente o desempenho. Para o InternVL3-78B, o RAG melhorou a correlação de $-0,40$ (não-RAG) para $-0,54$ e reduziu a Distância do Transportador de Terra (EMD), indicando um melhor alinhamento de distribuição.
• Formato de Entrada: Projeções de perspectiva (especificamente vistas de $90^\circ$ e $270^\circ$) produziram um maior alinhamento com os dados dos sensores do que as entradas panorâmicas completas, provavelmente devido à redução da distorção geométrica e melhor alinhamento com uma perspectiva de usuário voltada para frente.
• Estratégia de Prompting: O prompting de múltiplas perguntas superou substancialmente o prompting de pergunta única, melhorando a correlação de $-0,21$ para $-0,54$ para o InternVL3-78B.
• Pistas Visuais: Os modelos associaram com sucesso suportes de infraestrutura (faixas de pedestres, rampas de meio-fio, piso tátil) com pontuações de acessibilidade mais altas e maior alinhamento. Por outro lado, condições de superfície sutis (rachaduras, superfícies soltas) e obstruções transitórias (veículos estacionados) foram associadas a pontuações mais baixas e maior divergência de previsão.

Significância e Alegações

O artigo alega que os VLMs guiados por especialistas oferecem uma camada de triagem escalável para avaliação de acessibilidade. Os achados sugerem que, embora os VLMs não possam substituir auditorias profissionais no local ou dados de experiência vivida, eles podem efetivamente sinalizar locais onde a revisão humana é mais necessária.

O estudo posiciona este pipeline como uma ferramenta para apoiar planejadores urbanos e escritórios de acessibilidade ao:

• Fornecer um método de baixo custo para identificar potenciais barreiras em grandes áreas geográficas.
• Alinhar a inferência visual com indicadores de navegação no mundo real derivados de sensores.
• Destacar que fundamentar os modelos em padrões regulatórios (ADA) e heurísticas de especialistas é crítico para preencher a lacuna entre a aparência visual e a acessibilidade incorporada.

Os autores explicitamente mencionam limitações, incluindo a natureza piloto do estudo (campus único), a obsolescência temporal das imagens do Street View em relação a barreiras transitórias, e o fato de o tempo de permanência ser um proxy e não um rótulo direto de acessibilidade. Consequentemente, o framework é apresentado como uma ferramenta de priorização para revisão humana, e não como uma auditoria de conformidade definitiva.