Do VLMs See What Sensors Feel? A Scalable Expert-Guided Design for Wheelchair Accessibility Assessment from Street View

Technische Samenvatting: Zien VLM's wat sensoren voelen? Een schaalbaar door experts gestuurd ontwerp voor de beoordeling van rolstoeltoegankelijkheid vanuit Street View

Probleemstelling

Het beoordelen van de rolstoeltoegankelijkheid in de gebouwde omgeving is inherent moeilijk omdat de werkelijke mobiliteit wordt beperkt door gedistribueerde, contextafhankelijke en vaak tijdelijke barrières (bijv. ongelijk wegdek, geblokkeerde paden, tijdelijke wegwerkzaamheden) die moeilijk op grote schaal te vangen zijn. Huidige beoordelingsmethoden leunen zwaar op arbeidsintensieve handmatige audits of statische GIS-inventarissen, die er niet in slagen de dynamische, belichaamde ervaring van rolstoelgebruikers te vatten. Hoewel Vision-Language Models (VLM's) veelbelovend zijn gebleken bij het interpreteren van Street View-beelden voor stedelijke perceptie, blijft het onduidelijk of deze modellen toegankelijkheidsbarrières kunnen identificeren op een manier die overeenkomt met de fysieke realiteit van het navigeren met een rolstoel, specifiek met betrekking tot gedragssignalen zoals langdurige verblijftijd (dwelling time).

Methodologie

De studie stelt een expert-gestuurd retrieval-augmented generation (RAG) framework voor om de rolstoeltoegankelijkheid te evalueren met behulp van Google Street View (GSV) beelden en dit te vergelijken met real-world sensordata.

1. Dataverzameling & Grondwaarheid (Ground Truth):

   • Sensordata: Onderzoekers verzamelden GPS-sporen van handmatige rolstoelen die zich bewogen over drukke routes op de campus van de University of Florida (UF). "Verblijftijd" (locaties waar de rolstoel gedurende een langere periode stilstond) werd gebruikt als een gedragsmatige proxy voor mobiliteitsweerstand. De dataset bevat 407 unieke GSV-locaties gekoppeld aan 1.253 verblijfspunten en 720 niet-verblijfspunten.
   • Visuele Data: Voor elke locatie werd GSV-beelden opgehaald vanuit acht panoramische hoeken.

2. VLM-pipelineontwerp:

   • Retrieval-Augmented Reasoning: Het systeem haalt relevante toegankelijkheidsrichtlijnen op uit een kennisbank die is gedestilleerd uit ADA-standaarden, ontwerprichtlijnen van de UF-campus, PROWAG en door experts afgeleide heuristieken.
   • Prompting Strategie: De pipeline maakt gebruik van een gestructureerde, multi-vraag prompting benadering (10 subvragen over oppervlaktecondities, padbreedte, obstakels, stoepranden, etc.) in plaats van enkelvoudige vraag-prompts.
   • Modelvarianten: De studie evalueerde meerdere VLM's (InternVL3 en Qwen3 families) over verschillende groottes (2B tot 78B parameters) en configuraties (Base versus RAG-augmented; Perspectief-projecties versus Volledige Panoramas).
   • Output: Modellen genereren gestructureerde toegankelijkheidsscores (10–50) met rechtvaardigingen gebaseerd op observeerbaar visueel bewijs.

3. Evaluatiemetrieken:

   • Correlatie: Pearson correlatiecoëfficiënt ($r$) tussen verblijftijd (frictie) en VLM-toegankelijkheidsscores. Een sterke negatieve correlatie duidt op overeenstemming (hoge frictie = lage score).
   • Distributionele Overeenkomst: Earth Mover's Distance (EMD) om de gelijkenis tussen de distributies van verblijftijden en VLM-scores te meten.
   • Visuele Cue Analyse: Rank-verschil analyses (AMI en AII) om te identificeren welke omgevingsobjecten correleren met modelovereenstemming of specifieke toegankelijkheidsbeoordelingen.

Belangrijkste Bijdragen

1. Gestructureerde VLM-pipeline: Een schaalbare pipeline voor het beoordelen van toegankelijkheidsbarrières vanuit Street View-beelden die visuele cues integreert met domeinspecifieke criteria.
2. Expert-gestuurde Augmentatie: Een strategie die VLM-redenering fundeert in ADA-handboeken en expert-rubrieken, wat aantoont dat het ophalen van regelgevende kennis de overeenstemming met fysieke mobiliteitspatronen verbetert.
3. Campus-schaal Benchmark: Een nieuwe dataset die GSV-beelden koppelt aan rolstoel-sensortracen, wat de evaluatie mogelijk maakt van waar VLM-gebaseerde beoordelingen overeenkomen met of afwijken van sensor-afgeleide mobiliteitspatronen.

Resultaten

• Correlatie met Mobiliteitsfrictie: VLM-beoordelingen vertonen een consistente negatieve correlatie met de verblijftijd van de rolstoel, wat wijst op een gedeeltelijke maar betekenisvolle overeenstemming met gedragsmatige proxies voor mobiliteitsfrictie.
  • Modelschaal: Grotere modellen vertoonden een sterkere overeenstemming. Het InternVL3-78B model bereikte de hoogste correlatie ($r = -0,54$), gevolgd door Qwen3-32B ($r = -0,47$). Kleinere modellen (bijv. 2B varianten) vertoonden zwakke correlaties ($r \approx -0,10$ tot $-0,13$).
• Impact van RAG: Retrieval-Augmented Generation verbeterde de prestaties aanzienlijk. Voor InternVL3-78B verbeterde RAG de correlatie van $-0,40$ (niet-RAG) naar $-0,54$ en verminderde het de Earth Mover's Distance (EMD), wat duidt op een betere distributionele overeenstemming.
• Inputformaat: Perspectief-projecties (specifiek $90^\circ$ en $270^\circ$ views) leverden een sterkere overeenstemming op met sensordata dan volledige panoramische inputs, waarschijnlijk door minder geometrische distortie en een betere afstemming met een voorwaarts gericht gebruikersperspectief.
• Prompting Strategie: Multi-vraag prompting presteerde aanzienlijk beter dan single-question prompting, waarbij de correlatie verbeterde van $-0,21$ naar $-0,54$ voor InternVL3-78B.
• Visuele Cues: Modellen associeerden infrastructuurondersteuning (zebrapaden, stoepranden, tactiele bestrating) succesvol met hogere toegankelijkheidsscores en overeenstemming. Daarentegen werden subtiele oppervlaktecondities (scheuren, losse oppervlakken) en tijdelijke obstructies (geparkeerde voertuigen) geassocieerd met lagere scores en grotere voorspellingsdivergentie.

Betekenis en Claims

Het artikel claimt dat expert-gestuurde VLM's een schaalbare screeningslaag bieden voor toegankelijkheidsbeoordeling. De bevindingen suggereren dat hoewel VLM's de on-the-ground professionele audits of data uit geleefde ervaring niet kunnen vervangen, ze effectief locaties kunnen signaleren waar menselijke controle het meest nodig is.

De studie positioneert deze pipeline als een instrument om stedenbouwkundigen en toegankelijkheidsafdelingen te ondersteunen door:

• Een kosteneffectieve methode te bieden om potentiële barrières over grote geografische gebieden te identificeren.
• Visuele inferentie af te stemmen op sensor-afgeleide indicatoren van real-world navigatieproblemen.
• Aan te tonen dat het funderen van modellen in regelgevende standaarden (ADA) en expert-heuristieken cruciaal is om de kloof tussen visuele verschijning en belichaamde toegankelijkheid te overbruggen.

De auteurs merken expliciet de beperkingen op, waaronder het pilot-karakter van de studie (enkele campus), de temporele veroudering van Street View-beelden met betrekking tot tijdelijke barrières, en het feit dat verblijftijd een proxy is en geen directe toegankelijkheidslabel. Bij consequentie wordt het framework gepresenteerd als een prioriteringstool voor menselijke beoordeling in plaats van een definitieve compliance-audit.