Do VLMs See What Sensors Feel? A Scalable Expert-Guided Design for Wheelchair Accessibility Assessment from Street View

Sintesi Tecnica: I VLM vedono ciò che i sensori percepiscono? Un design scalabile guidato da esperti per la valutazione dell'accessibilità in carrozzina da Street View

Definizione del Problema

Valutare l'accessibilità per le persone in carrozzina nell'ambiente costruito è intrinsecamente difficile perché la mobilità nel mondo reale è vincolata da barriere distribuite, dipendenti dal contesto e spesso temporanee (ad esempio, pavimentazione irregolare, percorsi ostruiti, cantieri transitori) che sono difficili da catturare su larga scala. Gli attuali metodi di valutazione si affidano pesantemente ad audit manuali laboriosi o inventari GIS statici, che non riescono a catturare l'esperienza dinamica ed incarnata degli utenti in carrozzina. Sebbene i modelli Vision-Language (VLM) abbiano mostrato potenziale nell'interpretare le immagini di Street View per la percezione urbana, rimane da chiarire se questi modelli possano identificare le barriere all'accessibilità in un modo che si allinei con la realtà fisica della navigazione in carrozzina, in particolare riguardo ai segnali comportamentali come il tempo di sosta prolungato.

Metodologia

Lo studio propone un framework di generazione aumentata dalla ritirata (RAG) guidato da esperti per valutare l'accessibilità in carrozzina utilizzando le immagini di Google Street View (GSV) e confrontandole con dati sensoriali del mondo reale.

1. Raccolta Dati e Ground Truth:

   • Dati Sensoriali: I ricercatori hanno raccolto tracce GPS da carrozzine manuali che percorrevano rotte ad alto traffico nel campus dell'Università della Florida (UF). Il "tempo di sosta" (luoghi in cui la carrozzina si è fermata per un periodo prolungato) è stato utilizzato come proxy comportamentale per l'attrito della mobilità. Il dataset include 407 posizioni GSV uniche collegate a 1.253 punti di sosta e 720 punti non di sosta.
   • Dati Visivi: Per ogni posizione, sono state recuperate immagini GSV da otto angoli panoramici.

2. Design della Pipeline VLM:

   • Ragionamento Aumentato dalla Ritirata (RAG): Il sistema recupera linee guida sull'accessibilità pertinenti da una base di conoscenza distillata dagli standard ADA, dalle linee guida di progettazione del campus UF, da PROWAG e da euristiche derivate da esperti.
   • Strategia di Prompting: La pipeline impiega un approccio di prompting strutturato a più domande (10 sotto-domande che coprono condizioni della superficie, larghezza del percorso, ostacoli, rampe del marciapiede, ecc.) invece di prompt a domanda singola.
   • Varianti del Modello: Lo studio ha valutato molteplici VLM (famiglie InternVL3 e Qwen3) attraverso diverse dimensioni (da 2B a 78B parametri) e configurazioni (Base vs. RAG-augmented; Proiezioni di Prospettiva vs. Panorami Completi).
   • Output: I modelli generano punteggi di accessibilità strutturati (10–50) con giustificazioni basate su evidenze visive osservabili.

3. Metriche di Valutazione:

   • Correlazione: Coefficiente di correlazione di Pearson ($r$) tra il tempo di sosta (attrito) e i punteggi di accessibilità dei VLM. Una forte correlazione negativa indica allineamento (alto attrito = punteggio basso).
   • Accordo Distribuzionale: Earth Mover's Distance (EMD) per misurare la somiglianza tra le distribuzioni dei tempi di sosta e i punteggi VLM.
   • Analisi dei Segnali Visivi: Analisi della differenza di rango (AMI e AII) per identificare quali oggetti ambientali correlano con l'accordo del modello o con specifici rating di accessibilità.

Contributi Chiave

1. Pipeline VLM Strutturata: Una pipeline scalabile per valutare le barriere all'accessibilità da immagini di Street View che integra segnali visivi con criteri specifici del dominio.
2. Aumento Guidato da Esperti: Una strategia che ancora il ragionamento dei VLM ai manuali ADA e alle rubriche degli esperti, dimostrando che il recupero della conoscenza normativa migliora l'allineamento con i modelli di mobilità fisica.
3. Benchmark su Scala Campus: Un nuovo dataset che collega le immagini GSV con le tracce sensoriali delle carrozzine, consentendo la valutazione di dove le valutazioni basate su VLM si allineano o divergono dai modelli di mobilità derivati dai sensori.

Risultati

• Correlazione con l'Attrito della Mobilità: I rating dei VLM mostrano una correlazione negativa costante con il tempo di sosta della carrozzina, indicando un allineamento parziale ma significativo con i proxy comportamentali dell'attrito della mobilità.
  • Scala del Modello: I modelli più grandi hanno dimostrato un maggiore accordo. Il modello InternVL3-78B ha raggiunto la correlazione più alta ($r = -0,54$), seguito da Qwen3-32B ($r = -0,47$). I modelli più piccoli (ad esempio, varianti 2B) hanno mostrato correlazioni deboli ($r \approx -0,10$ a $-0,13$).
• Impatto del RAG: La Generazione Aumentata dalla Ritirata ha migliorato significativamente le prestazioni. Per InternVL3-78B, il RAG ha migliorato la correlazione da $-0,40$ (non-RAG) a $-0,54$ e ha ridotto l'Earth Mover's Distance (EMD), indicando un migliore allineamento distribuzionale.
• Formato di Input: Le proiezioni prospettiche (specificamente le viste a $90^\circ$ e $270^\circ$) hanno prodotto un maggiore allineamento con i dati sensoriali rispetto agli input panoramici completi, probabilmente a causa della ridotta distorsione geometrica e di un migliore allineamento con la prospettiva di un utente rivolto in avanti.
• Strategia di Prompting: Il prompting a più domande ha superato sostanzialmente il prompting a domanda singola, migliorando la correlazione da $-0,21$a$-0,54$ per InternVL3-78B.
• Segnali Visivi: I modelli hanno associato con successo i supporti infrastrutturali (attraversamenti pedonali, rampe del marciapiede, pavimentazione tattile) con punteggi di accessibilità più elevati e maggiore allineamento. Al contrario, le condizioni superficiali sottili (crepe, superfici instabili) e le ostruzioni transitorie (veicoli parcheggiati) sono state associate a punteggi più bassi e a una maggiore divergenza di predizione.

Significato e Rivendicazioni

L'articolo sostiene che i VLM guidati da esperti offrono uno strato di screening scalabile per la valutazione dell'accessibilità. I risultati suggeriscono che, sebbene i VLM non possano sostituire gli audit professionali sul campo o i dati dell'esperienza vissuta, possono identificare efficacementamente le località in cui è necessaria una revisione umana.

Lo studio posiziona questa pipeline come uno strumento per supportare i pianificatori urbani e gli uffici per l'accessibilità fornendo:

• Un metodo efficace in termini di costi per identificare potenziali barriere su vaste aree geografiche.
• L'allineamento dell'inferenza visiva con gli indicatori della navigazione nel mondo reale derivati dai sensori.
• La dimostrazione che ancorare i modelli agli standard normativi (ADA) e alle euristiche degli esperti è fondamentale per colmare il divario tra l'aspetto visivo e l'accessibilità incarnata.

Gli autori sottolineano esplicitamente i limiti, tra cui la natura pilota dello studio (singolo campus), la "vecchiaia temporale" delle immagini di Street View rispetto alle barriere transitorie e il fatto che il tempo di sosta sia un proxy piuttosto che un'etichetta diretta di accessibilità. Di conseguenza, il framework è presentato come uno strumento di prioritizzazione per la revisione umana piuttosto che come un audit definitivo di conformità.