GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

1. Enunciato del Problema

La navigazione sicura e indipendente rappresenta una sfida critica per le circa 2,2 miliardi di persone nel mondo affette da cecità e ipovisione (BLV). Sebbene i Modelli Linguistici Multimodali di grandi dimensioni (MLLM) offrano potenzialità per la navigazione assistita, il loro sviluppo è ostacolato da una grave scarsità di dataset consapevoli dell'accessibilità.

• Limitazioni dei Dati Esistenti: I dataset attuali (ad es. VizWiz, VIALM) sono spesso su piccola scala, mancano di diversità geografica o si affidano ad annotatori vedenti che faticano a prevedere esigenze specifiche dei BLV (ad es. orientamento spaziale, prossimità degli ostacoli).
• Collo di Bottiglia nell'Annotazione: La creazione di dati di guida di alta qualità richiede tradizionalmente un'annotazione esperta ad alta intensità di manodopera, limitando la scalabilità.
• Divario Tecnico: I modelli esistenti spesso non rispettano gli standard consolidati per la guida ai BLV, in particolare nella fornitura di una percezione della profondità accurata e di descrizioni spaziali strutturate (ad es. direzioni basate sul quadrante dell'orologio, conteggio dei passi).

2. Metodologia

Gli autori introducono GUIDEDOG, un dataset su larga scala e una nuova pipeline di costruzione progettata per superare i colli di bottiglia nell'annotazione mantenendo un'alta fedeltà alle esigenze dei BLV.

A. Gli Standard GUIDEDOG

Per garantire che i dati siano azionabili per gli utenti BLV, gli autori hanno sintetizzato le linee guida di organizzazioni esperte (ad es. Vision Australia, Be My Eyes) in tre standard strutturati:

1. S1 (Ambiente Circostante): Descrivere la posizione attuale e gli elementi chiave dell'ambiente per stabilire la consapevolezza spaziale.
2. S2 (Ostacoli): Identificare i pericoli con posizione specifica (quadrante dell'orologio: 10–2), tipo e prossimità (in passi).
3. S3 (Sintesi e Direzione): Fornire un'istruzione di navigazione concisa e intuitiva (ad es. "procedi leggermente a sinistra in avanti") piuttosto che misurazioni metriche precise.

B. Pipeline Uomo-AI (Centrata sulla Verifica)

Invece di generare descrizioni da zero (il che è soggetto a errori), gli autori impiegano una pipeline dalla generazione alla verifica:

1. Raccolta Dati: Sono stati reperiti 269 "video di cammino" da YouTube (Creative Commons) in 46 paesi e 183 città. Filtrati per prospettive pedonali e rimossi i contenuti non stradali.
2. Estrazione delle Informazioni di Scena:
   • Globale: Utilizzo di GPT-4o per estrarre descrizioni della scena e validare l'idoneità della strada.
   • Locale: Utilizzo di rilevatori di oggetti open-world e modelli di stima della profondità per identificare oggetti e calcolare distanze relative (convertite in "passi").
3. Generazione di Etichette Argento: Un MLLM ha combinato i dati estratti con gli standard GUIDEDOG per generare le prime "etichette argento".
4. Verifica delle Etichette Oro: Annotatori umani (esperti vedenti) hanno verificato e raffinato le etichette argento, filtrando le immagini inadatte e correggendo imprecisioni per produrre etichette "oro" ad alta fedeltà.
5. Privacy: Applicazione di EgoBlur per mascherare automaticamente volti e targhe.

C. Benchmark: GUIDEDOGQA

Per valutare la percezione visiva fine, gli autori hanno costruito GUIDEDOGQA, un benchmark di 818 campioni caratterizzato da:

• Riconoscimento di Oggetti: Domande a scelta multipla per verificare la presenza di oggetti specifici.
• Confronto di Profondità Relativa: Domande su quale di due oggetti sia più vicino/più lontano, testando il ragionamento spaziale essenziale per la navigazione.

3. Contributi Chiave

1. Dataset GUIDEDOG: Un dataset scalabile di 22.084 coppie immagine-descrizione (inclusi 2.106 etichette oro verificate da umani) che copre 46 paesi. È il primo dataset a combinare diversità geografica con il rigoroso rispetto degli standard di guida BLV.
2. Pipeline Scalabile: Un nuovo flusso di lavoro uomo-AI che sposta il carico di annotazione dalla generazione alla verifica, consentendo la raccolta di dati su larga scala senza sacrificare la qualità.
3. Benchmark GUIDEDOGQA: Una suite di valutazione specializzata per testare il riconoscimento di oggetti e la percezione della profondità in scene egocentriche reali.
4. Valutazione Completa: Esperimenti estensivi che dimostrano come gli attuali MLLM abbiano difficoltà con la comprensione spaziale e l'aderenza agli standard, evidenziando la necessità di un addestramento specializzato.

4. Risultati Sperimentali

Gli autori hanno valutato vari modelli open-source (LLaVA, Qwen, Molmo), proprietari (GPT-4o, Gemini) e Socratici.

• Generazione di Guida:

  • Modelli Proprietari: GPT-4o ha dimostrato le capacità zero-shot più forti, superando i modelli open-source.
  • Fine-Tuning: Il fine-tuning di modelli open-source (Qwen-2.5-VL) sulle etichette argento ha portato a miglioramenti drastici delle prestazioni, superando molti modelli proprietari zero-shot.
  • Apprendimento in Contesto: Pochi esempi (few-shot) hanno aumentato significativamente le prestazioni per la maggior parte dei modelli, aiutandoli ad adattarsi agli specifici standard GUIDEDOG.
  • Modelli Socratici: I modelli che si basano sul ragionamento solo testuale (dopo la conversione delle immagini in testo) hanno performato peggio rispetto ai MLLM diretti, confermando che la percezione visiva diretta è cruciale per una guida efficace.

• Percezione Visiva (GUIDEDOGQA):

  • Riconoscimento di Oggetti: I modelli open-source hanno performato sorprendentemente bene, spesso superando i modelli proprietari.
  • Percezione della Profondità: Questo è rimasto una sfida significativa. La maggior parte dei modelli open-source ha performato vicino al caso casuale. Sebbene il fine-tuning abbia migliorato la percezione della profondità, rimane un collo di bottiglia chiave.
  • Studio con Utenti: Gli evaluator umani hanno valutato GPT-4o come il migliore per l'aderenza agli standard. I bassi punteggi per le "Informazioni sugli Ostacoli" (S2) tra i modelli hanno correlato con i risultati scarsi sulla percezione della profondità.

5. Significato e Impatto

• Colmare il Divario: GUIDEDOG affronta la carenza critica di dati su larga scala e standardizzati per le tecnologie assistive BLV, andando oltre piccoli dataset di nicchia.
• Standardizzazione: Codificando la guida BLV negli standard S1-S3, il documento fornisce un quadro chiaro per valutare e addestrare future AI assistive.
• Applicabilità nel Mondo Reale: La diversità geografica del dataset garantisce che i modelli addestrati su di esso siano più propensi a generalizzare in scenari reali attraverso diverse culture e infrastrutture.
• Direzioni Future: I risultati indicano che, sebbene gli MLLM stiano migliorando, la comprensione spaziale e la percezione della profondità sono gli ostacoli principali. Il documento invita a ricerche focalizzate su queste capacità specifiche per creare ausili di navigazione realmente sicuri e indipendenti per i non vedenti.

Limitazioni Notate: Il dataset utilizza immagini statiche (isolando la qualità della guida dalle dinamiche temporali) e si basa su riprese di tour pedonali effettuati da persone vedenti, che possono differire leggermente dalla prospettiva di una camera montata sulla testa dei reali utenti BLV (sebbene l'analisi del movimento suggerisca che il divario sia gestibile). Inoltre, le variazioni cross-culturali nel linguaggio spaziale non sono modellate completamente.