GuideDog: A Real-World Egocentric Multimodal Dataset for Blind and Low-Vision Accessibility-Aware Guidance

1. Probleemstelling

Veilige en onafhankelijke navigatie is een kritieke uitdaging voor de geschatte 2,2 miljard mensen wereldwijd die te maken hebben met blindheid en slechtziendheid (BLV). Hoewel Multimodale Grootte Taalmodellen (MLLM's) potentie bieden voor assistieve navigatie, wordt hun ontwikkeling gehinderd door een ernstig tekort aan toegankelijkheidsbewuste datasets.

• Beperkingen van bestaande data: Huidige datasets (bijv. VizWiz, VIALM) zijn vaak kleinschalig, missen geografische diversiteit, of vertrouwen op ziende annotatoren die moeite hebben om specifieke BLV-behoeften te anticiperen (bijv. ruimtelijke oriëntatie, afstand tot obstakels).
• Annotatieknelpunt: Het creëren van hoogwaardige navigatiedata vereist traditioneel arbeidsintensieve expertannotatie, wat de schaalbaarheid beperkt.
• Technische kloof: Bestaande modellen voldoen vaak niet aan gevestigde BLV-navigatiestandaarden, met name wat betreft het bieden van nauwkeurige dieptewaarneming en gestructureerde ruimtelijke beschrijvingen (bijv. richtingen als een klok, aantal stappen).

2. Methodologie

De auteurs introduceren GUIDEDOG, een grootschalige dataset en een nieuw constructieproces dat is ontworpen om annotatieknelpunten te overwinnen terwijl de hoge trouw aan BLV-behoeften behouden blijft.

A. De GUIDEDOG-standaarden

Om ervoor te zorgen dat de data bruikbaar is voor BLV-gebruikers, distilleerden de auteurs richtlijnen van expertorganisaties (bijv. Vision Australia, Be My Eyes) tot drie gestructureerde standaarden:

1. S1 (Omgeving): Beschrijf de huidige locatie en belangrijke omgevingselementen om ruimtelijk bewustzijn te vestigen.
2. S2 (Obstakels): Identificeer gevaren met een specifieke locatie (klok: 10–2 uur), type en afstand (in stappen).
3. S3 (Samenvatting & Richting): Geef een beknopte, intuïtieve navigatie-instructie (bijv. "ga iets naar links vooruit") in plaats van precieze metrische metingen.

B. Mens-AI-proces (Verificatiegericht)

In plaats van beschrijvingen van scratch te genereren (wat foutgevoelig is), hanteren de auteurs een generatie-naar-verificatie-proces:

1. Datacollectie: 269 "loopvideo's" afkomstig van YouTube (Creative Commons) uit 46 landen en 183 steden. Geselecteerd op perspectief van voetgangers en verwijdering van niet-straatinhoud.
2. Extractie van scenesinformatie:
   • Globaal: Gebruik van GPT-4o om scenesbeschrijvingen te extraheren en de geschiktheid van de straat te valideren.
   • Lokaal: Gebruik van open-wereld objectdetectoren en diepteschattingsmodellen om objecten te identificeren en relatieve afstanden te berekenen (omgezet in "stappen").
3. Generatie van zilveren labels: Een MLLM combineerde de geëxtraheerde data met de GUIDEDOG-standaarden om initiële "zilveren labels" te genereren.
4. Verificatie van gouden labels: Menselijke annotatoren (ziende experts) verifieerden en verfijnden de zilveren labels, filterden ongeschikte afbeeldingen eruit en corrigeerden onnauwkeurigheden om hoogwaardige "gouden labels" te produceren.
5. Privacy: Toepassing van EgoBlur om gezichten en kentekens automatisch te maskeren.

C. Benchmark: GUIDEDOGQA

Om fijne visuele waarneming te evalueren, construeerden de auteurs GUIDEDOGQA, een benchmark van 818 samples met:

• Objectherkenning: Meerkeuzevragen om te verifiëren of specifieke objecten aanwezig zijn.
• Relatieve dieptevergelijking: Vragen die vragen welke van twee objecten dichter/bijzonder is, wat ruimtelijk redeneren test dat essentieel is voor navigatie.

3. Belangrijkste Bijdragen

1. GUIDEDOG-dataset: Een schaalbare dataset van 22.084 afbeelding-beschrijvingsparen (inclusief 2.106 door mensen geverifieerde gouden labels) die 46 landen bestrijkt. Het is de eerste dataset die geografische diversiteit combineert met strikte naleving van BLV-navigatiestandaarden.
2. Schaalbaar proces: Een nieuw mens-AI-werkstroom die de last van annotatie verschuift van generatie naar verificatie, waardoor grootschalige datacollectie mogelijk wordt zonder in te leveren op kwaliteit.
3. GUIDEDOGQA-benchmark: Een gespecialiseerde evaluatiesuite voor het testen van objectherkenning en dieptewaarneming in real-world egocentrische scenes.
4. Uitgebreide evaluatie: Uitgebreide experimenten die aantonen dat huidige MLL's worstelen met ruimtelijk begrip en naleving van standaarden, wat de noodzaak van gespecialiseerde training benadrukt.

4. Experimentele Resultaten

De auteurs evalueerden verschillende open-source (LLaVA, Qwen, Molmo), propriëtaire (GPT-4o, Gemini) en Socratische modellen.

• Generatie van navigatie-instructies:

  • Propriëtaire Modellen: GPT-4o toonde de sterkste zero-shot capaciteiten en presteerde beter dan open-source modellen.
  • Fine-tuning: Fine-tuning van open-source modellen (Qwen-2.5-VL) op de zilveren labels resulteerde in dramatische prestatieverbeteringen, waardoor ze veel zero-shot propriëtaire modellen overtroffen.
  • In-Context Learning: Few-shot voorbeelden verbeterden de prestaties aanzienlijk voor de meeste modellen, waardoor ze zich beter aanpasten aan de specifieke GUIDEDOG-standaarden.
  • Socratische Modellen: Modellen die vertrouwen op alleen tekstredenering (na het converteren van afbeeldingen naar tekst) presteerden slechter dan directe MLL's, wat bevestigt dat directe visuele waarneming cruciaal is voor effectieve navigatie-instructies.

• Visuele Waarneming (GUIDEDOGQA):

  • Objectherkenning: Open-source modellen presteerden verrassend goed, vaak beter dan propriëtaire modellen.
  • Dieptewaarneming: Dit bleef een aanzienlijke uitdaging. De meeste open-source modellen presteerden dicht bij willekeur. Hoewel fine-tuning de dieptewaarneming verbeterde, blijft het een belangrijk knelpunt.
  • Gebruikersstudie: Menselijke beoordelaars beoordeelden GPT-4o als het hoogst wat betreft naleving van standaarden. De lage scores voor "Obstakelinformatie" (S2) over modellen heen correleerden met de slechte resultaten voor dieptewaarneming.

5. Betekenis en Impact

• De kloof overbruggen: GUIDEDOG adresseert het kritieke gebrek aan grootschalige, gestandaardiseerde data voor BLV-assistieve technologieën, en gaat voorbij aan kleine, niche-datasets.
• Standaardisatie: Door BLV-navigatie te coderen in S1-S3-standaarden, biedt het paper een duidelijk kader voor het evalueren en trainen van toekomstige assistieve AI.
• Toepasbaarheid in de realiteit: De geografische diversiteit van de dataset zorgt ervoor dat modellen die hierop zijn getraind, waarschijnlijker generaliseren naar real-world scenario's in verschillende culturen en infrastructuren.
• Toekomstige richtingen: De resultaten geven aan dat hoewel MLL's verbeteren, ruimtelijk begrip en dieptewaarneming de primaire hindernissen zijn. Het paper roept op tot onderzoek dat zich richt op deze specifieke capaciteiten om echt veilige en onafhankelijke navigatiehulpmiddelen voor visueel gehandicapten te creëren.

Opgemerkte Beperkingen: De dataset maakt gebruik van statische afbeeldingen (waardoor de kwaliteit van navigatie-instructies wordt geïsoleerd van temporele dynamiek) en vertrouwt op footage van ziende wandeltochten, wat enigszins kan verschillen van het perspectief van een hoofdbedrade camera van daadwerkelijke BLV-gebruikers (hoewel bewegingsanalyse suggereert dat de kloof beheersbaar is). Bovendien worden cross-culturele variaties in ruimtelijke taal niet volledig gemodelleerd.