NaviNote: Enabling In-situ Spatial Annotation Authoring to Support Exploration and Navigation for Blind and Low Vision People

Het paper introduceert NaviNote, een systeem dat blinden en slechtzienden in staat stelt om via spraak nauwkeurige locatieannotaties te maken en te navigeren, wat leidt tot verbeterde oriëntatie en begrip van de omgeving.

De kern

NaviNote: De Onzichtbare Vriend die Je Stad voor Je "Vertelt"

Stel je voor dat je door een stad loopt, maar je ziet de gebouwen, bomen en straten niet. Voor mensen met een visuele beperking is de wereld vaak een raadsel van geluiden en aanrakingen, maar de fijne details – zoals "waar is de ingang precies?" of "hoeveel treden zijn er?" – blijven vaak verborgen.

De onderzoekers van dit paper hebben NaviNote bedacht. Dit is geen gewone GPS-app, maar meer als een onzichtbare, slimme vriend die altijd naast je loopt en je omgeving in detail beschrijft.

Hier is hoe het werkt, uitgelegd in simpele taal:

1. Het Probleem: GPS is te "wazig"

Normale GPS (zoals in Google Maps) werkt goed voor grote afstanden, maar is vaak onnauwkeurig op korte afstand. Het is alsof je iemand vraagt: "Waar is de koffie?" en ze antwoorden: "In dat grote park." Maar je wilt weten: "Is het op de bank links of rechts?" Voor mensen die niet kunnen zien, is die laatste stap (de laatste paar meter) vaak het moeilijkst.

2. De Oplossing: Een "Digitale Geheugensteun"

NaviNote gebruikt twee slimme trucs:

• Visuele Positie Systemen (VPS): In plaats van alleen naar satellieten te kijken, kijkt de telefoon naar de wereld om je heen (gebouwen, bomen, straten) en vergelijkt dit met een super-detaillleerde 3D-kaart die eerder is gemaakt. Het is alsof je telefoon een foto van de wereld heeft in zijn geheugen en precies weet waar je staat, tot op een halve meter nauwkeurig.
• Stemgestuurde Annotaties: Dit is het echte hart van het systeem. Net zoals mensen op Google Maps reviews schrijven ("Hier is een goede koffie"), kunnen mensen met een visuele beperking hier geluidsnotities achterlaten.

3. Hoe werkt het in de praktijk? (De 5 Stappen)

Stel je voor dat je NaviNote draagt (de telefoon zit op een vestje voor je borst, zodat je je stok vrij kunt gebruiken). Je loopt door een park en het systeem helpt je op vijf manieren:

1. Vragen stellen: Je vraagt: "Waar ben ik?" of "Wat is dat voor standbeeld?". De app vertelt je: "Je bent bij de ingang van het park. Links staat een standbeeld van Cicero."
2. Navigeren: Je zegt: "Breng me naar het standbeeld." De app geeft je stap-voor-stap instructies: "Loop 15 meter rechtuit, dan draai je naar 10 uur."
   • De slimme truc: Er is een geluidskompas. Als je de goede kant op loopt, piept het hard. Als je afwijkt, wordt het zachter. Het is alsof je een onzichtbare lijn volgt die je naar je doel leidt.
3. Luisteren naar anderen: Als je dicht bij een plek komt waar iemand anders een notitie heeft achtergelaten, hoor je het automatisch. Bijvoorbeeld: "Pas op, hier zijn 16 treden!" of "Hier is een toegankelijk toilet."
4. Vragen stellen over notities: Je kunt vragen: "Wat zeggen anderen over dit standbeeld?" en de app leest de opnames van anderen voor.
5. Zelf notities maken: Dit is het mooist. Als jij merkt dat er een gevaarlijke stekelige struik staat, zeg je: "Zet hier een notitie: 'Pas op, struik met doornen'." Die notitie wordt opgeslagen op die exacte plek. De volgende persoon die daar komt, hoort jouw waarschuwing.

4. Waarom is dit zo speciaal?

In eerdere systemen waren mensen met een visuele beperking vaak alleen consumenten: ze luisterden naar wat anderen hadden gezegd. Met NaviNote worden ze scheppers. Ze kunnen hun eigen kennis delen.

• Veiligheid: Als iemand een gat in de stoep ziet, kan hij direct een waarschuwing achterlaten.
• Onafhankelijkheid: Mensen hoeven niet meer te wachten tot een ziende persoon hen helpt. Ze kunnen zelf de stad verkennen.
• De "Laatste Meter": Het lost het probleem op van "Ik weet dat ik er bijna ben, maar ik vind het niet". De app zegt precies: "De ingang is nu aan je rechterkant, op 2 meter."

5. Wat hebben de tests geleerd?

De onderzoekers hebben dit getest met 18 mensen met een visuele beperking.

• Resultaat: Met NaviNote lukte het 14 van de 16 deelnemers om hun bestemming te vinden. Met de oude methoden (zoals foto's maken en laten beschrijven) lukte dit maar bij 6 mensen.
• Gevolg: Mensen voelden zich minder stressvol, minder gefrustreerd en hadden meer vertrouwen. Ze konden de wereld beter "zien" door de oren van anderen.

Conclusie

NaviNote is als het digitale spoor van een pad dat mensen met een visuele beperking samen voor elkaar aanleggen. Het maakt de wereld niet alleen toegankelijker, maar ook interactiever. Het is alsof de stad zelf begint te praten en te vertellen waar de gevaren en de mooie dingen zitten, zodat iedereen vrij kan rondlopen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NaviNote: Enabling In-situ Spatial Annotation Authoring to Support Exploration and Navigation for Blind and Low Vision People", geschreven in het Nederlands.

Probleemstelling

Blind en slechtziend (BLV) mensen staan voor aanzienlijke uitdagingen bij het verkennen van onbekende omgevingen en het navigeren naar specifieke bestemmingen. Bestaande hulpmiddelen hebben twee fundamentele beperkingen:

1. Onnauwkeurige lokalisatie: GPS-systemen hebben een marge van ongeveer 10 meter, wat onvoldoende is voor de "laatste paar meter" navigatie (last-few-meters) die nodig is om een specifiek object (zoals een bankje of ingang) te vinden.
2. Passieve rol: Huidige systemen voor ruimtelijke annotaties (zoals FootNotes of commerciële GPS-apps) laten BLV-mensen voornamelijk passief informatie consumeren. Er ontbreekt een toegankelijke interface waarmee BLV-mensen zelf in-situ (op de locatie) annotaties kunnen maken om hun eigen kennis en ervaringen te delen.
3. Beperkingen van camera-AI: Camera-gebaseerde AI-tools vereisen dat de gebruiker de camera precies richt, wat moeilijk is, en bieden vaak geen contextuele informatie buiten het camera-beeld.

Methodologie

De auteurs hanteerden een iteratief ontwerpproces bestaande uit twee studies:

1. Formatieve Studie (Studie 1, n=24):

• Doel: Inzicht krijgen in de behoeften van BLV-mensen voor annotaties en navigatie.
• Procedures: Workshops met scenario-based brainstorming, het prototyperen van tactiele kaarten, en een Wizard-of-Oz (WoZ) sessie waarbij deelnemers interactie hadden met een gesimuleerd systeem.
• Resultaat: Identificatie van zes categorieën voor annotaties (Veiligheid, Toegankelijkheid, Voorzieningen, Indeling, Attracties, Ervaring) en de vaststelling dat precieze navigatie een voorwaarde is voor het maken van annotaties.

2. Evaluatiestudie (Studie 2, n=18):

• Doel: De effectiviteit van het systeem testen in een echte omgeving.
• Locatie: Een openbaar plein in Londen (Golden Square).
• Opzet: Deelnemers voerden twee taken uit:
  • Navigatietaken: Ze moesten twee specifieke locaties vinden (een standbeeld en een vuilnisbak) met behulp van NaviNote en een baseline (TapTapSee, een bestaande beeldbeschrijver).
  • Vrije verkenning: Deelnemers moesten bestaande annotaties beluisteren en zelf nieuwe annotaties maken.
• Metingen: Kwantitatieve data (succesvolle navigatie, aantal onthouden landmarks, NASA-TLX voor mentale belasting) en kwalitatieve data (interviews, observaties).

Het Systeem: NaviNote

NaviNote is een stemgebaseerd systeem dat Visual Positioning Systems (VPS) combineert met een agent-gebaseerde architectuur op basis van Large Language Models (LLM).

Technische Architectuur:

• Hardware: Een smartphone (iPhone 14 Pro) gemonteerd op een vest (voor hands-free gebruik), gekoppeld aan botgeleidinghoofdtelefoons.
• Visual Positioning System (VPS): In plaats van GPS gebruikt NaviNote Niantic's VPS-framework. Dit vergelijkt visuele kenmerken van de omgeving met een vooraf gescande 3D-kaart (Point Cloud) om de positie en oriëntatie van de gebruiker met sub-meter nauwkeurigheid (<1 meter) te bepalen.
• Agent-gebaseerde Backend: Het systeem gebruikt een "Orchestrator" (GPT-4o) die vragen doorstuur naar gespecialiseerde agents:
  • Annotation Agent: Beheert het maken, bewerken en ophalen van annotaties.
  • Scene Understanding Agent: Interpreteert de scene-graph voor ruimtelijke vragen.
  • Image Search Agent: Analyseert de live camera-feed.
  • Internet & Map Agents: Zoekt externe informatie.
• Navigatie: Gebruikt een A*-algoritme op een "Semantic Walkable Mesh" om paden te berekenen. Het biedt stap-voor-stap instructies en een audio-kompas (een pieptoon die harder klinkt bij de juiste richting).
• Interactie: Volledig stemgestuurd. Gebruikers kunnen vragen stellen ("Waar ben ik?"), navigeren ("Leid me naar het standbeeld") en annotaties maken ("Plaats hier een notitie over de trappen").

Belangrijkste Bijdragen

1. NaviNote Systeem: Het eerste systeem dat BLV-mensen in staat stelt om zelfstandig ruimtelijke annotaties te maken en te benaderen met behulp van conversatie en sub-meter nauwkeurige lokalisatie.
2. Taxonomie van Annotaties: Een uitgebreide classificatie van gewenste annotaties voor BLV-mensen, gebaseerd op twee studies. Dit omvat de oorspronkelijke vijf categorieën plus een nieuwe categorie: "Request" (vragen om informatie van anderen).
3. Evaluatie van "Last-Few-Meters" Navigatie: Een empirische studie die aantoont dat VPS-gebaseerde navigatie superieur is aan bestaande camera-baselines voor het vinden van specifieke objecten in openbare ruimtes.

Resultaten

De evaluatie met 18 deelnemers leverde de volgende resultaten op:

• Navigatieprestaties: NaviNote verbeterde de navigatiesuccesratio significant. 14 van de 16 deelnemers die de navigatietaken voltooiden, slaagden met NaviNote, vergeleken met slechts 6 van de 16 met de baseline (TapTapSee).
• Mentale Belasting en Frustratie: Deelnemers rapporteerden een significant lagere mentale belasting en frustratie bij het gebruik van NaviNote. De continue bevestiging via het audio-kompas en steminstructies bood "veel steun en comfort".
• Onafhankelijkheid: Alle deelnemers slaagden erin om zelfstandig annotaties te maken. Veel deelnemers gaven aan dat het systeem hen meer onafhankelijkheid gaf dan het vragen aan ziende voorbijgangers.
• Gebruik van Annotaties: Deelnemers maakten gebruik van alle categorieën, maar waren vooral dankbaar voor veiligheids- en toegankelijkheidsannotaties (bijv. waarschuwingen voor hangende takken die een witte stok niet detecteert).
• Reactietijd: De gemiddelde reactietijd was 10,8 seconden. Hoewel sommige deelnemers dit te lang vonden, werd de conversatie-interactie over het algemeen als intuïtief en gebruiksvriendelijk ervaren.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat de combinatie van Visual Positioning Systems en Multimodale LLM's een doorbraak kan betekenen voor de toegankelijkheid.

• Paradigmaverschuiving: Het verlegt de rol van BLV-mensen van passieve consumenten van informatie naar actieve bijdragers aan een gedeelde kennisbasis.
• Veiligheid: Het systeem lost het probleem van de "laatste paar meter" op, wat cruciaal is voor veilig reizen zonder constante hulp van anderen.
• Design Implicaties: De studie benadrukt het belang van multimodale feedback (audio + haptisch), de noodzaak van filters om informatie-overbelasting te voorkomen, en de uitdagingen rondom de validiteit en ethiek van door gebruikers gegenereerde content (bijv. het voorkomen van verkeerde of schadelijke annotaties).

Kortom, NaviNote biedt een robuust raamwerk voor toekomstige toegankelijke systemen die BLV-mensen helpen om hun omgeving niet alleen te navigeren, maar ook actief te vormgeven en te delen.