GuideTWSI: A Diverse Tactile Walking Surface Indicator Dataset from Synthetic and Real-World Images for Blind and Low-Vision Navigation

Dit paper introduceert GuideTWSI, een divers dataset met synthetische en reële beelden van tactiele wandeloppervlakken, die is ontwikkeld om de geografische en visuele beperkingen van bestaande datasets te overbruggen en zo de nauwkeurige detectie van zowel richtingsstroken als waarschuwingsbulten voor blinden en slechtzienden te verbeteren.

De kern

Hoe robots blinden veiliger de straat op kunnen sturen: Het verhaal van GuideTWSI

Stel je voor dat je een robot bent die een blinde persoon moet begeleiden door de drukke stad. Je hebt een camera op je hoofd, maar je ziet de wereld niet zoals een mens. Voor een blinde wandelaar zijn er op de stoep speciale tegels met kleine, ronde bultjes (in het Engels truncated domes). Deze bultjes zijn als een rood stoplicht voor de voeten: ze zeggen "Pas op! Hier eindigt de stoep en begint de weg, of hier is een gevaar."

Vroeger hadden robots een groot probleem: ze konden deze bultjes vaak niet herkennen. Waarom? Omdat de "schoolboeken" (de datasets) waar ze mee leerden, vol zaten met foto's van een ander soort tegels: lange, rechte strepen die in Azië veel gebruikt worden om een pad aan te geven. Het was alsof je een robot leerde rijden op een racecircuit, en hem dan plotseling op een bergweg met bochten zette. Hij wist niet wat hij moest doen.

Hier komt GuideTWSI om de hoek kijken. Dit is een nieuw, superkrachtig hulpmiddel van onderzoekers om robots beter te leren zien.

1. Het probleem: De robot was "geblindeerd" door de verkeerde data

De onderzoekers merkten op dat bestaande datasets twee grote gebreken hadden:

• De verkeerde "taal": Ze leerden de robot vooral de rechte strepen te zien, niet de ronde bultjes die in Amerika en Europa gebruikt worden als waarschuwing.
• De verkeerde "hoofdstand": De foto's in de oude datasets waren vaak genomen vanuit mens-ooghoogte. Maar een robot (zoals een viervoetige hond-robot) kijkt naar beneden, vanuit een heel ander perspectief. Het was alsof je iemand probeert te leren zwemmen door alleen foto's van boven het water te laten zien, terwijl de robot juist onder water moet kijken.

2. De oplossing: Een "virtuele speelplaats" voor robots

Om dit op te lossen, bouwden de onderzoekers iets heel speciaals: een virtuele wereld in een computerspel (Unreal Engine).

Stel je voor dat je een enorme, digitale stad bouwt waar je alles kunt veranderen:

• Je kunt de zon laten schijnen of het laten regenen.
• Je kunt de tegels geel, grijs of rood maken.
• Je kunt de camera van de robot laten draaien, zakken of omhoog gaan.

In deze virtuele wereld lieten ze de robot duizenden keren over deze bultjes lopen. Omdat het een computerprogramma was, wisten ze perfect waar elke bult zat. Ze maakten zo'n 15.000 foto's van deze bultjes in alle mogelijke situaties. Dit noemen ze "synthetische data". Het is als een simulatorschool voor piloten: je kunt vliegen in een storm zonder dat er iemand gewond raakt.

3. De echte wereld: De robot gaat de straat op

Naast die virtuele wereld, verzamelden ze ook echte foto's. Ze gebruikten een echte robot (een Unitree Go2, die eruitziet als een hond) en lieten die door verschillende wijken lopen: campus, voorsteden, dorpen. De robot nam foto's van de echte bultjes op de stoep.

Ze mixten alles samen in één grote verzameling, genaamd GuideTWSI:

• De virtuele foto's (voor de variatie).
• De echte foto's (voor de realiteit).
• Oude, opgeschoonde foto's (voor de basis).

4. Het resultaat: De robot stopt precies op tijd

Toen ze de robots leerden met deze nieuwe, complete verzameling, gebeurde er magie.

• Beter zien: De robots leerden de bultjes veel sneller en scherper te herkennen, zelfs als het regende of als de zon fel scheen. De prestaties verbeterden met wel 29% (dat is als een student die van een 6 naar een 9 springt).
• Veilig stoppen: In echte tests liep de robot naar een randje van de stoep. Zodra de camera de bultjes zag, stopte de robot.
  • Succespercentage: 96% van de keren stopte de robot precies op de juiste plek (ongeveer 39 cm voor de rand).
  • Geen paniek: De robot stopte nooit onterecht als er geen bultjes waren. Hij was niet bang voor elke schaduw.

Waarom is dit belangrijk?

Voor een blinde persoon is vertrouwen alles. Als een geleidehond of een robot niet stopt bij een gevaar, is dat levensgevaarlijk. Met GuideTWSI hebben de onderzoekers een "superleraar" gecreëerd die robots leert om de wereld te zien zoals een blinde wandelaar die nodig heeft: niet alleen de rechte lijnen, maar vooral de gevaarlijke randen.

Kortom: Ze bouwden een virtuele school om robots te trainen, zodat ze in de echte wereld veilig kunnen stoppen bij de gevaarlijke bultjes op de stoep. Het is een stap dichterbij een wereld waarin robots blinden niet alleen helpen lopen, maar hen ook echt beschermen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "GuideTWSI" in het Nederlands:

Titel: GuideTWSI: Een diverse dataset voor tactiele wandeloppervlakte-indicatoren (TWSI) uit synthetische en real-world afbeeldingen voor navigatie van blinden en slechtzienden

1. Het Probleem

Tactiele wandeloppervlakte-indicatoren (TWSI's) zijn veiligheidskritieke markeringen (zoals verhoogde stippen of "truncated domes" en richtingaanduidende staven) die blinden en slechtzienden (BLV) helpen bij het vinden van oversteekplaatsen en het vermijden van gevarenzones. Ondanks hun cruciale rol zijn deze elementen ernstig ondervertegenwoordigd in bestaande datasets voor stedelijke perceptie.

• Gebrek aan diversiteit: Bestaande datasets (zoals SideGuide, Tenji10K) zijn geografisch vertekend naar Oost-Azië, waar voornamelijk richtingaanduidende staven worden gebruikt. Ze missen echter de "truncated domes" (rijen ronde bultjes), die standaard zijn in Noord-Amerika en Europa voor waarschuwingszones.
• Onvoldoende perspectieven: Bestaande datasets zijn vaak verzameld vanuit het oogpunt van mensen (hoog), terwijl robots (zoals viervoeters) een ander, vaak lager of top-down perspectief nodig hebben voor nauwkeurige detectie.
• Gevolg: Modellen getraind op deze beperkte data falen bij het generaliseren naar dome-gebaseerde waarschuwingen, wat leidt tot gemiste detecties en onveilige situaties voor autonome hulprobotica.

2. Methodologie

De auteurs introduceren GuideTWSI, een grote en diverse dataset die bestaat uit drie componenten, gecombineerd met een nieuwe synthetische data-generatiepijplijn.

• Synthetische Data Generatie (SDome-15K):

  • Gebaseerd op Unreal Engine 4 (UE4) en AirSim voor geautomatiseerde ground-truth annotatie.
  • De pijplijn genereert fotorealistische afbeeldingen van verhoogde stippen in 10 verschillende omgevingen (parken, stadscentra) met variaties in belichting, weer (regen, mist), materialen en camera-perspectieven (cirkelvormig en top-down).
  • De objecten zijn gemodelleerd volgens de ADA-standaarden (Americans with Disabilities Act) en hebben diverse texturen en kleuren.
  • Resultaat: >15.000 geannoteerde afbeeldingen met RGB, dieptekaarten, semantische segmentatiemasks en bounding boxes.

• Real-world Data Collectie:

  • RDome-2K: Een nieuwe dataset verzameld met een Unitree Go2 viervoeter-robot, uitgerust met een Intel RealSense D435 camera gericht naar beneden (70° hoek). Deze dataset bevat 2.466 frames van verhoogde stippen in diverse Amerikaanse omgevingen (campus, woonwijken), specifiek gericht op het robot-perspectief.
  • RBar-22K: Een zorgvuldig samengestelde en gepreprocessed dataset van bestaande open-source bronnen (SideGuide, Tenji10K, TP, Roboflow), gefilterd op kwaliteit en consistentie (in totaal ~22.000 afbeeldingen, voornamelijk richtingstaven).

• Evaluatie en Training:

  • Verschillende state-of-the-art segmentatiemodellen werden getraind (YOLOv11-seg, Mask2Former, SAM2.1+UNet, DINOv3-gebaseerde modellen).
  • Vergelijking tussen training op alleen real-world data versus training met synthetische augmentatie (RBar + SDome).
  • Validatie op de RDome-2K testset en uiteindelijke deploy op de robot in het veld.

3. Belangrijkste Bijdragen

1. GuideTWSI Dataset: De grootste en meest diverse dataset voor TWSI's, die synthetische data, gecureerde open-source data en nieuwe robot-collectie data combineert.
2. Synthetische Pijplijn: Een schaalbare, UE4-gebaseerde pipeline die specifiek is ontworpen voor navigatie van blinden, met de mogelijkheid om diverse texturen, lichtomstandigheden en robot-relevante perspectieven te simuleren.
3. Robuuste Robot-implementatie: Het eerste werk dat betrouwbare stop-patronen bij verhoogde stippen demonstreert op een echte hulprobot, met een succespercentage van 96,15% in onbekende omgevingen.

4. Resultaten

• Segmentatieprestaties: Het toevoegen van de synthetische data (SDome-15K) aan de training leidde tot aanzienlijke verbeteringen in de segmentatie van verhoogde stippen.
  • De mIoU (mean Intersection over Union) steeg met maximaal +29,52 punten (bij het DINOv3+EoMT model: van 0,5804 naar 0,8756).
  • Modellen getraind op alleen real-world data hadden vaak een lage recall (veel gemiste stippen), terwijl synthetische augmentatie dit probleem oploste door meer complete masks te genereren.
• Robot-deployatie:
  • De robot werd getest in 5 verschillende omgevingen (urban, suburban, residentieel) met 104 proeflopen.
  • Succespercentage: 96,15% (100/104 stops waren succesvol).
  • Veiligheid: De robot stopte op een veilige afstand (gemiddeld ~39 cm van de stippen), wat voldoende ruimte biedt voor de gebruiker. Er waren geen valse positieven (de robot stopte niet onterecht).
  • De enige mislukkingen vonden plaats onder extreme lichtcondities (lensflare), waarbij de robot de stippen wel detecteerde maar iets te laat stopte.

5. Betekenis en Impact

Dit onderzoek sluit een kritieke kloof in de autonome mobiliteit voor blinden en slechtzienden.

• Veiligheid: Het stelt robots in staat om veiligheidskritieke beslissingen te nemen (zoals stoppen voor een afgrond of oversteekplaats) door betrouwbare detectie van TWSI's.
• Generalisatie: Het bewijst dat synthetische data essentieel is om de "sim-to-real" gap te overbruggen en modellen robuust te maken voor diverse geografische locaties en omstandigheden.
• Open Science: De dataset, modelgewichten en code zijn publiek beschikbaar gesteld, wat verdere research in dit domein mogelijk maakt.

Kortom, GuideTWSI biedt de benodigde data-infrastructuur om autonome hulprobotica te laten evolueren van experimentele systemen naar betrouwbare, veilige partners voor mensen met een visuele beperking.