WalkGPT: Grounded Vision-Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation

WalkGPT is een pixel-gebaseerd vision-language model dat met behulp van dieptebewuste segmentatie en een nieuw benchmark (PAVE) betrouwbare, toegankelijke navigatiegidsen voor voetgangers genereert door semantische en ruimtelijke aspecten van stedelijke omgevingen te combineren.

De kern

Stel je voor dat je een blinde vriend hebt die voor het eerst in een drukke stad loopt. Hij vraagt je: "Wat zie je voor me, en is het veilig om daar te lopen?"

Als je een gewone AI (zoals de huidige grote beeld-taalmodellen) zou vragen, zou hij misschien zeggen: "Ik zie een boom en een auto." Maar hij zou niet weten hoe ver die boom staat, of hij misschien een struikelblok is, of dat de auto op de stoep staat en gevaarlijk dichtbij is. Die AI "hallucineert" soms dingen die er niet zijn, of mist de diepte van de wereld.

WalkGPT is als een super-slimme, waakzame gids die niet alleen kijkt, maar ook voelt en meet. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Blindeman" in de Stad

Bestaande slimme computers kunnen foto's beschrijven, maar ze zijn vaak slecht in het begrijpen van de ruimte. Ze weten niet of een object dichtbij of ver weg is. Voor iemand die slecht ter been is of een rolstoel gebruikt, is dat gevaarlijk. Als een AI zegt "er is een pad", maar vergeet te zeggen dat er een stoeprand van 20 cm hoog in de weg ligt, is die hulp waardeloos.

2. De Oplossing: WalkGPT (De Slimme Gids)

WalkGPT is een nieuw soort computerhulp die drie dingen tegelijk doet, alsof het één brein heeft met drie ogen:

1. Praten: Het praat met je in een gesprek.
2. Kijken (Met een laser): Het tekent precies op de foto waar de veilige paden zijn en waar de gevaarlijke obstakels (zoals auto's, trappen of struiken).
3. Meten: Het schat de afstand in. "Die boom staat 2 meter voor je, die auto staat 10 meter weg."

3. Hoe werkt het? (De Magische Gereedschappen)

De onderzoekers hebben twee nieuwe "gereedschappen" in het brein van WalkGPT gebouwd:

• De "Meerdere-Lens Camera" (MSQP):
  Stel je voor dat je door een vergrootglas kijkt. Soms zie je details (een steen op de grond), soms zie je het grote plaatje (de hele straat). WalkGPT gebruikt een systeem dat tegelijkertijd door een vergrootglas (voor details) en een groothoeklens (voor het overzicht) kijkt. Het pakt alle informatie uit deze verschillende "zooms" en smelt ze samen tot één duidelijk beeld. Zo mist hij geen klein obstakel, maar ziet hij ook de hele route.

• De "Taal-Vertaler" (CTP):
  Computers praten in cijfers (pixels) en mensen in woorden. WalkGPT heeft een vertaler die zorgt dat als het woord "boom" wordt gezegd, het computerbrein precies weet welke boom op de foto bedoeld wordt en hoe die eruit ziet. Het koppelt het woord direct aan de vorm in de foto, zodat er geen verwarring ontstaat.

4. De Oefening: PAVE (De Grote Test)

Om WalkGPT te leren, hebben de onderzoekers een enorme oefenmap gemaakt genaamd PAVE.

• Wat is het? Een verzameling van 41.000 foto's gemaakt vanuit het oogpunt van een wandelaar (niet vanuit een vliegtuig of een auto).
• Wat staat erin? Bij elke foto zitten vragen en antwoorden. Bijvoorbeeld: "Is dit pad toegankelijk?" en het antwoord: "Ja, het pad is veilig, maar rechts staat een boom op 1,5 meter afstand die je moet omlopen."
• Waarom is dit uniek? Tot nu toe had niemand zo'n map met foto's waar ook de diepte en de toegankelijkheid (is het veilig voor een rolstoel?) in stonden.

5. Het Resultaat: Veilig Wandelen

In tests bleek WalkGPT veel beter te zijn dan andere slimme systemen:

• Minder hallucinaties: Het zegt geen dingen die er niet zijn (zoals een brug die er niet is).
• Beter dieptezin: Het kan goed inschatten hoe ver iets weg is.
• Veiligheid: Het kan precies vertellen welke delen van de foto veilig zijn om op te lopen en welke delen gevaarlijk zijn.

Conclusie

WalkGPT is als het geven van een bril aan een computer. Die bril laat de computer niet alleen zien wat er is, maar ook waar het is en hoe ver het weg staat. Voor mensen met een beperking betekent dit dat ze straks misschien een app kunnen gebruiken die hen niet alleen zegt "draai links", maar ook waarschuwt: "Pas op, links is een stoeprand van 15 cm, en daarachter staat een geparkeerde auto op 2 meter afstand."

Het is een stap in de richting van een stad die voor iedereen veilig en toegankelijk is, geholpen door een AI die echt "ziet" wat wij zien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "WalkGPT: Grounded Vision–Language Conversation with Depth-Aware Segmentation for Pedestrian Navigation" in het Nederlands.

1. Het Probleem

Veilige en toegankelijke voetgangersnavigatie is essentieel voor zelfstandige mobiliteit, vooral voor mensen met mobiliteitsbeperkingen. Bestaande systemen zijn vaak gericht op voertuigen of gebruiken simpele objectdetectie, wat onvoldoende is voor complexe stedelijke omgevingen met obstakels zoals trappen, oneven terrein en geparkeerde auto's.

Hoewel Large Vision-Language Models (LVLMs) uitstekend zijn in het beschrijven van visuele inhoud, lijden ze aan twee kritieke tekortkomingen voor navigatie:

1. Gebrek aan ruimtelijke redenering: Ze kunnen geen nauwkeurige diepte-inferentie doen of relatieve afstanden tussen objecten bepalen.
2. Hallucinaties: Ze beschrijven vaak objecten die niet in de scène aanwezig zijn, wat tot gevaarlijke navigatieadviezen kan leiden.
3. Afwijzing van 2D-beperkingen: Bestaande "grounded" modellen (die tekst koppelen aan beeldgebieden) leveren vaak alleen 2D-segmentatiemaskers zonder dieptekennis, wat cruciaal is om te bepalen of een pad belemmerd is.

Er ontbreekt een systeem dat taalredenering, pixel-nauwkeurige segmentatie en dieptewaarneming combineert zonder dat de gebruiker handmatig aanwijzingen moet geven.

2. Methodologie: WalkGPT

WalkGPT is een nieuw type LVLM dat is ontworpen voor de taak "Grounded Navigation Guide". Het model genereert een conversatieantwoord dat direct gekoppeld is aan segmentatiemaskers en diepteschattingen.

Architectuur

Het model gebruikt een gedeelde pixel-encoder (gebaseerd op SAM - Segment Anything Model) en een Large Language Model (LLM). De kerninnovaties zijn twee nieuwe modules:

1. Multi-Scale Query Projector (MSQP):

   • Deze module projecteert beeldtokens van de pixel-encoder naar de taalruimte.
   • In tegenstelling tot standaard MLP-projectoren, aggregeert MSQP visuele features over meerdere ruimtelijke schalen (lokaal detail tot globale structuur).
   • Het gebruikt een "seg-aware gating" functie om structuren en randen te benadrukken voordat cross-attention wordt toegepast. Dit resulteert in compacte, ruimtelijk informatieve tokens voor het LLM.

2. Calibrated Text Projector (CTP) & Region Alignment Loss:

   • CTP mapt de tekstuele embeddings van speciale <SEG>-tokens (die verwijzen naar objecten) naar de visuele ruimte van de segmentatiedecoder.
   • Om informatieverlies te voorkomen bij het reduceren van de dimensie (van LLM-embeddings naar visuele features), wordt een Region Alignment Loss gebruikt. Dit is een contrastieve regularisatie die ervoor zorgt dat de tekstuele embedding van een object consistent blijft met de visuele features van het corresponderende gebied in de afbeelding.

Gestructureerde Tokens

WalkGPT gebruikt een uniek token-systeem om de output te structureren:

• <assessment>: Een kwalitatieve beoordeling van de toegankelijkheid.
• <p> en <SEG>: Koppelen tekstuele verwijzingen aan specifieke pixelgebieden (segmentatie).
• <distance>: Beschrijft de relatieve afstand tot objecten in tekstvorm.

Door deze tokens te genereren in één autoregressieve sequentie, leert het model om diepte en segmentatie te koppelen aan natuurlijke taal zonder een aparte diepte-head.

3. De PAVE Dataset

Omdat er geen bestaande dataset was voor deze specifieke taak, hebben de auteurs PAVE (Pedestrian Accessibility and Visual-grounded Evaluation) ontwikkeld.

• Omvang: 41.000 afbeeldingen van voetgangersperspectief.
• Bron: Gebaseerd op het SANPO-dataset (echte video-opnames van hardlopers met dieptekensoren).
• Inhoud: Elk voorbeeld bevat een RGB-afbeelding, een vraag over toegankelijkheid, en een gestructureerd antwoord met:
  • Een beoordeling van het pad.
  • Lijsten van toegankelijke en schadelijke features.
  • Segmentatiemaskers voor deze features.
  • Metrische afstanden tot deze objecten.
• Generatie: De vragen en antwoorden zijn gegenereerd met behulp van GPT-5-nano, waarbij de input bestond uit de afbeelding, de segmentatiemaskers en de dieptekaarten.

4. Resultaten

WalkGPT is getest op de PAVE-validatieset en vergeleken met state-of-the-art modellen zoals GLAMM, LISA, PixelLM en OMG-LLaVA.

• Prestaties: WalkGPT (zowel de 7B als 13B variant) presteert significant beter dan de geoptimaliseerde baselines.
  • Segmentatie: Verbetering van meer dan 10% in mIoU (Mean Intersection over Union) vergeleken met PixelLM-FT (20.16 vs 18.10).
  • Dieptenauwkeurigheid: Een stijging van meer dan 25% in dieptenauwkeurigheid (48.95 vs 39.00).
  • Tekstgeneratie: Hoogste scores op CIDEr en METEOR voor de 7B variant.
• Hallucinaties: WalkGPT vertoont aanzienlijk minder object-hallucinaties (lage CHAIRi score) en een hogere dekking van zichtbare objecten dan niet-gegroundde LVLMs.
• Generalisatie: Het model presteert ook sterk op algemene Referential Expression Segmentation (RES) benchmarks (RefCOCO), wat aantoont dat de architectuur robuust is.
• Ablatie-studie: Het verwijderen van de MSQP-module of de Region Alignment Loss leidt tot een duidelijke daling in prestaties, wat de noodzaak van multi-schaal features en strikte tekst-visie uitlijning bevestigt.

5. Belang en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. WalkGPT: Het eerste LVLM dat specifiek is ontworpen voor toegankelijkheidsnavigatie via grondige ruimtelijke redenering, zonder dat de gebruiker handmatige aanwijzingen hoeft te geven.
2. Architectuur: Een gestroomlijnde architectuur die visuele en taalrepresentaties verenigt via MSQP en CTP, waardoor pixel-nauwkeurige grounding en dieptewaarneming mogelijk worden.
3. PAVE Dataset: Een grote, schaalbare dataset met 41k voorbeelden die diepte-informatie koppelt aan toegankelijkheidsvragen, wat een nieuwe benchmark zet voor dit domein.
4. Toepassing: Het biedt een oplossing voor een kritiek probleem in de hulptechnologie, waarbij AI-systemen niet alleen kunnen "zien" maar ook begrijpen wat veilig is om te betreden en hoe ver obstakels verwijderd zijn.

Conclusie: WalkGPT zet een nieuwe standaard voor toegankelijke AI in stedelijke omgevingen door taalredenering, segmentatie en diepte-inferentie te combineren in één coherent systeem, wat essentieel is voor het bouwen van betrouwbare assistieve navigatiesystemen.