🤖 AI

Floorplan2Guide: LLM-Guided Floorplan Parsing for BLV Indoor Navigation

Het artikel stelt Floorplan2Guide voor, een door een LLM aangedreven navigatiesysteem voor blinden en slechtzienden dat plattegronden omzet in kennisgrafieken om nauwkeurige instructies te genereren, en toont aan dat few-shot learning en grafiekgebaseerde ruimtelijke redenering directe visuele redenering aanzienlijk overtreffen in het verbeteren van de navigatieprecisie.

Oorspronkelijke auteurs: Aydin Ayanzadeh, Tim Oates

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aydin Ayanzadeh, Tim Oates

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantisch, onbekend doolhof te navigeren, maar je kunt de muren of de paden niet zien. Voor mensen met een visuele beperking is het zich verplaatsen door binnenruimtes zoals kantoorgebouwen of ziekenhuizen vaak vergelijkbaar met het proberen dit doolhof op te lossen met een blinddoek. Bestaande oplossingen vertrouwen vaak op dure, zware infrastructuur (zoals speciale bakens overal) of complexe camera's die voor elk nieuw gebouw opnieuw getraind moeten worden.

Het artikel "Floorplan2Guide" stelt een slimmere, lichtere manier voor om dit op te lossen. Denk aan het geven van een super-slimme GPS die plattegronden begrijpt aan de gebruiker.

Hier is hoe het systeem werkt, opgesplitst in eenvoudige stappen:

1. De "Vertaler" (Het omzetten van plattegronden in een kaart)

Stel je voor dat je een statische, tweedimensionale tekening van een gebouw hebt (een plattegrond). Voor een computer is dit slechts een afbeelding van lijnen en tekst. Voor een mens is het een kaart.

De Oude Manier: Computers hadden vroeger een team van ingenieurs nodig om elke muur en deur handmatig op te meten om die afbeelding om te zetten in een bruikbare kaart.
De Nieuwe Manier (Floorplan2Guide): De onderzoekers gebruiken een "Groot Taalmodel" (een geavanceerde AI die zeer goed is in het lezen en begrijpen van context). Ze voeren de plattegrondafbeelding in bij deze AI. De AI fungeert als een vertaler, leest de tekening en zet deze om in een Kennisgrafiek.
- Analogie: Denk aan de Kennisgrafiek als een skelet van het gebouw. In plaats van alleen een afbeelding van een kamer te zien, begrijpt de AI dat "Kamer A" verbonden is met "Gang B" via "Deur C", en het weet precies hoe ver ze uit elkaar liggen. Het zet een platte afbeelding om in een driedimensionale mentale kaart van verbindingen.

2. De "Gids" (Het genereren van instructies)

Zodra de AI deze "skeletkaart" heeft gebouwd, kan een gebruiker vragen: "Hoe kom ik bij het toilet?"

In plaats van alleen naar de afbeelding te kijken en te raden, kijkt de AI naar zijn skeletkaart. Het traceert het pad van het startpunt naar de bestemming.
Vervolgens zet het dat pad om in eenvoudige, mensachtige gesproken instructies: "Loop 10 stappen vooruit, sla linksaf bij het kruispunt, en het toilet is aan je rechterkant."
Het Geheime Ingrediënt (Few-Shot Learning): De onderzoekers ontdekten dat als ze de AI eerst een paar voorbeelden van goede richtingen geven (zoals het tonen van een paar voorbeeldrekenopgaven aan een student voor een toets), de AI veel beter wordt in het geven van aanwijzingen. Dit heet "few-shot learning", en het maakte het systeem aanzienlijk nauwkeuriger.

3. Het "Controlepunt" (ArUco-markers)

Hoe weet het systeem waar de gebruiker zich in het echte gebouw daadwerkelijk bevindt?

Het systeem gebruikt kleine, vierkante, QR-code-achtige stickers genaamd ArUco-markers die over het gebouw zijn geplaatst (op muren, bij kruispunten, enzovoort).
De camera van de telefoon van de gebruiker scant deze markers.
Analogie: Denk aan deze markers als busstops. Wanneer de gebruiker een marker scant, weet het systeem: "Ah, je bent bij Busstop #4." Het controleert vervolgens zijn "skeletkaart" om te zien welke instructie als volgende komt. Als de gebruiker van het pad afwijkt, weet het systeem dit direct en kan het zeggen: "Je bent van koers geraakt, laten we je weer op het juiste spoor zetten."

Wat Vonden Ze?

De onderzoekers testten dit systeem in een echt gebouw op hun universiteit (het Wiskunde & Psychologie-gebouw) en op standaard testdatasets.

Beter dan alleen kijken: Wanneer de AI de "skeletkaart" (Kennisgrafiek) gebruikte om richtingen te geven, was het 15,4% nauwkeuriger dan wanneer het probeerde alleen naar de afbeelding te kijken en te raden. De kaart hielp het om "hallucinaties" te voorkomen (het verzinnen van paden die niet bestaan).
Het Beste Model: Onder de verschillende AI-modellen die ze testten, was Claude 3.7 Sonnet de beste navigator.
Succespercentages: Met de juiste opstelling (het gebruik van de "skeletkaart" en het eerst tonen van een paar voorbeelden aan de AI) was het systeem ongeveer 92% van de tijd succesvol op korte routes, 77% op middellange routes en 62% op lange, complexe routes.

De Conclusie

Dit artikel introduceert een systeem dat de wereld niet hoeft te herbouwen met dure sensoren. In plaats daarvan neemt het een eenvoudige afbeelding van een plattegrond, gebruikt het een slimme AI om deze om te zetten in een logische kaart van verbindingen, en gebruikt die kaart om blinde of slechtziende gebruikers stap voor stap te begeleiden. Het is alsof je de gebruiker een digitale rondleidinggids geeft die de plattegrond van het gebouw heeft gememoriseerd en hen precies kan vertellen waar ze moeten gaan, met alleen een smartphone en een paar stickers aan de muur.

Opmerking: Het artikel stelt expliciet dat dit systeem zich richt op routeplanning en navigatie-instructies. Het behandelt momenteel niet het vermijden van bewegende obstakels (zoals voorbijlopende mensen) of dynamische veranderingen in de omgeving.

Technische Samenvatting: Floorplan2Guide

Probleemstelling

Binnenshuis navigatie blijft een kritieke uitdaging voor Blinde en Slechtziende (BLV) personen, die aanzienlijke barrières ondervinden bij oriëntatie en het verwerven van ruimtelijke informatie. Hoewel infrastructuurgebaseerde oplossingen (bijv. BLE-bakens, RFID) precisie bieden, vereisen ze kostbare installatie en onderhoud. Omgekeerd missen lichtgewicht, visiegebaseerde deep learning-benaderingen vaak generalisatie naar nieuwe omgevingen, vereisen ze uitgebreide hertraining voor specifieke plattegronden en falen ze in aanpassing aan dynamische verlichting of onbekende structuren. Bovendien vertrouwen traditionele methoden voor het parseren van plattegronden op geometrische heuristieken en handmatige voorverwerking, wat arbeidsintensief is en foutgevoelig. De kernuitdaging die wordt aangepakt, is de automatische constructie van een robuust ruimtelijk kennisgrafiek uit statische architecturale plattegrondenbeelden om betrouwbare routeplanning en contextbewuste navigatie mogelijk te maken zonder zware infrastructuurafhankelijkheden.

Methodologie

Het voorgestelde Floorplan2Guide-kader maakt gebruik van Large Language Models (LLM's) en Multimodale Large Language Models (MLLM's) om statische plattegrondenbeelden om te zetten in machineleesbare, navigeerbare kennisgrafieken. Het systeem werkt via een gestructureerde, meerstaps pijplijn:

Voorverwerking & Semantische Extractie:
- Hoogwaardige plattegrondenbeelden ondergaan Optische Karakterherkenning (OCR) met tools zoals PaddleOCR, EasyOCR of Tesseract om tekstuele data (kamernummers, labels) te extraheren.
- Deze tekstuele data wordt gecombineerd met de visuele invoer om het begrip van het model van de lay-out te verrijken.
Generatie van Ruimtelijke Kennisgrafiek:
- Een MLLM (bijv. GPT-4o, Claude 3.7 Sonnet, LLaMA 3.2) verwerkt het plattegrondenbeeld en de geëxtraheerde tekst om een gestructureerde grafiek $G = (V, E, A, M_\eta, W, S)$ te genereren.
- Knopen ( $V$ ): Vertegenwoordigen onderscheiden kamers, kruispunten of plekken, en slaan geometrische zwaartepunten, semantische attributen (kamertype) en metadata op.
- Kanten ( $E$ ): Encoderen navigeerbaarheid en adjacentie tussen knopen (bijv. deuren, doorgangen).
- Gewichten ( $W$ ): Vangen afstand en toegankelijkheidsinformatie op, geschaald naar werkelijke afmetingen.
- Het systeem maakt gebruik van een systeemprompt om de LLM te sturen bij het extraheren van knopenkaarten en het valideren van connectiviteit, met verfijningsrondes om extractiefouten te minimaliseren.
Generatie van Navigatie-instructies:
- In tegenstelling tot directe visuele redenering waarbij de LLM het ruwe beeld interpreteert, voedt deze aanpak de gestructureerde kennisgrafiek aan de LLM.
- De LLM gebruikt de expliciete topologische en semantische relaties van de grafiek om stap-voor-stap, menselijk leesbare navigatie-instructies te genereren (bijv. "loop 15 meter, sla linksaf").
- Het systeem prioriteert het genereren van geoptimaliseerde richtingen op basis van de grafiek in plaats van uitsluitend te vertrouwen op traditionele kortste-pad-algoritmen, met als doel natuurlijke taalbeschrijvingen die geschikt zijn voor BLV-gebruikers.
Lokalisatie via ArUco-markers:
- Om de kloof tussen de digitale grafiek en de fysieke omgeving te overbruggen, maakt het systeem gebruik van ArUco-fiduciële markers die op sleutellocaties (ingangen, kruispunten, kamers) zijn geplaatst.
- Gebruikers scannen deze markers via een apparaat met camera. De unieke ID van de marker koppelt aan een specifieke knoop in de kennisgrafiek, waardoor het systeem de positie van de gebruiker kan lokaliseren.
- Het systeem geeft feedback: als de gebruiker op het juiste pad is, herhaalt het de laatste instructie; als ze afwijken, waarschuwt het hen. Deze studie gebruikt markers voor lokaliseringscontrolepunten in plaats van dynamische herleiding.

Belangrijkste Bijdragen

Nieuw Parserkader: Introductie van een oplossing die foundation-modellen gebruikt om plattegronden te parseren door ruimtelijke informatie om te zetten in een kennisgrafiek, wat nauwkeurige semantische extractie en gestructureerde representatie voor navigatie mogelijk maakt.
Integratie van Few-Shot Learning: Demonstratie dat few-shot learning de navigatieprestaties (gemeten aan de hand van het Succespercentage) aanzienlijk verbetert in vergelijking met zero-shot learning, waardoor de consistentie van ruimtelijke redenering wordt versterkt zonder model-finetuning te vereisen.
Validatie in de Reële Wereld: Succesvolle validatie van het systeem in een reële omgeving (UMBC Math & Psychology Building, MP-1), waarbij wordt aangetoond dat grafiekgebaseerde instructies die staptellingen en afstanden specificeren effectief zijn voor BLV-gebruikers.

Experimentele Resultaten

Het systeem werd geëvalueerd op de CVC-FP dataset (gestandaardiseerde benchmark) en in een reële omgeving bij UMBC. Drie modellen werden getest: GPT-4o, Claude 3.7 Sonnet en LLaMA 3.2 Vision-Instruct 11B.

Impact van Few-Shot Learning:
- Op de CVC-FP dataset vertoonden alle modellen verbetering met few-shot prompting. Claude 3.7 Sonnet behaalde de hoogste succespercentages: 84,6% (kort), 76,9% (medium) en 61,5% (lang) routes.
- In evaluaties in de reële wereld (MP-1) behaalde Claude 3.7 Sonnet onder 5-shot prompting de hoogste nauwkeurigheid: 92,31% (kort), 76,92% (medium) en 61,54% (lang).
- Over het algemeen verbeterde few-shot learning de Succespercentages (SR) met 6–9% ten opzichte van zero-shot, vooral in complexe, meer-draaierige routes.
Grafiekgebaseerd versus Direct Visueel Redeneren:
- Een vergelijkend experiment (Experiment III) evalueerde de impact van expliciete grafiekrepresentatie tegenover direct visueel redeneren (zero-shot, zonder tussenliggende grafiek).
- Grafiekgebaseerde ruimtelijke structuur verbeterde de prestaties voor alle modellen. Bijvoorbeeld, Claude 3.7 Sonnet verbeterde van 76,92% naar 84,62% op korte routes bij gebruik van de grafiek.
- Over het algemeen leverde de grafiekgebaseerde aanpak een 15,4% hoger succespercentage op dan direct visueel redeneren, wat bevestigt dat expliciete topologische codering hallucinaties reduceert en ruimtelijke consistentie versterkt.

Betekenis en Claims

Het artikel claimt dat Floorplan2Guide een nauwkeurigere en toegankelijkere oplossing biedt voor binnenshuis navigatie door gebruik te maken van de redeneercapaciteiten van LLM's in combinatie met gestructureerde ruimtelijke data.

Infrastructuuronafhankelijkheid: Het systeem vereist slechts een plattegrondenbeeld en een apparaat met camera om ArUco-markers te scannen, waardoor de hoge kosten en het onderhoud van infrastructuur-zware systemen zoals BLE-bakens worden vermeden.
Verhoogde Betrouwbaarheid: Door plattegronden om te zetten in kennisgrafieken, mitigeert het systeem de "hallucinatie"-fouten die gebruikelijk zijn bij direct visueel redeneren, waardoor betrouwbaardere routeplanning wordt geboden.
Gebruikersgerichte Ontwerp: De generatie van stap-voor-stap instructies met specifieke afstanden en staptellingen maakt de output toegankelijker voor BLV-gebruikers in vergelijking met abstracte richtingen.
Schaalbaarheid: De aanpak toont potentie voor generalisatie over verschillende omgevingen zonder behoefte aan omgevingsspecifieke hertraining, mits de plattegrond beschikbaar is.

De auteurs erkennen beperkingen, waaronder het ontbreken van dynamische obstakelvermijding en de noodzaak van bredere gebruikersstudies met BLV-deelnemers om de robuustheid in diverse reële omgevingen volledig te valideren. De resultaten suggereren echter dat door LLM's geleide grafiekparsing een haalbare en veelbelovende richting is voor assistieve binnenshuis navigatie.