💻 computer science

LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation

Dit artikel introduceert LangMap, de eerste real-world 3D indoor navigatiebenchmark met door mensen geverifieerde hiërarchische semantische annotaties over vier doelniveaus, samen met de PlaNaVid-baseline, om de beperkingen in bestaande open-vocabulary taal-geconditioneerde doelnavigatie-evaluaties aan te pakken.

Oorspronkelijke auteurs: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Miao, Weijia Liu, Jun Luo, Lachlan Shinnick, Jian Liu, Thomas Hamilton-Smith, Yuhe Yang, Zijie Wu, Vanja Videnovic, Feras Dayoub, Anton van den Hengel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een spannend potje "Verstoppertje Spelen" speelt in een enorm, complex huis, maar je bent geblinddoekt en kunt alleen zien wat er direct vóór je is. Een vriend geeft instructies via een walkie-talkie.

Dit artikel introduceert een nieuwe, veel moeilijkere en veel eerlijkere versie van dat spel, samen met een nieuwe strategie om het te spelen.

Het Probleem: Het "Slechte Kaart"-probleem

In het verleden probeerden onderzoekers robots te leren dingen te vinden op basis van taal. Maar ze hadden een grote fout: de "kaarten" (de instructies) die ze gebruikten, waren vaak geschreven door AI (Vision-Language Models) die de huizen niet echt begrepen.

Denk er maar eens zo over na: Als je een AI zou vragen om een specifieke rode stoel te beschrijven in een kamer vol met stoelen, zou de AI misschien zeggen: "Zoek de rode stoel." Maar als er drie rode stoelen zijn, is die instructie nutteloos. De AI kan ook in de war raken en zeggen: "Zoek de stoel bij het raam," terwijl het raam eigenlijk in een andere kamer is. Het onderzoek toonde aan dat bijna 40% van deze door AI gegenereerde instructies fout of verwarrend waren. Het is alsof je een stad probeert te navigeren met een kaart die is getekend door iemand die nog nooit zijn slaapkamer heeft verlaten.

De Oplossing: LangMap (De door mensen geverifieerde kaart)

Om dit op te lossen, creëerden de auteurs LangMap. In plaats van een AI te laten raden wat de instructies zijn, huurden ze mensen in om naar echte 3D-scans van huizen te kijken en de instructies te schrijven.

Ze stopten niet bij "Zoek een stoel." Ze creëerden een vierlagen-hiërarchie van moeilijkheidsgraad, zoals een videogame met toenemende levels:

Scène-niveau (De Makkelijke Modus): "Zoek elke willekeurige stoel in het hele huis." (Alsof je zoekt naar een speld in een hooiberg, maar het maakt je niet uit welke speld).
Ruimte-niveau (Medium Modus): "Zoek een stoel in de keuken." (Nu moet je weten hoe een keuken eruitziet).
Regio-niveau (Hard Modus): "Zoek een stoel in de slaapkamer met het blauwe tapijt." (Nu moet je twee verschillende slaapkamers van elkaar kunnen onderscheiden).
Instantie-niveau (Expert Modus): "Zoek de specifieke stoel met de kras op het linkerpootje, naast het raam." (Dit vereist het spotten van kleine details en precies weten welke objecten het zijn).

De auteurs noemen dit HieraNav (Hiërarchische Navigatie). Ze bouwden een enorme dataset met meer dan 18.000 taken die 414 verschillende soorten objecten beslaan. Elke instructie werd door een mens gecontroleerd om te garanderen dat deze uniek en accuraat was. Het is het verschil tussen een wazige fotokopie van een kaart en een hoogresolutie, handgetekende schatkaart.

De Nieuwe Speler: PlaNaVid

De meeste robots die dit probleem proberen op te lossen, vertrouwen op dure 3D-sensoren (zoals LiDAR) of diepe dieptecamera's om een 3D-model van de kamer te bouwen. Het is alsof de robot een hightech helm draagt waarmee hij het "skelet" van de kamer kan zien.

PlaNaVid is anders. Het heeft alleen een standaard camera (RGB), net als een menselijk oog. Het bouwt geen 3D-model en het weet niet de exacte afstand tot objecten. Hoe wint het dan toch?

Het gebruikt een slimme truc genaamd Bounded Diverse Memory (BDM).

De Analogie: Stel je voor dat je door een doolhof loopt. In plaats van te proberen te onthouden elke stap die je hebt gezet (dat is te veel voor je brein), maak je een paar foto's van de meest interessante of verschillende delen van je reis.
De Strategie: Wanneer de robot moet beslissen waar hij naartoe gaat, kijkt hij niet alleen naar wat er recht voor hem staat. Hij "bladert door" zijn mentale fotoalbum van de laatste paar unieke plekken die hij heeft bezocht. Het gebruikt een slimme planner (een AI-brein) om naar deze foto's te kijken en zegt: "Ah, ik herinner me een gang die naar de keuken leidt in deze foto. Laten we die kant op gaan."

Dit stelt de robot in staat om vooruit te plannen en complexe, meerstaps-taken te navigeren (zoals "Zoek een kopje, ga dan naar het koffiezetapparaat, zoek daarna een boek") zonder dat er dure 3D-hardware nodig is.

De Resultaten

Toen ze deze nieuwe opstelling testten:

De Kaart: De door mensen geschreven instructies waren veel superieur aan de door AI geschreven instructies. In een test om te zien of een computer een beschrijving kon koppelen aan het juiste object, waren de door mensen geschreven instructies 81% van de tijd correct, terwijl de oude AI-instructies slechts 58% van de tijd correct waren.
De Robot: PlaNaVid, gebruikmakend van alleen een standaard camera en zijn "fotoalbum"-geheugen, versloeg bijna elke andere robot op de markt. Het slaagde erin om doelwitten te vinden in 42,6% van de complexe meerstaps-taken, waarmee het robots met dure 3D-sensoren versloeg.

Wat is nog steeds moeilijk?

Zelfs met deze nieuwe kaart en robot, geeft het paper toe dat er nog steeds grote uitdagingen zijn:

De "Long Tail": Als de robot gevraagd wordt om een zeer zeldzaam object te vinden (zoals een specifiek type vintage broodrooster), heeft hij moeite omdat hij er niet veel voorbeelden van heeft gezien.
Kleine en verre objecten: Als het doelwit klein of ver weg is, is het moeilijk om het te spotten.
De Kettingreactie: Als een robot faalt in de eerste stap van een meerstaps-taak (bijvoorbeeld: hij kan het kopje niet vinden), dan mislukt de hele missie. Dit blijft een zeer moeilijk probleem op te lossen.

Samenvatting

Kortom, de auteurs hebben een betere, door mensen geverifieerde kaart gebouwd voor robotnavigatie die robots test op alles van "zoek een stoel" tot "zoek die specifieke gekraste stoel in de blauwe kamer." Ze hebben ook een slimme robot gebouwd die door deze complexe wereld kan navigeren met alleen een gewone camera en een slim geheugensysteem, waarmee ze bewijzen dat je geen dure 3D-sensoren nodig hebt om een goede navigator te zijn.

Technische Samenvatting: LangMap en HieraNav

Probleemdefinitie

Taalgestuurde doelnavigatie (Language-conditioned Goal Navigation, LGN) vereist dat belichaamde agenten doelwitten opgegeven door de gebruiker in 3D-omgevingen lokaliseren zonder stapsgewijze begeleiding. Hoewel bestaande benchmarks zich primair richten op categorie-niveau doelen (bijv. "zoek een stoel") of vertrouwen op instantiebeschrijvingen gegenereerd door Vision-Language Models (VLM's), kampen deze benaderingen met aanzienlijke beperkingen:

Semantische Ambiguïteit: Door VLM's gegenereerde beschrijvingen missen vaak uniciteit, bevatten ze semantische fouten of slagen ze er niet in om visueel gelijkaardige instanties binnen dezelfde scène te onderscheiden.
Beperkte Granulariteit: Huidige benchmarks ondersteunen zelden doelen die gespecificeerd zijn op fijnere semantische niveaus (regio of instantie) of mixed-level multi-goal episodes.
Betrouwbaarheid van Evaluatie: De ruis in geautomatiseerde annotaties belemmert een systematische en betrouwbare evaluatie van de prestaties van de agent, met name voor taken die vereisen dat er fijnmazig ruimtelijk en semantisch wordt geredeneerd.

Methodologie

1. LangMap Benchmark en HieraNav Taak

De auteurs introduceren LangMap, een real-world 3D indoor navigatiebenchmark gebouwd op HM3D-scans, en HieraNav, een hiërarchische open-vocabulary doelnavigatie taak.

Vier Semantische Niveaus: HieraNav definieert doelen over vier verschillende niveaus van granulariteit:
- Scène-niveau: Elk object van een doelcategorie in de scène.
- Kamer-niveau: Een object van een doelcategorie binnen een specif씩e kamertype.
- Regio-niveau: Een object in een specifieke kamerinstantie, onderscheiden door contextuele aanwijzingen (bijv. "slaapkamer met een geometrisch tapijt").
- Instantie-niveau: Een unieke objectinstantie geïdentificeerd door onderscheidende attributen of relaties (bijv. "de telefoon op het Bluey-bed").
Contrastief Annotatieprotocol: Om hoogwaardige, door mensen geverifieerde data te garanderen, gebruiken de auteurs een rigoureus contrastief annotatieproces:
- Annotatoren vergelijken regio's en instanties van dezelfde categorie binnen een scène om onderscheidende beschrijvingen samen te stellen die doelwitten uniek identificeren.
- Beschrijvingen worden gecategoriseerd in beknopte (nadruk op opvallende aanwijzingen) en gedetailleerde (voorzien van rijkere context) stijlen.
- De dataset beslaat 414 objectcategorieën, waarvan er 349 worden gebruikt voor het construeren van meer dan 18.000 navigatietaken.
Statistieken: LangMap bevat 926 onderscheidende regiobeschrijvingen en 7.510 instantiebeschrijvingen. Het bevat een hoger aandeel kleine objecten (22,2% met een gemiddelde IoU < 3,3%) vergeleken met eerdere benchmarks, wat een realistischere evaluatie van lokalisatiecapaciteiten biedt.

2. PlaNaVid Baseline

Om het gebrek aan sterke baselines voor multi-goal navigatie zonder dieptesensoren of 3D-scène-representaties aan te pakken, stellen de auteurs PlaNaVid voor, een ontkoppeld, RGB-only framework.

Architectuur: Het systeem bestaat uit twee stadia:
1. Geheugen-gestuurde Planning: Een LLM-planner (Qwen2.5-VL-7B) selecteert een initiële waypoint en koersrichting voor het huidige doel. Deze wordt geprimed door een Bounded Diverse Memory (BDM) module.
2. Reactief Beleid: Een reactief navigatiebeleid (Uni-NaVid) voert lage-niveau acties uit op basis van RGB-observaties.
Bounded Diverse Memory (BDM): Om lange-horizon episodes (tot 2.500 stappen) binnen beperkte LLM-contextvensters af te handelen, onderhoudt BDM een begrensde set RGB-snapshots ( $N_{max}=50$ $N_{ma x} = 50$ ).
- Global-Uniform Update (GUU): Zorgt voor een bijna uniforme temporele dekking door entries met de kleinste lokale temporele intervallen te verwijderen wanneer de buffer vol is.
- Semantic-Diverse Retrieval (SDR): Gebruikt een greedy max-min strategie om een subset van geheugenstaten te selecteren die de semantische diversiteit maximaliseert, waardoor de planner wordt voorzien van informatieve context zonder redundantie.
Restricties: PlaNaVid opereert zonder diepte-inputs, 3D-scène-representaties (bijv. occupancy maps) of objectmaskers.

Belangrijkste Resultaten

Benchmark Evaluatie

Annotatiekwaliteit: In tekst-naar-view matching taken behaalde de door mensen geverifieerde instantiebeschrijvingen van LangMap een nauwkeurigheid van 81,3% (met gebruik van ~5 woorden) vergeleken met 58,4% voor de door VLM's gegenereerde beschrijvingen van GOAT-Bench (met gebruik van ~21 woorden). LangMap-beschrijvingen waren in 94% van de gevallen niet minderwaardig en aanzienlijk beknopter.
Navigatieprestaties:
- PlaNaVid behaalde de hoogste Success Rate (SR) onder de geëvalueerde methoden: 42,6% voor multi-goal navigatie en 31,4% voor single-goal navigatie.
- Het presteerde beter dan de vorige beste RGB-only methode (Uni-NaVid) met 8,5% in multi-goal SR en 4,0% in Sequence Success Rate bij 2 (SeqSR@2).
- Het overtrof 3D-gebaseerde methoden (bijv. MTU3D) in multi-goal SR ondanks het ontbreken van diepte-inputs, wat de effectiviteit van de geheugen-gestuurde planning aan het licht brengt.

Ablatie-studies

Geheugencomponenten: Het verwijderen van BDM verminderde de multi-goal SR van 42,6% naar 34,1%. De combinatie van GUU en SDR was cruciaal en comprimeerde het geheugen met 13× (van ~656 frames naar 50) zonder prestatieverlies.
Beschrijvingstijlen: Gedetailleerde beschrijvingen verbeterden de prestaties op regio- en instantieniveaus, hoewel beknopte beschrijvingen ook effectief bleven.
Uitdagingen: Prestaties verslechterden consistent voor long-tail categorieën, kleine objecten (lage zichtbaarheid), verre doelwitten en multi-goal voltooiingssequenties, wat deze als openstaande uitdagingen markeert.

Betekenis en Claims

Het artikel beweert dat LangMap en HieraNav een rigoureus, door mensen geverifieerd testbed vestigen voor taalgestuurde belichaamde navigatie, waarbij het kritieke gat van ruisige geautomatiseerde annotaties en beperkte semantische granulariteit in eerder werk wordt gedicht. Door onderscheidende beschrijvingen te bieden over vier hiërarchische niveaus, maakt de benchmark een systematische evaluatie mogelijk van het vermogen van agenten om spatio-temporele redeneringen en disambiguatie uit te voeren.

Verder demonstreert PlaNaVid dat high-performance multi-goal navigatie haalbaar is met enkel RGB-inputs en geheugen-gestuurde planning, wat de noodzaak van dieptesensoren en expliciete 3D-scène reconstructie voor complexe navigatietaken uitdaagt. De auteurs positioneren hun werk als een fundament voor toekomstig onderzoek naar long-horizon redeneren, het omgaan met long-tail categorieën en robuuste multi-goal voltooiing in real-world omgevingen.