💻 computer science

HiMemVLN: Enhancing Reliability of Open-Source Zero-Shot Vision-and-Language Navigation with Hierarchical Memory System

'Diende de "navigatie-amnesie"-problematiek aan in open-source zero-shot vision-and-language navigatie door een hiërarchisch geheugensysteem te introduceren dat de langetermijnlokalisatie en visuele herinnering aanzienlijk verbetert, waarmee het bijna het dubbele van de bestaande state-of-the-art open-source methoden bereikt.

Oorspronkelijke auteurs: Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

Gepubliceerd 2026-07-21

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kailin Lyu, Kangyi Wu, Pengna Li, Xiuyu Hu, Qingyi Si, Cui Miao, Ning Yang, Zihang Wang, Long Xiao, Lianyu Hu, Jingyuan Sun, Ce Hao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die je stem kan begrijpen en de wereld kan zien precies zoals jij dat doet. Dit is de droom van "Embodied AI", een vakgebied waar computers niet alleen chatten of rekenen; ze bewegen zich fysiek door kamers, volgen instructies zoals "ga naar de keuken en pak een kopje" en navigeren door complexe ruimtes zonder tegen muren op te botsen. Lange tijd hadden deze robots enorme hoeveelheden door mensen geschreven trainingsdata nodig om te leren hoe ze moesten bewegen, wat hen traag maakte in het aanpassen aan nieuwe huizen of kantoren. Onlangs zijn wetenschappers "reusachtige breinmodellen" genaamd Large Language Models (LLM's) gaan gebruiken om robots gezond verstand te geven, waardoor ze navigatie ter plekke kunnen uitzoeken zonder voorafgaande training. Er is echter een addertje onder het gras: de slimste breinen zitten achter dure, cloud-gebaseerde deuren die geld kosten en zorgen voor privacyzorgen omdat ze de videofeed van je huis naar een server sturen. Hoewel open-source modellen (gratis, lokale breinen) bestaan, raken ze vaak in de war, vergeten ze waar ze zijn of dwalen ze in cirkels rond, waardoor er een grote kloof ontstaat tussen wat ze kunnen en wat de dure, gesloten bronnen kunnen bereiken.

Maak kennis met HiMemVLN, een nieuwe aanpak die open-source robotbreinen leert te onthouden waar ze zijn geweest en waar ze naartoe gaan, wat effectief hun "navigatie-amnesie" geneest. De onderzoekers ontdekten dat deze open-source robots lijden aan twee soorten vergeetachtigheid: kortetermijnamnesie, waarbij ze het spoor van de directe omgeving kwijtraken en in lussen eindigen, en langetermijnamnesie, waarbij ze het oorspronkelijke doel vergeten en na een paar stappen uit koers raken. Om dit op te lossen, bouwde het team een "hiërarchisch geheugensysteem" geïnspireerd op hoe menselijke hersenen werken. Ze creëerden een Short-Term Localer die werkt als een visueel schetsboek, dat constant een kaart tekent van de kamers die zojuist zijn bezocht om te zien of de robot in cirkels loopt. Ze bouwden ook een Long-Term Globaler die werkt als een kompas en een missiecontroller, die de robot constant herinnert aan het grote plaatje: "Je begon in de slaapkamer, je moet naar de keuken, en je gaat momenteel de verkeerde kant op."

Door deze twee geheugensystemen te combiner면, stelt HiMemVLN open-source robots in staat om met een niveau van betrouwbaarheid te navigeren dat voorheen alleen te zien was bij dure, gesloten bronnen. In tests hielp deze methode de robots niet alleen om lussen te vermijden; het bijna verdubbelde hun succespercentage vergeleken met de beste eerdere open-source methoden. In gesimuleerde omgevingen behaalde het nieuwe systeem een succespercentage van 30% en een success-weighted path length (SPL) van 26,85, waarmee het de vorige open-source leider, OpenNav, die slechts 16% haalde, aanzienlijk overtrof. De onderzoekers testten het systeem ook op een echte wielenrobot in werkelijke kamers, waar het de concurrentie opnieuw versloeg met een succespercentage van 32% vergeleken met de 18% van OpenNav. De studie suggereert dat door robots een gestructureerde manier te geven om zowel hun directe visuele omgeving als hun langetermijndoelen te onthouden, we veilige, private en zeer capabele navigatie-agenten kunnen bouwen die niet afhankelijk zijn van de cloud.

Technische Samenvatting: HiMemVLN

Probleemdefinitie

Het artikel behandelt de taak van Vision-and-Language Navigation (VLN), specifiek in continue omgevingen (VLN-CE), waarbij een agent door een 3D-ruimte moet navigeren op basis van natuurlijke taalinstructies. Hoewel Large Language Model (LLM) agents veelbelovend zijn gebleken voor zero-shot navigatie, kampen de huidige state-of-the-art methoden met twee kritieke beperkingen:

Implementatiebarrières: De best presterende methoden vertrouwen op closed-source, in de cloud gehoste modellen (bijv. GPT-4o), wat hoge API-kosten met zich meebrengt, onvoorspelbare latentie veroorzaakt en aanzienlijke privacyrisico's vormt bij het verzenden van realtime visuele stromen die gevoelige ruimtelijke gegevens bevatten.
Prestatiekloof in Open-Source Modellen: Bestaande pogingen om open-source LLM's te gebruiken voor zero-shot navigatie lijden aan een aanzienlijke prestatiekloof vergeleken met closed-source tegenhangers. De auteurs identificeren de kernoorzaak als "Navigatie-amnesie", een fenomeen waarbij agents er niet in slagen de omgevingsstatus en taakvoortgang vast te houden. Dit manifesteert zich op twee manieren:
- Korte-termijn Amnesie: Het onvermogen om huidige beelden te onderscheiden van eerder bezochte beelden door de conversie van dynamische visuele stromen naar discrete, vaak repetitieve tekstuele beschrijvingen. Dit leidt tot lokale lussen en redundante exploratie.
- Lange-termijn Amnesia: Het onvermogen om globale restricties over uitgebreide trajecten te handhaven door beperkte contextvensters en zwak impliciet geheugen in open-source modellen. Dit zorgt ervoor dat de agent afwijkt van de beoogde route en de afstemming met de oorspronkelijke instructie verliest.

Methodologie: HiMemVLN

Om navigatie-amnesie te verminderen, stellen de auteurs HiMemVLN voor, een framework dat een Hiërarchisch Geheugensysteem integreert in een Multi-modale Large Language Model (MLLM). Geïnspireerd door de Hippocampal Memory Indexing Theory in de neurobiologie, scheidt het systeem het geheugen in korte-termijn (visueel dominant) en lange-termijn (semantisch dominant) componenten.

1. Short-Term Localer Systeem (Visueel Dominant)

Deze module pakt korte-termijn amnesie aan door een online Visuele Graaf Geheugen ( $G_t$ ) te onderhouden.

Mechanisme: Terwijl de agent navigeert, extraheert het visuele kenmerken uit multi-view RGB-observaties met behulp van een bevroren CLIP-encoder. Deze kenmerken worden opgeslagen als knopen in een graaf, waarbij appearance embeddings, bezoek-tijdstempels en bezoek-aantallen worden bijgehouden.
Lokalisatie: Bij elke stap wordt de huidige observatie vergeleken met de geheugenbank via cosinus-gelijkenis. Als een match een dynamische drempel overschrijdt, herkent de agent een herhaalbezoek.
Actie: Het systeem biedt zachte restricties aan de MLLM. Het berekent de "nieuwheid" van kandidaat-richtingen en deprioriteert paden met een hoog aantal herhaalbezoeken of een lage nieuwheid, waardoor redundante exploratie en lokale lussen effectief worden onderdrukt zonder dat extra supervisie nodig is.

2. Long-Term Globaler Systeem (Semantisch Dominant)

Deze module pakt lange-termijn drift aan door een persistent Global Navigation Schema te onderhouden.

Extractie: Aan het begin van een episode extraheert het systeem een gestructureerd schema uit de instructie, inclusief de Primaire Richting, het Einddoel Landmark en het Navigatiepatroon.
Status Tracking: Het houdt expliciet de oorsprong van de agent (CameFrom) bij en vat de trajectorie van de laatste $k$ stappen samen.
Actie: Tijdens de besluitvorming injecteert de Globaler deze globale context in de prompt van de MLLM. Het spoort het model aan om te reflecteren op de vraag of de huidige koers overeenkomt met de globale intentie en de primaire richting, om er zeker van te zijn dat lokale acties consistent blijven met het algemene doel.

3. Executie Pipeline

Het framework werkt in een gesloten lus:

Perceptie: De agent legt panoramische RGB-D observaties vast.
Waypoint Voorspelling: Een transformer-gebaseerde predictor genereert navigeerbare waypoints.
Geheugen Injectie: De Short-Term Localer en Long-Term Globaler verwerken de historie en injecteren gestructureerde tekstuele context (lokalisatie statistieken, globaal schema) in de MLLM-prompt.
Besluitvorming: De MLLM redeneert over de instructie, visuele observaties en geheugencontext om de volgende actie te selecteren.
Executie: Een low-level planner voert de beweging uit, en de cyclus herhaalt zich.

Belangrijkste Bijdragen

HiMemVLN Framework: Een nieuw hiërarchisch geheugen-gebaseerd architectuurontwerp dat specifiek is ontworpen voor open-source LLM's om betrouwbare zero-shot VLN uit te voeren onder privacy-bewarende beperkingen.
Cognitieve Inspiratie: De integratie van een visueel dominante Short-Term Localer en een semantisch dominante Long-Term Globaler, wat cognitieve theorieën van ruimtelijk geheugen direct vertaalt naar een architecturale oplossing voor navigatie-amnesie.
Prestatieverbetering: Het systeem verkleint de prestatiekloof tussen open-source en closed-source modellen aanzienlijk en bereikt resultaten die nabij de state-of-the-art liggen zonder afhankelijk te zijn van cloud-API's.

Experimentele Resultaten

De auteurs evalueerden HiMemVLN in zowel gesimuleerde (Habitat/MP3D) als real-world omgevingen (met behulp van een Unitree Go2W robot).

Gesimuleerde Omgeving (VLN-CE):
- HiMemVLN (gebruikmakend van Qwen2-VL-72B) behaalde een Success Rate (SR) van 30% en een Oracle Success Rate (OSR) van 36%.
- Dit vertegenwoordigt een significante verbetering ten opzichte van de vorige open-source state-of-the-art, OpenNav (SR: 16%, OSR: 23%), en nadert of overtreft verschillende closed-source modellen (bijv. SmartWay met SR 29%).
- Kwalitatieve analyse toonde aan dat terwijl OpenNav lussen en afwijkend gedrag vertoonde (amnesie), HiMemVLN complexe meerstaps-instructies succesvol kon volgen.
Real-World Omgeving:
- In fysieke indoor tests behaalde HiMemVLN een SR van 32% vergeleken met de 18% van OpenNav.
- De Navigatiefout (NE) werd verminderd van 4.27m (OpenNav) naar 3.54m (HiMemVLN).
- Het systeem demonstreerde robuustheid in fijne scèneperceptie en directionele lokalisatie die vereist is voor real-world deployment.
Ablatie Studies:
- Het verwijderen van de Short-Term Localer leidde tot lokale lussen.
- Het verwijderen van de Long-Term Globaler leidde tot traject-drift en verlies van oriëntatie.
- De combinatie van beide systemen leverde optimale prestaties op.

Betekenis en Claims

Het artikel claimt dat HiMemVLN een praktisch pad biedt voor het implementeren van veilige, autonome embodied agents met behulp van open-source modellen. Door het kritieke probleem van "Navigatie-amnesie" aan te pakken, stelt het framework open-source LLM's in staat om betrouwbaarheid te bereiken die vergelijkbaar is met dure, cloud-afhankelijke closed-source modellen. Dit is bijzonder significant voor toepassingen in huishoudelijke dienstverlening en industriële robotica, waar gegevensprivacy, lage latentie en kostenefficiëntie van groot belang zijn. Het werk demonstreert dat gestructureerde geheugenmechanismen de inherente beperkingen van open-source modellen in langdurige redeneertaken kunnen compenseren.