MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation
MemVLN is een real-time Vision-and-Language Navigation-framework dat state-of-the-art prestaties en 14 FPS inferentie bereikt door een pyramidale episodische geheugen te integreren voor efficiënte retentie van geschiedenis over lange tijdspannen met een procedureel geheugen dat gebruikmaakt van atomaire middenniveau-acties om de latentie van autoregressieve decodering te omzeilen.
Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren door een huis te lopen dat hij nog nooit eerder heeft gezien, geleid door een stem die zegt: "Ga naar de keuken, sla linksaf bij de blauwe vaas en stop bij de koelkast." Dit is de wereld van Vision-and-Language Navigation (VLN). Het is een tak van robotica en kunstmatige intelligentie waarbij een computeragent instructies moet begrijpen en door de wereld moet kijken via een camera om uit te vogelen waar hij als volgende naartoe moet bewegen. Het lastige deel is dat de robot niet zomaar van de ene plek naar de andere kan springen zoals in een videogame; hij moet echte, stap-voor-stap acties ondernemen in een continue ruimte. Om dit goed te doen, heeft de robot twee superkrachten nodig: een langetermijngeheugen om te onthouden waar hij begon en waar hij naart toe gaat (zodat hij niet verdwaalt), en snelle reflexen om direct te reageren op wat hij nú ziet. Als de robot te traag is met denken, botst hij tegen muren; als hij het verleden vergeet, loopt hij cirkels. Wetenschappers proberen al robots te bous die beide tegelijkertijd kunnen doen, maar meestal moeten ze kiezen tussen slim zijn of snel zijn.
Maak kennis met MemVLN, een nieuwe robot-brein die beide kan hebben. De onderzoekers achter dit project realiseerden zich dat huidige robots moeite hebben omdat ze proberen elk detail van hun reis met dezelfde hoge kwaliteit te onthouden, wat hen tot een kruipend tempo vertraagt. MemVLN lost dit op door de manier waarop het menselijk geheugen werkt na te bootsen. Het splitst het geheugen in twee speciale soorten: Episodisch Geheugen en Procedureel Geheugen. Zie het Episodisch Geheugen als een fotoalbum waarin de meest recente foto's in hoge definitie staan, maar oudere foto's zijn verkleind tot piepkleine miniaturen. Dit laat de robot een helder beeld houden van waar hij nu is, terwijl hij nog steeds de algemene vorm van het pad onthoudt dat hij uren geleden aflegde, zonder te worden afgeremd door te veel data. Dan is er het Procedurele Geheugen, dat lijkt op een spiergeheugen voor autorijden of typen. In plaats van dat de robot even stopt om zorgvuldig een lange zin te typen als "Ik zal nu linksafslaan en naar voren lopen", heeft het een verkorte woordenschat van vooraf gemaakte "actie-tokens". Dit stelt de robot in staat om beslissingen te nemen in een enkele flits, waardoor het trage, stap-voor-stap denkproces wordt overgeslagen dat normaal gesproken vertragingen veroorzaakt.
Het artikel introduceert MemVLN als een framework dat deze twee geheugenstijlen succesvol combineert om door continue omgevingen te navigeren met een snelheid van 14 FPS (frames per seconde). Dit is een aanzienlijke sprong in snelheid vergeleken met eerdere methoden, die volgens de auteurs vaak worstelen met het vinden van een balans tussen de behoefte aan een lange visuele geschiedenis en de behoefte aan real-time controle. Door een "piramidale resolutie"-strategie te gebruiken voor het episodisch geheugen, verwerkt het systeem directe beelden op een volledige resolutie van 512 × 512, korte-termijnbeelden op 256 × 256, en de lange-termijn geschiedenis op een gecomprimeerde 128 × 128. Dit zorgt ervoor dat de robot gefocust blijft op wat er recht voor hem staat, terwijl hij een gecomprimeerde samenvatting van het verleden behoudt. Voor het procedurele geheugen heeft het team de standaard, trage manier van het genereren van acties (die meer dan 300ms duurt voor een sequentie) vervangen door een "fast action"-mechanisme dat een enkele token gebruikt om een complexe beweging te vertegenwoordigen, waardoor de tijd is teruggebracht naar ongeveer 70ms.
De resultaten van de tests van MemVLN op standaard navigatiebenchmarks, specifiek R2R-CE en RxR-CE, suggereren dat deze aanpak erg goed werkt. De auteurs vonden dat hun model, MemVLN-4B, de baseline Qwen3-VL-4B architectuur versloeg met 5,8% in succespercentage op de R2R-dataset en 9,7% op de RxR-dataset. Misschien wel het meest indrukwekkend is dat het nieuwe systeem een 7x versnelling bereikte in inferentie-latentie, waardoor het in real-time kan opereren. Het artikel voert expliciet aan tegen het idee dat token merging (een methode die andere systemen gebruiken om data te comprimeren) de beste oplossing is, omdat het de ruimtelijke grid vernietigt die nodig is voor geavanceerde positionering. In plaats daarvan behoudt hun piramidale resolutie de gridstructuur terwijl het de data nog steeds comprimeert. De auteurs hebben ook verschillende "vormen" van hun geheugenpiramide getest en ontdekten dat een "oplopend" ontwerp, dat de meest recente beelden de hoogste resolutie geeft, het beste werkte. Hoewel het model uitsluitend vertrouwt op standaard RGB-video (net als een menselijk oog) en natuurlijke taal, zonder extra sensoren zoals dieptecamera's, suggereert dit dat een slim geheugensysteem de beperkte visuele data kan compenseren. De studie bevestigt dat door een balans te vinden tussen hoogwaardige recente observaties en gecomprimeerde geschiedenis, en door een fast-action vocabulaire te gebruiken, robots complexere, onbekende ruimtes effectiever en sneller kunnen navigeren dan ooit tevoren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.