History-Conditioned Spatio-Temporal Visual Token Pruning for Efficient Vision-Language Navigation

Deze paper introduceert een trainingsvrije, plug-and-play framework voor spatio-temporele visuele token-pruning dat de inferentie-efficiëntie van Vision-Language-Action-modellen voor robotnavigatie aanzienlijk verbetert zonder de nauwkeurigheid te verstoren, wat wordt gevalideerd op zowel benchmarks als een Unitree Go2-robot.

De kern

Stel je voor dat je een robot hebt die je kunt vertellen: "Loop door de gang, sla linksaf bij de rode koffer en stop bij de koelkast." Dit heet Visueel-Taal Navigatie. De robot moet kijken, luisteren en beslissingen nemen, allemaal tegelijk.

Recente robots gebruiken heel slimme hersens (zogenaamde "VLA-modellen") om dit te doen. Maar deze hersens zijn zwaar. Ze zijn als een gigantische vrachtwagen die vol zit met informatie. Als je die vrachtwagen door een smalle stadstraat wilt sturen, gaat het te traag. De robot reageert te langzaam, en dat is gevaarlijk of gewoon vervelend.

De auteurs van dit paper hebben een slimme oplossing bedacht: Visuele Token-Pruning. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel.

De Probleemstelling: De Overvolle Rucksack

Stel je voor dat de robot elke seconde een foto maakt van zijn omgeving. Hij moet al die foto's onthouden om te weten waar hij is geweest en waar hij naartoe moet.

• Het probleem: De robot neemt elke foto mee alsof het een zware steen is. Hij draagt ook foto's mee van plekken waar hij al lang niet meer is, of van details die niet belangrijk zijn (zoals een vlek op de muur). Dit maakt zijn "rucksack" (zijn geheugen) zo zwaar dat hij niet snel genoeg kan rennen.

De Oplossing: De Slimme Verpakker

De auteurs zeggen: "Wacht even, we hoeven niet alles mee te nemen." Ze hebben een systeem bedacht dat de robot leert om alleen de belangrijkste dingen mee te nemen. Ze noemen dit "History-Conditioned Spatio-Temporal Visual Token Pruning". Laten we dat vertalen naar alledaags taal:

1. De Huidige Foto (Nu):
   Als de robot nu naar voren kijkt, moet hij alles zien wat er nu belangrijk is. Is er een obstakel? Is daar de deur?

   • De analogie: Stel je voor dat je door een drukke markt loopt. Je kijkt naar de mensen om je heen. Je wilt niet naar elke steen op de grond kijken, maar je ziet wel de mensen die je uit de weg moet gaan. De robot doet hetzelfde: hij houdt alleen de "belangrijke mensen" in beeld en gooit de rest weg.

2. Het Verleden (Geschiedenis):
   Dit is het slimme deel. De robot moet ook onthouden waar hij vandaan komt. Maar hij hoeft niet elke oude foto in detail te bewaren.

   • De analogie: Stel je voor dat je een verhaal vertelt. Je hoeft niet elke zin uit je jeugd te herhalen. Je zegt alleen: "Ik kwam van de hoek van de straat, ik zag een blauwe auto en toen draaide ik links." Je vat het verleden samen tot de essentie. De robot doet dit ook: hij comprimeert zijn oude herinneringen tot een kort, krachtig samenvatting dat nog wel relevant is voor wat hij nu doet.

Hoe werkt het precies? (De Magische Schaar)

De robot gebruikt een slimme techniek (genaamd A-MMR) die werkt als een zeer selectieve schaar:

• Stap 1: Hij kijkt naar de huidige foto en zoekt naar de "sterkste" plekken (waar de aandacht naartoe gaat).
• Stap 2: Hij kijkt of die plekken ook anders zijn dan wat hij al heeft. Als er twee identieke bomen zijn, houdt hij er maar één van. Hij wil diversiteit, geen dubbel werk.
• Stap 3: Voor het verleden vraagt hij zichzelf: "Is dit oude beeld nog wel relevant voor wat ik nu zie?" Als het antwoord nee is, gooit hij het weg. Als het ja is, houdt hij het, maar dan wel in een compacte vorm.

Waarom is dit geweldig?

• Geen hersentraining nodig: Je hoeft de robot niet opnieuw te leren. Het is als een plug-in die je er gewoon opzet. De robot blijft net zo slim, maar wordt veel sneller.
• Snelheid: In tests bleek dat de robot met deze methode veel sneller kon reageren (hoger "FPS" - frames per seconde) zonder dat hij de weg kwijtraakte.
• Echte robots: Ze hebben dit zelfs getest op een echte hond-robot (de Unitree Go2). De robot kon door een huis lopen en instructies volgen, zelfs als hij alleen op zijn eigen batterij en computer liep, zonder verbinding met een supercomputer in de cloud.

Samenvatting in één zin

Dit paper laat zien hoe je een robot kunt laten rennen in plaats van te hobbelen, door hem te leren om alleen de belangrijkste momenten van zijn huidige blik en zijn verleden mee te nemen, en de rest van de "ruis" gewoon weg te gooien.

Het is alsof je van een zware, overvolle koffer een lichte, slimme rugzak maakt: je hebt nog steeds alles wat je nodig hebt, maar je kunt er veel sneller mee bewegen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "History-Conditioned Spatio-Temporal Visual Token Pruning for Efficient Vision-Language Navigation", geschreven in het Nederlands.

Probleemstelling

Vision-Language Navigation (VLN) stelt robotische systemen in staat om instructies in natuurlijke taal op te volgen in visueel waargenomen omgevingen. Recentelijk hebben Vision-Language-Action (VLA) modellen sterke prestaties geleverd, maar ze zijn gebaseerd op transformer-architecturen die rekenkundig zeer intensief zijn. Dit leidt tot hoge latentie, wat de real-time implementatie op robots belemmert.

Bestaande methoden voor het versnellen van visuele token-pruning (het verwijderen van minder belangrijke visuele data) zijn vaak generiek en negeren de specifieke aard van VLN-taken. VLN is een geschiedenis-geconditioneerd proces: een agent moet niet alleen de huidige frame bekijken, maar ook redeneren over de ruimtelijk-temporele relaties tussen huidige en historische waarnemingen. Bestaande methoden behandelen frames vaak als individuele eenheden en falen in het behoud van de essentiële informatie die nodig is voor langetermijnbesluitvorming, wat leidt tot prestatieverlies bij agressieve pruning.

Methodologie

De auteurs stellen een trainingsvrij (training-free) framework voor dat visuele tokens selectief pruneert door onderscheid te maken tussen de "huidige" observatie en "historische" herinneringen. Het framework bestaat uit vier fasen:

1. Feature Extractie en Belangrijkheidsberekening:

   • Zowel huidige als historische frames worden geëncodeerd door de visuele encoder van het VLA-model.
   • De basisbelangrijkheid ($I_{base}$) van elke patch-token wordt berekend via de cosine-sequentie met de globale [CLS]-token. Dit identificeert semantisch opvallende gebieden (zoals doelen of obstakels).

2. Token Selectie (Huidige Frame) - A-MMR:

   • Voor de huidige observatie wordt een Adaptive Maximal Marginal Relevance (A-MMR) strategie gebruikt.
   • In tegenstelling tot harde splitsingen, selecteert A-MMR iteratief tokens die een optimale balans vinden tussen semantische relevantie (hoge aandachtswaarde) en ruimtelijke diversiteit (lage gelijkenis met reeds geselecteerde tokens).
   • Dit zorgt ervoor dat belangrijke objecten worden behouden zonder redundante, overlappende informatie.

3. Token Selectie (Historische Frames) - Query-Guided Reweighting:

   • Voor historische frames wordt een Query-Guided Re-weighting mechanisme toegepast.
   • De geselecteerde tokens van de huidige frame fungeren als queries ($Q$).
   • De relevantie van een historisch token wordt berekend op basis van de maximale gelijkenis met deze queries (Spatio-Temporal Relevance).
   • De uiteindelijke belangrijkheidsscore wordt een combinatie van de oorspronkelijke basisbelangrijkheid en deze tijdsgebonden relevantie. Hierdoor worden historische tokens die irrelevant zijn voor de huidige context verwijderd, terwijl cruciale herinneringen behouden blijven.

4. Actie Voorspelling:

   • De geselecteerde, gecondenseerde set tokens wordt door een projector en het LLM van het VLA-model gevoerd om de navigatieacties te voorspellen.
   • Het proces is "plug-and-play" en vereist geen herscholing van het vooraf getrainde model.

Belangrijkste Bijdragen

• Probleemdefinitie: Het identificeren en aanpakken van het onderbelichte probleem van token-pruning specifiek voor VLA-modellen in VLN, waarbij de noodzaak van ruimtelijk-temporele informatiebehoud centraal staat.
• Nieuw Framework: Een trainingsvrij framework dat expliciet onderscheid maakt tussen ruimtelijke token-selectie (huidige frame) en ruimtelijk-temporele compressie (historische frames).
• A-MMR Strategie: Een geavanceerde variant van MMR die dynamisch diversiteit en relevantie balanseert zonder harde regels.
• Real-world Validatie: Succesvolle implementatie op een fysieke Unitree Go2 quadruped-robot, wat de bruikbaarheid in echte omgevingen bewijst.

Resultaten

De methode is getest op de standaard VLN-benchmarks Room-to-Room (R2R) en Room-Across-Room (RxR) en vergeleken met bestaande methoden zoals SparseVLM, DivPrune en VisPruner.

• Prestaties: Bij extreme pruning-ratio's (90%) behoudt de methode superieure navigatie-accuraatheid. Op de R2R-dataset overtreft de methode bestaande technieken met aanzienlijke marges (bijv. +17,81% verbetering in SPL ten opzichte van DivPrune bij 90% pruning).
• Efficiëntie: De methode verlaagt de CUDA-inferentie-latentie aanzienlijk (van 231,34 ms naar 213,40 ms bij 90% pruning) en bereikt een hogere doorvoer (FPS) dan concurrenten.
• Ablatie Studies: Experimenten bevestigen dat zowel diversiteit als semantische belangrijkheid noodzakelijk zijn; het weglaten van een van beide leidt tot prestatieverlies. Ook werd vastgesteld dat het samenvoegen (merging) van tokens (een techniek uit andere visuele taken) in VLN schadelijk is en beter direct verwijderen is.
• Real-world: Op de Unitree Go2-robot (met NVIDIA Jetson Thor) resulteerde pruning in een lagere inferentietijd (1,25s vs 1,43s) met minimale onderbrekingen in de beweging, wat de haalbaarheid voor edge-deployments aantoont.

Significantie

Dit werk overbrugt de kloof tussen zware, multimodale foundation-modellen en de eisen van agile, real-time robotica. Door een trainingsvrije, plug-and-play oplossing te bieden die specifiek is ontworpen voor de geschiedenis-afhankelijke aard van navigatie, maakt het VLA-modellen veel praktischer inzetbaar op robots met beperkte rekenkracht. Het bewijst dat agressieve compressie van visuele data mogelijk is zonder de cruciale context voor langetermijnbesluitvorming te verliezen, wat een belangrijke stap is voor de toekomst van autonome robots in huishoudelijke en zoek- en reddingsmissies.