Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks

Deze paper introduceert RuleSafe, een nieuw benchmark voor langdurige robotmanipulatie met niet-Markoviaanse taken, en VQ-Memory, een compacte tijdsrepresentatie die bestaande Vision-Language-Action-modellen verbetert door verleden toestanden te coderen in discrete tokens voor betere langetermijnplanning en generalisatie.

De kern

Stel je voor dat je een robot wilt leren om een oude, ingewikkelde kluis te openen. Dit is niet zomaar een kluis met één sleutelgat. Nee, dit is een kluis met een raadsel: je moet eerst een knop draaien, dan een hendel naar beneden duwen, en pas daarna kun je het wachtwoord invoeren. Als je de volgorde verkeerd doet, blijft de kluis dicht.

Dit is precies wat dit nieuwe onderzoek doet, maar dan in de digitale wereld van robotsimulaties. Hier is het verhaal, vertaald naar alledaags taal:

1. Het Probleem: Robots die "kortzichtig" zijn

Tot nu toe hebben onderzoekers robots getraind met simpele taken, zoals "pak de banaan en leg hem op de tafel". Dit is als een kind dat leert te lopen: één stap, één doel.

Maar in de echte wereld zijn taken vaak veel complexer. Ze zijn niet-Markoviaans. Dat is een moeilijk woord, maar het betekent simpelweg: "Wat je nu ziet, is niet genoeg om te weten wat je moet doen."

• Voorbeeld: Als je naar een gesloten deur kijkt, zie je niet of de sleutel al in het slot zit of dat je eerst de gordijnen moet openen. Je hebt een geheugen nodig om te onthouden wat je een seconde geleden deed.

Bestaande robot-benchmarks (testomgevingen) waren te simpel. Ze hadden geen geheugen nodig en geen lange reeksen stappen.

2. De Oplossing 1: RuleSafe (De "Kluis-Test")

De auteurs hebben een nieuwe testomgeving bedacht, genaamd RuleSafe.

• Het idee: In plaats van simpele taken, hebben ze een verzameling van digitale kluizen gemaakt.
• De regels: Elke kluis heeft een eigen, gekke regel. Sommige moeten open met een sleutel, andere met een wachtwoord, en weer andere met een logische puzzel (bijvoorbeeld: "draai de knop 3 keer rechts, dan 1 keer links").
• De truc: Ze hebben een slimme AI (een Large Language Model, of LLM) gebruikt om duizenden van deze regels automatisch te bedenken. Dit zorgt voor een enorme variëteit aan moeilijke, lange taken die een robot moet onthouden en plannen.

Het is alsof je een robot niet laat leren "lopen", maar laat leren "een detective te spelen" die een langdurig mysterie moet oplossen.

3. De Oplossing 2: VQ-Memory (Het "Slimme Dagboek")

Dit is het echte hoogtepunt van het papier. Hoe leer je een robot om al die stappen te onthouden zonder dat hij gek wordt?

• Het oude probleem: Als je een robot gewoon laat kijken naar zijn eigen bewegingen (zijn "spiergevoel" of proprioceptie), krijg je een berg ruis. Het is alsof je iemand vraagt om een verhaal te onthouden, maar je geeft hem elke seconde een nieuwe, wazige foto van zijn vingers. Het is te veel detail, te veel ruis, en de robot raakt in de war. Hij leert de specifieke beweging uit de training, maar faalt als de situatie iets anders is.
• De nieuwe methode (VQ-Memory): De auteurs hebben een slimme truc bedacht. Ze gebruiken een techniek die we VQ-Memory noemen.
  • De analogie: Stel je voor dat de robot zijn bewegingen niet als een lange, saaie video opslaat, maar als een kort, samengevat dagboek.
  • In plaats van te zeggen: "Ik heb mijn vinger 0,03 cm naar links bewogen, toen 0,04 cm...", zegt het systeem: "Ik ben in Stap 1: De hendel vastpakken."
  • Ze gebruiken een slimme wiskundige methode (VQ-VAE) om de ruwe bewegingen om te zetten in discrete tokens (zoals woorden in een taal).
  • Vervolgens clustert ze deze woorden. In plaats van 256 verschillende woorden voor "iets bewegen", maken ze er maar 4 belangrijke woorden van: "Knop draaien", "Hendel duwen", "Wachtwoord invoeren", "Deur openen".

Dit is als het verschil tussen een robot die elke seconde van zijn dag opschrijft (en vergeten raakt wat belangrijk is) en een robot die elke ochtend alleen de hoofdpunten van zijn dag noteert in een agenda.

4. Wat leverde het op?

Toen ze deze "Slimme Dagboek"-methode (VQ-Memory) combineerden met de "Kluis-Test" (RuleSafe), gebeurde er magie:

• Robots die eerder faalden bij lange taken, slaagden plotseling.
• Ze waren beter in het plannen van lange reeksen stappen.
• Ze waren sneller en hadden minder rekenkracht nodig, omdat ze niet hoeven te kijken naar elke kleine ruis in de beweging, maar alleen naar de "hoofdgedachten".

Samenvatting in één zin

De auteurs hebben een nieuwe, moeilijke test voor robots bedacht (RuleSafe) en een slimme manier om robots te leren onthouden wat ze deden (VQ-Memory), zodat ze complexe taken kunnen oplossen alsof ze een goed georganiseerd dagboek hebben, in plaats van een ruisende video.

Het is een enorme stap vooruit om robots te maken die niet alleen "nu" zien, maar ook begrijpen wat ze gisteren deden en wat ze morgen moeten doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks", vertaald en samengevat in het Nederlands.

Probleemstelling

Robotica-simulatie is een schaalbaar platform geworden voor evaluatie en datageneratie, maar bestaande benchmarks zijn beperkt. Ze focussen voornamelijk op korte taken (zoals "picken-en-plaatsen") en eenvoudige objectinteracties. Dit negeert twee cruciale aspecten van de echte wereld:

1. Niet-Markoviaanse aard: In complexe taken (zoals het openen van een kluis met een slot) kan de huidige toestand niet worden afgeleid uit één visuele observatie. De agent moet de geschiedenis kennen om te weten in welke fase van het proces het zich bevindt.
2. Gelaagde objecten (Articulated Objects): Objecten zoals deuren, laden en kasten hebben meerdere scharnierende onderdelen met complexe onderlinge afhankelijkheden. Bestaande benchmarks testen zelden deze multi-stap redenering en de interactie tussen verschillende kinematische componenten.

Bestaande methoden voor tijdsmodelling (zoals het gebruik van ruwe visuele frames of ruwe robotgewrichtsstaten) hebben hun tekortkomingen: visuele geschiedenis is computarisch duur, terwijl ruwe gewrichtsstaten gevoelig zijn voor ruis en leiden tot overfitting op specifieke trajecten.

Methodologie

Het paper introduceert twee hoofdcomponenten: een nieuwe benchmark (RuleSafe) en een nieuwe architectuur voor tijdsmodelling (VQ-Memory).

1. RuleSafe: Een Nieuwe Benchmark

RuleSafe is een schaalbaar, door LLM's (Large Language Models) ondersteund simulatiekader voor langdurige manipulatie van gelaagde objecten.

• Opzet: De benchmark bestaat uit een reeks veiligheidskluizen met diverse ontgrendelingsmechanismen (sleutelsloten, wachtwoordsloten, logische sloten).
• Regels: De ontgrendelingsregels zijn gebaseerd op twee variabelen:
  • Part-Phase: De discrete staat van individuele onderdelen (bijv. knop gedraaid, handgreep getrokken).
  • Task-Phase: De voortgang van de multi-stap taak (bijv. wachtwoord ingevoerd, slot ontgrendeld).
• Generatie: LLM's genereren automatisch diverse regels en demonstraties, wat zorgt voor een hoge diversiteit en schaalbaarheid zonder handmatige scripting.
• Uitdaging: Taken vereisen sequentiële redenering over tijd, waarbij de huidige observatie onvoldoende is om de volgende actie te bepalen (niet-Markoviaans).

2. VQ-Memory: Compacte Tijdsrepresentatie

Om het probleem van ruis en overfitting bij het gebruik van historische gewrichtsstaten op te lossen, stellen de auteurs VQ-Memory voor.

• Vector-Quantized VAE (VQ-VAE): Het systeem encodeert continue sequenties van robotgewrichtsstaten (proprioceptie) naar een discrete latente ruimte. Een encoder mapt de staat naar een latente embedding, die wordt gekwantiseerd naar de dichtstbijzijnde entry in een geleerde codeboek.
• Clustering: Om redundantie te verminderen en overfitting te voorkomen, wordt na het trainen van de VQ-VAE een K-means clustering toegepast op het codeboek. Dit reduceert het vocabulaire van bijvoorbeeld 256 naar 4 of 32 discrete tokens.
• Werking: Deze discrete tokens fungeren als "geheugentokens" die aan de policy worden toegevoegd. Ze filteren laag-niveau ruis weg, maar behouden de hoog-niveau semantische context van de taakfase (bijv. "we zijn in de fase van wachtwoord invoeren").
• Model-onafhankelijkheid: VQ-Memory is een plug-in module die compatibel is met bestaande Vision-Language-Action (VLA) modellen en diffusie-beleid, zonder de architectuur fundamenteel te veranderen.

Belangrijkste Bijdragen

1. RuleSafe Benchmark: Een nieuw, schaalbaar benchmark voor gelaagde manipulatie met niet-Markoviaanse taken die langdurige planning en geheugen vereisen.
2. VQ-Memory: Een compacte, gestructureerde tijdsrepresentatie die gebruikmaakt van vector-quantisatie en clustering om ruis in gewrichtsstaten te filteren en robuuste taakfases te behouden.
3. Empirisch Bewijs: Demonstratie dat VQ-Memory de prestaties van state-of-the-art modellen (zoals $\pi_0$, RDT, CogACT, DP3) significant verbetert in zowel single-task als multi-task settings, met name voor lange-horizon taken.

Resultaten

Experimenten werden uitgevoerd op verschillende SOTA-modellen (Diffusion Policies, VLA's) in de RuleSafe omgeving:

• Single-Task: Op de complexe regel 020 (8 stappen) verbeterde VQ-Memory de succesrate van $\pi_0$ van 0% naar 45%, terwijl het gebruik van ruwe gewrichtsstaten ("raw memory") instabiel bleef.
• Multi-Task: Bij het trainen op alle 20 taken simultaneously steeg de gemiddelde succesrate van 25,0% naar 56,3% en de proces-score van 48,8% naar 76,5% door het gebruik van VQ-Memory.
• Ablatie Studies:
  • Aantal clusters: Te veel clusters (256) leiden tot ruis (20% succes), te weinig (2) leiden tot verlies van nuance. 4 clusters bleek optimaal.
  • Geheugenlengte: Een lengte van 40 tokens bleek het beste evenwicht te bieden tussen het vastleggen van lange afhankelijkheden en efficiëntie.
• Generalisatie: VQ-Memory verbeterde consistent de prestaties over verschillende modelarchitecturen, wat aantoont dat het een model-onafhankelijke oplossing is.

Betekenis en Impact

Dit werk adresseert een kritieke kloof in robotica-simulatie: de overgang van korte, eenvoudige taken naar complexe, langdurige interacties met gelaagde objecten.

• Robuustheid: Het toont aan dat het discretiseren van sensorgeschiedenis via VQ-VAE een effectieve manier is om ruis te filteren en robuustere tijdsredenering mogelijk te maken.
• Schaalbaarheid: Door LLM's te gebruiken voor het genereren van regels en demonstraties, wordt de creatie van complexe benchmarks versneld en gediversifieerd.
• Toekomst: De methode biedt een pad naar realistischere robotcontrole in niet-Markoviaanse omgevingen, wat essentieel is voor het toepassen van robots in huishoudens en fabrieken waar complexe, multi-stap taken de norm zijn.

Kortom, het paper levert zowel een uitdagend nieuw testplatform (RuleSafe) als een technisch geavanceerde oplossing (VQ-Memory) om robots beter te laten plannen en handelen in complexe, tijd-afhankelijke scenario's.