HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy

Probleemstelling

Robotische manipulatie taken zijn inherent afhankelijk van de geschiedenis (history-dependent). De juiste actie hangt vaak af van eerdere context, zoals of een object al vastgegrepen is of wat er in een vorige stap is gebeurd. Bestaande Vision-Language-Action (VLA) modellen (zoals GR00T N1.5, OpenVLA, etc.) zijn echter meestal ontworpen met de aanname van een "single-frame" input: ze voorspellen acties uitsluitend op basis van de huidige observatie, zonder rekening te houden met voorgaande frames.

Dit leidt tot twee belangrijke beperkingen:

1. Beperkte prestaties: Bij taken met objectverduistering (occlusion) of lange reeksen stappen (long-horizon tasks) kunnen deze modellen de huidige toestand niet correct interpreteren.
2. Rekenkundige inefficiëntie: Een naïeve oplossing is het toevoegen van meerdere vorige frames aan de input van het model. Het paper toont aan dat dit echter leidt tot een enorme toename in rekentijd (ca. 35% vertraging) en geheugengebruik (ca. 3,6x meer), wat de schaalbaarheid beperkt.

De kernvraag is: Hoe kunnen we pre-getrainde VLA-modellen history-aware maken zonder kostbare hertraining vanaf nul of enorme rekenkosten?

Methodologie: HAMLET

De auteurs stellen HAMLET (History-Aware Memory with LEarned Tokens) voor, een plug-in framework dat bestaande VLA-modellen aanpast om historische context te benutten. Het framework bestaat uit twee hoofdcomponenten:

1. Moment Tokens (Contextcompressie)

In plaats van ruwe beelden op te slaan, introduceert HAMLET een set van leerbare moment tokens ($m_t$) die aan de input van het Vision-Language Model (VLM) worden toegevoegd op elk tijdstip $t$.

• Functie: Deze tokens comprimeren de visuele informatie van het huidige tijdstip tot een compacte representatie.
• Initialisatie (Time-Contrastive Learning - TCL): Om ervoor te zorgen dat deze tokens specifiek op tijdsafhankelijke kenmerken letten en statische achtergronden negeren, worden ze geinitialiseerd met Time-Contrastive Learning.
  • Positieve paren worden gevormd door augmented views van hetzelfde frame.
  • Negatieve paren worden gevormd door frames uit verschillende tijdstippen binnen dezelfde traject.
  • Dit dwingt de tokens om unieke, tijdspecifieke signalen te coderen.

2. Light-Weight Memory Module

De geëxtraheerde moment tokens worden niet direct gebruikt, maar eerst verwerkt door een lichtgewicht memory module (een ondiepe Transformer).

• Selectieve Integratie: De module verzamelt moment tokens van de afgelopen $T$ tijdstippen en gebruikt causal self-attention om te bepalen welke historische momenten relevant zijn voor de huidige actie.
• Voordeel: In tegenstelling tot het simpelweg samenvoegen (concatenatie) van alle tokens, leert deze module om irrelevante informatie te filteren en alleen de cruciale historische cues te behouden.
• Voorspelling: De geaggregeerde "history-augmented" feature wordt gecombineerd met de huidige VLM-representatie en ingevoerd in de actie-expert (bijv. een diffusion head) om de volgende acties te voorspellen.

Belangrijkste Bijdragen

1. Een plug-in oplossing: HAMLET maakt het mogelijk om bestaande, state-of-the-art VLA-modellen (zoals GR00T N1.5 en CogACT) om te schakelen naar history-aware policies zonder dat het basismodel opnieuw getraind hoeft te worden.
2. Efficiënte architectuur: Door moment tokens en een selectieve memory module te gebruiken, vermijdt het framework de hoge rekenkosten van multi-frame inputs, terwijl het wel lange-termijn context behoudt.
3. Time-Contrastive Learning: De introductie van TCL voor het initialiseren van moment tokens zorgt ervoor dat het model zich richt op dynamische, taak-relevante veranderingen in plaats van statische achtergronden.

Resultaten

Het paper presenteert uitgebreide experimenten in zowel echte robotomgevingen als simulatiebenchmarks:

• Real-world Taken (History-dependent):

  • Op taken zoals "Pick-and-Place Twice", "Cover-and-Stack" en "Swap Cubes" verbeterde HAMLET de succesrate van de basis GR00T N1.5 met 47,2% (van 29,2% naar 76,4%).
  • De naïeve multi-frame baseline presteerde aanzienlijk slechter dan HAMLET, wat aantoont dat het simpelweg meer frames toevoegen niet voldoende is.

• Simulatie Benchmarks:

  • RoboCasa Kitchen: HAMLET verhoogde de gemiddelde succesrate van 64,1% naar 66,4% (op 100 demos).
  • LIBERO: De prestaties steeg van 95,6% naar 97,6%, wat aantoont dat het zelfs op reeds zeer goed presterende modellen nog verbetering mogelijk is.
  • SimplerEnv-Bridge (CogACT): De succesrate steeg van 52,1% naar 63,5%.

• Efficiëntie:

  • HAMLET voegt slechts een minimale vertraging toe (1,02x tot 1,07x) en verhoogt het geheugengebruik aanzienlijk minder dan de multi-frame baseline (die tot 7x meer geheugen nodig heeft bij een geschiedenis van 8 frames).

• Generalisatie:

  • Het geheugenmodule getraind op één dataset (bijv. LIBERO) kan zonder extra training worden overgedragen naar een andere dataset (RoboCasa) met vergelijkbare prestaties, wat wijst op sterke generalisatie-eigenschappen.

Betekenis en Impact

HAMLET adresseert een fundamentele beperking in de huidige generatie robotische AI-modellen: het gebrek aan bewustzijn van geschiedenis. Door een efficiënte, schaalbare manier te bieden om historische context te integreren, maakt het complexe, lange reeksen robottaken (zoals het oplossen van occlusies of het uitvoeren van multi-stap redenering) veel betrouwbaarder.

Het onderzoek toont aan dat het niet nodig is om enorme, nieuwe modellen te trainen om history-awareness te bereiken; in plaats daarvan kan een slimme, lichte toevoeging aan bestaande pre-getrainde modellen de prestaties drastisch verbeteren. Dit opent de deur voor het toepassen van geavanceerde robotica in real-world scenario's waar context en geheugen essentieel zijn.