Hierarchical Latent Action Model

Dit paper introduceert HiLAM, een hiërarchisch latent actie-model dat door gebruik te maken van een vooraf getraind LAM als laag-niveau-extractor langdurige temporale afhankelijkheden in actie-loze video's analyseert om robuuste hoog-niveau vaardigheden te ontdekken.

De kern

Stel je voor dat je wilt leren hoe je een nieuwe vaardigheid doet, zoals een potje schaken of een robotarm laten bewegen. Normaal gesproken heb je een instructeur nodig die je vertelt: "Beweeg je hand naar links, pak de pion vast, zet hem hier neer." Dit zijn de acties.

Het probleem is dat het extreem moeilijk en duur is om voor elke mogelijke taak een menselijke instructeur te vinden die precies opschrijft welke bewegingen hij maakt. De meeste video's die we hebben (van mensen die koken, van robots die in fabrieken werken, of van gamers) bevatten alleen beelden. Er staat geen instructie bij: "Nu beweeg ik mijn arm 5 centimeter naar rechts."

Hier komt HiLAM (Hierarchical Latent Action Model) om de hoek kijken. Het is een slimme manier om een robot of computer te leren bewegen, puur door naar video's te kijken, zonder dat iemand de bewegingen hoeft op te schrijven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: Kijk maar naar de beelden

Stel je een video voor van iemand die een kopje thee zet.

• De oude manier: De computer kijkt naar het beeld en probeert te raden wat er gebeurt. Maar dat is lastig. Zie je een hand die beweegt? Is dat een "grijpen"? Of een "dragen"? Of een "zetten"?
• Het probleem: Bestaande slimme systemen kijken vaak alleen naar de korte bewegingen (bijv. "hand gaat omhoog"). Ze missen het grotere plaatje: het hele verhaal van "thee zetten" bestaat uit een reeks stappen die lang duren. Ze zien de letters, maar niet de woorden.

2. De oplossing: HiLAM als een slimme regisseur

HiLAM werkt als een slimme regisseur die een film bekijkt en de scène in logische stukjes (scenes) verdeelt, zonder dat er een script is.

Het proces heeft twee lagen:

Lagen 1: De "Micro-bewegingen" (De Latente Acties)
Eerst gebruikt HiLAM een bestaand slimme tool (een "Inverse Dynamics Model") om te raden: "Als dit beeld hier is, en dat beeld daar, wat moet er dan gebeurd zijn om van A naar B te komen?"
Dit zijn de kleine, snelle bewegingen. Denk aan het duwen van een knop, het vastpakken van een kopje. De computer noemt dit "latente acties". Het zijn geen echte commando's, maar een soort interne notities over beweging.

Lagen 2: De "Grote Ideeën" (De Hiërarchische Vaardigheden)
Nu komt het magische deel. HiLAM kijkt naar die reeks kleine bewegingen en zegt: "Wacht even, al die kleine bewegingen samen vormen één groot idee."

• In plaats van te zeggen: "Hand naar voren, hand sluiten, hand omhoog, hand draaien..."
• Zegt HiLAM: "Pak het kopje op."

Dit noemen ze Latente Vaardigheden (Latent Skills). HiLAM leert automatisch om de lange reeks van kleine bewegingen samen te vatten tot één logisch blok.

3. De "Dynamische Snijtechniek" (De Creatieve Metafoor)

Hoe weet HiLAM waar het ene stukje eindigt en het andere begint?
Stel je voor dat je een lange filmrol hebt. Een oude computer zou zeggen: "Ik snijd elke 10 seconden een stukje af." Dat is dom, want een actie kan 3 seconden duren en een andere 20.

HiLAM gebruikt een dynamische snijtechniek (gebaseerd op iets dat H-Net heet).

• Het kijkt naar de beelden en zegt: "Oh, hier verandert de actie plotseling. De hand stopt met grijpen en begint met tillen. Hier snijd ik!"
• Het snijdt de film dus op de natuurlijke momenten waarop de betekenis verandert, niet op een vast tijdstip.
• Hierdoor kan HiLAM leren dat "thee zetten" uit drie grote stukjes bestaat: Kopje pakken, Kopje tillen, Kopje neerzetten. En elk stukje heeft een eigen lengte.

4. Waarom is dit zo geweldig? (De Resultaten)

De onderzoekers hebben HiLAM getest op een reeks moeilijke taken (het LIBERO-benchmark), waar robots complexe dingen moeten doen, zoals objecten verplaatsen of ruimtelijke puzzels oplossen.

• Minder data nodig: Normaal gesproken heb je duizenden voorbeelden nodig om een robot iets te leren. Met HiLAM konden ze de robot al laten werken met slechts 10% van de normale hoeveelheid voorbeelden.
• Beter op lange termijn: Omdat HiLAM de "grote ideeën" (vaardigheden) leert, is de robot veel beter in lange taken. Het onthoudt niet alleen "beweeg hand", maar "ik moet eerst het kopje pakken, dan het theebusje openen".
• Interpreteerbaar: Je kunt zien wat de robot denkt. Als je kijkt naar de "snijpunten" die HiLAM kiest, zie je precies waar de robot denkt dat de ene taak eindigt en de volgende begint.

Samenvattend

HiLAM is als een slimme student die naar een video van een meesterkok kijkt. De student hoeft niet te weten hoe de kok precies zijn mes vasthoudt (de kleine details), maar leert wel de stappen: "Eerst snijden, dan bakken, dan serveren".

Door deze stappen (vaardigheden) te leren zonder dat iemand ze heeft opgeschreven, kan de robot veel sneller en efficiënter leren nieuwe taken uit te voeren, zelfs als hij alleen maar naar video's heeft gekeken. Het is een enorme stap naar robots die echt kunnen "kijken en begrijpen" in plaats van alleen maar geprogrammeerde instructies af te spelen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "HiLAM: Hierarchical Latent Action Model" in het Nederlands.

Titel: HiLAM: Een Hiërarchisch Latent Actiemodel voor het Ontdekken van Vaardigheden uit Actieloze Data

1. Het Probleem

Recente vooruitgang in robotleren vereist grote datasets, maar het verzamelen van data met actielabels (bijv. motorcommando's) is extreem duur en beperkt de diversiteit van datasets. Latent Action Models (LAMs) zijn een veelbelovende oplossing die latent acties direct uit observationele data (alleen video's) extrahert.

Echter, bestaande LAMs hebben twee belangrijke beperkingen:

1. Korte horizon: Ze focussen voornamelijk op korte-termijn frame-overgangen en vangen laag-niveau bewegingen (low-level motion) op.
2. Gebrek aan hiërarchie: Ze missen langere-termijn temporele structuren en hoog-niveau vaardigheden (skills), terwijl ongelabelde video's vaak juist deze uitgebreide, semantisch betekenisvolle vaardigheden bevatten.
3. Vaste lengtes: Bestaande methoden vereisen vaak vaste vensters voor vaardigheden of vooraf gedefinieerde sets van vaardigheden, wat niet past bij de variabele duur van real-world demonstraties.

De kernvraag is: Hoe kunnen we hoog-niveau vaardigheden extraheren uit ongelabelde video's zonder vooraf gedefinieerde sets of vaste tijdsvensters?

2. Methodologie: HiLAM

Het auteurs stellen HiLAM (Hierarchical Latent Action Model) voor, een architectuur die latent vaardigheden ontdekt door langdurige temporele informatie te modelleren. De methode bestaat uit twee hoofdfasen:

A. Architectuur en Dynamische Chunking
HiLAM gebruikt een hiërarchische opbouw gebaseerd op H-Net (Hwang et al., 2025) met een dynamische chunking-mechanisme:

• Input: Een reeks laag-niveau latent acties ($z^l$), geëxtraheerd uit een vooraf getraind Inverse Dynamics Model (IDM) dat beweging tussen frames voorspelt.
• Dynamische Segmentatie: In plaats van vaste vensters, leert het model data-gedreven grenzen tussen vaardigheden. Het model voorspelt voor elk token een grens-indicator ($b_t$). Tokens die een nieuwe "chunk" (segment) starten, worden geselecteerd als samenvattingen van dat segment.
• Hiërarchie: Door meerdere lagen te stapelen, worden lange reeksen latent acties gecomprimeerd tot kortere reeksen van hoog-niveau latent vaardigheden ($z^h$). Deze vaardigheden hebben variabele lengtes en hoeven niet vooraf te worden gedefinieerd.

B. Trainingsdoelstellingen
Het model wordt getraind met een gecombineerde loss-functie:

1. Next-Latent Prediction: Het voorspellen van de volgende latent actie in de reeks (analoog aan next-token prediction in taalmodellen).
2. Visuele Supervisie (Reconstructie): Een vooraf getraind Forward Dynamics Model (FDM) gebruikt de voorspelde latent acties om toekomstige frames te reconstrueren. Dit zorgt ervoor dat de latent acties hun dynamische bewegingseigenschappen behouden.
3. Chunking Regularisatie: Een regularisatieterm (H-Net ratio) voorkomt degeneratie en reguleert de gemiddelde lengte van de chunks.

C. Hiërarchisch Beleid (Policy Learning)
Na het trainen van HiLAM worden twee beleidsmodellen getraind:

• Hoog-niveau beleid ($\pi_h$): Voorspelt een latent vaardigheid ($z^h$) op basis van de huidige observatie en taakinstructie.
• Laag-niveau beleid ($\pi_l$): Voorspelt de concrete latent actie ($z^l$) op basis van de observatie en de voorspelde vaardigheid.
• Fine-tuning: Het hoog-niveau beleid wordt gefixeerd, terwijl het laag-niveau beleid wordt gefine-tuned op een doeldomein met echte actielabels om de latent ruimte te mappen naar echte robotacties.

3. Belangrijkste Bijdragen

• HiLAM Architectuur: Een nieuw model dat latent vaardigheden ontdekt uit sequences van latent acties zonder vooraf gedefinieerde sets of vaste lengtes.
• Dynamische Chunking: Implementatie van een mechanisme dat automatisch semantische grenzen van vaardigheden detecteert in ongelabelde data, ongeacht de duur van de demonstratie.
• Data-efficiëntie: Het vermogen om grote hoeveelheden actieloze data (van mensen en robots) te gebruiken voor pre-training, wat de behoefte aan dure gelabelde data voor fine-tuning drastisch vermindert.
• Interpreteerbaarheid: De voorspelde latent acties behouden hun dynamische eigenschappen, wat zichtbaar is in de accurate reconstructie van toekomstige frames.

4. Resultaten

De prestaties zijn geëvalueerd op de LIBERO-benchmark (robotbesturingstaken), specifiek op de suites LIBERO-Spatial, Object, Goal en Long.

• Superieure Prestaties: HiLAM presteert consistent beter dan de state-of-the-art baseline BAKU op alle vier de suites.
• Data-efficiëntie (LIBERO-Long): Op de uitdagende lange-horizon taken (LIBERO-Long) toont HiLAM een enorme verbetering:
  • Met slechts 10% van de expert-demonstraties voor fine-tuning bereikt HiLAM een succespercentage van 45%, terwijl BAKU slechts 23% haalt.
  • Met 50% van de data bereikt HiLAM 84%, wat vergelijkbaar is met BAKU dat getraind is op 100% van de data.
  • Met volledige data (100%) bereikt HiLAM 94%.
• Ablatiestudies:
  • Pre-training op menselijke video's (Something-Something V2) bleek effectiever dan alleen robotdata.
  • Het gebruik van de diepste encoder-laag (stage-2) voor vaardigheden leverde de beste resultaten op, wat aangeeft dat langere temporele context essentieel is.
  • Een niet-hiërarchisch (flat) beleid presteerde slechter, wat het belang van de hiërarchische structuur benadrukt.
• Kwalitatieve Analyse: Visualisaties tonen aan dat HiLAM automatisch correcte grenzen trekt tussen semantische vaardigheden (bijv. "naar de kom bewegen", "kom oppakken", "kom neerzetten") zonder enige labelinformatie.

5. Betekenis en Toekomstperspectief

HiLAM is een doorbraak in het gebruik van ongelabelde video-data voor robotleren. Het lost het probleem op van het ontbreken van hoog-niveau temporele structuur in bestaande latent action modellen. Door dynamische chunking te combineren met hiërarchisch leren, kan het model complexe, langdurige taken efficiënt leren met minimale gelabelde data.

Beperkingen en Toekomst:

• De experimenten zijn voornamelijk uitgevoerd in gesimuleerde omgevingen; validatie in de echte wereld is noodzakelijk.
• Het model gebruikt momenteel een vooraf getrainde IDM. End-to-end training van de volledige architectuur zou kunnen leiden tot een dieper gezamenlijk begrip van beweging en vaardigheden.
• Toekomstig werk richt zich op het integreren van natuurlijke taal, waarbij bewegingscues en taalinstructies elkaar aanvullen in plaats van vervangen.

Kortom, HiLAM biedt een robuust kader voor het ontdekken en benutten van hoog-niveau vaardigheden uit ruwe video-data, wat de weg vrijmaakt voor meer schaalbare en adaptieve robotica.