Technische Samenvatting: CLAM - Continuous Latent Action Models voor Robotleren uit Ongelabelde Demonstraties

Probleemstelling

Het leren van robotbesturingsbeleid (control policies) uit demonstraties leunt doorgaans op expertdata waarbij acties expliciet gelabeld zijn (bijv. via teleoperatie). Het verzamelen van dergelijke data is duur, tijdrovend en moeilijk op te schalen, vooral bij het finetunen van modellen voor diverse real-world omgevingen. Hoewel menselijke video-demonstraties overvloedig aanwezig zijn en gemakkelijker te verzamelen zijn, missen ze de grondwaarheid (ground-truth) robotbesturingssignalen die vereist zijn voor standaard imitatie-leren (IL). Bovoltrecht biedt het converteren van menselijke video's naar robotcompatibele observaties niet inherent de ontbrekende actielabels.

Het artikel behandelt een praktische setting waarin:

1. Ongelabelde Expertdata: Een grote corpus van robotvideo-demonstraties bestaat (ofwel geconverteerd van menselijke video of bestaande logs), maar mist actielabels.
2. Taak-agnostische Speeldata: Een kleine dataset van robottransities met actielabels is beschikbaar, maar dit zijn "speel"-data (ongestuurd, niet-expert) in plaats van taakspecifieke expert-demonstraties.
3. Doel: Een hoogwaardig beleid voor een specifieke taak leren met behulp van de ongelabelde expert-video's en de kleine hoeveelheid taak-agnostische speeldata, zonder ooit nieuwe actie-gelabelde expert-demonstraties te verzamelen.

Methodologie: Continuous Latent Action Models (CLAM)

CLAM is een tweestaps-framework ontworpen om continue latente acties af te leiden uit observatiesequenties en deze te koppelen aan uitvoerbare motoraansturing.

1. Training van het Latent Action Model (LAM) (Fase 1)

De kern van CLAM is een zelfgesuperviseerd latent actiemodel dat leert om acties tussen opeenvolgende observaties af te leiden zonder grondwaarheid-labels.

• Componenten:
  • Latent Inverse Dynamics Model (IDM): $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ leidt een continue latente actie $z_t$ af tussen observaties.
  • Latent Forward Dynamics Model (FDM): $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ voorspelt de volgende observatie, geconditioneerd op de huidige historie en de afgeleide latente actie $z_t$.
• Zelfgesuperviseerd Doel: Het model wordt getraind om de reconstructiefout van de toekomstige observatie te minimaliseren ($L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$). Deze lus dwingt de latente actie $z_t$ om de noodzakelijke staat-afhankelijke transitie-informatie te coderen.
• Continue Latente Ruimte: In tegenstelling tot eerdere werken die Vector Quantization (VQ) gebruiken om acties te discretiseren, maakt CLAM gebruik van een continue latente actieruimte. Dit is cruciaal voor hoogdimensionale, continue besturingstaken waar discrete benaderingen falen.
• Gezamenlijke Training met Actie-decoder: Om ervoor te zorgen dat de latente acties uitvoerbaar zijn, traint CLAM gezamenlijk een latente actie-decoder $p_\omega(a_t | z_t)$ met behulp van de kleine taak-agnostische speeldataset ($D_{labeled}$).
  • De decoder brengt latente acties $z_t$ in kaart naar echte motoraansturing $a_t$.
  • Het trainingsdoel combineert de reconstructiefout met de actie-decoder loss: $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$.
  • Cruciaal Inzicht: Gezamenlijke training reguleert de latente ruimte, waardoor deze decodeerbaar blijft. De decoder is niet geconditioneerd op observaties, wat de latente actie dwingt een laag-niveau actiecode te zijn.

2. Training van het Latent Action Beleid (Fase 2)

Zodra de LAM is voorgetraind:

• Relabeling: Het getrainde IDM annoteert de ongelabelde expert-demonstraties ($D_{unlabeled-expert}$) met pseudo-latente acties, waardoor een dataset van $(o_t, z_t)$ paren ontstaat.
• Beleidsleren: Een latent actie-beleid (policy) $\pi_\theta(z_t | o_t)$ wordt getraind via standaard imitatie-leren (behavior cloning) op deze herlabelde dataset.
• Inference: Tijdens uitvoering voorspelt het beleid een latente actie $z_t$ gegeven een observatie, en converteert de voorgetrainde actie-decoder $p_\omega$ de $z_t$ naar een fysieke motoraansturing.

Belangrijkste Bijdragen

1. Continue Latente Relabeling: De auteurs demonstreren dat latente actie-relabeling alleen praktisch wordt voor continue robotbesturing wanneer men continue latente ruimtes gebruikt in combinatie met gezamenlijke koppeling (het gelijktijdig trainen van de decoder met de LAM).
2. Efficiënt Datagebruik: Het framework toont aan dat taak-agnostische speeldata voldoende is voor het koppelen (grounding) van latente acties. Dit vermindert de kosten van dataverzameling drastisch, omdat het de noodzaak wegneemt voor dure, taakspecifieke expert-teleoperatie voor de actie-labeling fase.
3. Real-world Implementatie: CLAM is succesvol ingezet op een fysieke WidowX robotarm over vier manipulatietaken, waarbij het prestaties levert die concurrerend zijn met beleid getraind op geprivilegieerde expert-actielabels, ondanks het feit dat het tijdens de training nooit dergelijke labels heeft gezien.

Experimentele Resultaten

Het artikel evalueert CLAM op DMControl (locomotie), MetaWorld (manipulatie) en een echte WidowX robot.

• Prestatiewinst:
  • Op DMControl (state-based), verbetert CLAM de gemiddelde genormaliseerde returns met meer dan 2× vergeleken met de beste baseline (VPT).
  • Op MetaWorld (image-based), bereikt CLAM 2–3× hogere taaksuccespercentages dan baselines zoals LAPO, LAPA en DynaMo.
  • CLAM nadert of overtreft zelfs de prestaties van BC-Expert (behavior cloning getraind op grondwaarheid expert-acties), ondanks het feit dat BC-Expert toegang heeft tot geprivilegieerde labels terwijl CLAM dat niet heeft.
• Ablatie-studies:
  • Continu vs. Discreet: Discrete latente acties (met gebruik van VQ) presteren slecht op continue besturingstaken. Alleen continue latente acties zorgen voor een verbetering van ongeveer 1.5×.
  • Gezamenlijke Training: Het gezamenlijk trainen van de actie-decoder met de LAM is essentieel. Het verhoogt de prestaties met ongeveer 3× wanneer het wordt gecombineerd met continue latente acties.
  • Data Schaling: Prestaties schalen met de hoeveelheid ongelabelde expertdata ($|D_{unlabeled}|$). De methode schaalt ook met de hoeveelheid speeldata ($|D_{labeled}|$) die wordt gebruikt voor koppeling, waarbij het standaard BC overtreft dat snel een plateau bereikt met niet-expert data.
• Real Robot Resultaten: Op de WidowX lost CLAM manipulatietaken op (bijv. assemblage, bin picking) met succespercentages die significant hoger zijn dan de baselines, en komt het vaak overeen met de prestaties van de geprivilegieerde BC-Expert baseline.

Betekenis en Claims

Het artikel claimt dat CLAM een schaalbare oplossing vertegenwoordigt voor het leren van robotbeleid vanuit actieloze data. De primaire betekenis ligt in:

• Het wegnemen van de bottleneck van expert-labeling: Het demonstreert dat effectieve robotbeleid geleerd kan worden zonder het verzamelen van dure, taakspecifieke, actie-gelabelde expert-demonstraties.
• Benutten van goedkope data: Door gebruik te maken van overvloedige, ongelabelde robotvideo's en goedkope, taak-agnostische speeldata, verlaagt CLAM de drempel voor robotleren.
• Architecturale Noodzaak: Het werk stelt vast dat voor hoogdimensionale continue besturing de combinatie van continue latente ruimtes en gezamenlijke training van de actie-decoder niet alleen gunstig, maar essentieel is voor succes. Dit onderscheidt het van eerdere latente actiemodellen die ontworpen zijn voor discrete domeinen.

De auteurs merken op dat hoewel CLAM effectief is in single-robot, single-task settings, toekomstig werk nodig is om uitdagingen aan te pakken met betrekking tot het generaliseren naar "in-the-wild" internetvideo's (omgaan met artefacten, embodiment gaps) en het schalen naar cross-embodiment leren.