CLAW: Composable Language-Annotated Whole-body Motion Generation

Probleemstelling

Het trainen van mensachtige robots (humanoids) voor complexe taken vereist grote datasets die bewegingstrajecten koppelen aan natuurlijke taalbeschrijvingen. Bestaande methoden hebben drie fundamentele beperkingen:

1. Bewegingsopname (MoCap) is duur en beperkt: Het verzamelen van data via menselijke opnames is logistiek lastig, beperkt in volume en diversiteit, en vereist kostbare sessies.
2. Kinematische artefacten: Het retargeten van menselijke bewegingen naar robotmorfologieën (zoals de Unitree G1) leidt vaak tot fysiek onrealistische effecten zoals glijdende voeten, zelfkruisingen en schending van gewrichtslimieten.
3. Handmatige annotatie: Het koppelen van natuurlijke taal aan elke bewegingsclip is arbeidsintensief en schaalt lineair met de datasetgrootte.
4. Gebrek aan fysieke haalbaarheid bij generatieve modellen: Bestaande "tekst-naar-beweging" modellen genereren vaak puur kinematische output die niet fysiek haalbaar is voor echte robots, en bieden weinig controle over specifieke parameters zoals snelheid, richting of heuphoogte.

Methodologie: CLAW

CLAW is een interactieve, webgebaseerde pijplijn voor het schaalbaar genereren van bewegingsdata voor de Unitree G1-robot. Het systeem combineert een kinematische planner met een fysieke simulatie en een automatische annotatiemachine.

1. Samenstellbare Bewegingsprimitieven (Composable Primitives)
In plaats van bewegingen te genereren vanuit tekst, behandelt CLAW de bewegingsmodi van een kinematische planner als samenstellbare bouwstenen. Elke primitieve wordt gecontroleerd via parameters zoals:

• Bewegingsrichting en heading (richting).
• Snelheid en heuphoogte (pelvis height).
• Duur.
• Bewegingsmodus (bijv. lopen, rennen, krabben, boksen).

Het systeem ondersteunt 25 bewegingsmodi in vier categorieën: Locomotie, Squat/Ground, Boksen en Gestileerd Wandelen. Door deze modi te combineren, kunnen lange en diverse trajecten worden samengesteld zonder dat er expliciete overgangsbewegingen (blending) nodig zijn; de planner schakelt naadloos tussen toestanden.

2. Twee Interactieve Interfaces
Gebruikers kunnen bewegingsintenties invoeren via twee browsergebaseerde interfaces:

• Keyboard Mode: Voor real-time, vrije exploratie. Gebruikers sturen commando's via toetsenbord (WASD voor richting, Q/E voor draaien, etc.) met een frequentie van 20 Hz.
• Sequence Editor Mode: Voor reproduceerbare, batch-generatie. Gebruikers slepen bewegingsclips naar een tijdlijn en configureren per segment parameters. Dit maakt het mogelijk om exact dezelfde "recepten" te herhalen met variërende parameters om grote datasets te creëren.

3. Simulatie en Controle
De commando's worden via een WebSocket-ZMQ-brug gestuurd naar een kinematische planner (gebaseerd op SONIC). Een low-level whole-body controller in MuJoCo-simulatie volgt deze kinematische referenties. De output zijn fysiek onderbouwde trajecten die worden opgenomen met 50 Hz. Omdat de planner direct op het skelet van de Unitree G1 werkt, is er geen retargeting nodig.

4. Automatische Taalannotatie
Een deterministische, template-gebaseerde annotatiemachine genereert direct natuurlijke taalbeschrijvingen op basis van dezelfde bewegingsparameters die de planner aandrijven.

• Stijlen: Er worden 8 verschillende stijlen gegenereerd (bijv. imperatief, narratief, beknopt) met variaties in tijdsgebondenheid (met of zonder duur).
• Lexicale diversiteit: Dit wordt bereikt via synoniembanken en interpolatie van snelheid naar tijdbijwoorden (bijv. "sprinten" vs. "joggen"), zonder gebruik te maken van stochastische LLMs, wat reproduceerbaarheid garandeert.

Belangrijkste Bijdragen

1. Samenstellbare Data-generatiepijplijn: Een architectuur die parametrische bewegingsprimitieven omzet in fysiek gesimuleerde, taal-geannoteerde trajecten, met een backend die onafhankelijk is van de specifieke planner.
2. Twee Interactieve Interfaces: Een keyboard-modus voor exploratie en een tijdlijn-editor voor batch-generatie, beide gekoppeld aan een uniforme backend.
3. Deterministische Annotatie-engine: Een systeem dat meerdere stijlen van natuurlijke taalbeschrijvingen per traject genereert, wat een balans biedt tussen diversiteit en consistentie voor supervisie.
4. Open Source Modulariteit: Een vier-proces systeem (simulatie, controller, brug, frontend) dat schaalbaar is en eenvoudig uitbreidbaar.

Resultaten

• Naadloze Bewegingsstitching: Het systeem kan semantisch verschillende bewegingen (bijv. van lopen naar hurken en dan naar kruipen) naadloos aan elkaar plakken. De planner gebruikt de huidige robottoestand als startpunt voor de nieuwe modus, wat zorgt voor vloeiende overgangen in de meeste gevallen.
• Automatische Annotatie: Het systeem genereert accurate, stap-voor-stap tekstlabels voor lange trajecten zonder menselijke tussenkomst. Voorbeeld: "De robot loopt vooruit, draait dan 90 graden links terwijl hij langzaam loopt, en kruipt vervolgens vooruit."
• Oneindige Data-synthese: De editor maakt het mogelijk om oneindig veel variaties van bewegingsrecepten te genereren door parameters zoals snelheid en richting te variëren. Omdat de data direct in de configuratieruimte van de robot wordt gegenereerd, is er geen extra verwerking nodig voor real-world implementatie.

Betekenis en Toekomstperspectief

CLAW lost het probleem van schaarste aan hoogwaardige, taal-geannoteerde bewegingsdata voor humanoids op. Het verschuift de focus van dure menselijke opnames naar schaalbare, fysiek correcte simulatie.

• Significantie: Het stelt onderzoekers in staat om grote datasets te bouwen voor het trainen van taal-gestuurde controlemechanismen, waarbij de data direct fysiek haalbaar is voor de Unitree G1.
• Toekomst: De auteurs noemen als toekomstige verbeteringen het integreren van Large Language Models (LLMs) voor nog natuurlijker beschrijvingen (ten koste van determinisme), het uitbreiden van de primitieven met door de gebruiker gedefinieerde vaardigheden, en het automatisch filteren van slechte overgangen tussen specifieke bewegingsmodi.