Technische Samenvatting: MuGen - Controller voor Generatieve Locomotie met Meerdere Vaardigheden voor Humanoid Robots

Probleemstelling

Humanoid robots hebben aanzienlijke vooruitgang geboekt in bipedale locomotie door middel van diepe versterkingsleer (RL). Echter, bestaande benaderingen vertrouwen vaak op taakspecifieke beloningvorming, wat moeilijk te ontwerpen is en gebrek aan generaliseerbaarheid vertoont over diverse taken. Hoewel imitatieleer (IL) een veelbelovend alternatief biedt door gebruik te maken van menselijke bewegingsdatasets, staan huidige methoden voor twee primaire beperkingen:

1. Structurele Beperkingen: Naïeve volgpoliën worstelen met het vastleggen van de complexe structuur van de actieruimte onder kinematische en dynamische beperkingen, waardoor het moeilijk is om onderscheidende bewegingspatronen uit grootschalige datasets te extraheren en opnieuw te gebruiken.
2. Dynamische Betrouwbaarheid: De scheiding tussen bewegingsgeneratie en robotbesturing garandeert vaak niet dat gegenereerde trajecten dynamisch haalbaar zijn. Zelfs kinematisch plausibele trajecten kunnen onvolgbaar zijn door de besturingspolitiek van de robot, wat leidt tot instabiliteit of falen.

MuGen adresseert deze problemen door een datagedreven raamwerk voor te stellen dat een generatief besturingssysteem direct leert vanuit fysieke simulatie, zodat de geleerde vaardigheden consistent zijn met de dynamische beperkingen van de robot.

Methodologie

MuGen maakt gebruik van een Leerframework van Leraar-Student in combinatie met Vector-gekwantiseerde Variatiele Auto-encoders (VQ-VAE's) en Modelgebaseerde Versterkingsleer (MBRL). Het systeem wordt getraind in simulatie (NVIDIA IsaacGym) met behulp van de LaFAN1 bewegingsdataset.

1. Generatief Model en Vaardigheids-Embeddings

De kern van MuGen is een gestructureerde latente ruimte voor bewegingsvaardigheden die wordt geleerd via een VQ-VAE.

• Encoder ($E$): Koppelt robottoestanden ($s$) en referentiebewegingen ($m$) aan continue embeddings ($z$).
• VQ Bottleneck: Kwantiseert deze embeddings naar de dichtstbijzijnde invoer in een trainbare codeboek ($\hat{z} = B(z)$), waardoor een discrete vaardigheidsruimte ontstaat.
• Decoder ($D$): Conditioneert op de gekwantiseerde code en de huidige staat om een verdeling over gezamenlijke doelen (acties) te outputten.
• Wereldmodel ($W$): Een differentieerbaar dynamisch model voorspelt de volgende staat ($s_{t+1}$) gegeven de huidige staat en actie. Dit overbrugt de kloof tussen kinematische referenties en politieke acties, waardoor op gradienten gebaseerde optimalisatie mogelijk is zonder te vertrouwen op op steekproeven gebaseerde RL-gradiënten.

2. Trainingsstrategie

Het trainingsproces is verdeeld in drie fasen om een robuuste politieke distillatie te waarborgen:

• Pretraining: De Leraarpolitiek wordt getraind met behulp van bevoorrechte informatie (volledige staatkennis) en het wereldmodel. Het optimaliseert gezamenlijk de politiek en het VQ-codeboek om referentiebewegingen te reconstrueren terwijl de volgfout wordt geminimaliseerd.
• Opwarmen: De Studentpolitiek wordt geïntroduceerd. Deze observeert beperkte informatie (simulerend voor real-world sensorbeperkingen) maar deelt het bevroren codeboek met de leraar. De student wordt opgewarmd terwijl de leraar doorgaat met het genereren van rollouts.
• Distillatie: De leraar en het codeboek worden bevroren. De studentpolitiek wordt getraind om het gedrag van de leraar na te bootsen. Een nieuw progressief planningsstrategie (geïnspireerd door DAgger) wordt toegepast: binnen een enkel rollout-traject wordt de besturing willekeurig omgeschakeld tussen de leraar en de student, waarbij de kans op het selecteren van de leraar lineair wordt afgekoeld tot nul. Dit stelt de leraar in staat de robot te stabiliseren als de student fouten maakt, waardoor abrupte distributieveranderingen worden voorkomen.

3. Politieke Distillatie

De studentpolitiek leert via twee doelen:

• Gedachtenkloon ($L_{BC}$): Het minimaliseren van het directe actieverschil tussen de student en de leraar.
• Latente Uitlijning ($L_{align}$): Het aanmoedigen van de encoder van de student om embeddings te produceren die compatibel zijn met het bevroren codeboek van de leraar, waardoor kennisoverdracht op feature-niveau wordt vergemakkelijkt.

Belangrijkste Bijdragen

1. Framework voor Generatieve Locomotie: MuGen introduceert een raamwerk dat een discrete, dynamisch haalbare latente ruimte voor meervoudige vaardigheidslocomotie leert direct uit heterogene menselijke bewegingsdata, waardoor de noodzaak voor handgemaakte beloningsfuncties wordt geëlimineerd.
2. Leraar-Student Distillatie met VQ-VAE: Het artikel stelt een specifieke architectuur voor waarbij een bevoorrechte leraar een op VQ gebaseerde vaardigheidsrepresentatie leert, die vervolgens wordt gedistilleerd naar een inzetbare studentpolitiek met behulp van een gedeeld codeboek. Dit maakt de overdracht van complexe dynamische vaardigheden mogelijk naar een politiek met beperkte waarnemingsmogelijkheden.
3. Progressieve Distillatiestrategie: De auteurs ontwikkelen een nieuw planningsmechanisme waarbij leraar- en studentpolitieken worden gemengd binnen enkele trajecten tijdens distillatie. Deze aanpak mitigeert de prestatiedaling die vaak wordt waargenomen bij het overschakelen van bevoorrechte naar beperkte waarneming.
4. Real-world Inzet: Het raamwerk is gevalideerd op een Unitree G1 humanoid robot, waarbij het vermogen wordt aangetoond om onbekende bewegingen (lopen, rennen, hurken, dansen) te volgen en nieuwe bewegingen autonoom te genereren met uitsluitend aan boord aanwezige proprioceptieve sensoren.

Experimentele Resultaten

De auteurs evalueerden MuGen op de Unitree G1-robot en in simulatie met behulp van een subset van de LaFAN1-dataset (ongeveer 1 uur locomotiedata).

• Volgprestaties: In simulatie bereikte MuGen een Overlevingspercentage (SR) van 95,35% op onbekende bewegingen, wat aanzienlijk beter was dan de baselines (Vanilla MLP: 60,70%, VAE-gebaseerd: 51,51%). Het vertoonde ook een lagere gemiddelde gezamenlijke rotatiefout (MJRE) en gemiddelde lineaire snelheidsfout (MVE) in vergelijking met baselines.
• Robuustheid: Het systeem behield stabiliteit onder domeinrandomisatie (variërende wrijving, lading en sensorruis). Ablatiestudies bevestigden dat discrete vaardigheids-embeddings (VQ) en een moderate temporale geschiedenis cruciaal zijn voor robuustheid.
• Generatief Vermogen: Door een "prior-encoder" te trainen om latente vaardigheden te sample uit het codeboek uitsluitend op basis van proprioceptieve staat, slaagde het systeem erin diverse, vloeiende bewegingen (lopen, rennen, draaien) te genereren zonder referentietrajecten.
• Real-world Uitvoering: De politiek werd ingezet op de Unitree G1 met 30 Hz, waarbij met succes rechte wandelingen en hurkende wandelingen werden uitgevoerd, wat het vermogen van het raamwerk aantoont om de kloof tussen simulatie en realiteit te overbruggen.

Betekenis en Claims

Het artikel claimt dat MuGen een significante stap voorwaarts betekent voor generatieve controllers voor humanoid robots. De primaire betekenis ligt in:

• Generalisatie: Het vermogen om een compacte set vaardigheden te leren uit ongestructureerde data en deze toe te passen op onbekende bewegingen en generatietaken zonder opnieuw te trainen.
• Inzetbaarheid: De succesvolle overdracht van een complexe, op fysica gebaseerde generatieve politiek naar een real-world humanoid robot met beperkte sensing, waarbij de "sim-to-real" kloof wordt overwonnen door domeinrandomisatie en een robuuste distillatiestrategie.
• Efficiëntie: De methode reduceert de afhankelijkheid van uitgebreide beloningsengineering, en maakt gebruik van de morfologische gelijkenis tussen mensen en robots om wendbaar en expressief gedrag te produceren.

De auteurs erkennen beperkingen, waaronder moeilijkheden in het handhaven van een stabiele staande houding (door ondervertegenwoordiging van statische houdingen in de trainingsdata) en de afhankelijkheid van een vereenvoudigd wereldmodel. Zij stellen echter dat dit raamwerk een schaalbare basis biedt voor toekomstig werk in prompt-gestuurde bewegingsgeneratie en aanpassing aan complexer terrein.