Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control

Dit paper introduceert EAGLE, een iteratief distillatiekader dat een enkele, robuuste generalist-politiek oplevert voor de besturing van diverse heterogene humanoiden door specialisten per robot te verfijnen en hun vaardigheden terug te distilleren, waardoor overdraagbaarheid en schaalbaarheid zonder per-robot beloningstuning worden bereikt.

De kern

Stel je voor dat je een groep van vijf verschillende mensen hebt: een lange, slanke atleet, een stevige bouwvakker, een klein kind, een robuuste gymnast en een slanke danseres. Je wilt dat ze allemaal exact dezelfde dansstappen leren, op precies hetzelfde ritme, zonder dat je voor elke persoon apart een dansmeester moet inhuren.

Dat is precies het probleem waar robotica mee worstelt. Mensachtige robots (humanoids) zien er allemaal anders uit. Sommigen hebben lange benen, anderen korte; sommigen hebben 19 gewrichten, anderen 29. Traditioneel moest je voor elke robot een nieuwe "hersenen" (een AI-programma) trainen. Dat is duur, tijdrovend en inefficiënt.

Deze paper introduceert EAGLE, een slimme manier om één enkele "super-brein" te maken dat alle verschillende robots tegelijk kan besturen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Eén Maat Past Alles" Mislukking

Stel je voor dat je een trui probeert te kopen die perfect past op een kind, een tiener en een volwassen man. Als je de trui op maat maakt voor de man, past hij niet op het kind. Als je hem op maat maakt voor het kind, hangt hij als een zak op de man.
In de robotwereld betekent dit dat een AI die is getraind op de Unitree H1 (een grote robot), faalt op de Unitree G1 (een kleinere robot). Ze bewegen anders, wegen anders en hebben andere gewrichten.

2. De Oplossing: De "Meester-Leraar" en de "Specialisten"

EAGLE gebruikt een slimme cyclus van leren en delen, alsof je een school organiseert:

• De Algemeene Leraar (The Generalist): Dit is de hoofdpolicy. Hij probeert eerst te leren hoe hij met alle robots tegelijk kan omgaan. Hij is als een leraar die probeert een les te geven aan een klas met kinderen van verschillende leeftijden. Aan het begin is hij niet erg goed; hij weet niet precies hoe hij met de lange benen van de ene of de korte armen van de andere moet omgaan.
• De Specialisten (The Specialists): Nu komt het slimme deel. De "Algemeene Leraar" kopieert zichzelf en maakt voor elke robot een eigen "specialist".
  • De specialist voor de Unitree H1 gaat alleen met die robot oefenen. Hij wordt een expert in die specifieke robot.
  • De specialist voor de Fourier N1 doet hetzelfde voor zijn eigen robot.
  • Ze krijgen de tijd om perfect te worden in hun eigen "klasse".
• De Terugkeer (Distillation): Nadat de specialisten hun les hebben geleerd, komen ze terug naar de "Algemeene Leraar". Ze vertellen hem: "Kijk, zo moet je het doen met de H1!" en "Zo moet je het doen met de N1!". De Algemeene Leraar neemt deze nieuwe kennis en plakt het in zijn eigen hoofd.
• Herhaling: Dit proces herhaalt zich. De Algemeene Leraar wordt steeds slimmer, de specialisten worden nog beter, en uiteindelijk heeft de Algemeene Leraar de kennis van alle robots in zich.

3. De Slimme Truc: De "Universele Commando's"

Om dit te laten werken, hebben de onderzoekers een nieuwe taal bedacht voor de robots.
Stel je voor dat je een orkest hebt met verschillende instrumenten. Je kunt niet zeggen "Speel een noot", want dat betekent iets anders voor een fluit dan voor een tuba.
EAGLE gebruikt een universele commando-lijst die voor iedereen hetzelfde betekent, ongeacht het instrument:

• "Loop naar voren met snelheid X."
• "Buig je knieën (squatten)."
• "Leun naar links."
• "Houd je evenwicht."

Dit zorgt ervoor dat de AI niet hoeft te leren hoe hij zijn armen moet bewegen, maar alleen wat hij moet doen. De robot zelf weet dan hoe hij zijn eigen armen moet gebruiken om die opdracht uit te voeren.

4. Het Resultaat: Een Robot-Orkest

Het resultaat is verbazingwekkend. De onderzoekers hebben getoond dat deze ene AI (EAGLE) in staat is om:

• Te lopen, te hurken en te leunen.
• Dit te doen op vijf verschillende robots (in de simulatie) en vier verschillende robots (in de echte wereld).
• Zonder dat ze voor elke robot apart hebben moeten betalen of de instellingen moesten herschrijven.

De "Sim2Real" Magie:
Het meest indrukwekkende is dat de AI alleen in een computersimulatie is getraind (in een virtuele wereld), maar toen ze het op de echte robots zetten, werkte het direct. Geen extra aanpassingen nodig. Het is alsof je iemand in een video-game hebt laten leren fietsen, en toen je hem op een echte fiets zette, reed hij direct perfect, zelfs als de fiets een ander model was dan in de game.

Samenvatting

EAGLE is als een meester-dansmeester die één dans heeft ontworpen die perfect past op een groep mensen met totaal verschillende lichaamstypes. Door eerst individuele experts te laten oefenen en die kennis vervolgens terug te halen naar de meester, kunnen ze allemaal tegelijk dansen op hetzelfde ritme.

Dit is een enorme stap voorwaarts voor de toekomst, omdat het betekent dat we in de toekomst niet voor elke nieuwe robot een nieuwe AI hoeven te bouwen, maar één slimme "fleet-controller" kunnen hebben die iedereen aanstuurt.

Technische samenvatting

1. Het Probleem

Hoewel Reinforcement Learning (RL) aanzienlijke vooruitgang heeft geboekt in de besturing van humanoïde robots (Whole-Body Control of WBC), bestaat er momenteel een groot probleem: de meeste gepolijste beleidsstrategieën (policies) zijn getraind voor één specifieke robot-embodiment.

• Heterogeniteit: Verschillen in dynamiek, degrees of freedom (DoF), en kinematische topologie tussen verschillende robotmodellen (bijv. Unitree H1 vs. Fourier N1) voorkomen dat één beleid direct kan worden overgedragen.
• Beperkingen van bestaande methoden: Bestaande oplossingen zoals domein-randomisatie of diffusiemodellen zijn vaak beperkt tot lage-dimensionale snelheidscommando's (lopen) en kunnen complexere gedragingen zoals hurken of leunen niet goed ondersteunen.
• Schaalbaarheid: Voor elke nieuwe robot moet het trainingsproces en de beloningstuning (reward tuning) vaak opnieuw beginnen, wat de implementatie vertraagt.
• Doel: Een enkele beleidsstrategie ontwikkelen die meerdere heterogene humanoïden kan besturen met rijke, hoog-dimensionale commando's (zoals hurken en leunen), zonder per-robot aanpassingen.

2. Methodologie: EAGLE Framework

De auteurs introduceren EAGLE (Embodiment-Aware Generalist Specialist Distillation), een iteratief framework dat een "generalist" (algemeen model) combineert met "specialisten" (robot-specifieke modellen).

A. Unificatie van Commando en Observatie

• Unificatie van Commando's: Er wordt een hoog-dimensionaal commandovector ontworpen ($c_t \in \mathbb{R}^5$) dat zowel taakcommando's (lineaire snelheid $v_x, v_y$, hoeksnelheid $\omega$) als gedragscommando's (basis hoogte $h$, lichaamspitch $p$) omvat. Dit stelt de robot in staat om niet alleen te lopen, maar ook te hurken en te leunen.
• Embodiment-Aware Observatie: Om de verschillen tussen robots te begrijpen, wordt extra "privileged information" toegevoegd aan de criticus (en geschat door de actor). Dit omvat massa, zwaartepunt (CoM) en traagheidsmatrix van specifieke stijve lichamen (torso en voeten).
• Alignement van Actie-ruimtes: Omdat robots verschillende aantallen gewrichten hebben, worden actievectoren gealigneerd via zero-padding en vaste index-mapping. Alle robots worden afgebeeld op een uniforme actie-lengte ($D_a = 32$), waarbij niet-bestaande gewrichten op nul worden gezet.

B. Iteratieve Generalist-Specialist Distillatie

Het kernproces is een cyclus die herhaald wordt tot convergentie:

1. Specialisatie: Een huidige generalist ($\pi_g$) wordt gekopieerd naar $N$ robot-specifieke specialisten ($\pi_{s_i}$). Elke specialist wordt fijngeslepen (fine-tuned) op zijn eigen robot in de simulatie.
2. Generalisatie (Distillatie): De generalist wordt getraind op een gepoolde dataset van alle robots. De acties worden echter niet alleen geleerd via standaard RL, maar ook via distillatie van de specialisten.
   • Er wordt gebruik gemaakt van een DAgger-achtige aanpak: de generalist verzamelt trajecten, en de acties worden "herlabeld" met de acties van de corresponderende specialist.
   • Nieuwe Loss-functie: Naast de standaard PPO-verliesfunctie en een actie-distributie loss ($L_a$), introduceert het framework een representatie-level alignment loss ($L_e$). Deze loss zorgt ervoor dat de verborgen features (latent space) van de generalist en specialisten overeenkomen, wat helpt bij het leren van robuuste morfologie-specifieke representaties.

3. Belangrijkste Bijdragen

1. EAGLE Framework: Een nieuw, iteratief distillatie-framework dat een enkele beleidsstrategie mogelijk maakt voor heterogene humanoïden zonder per-robot beloningstuning.
2. Rijke Gedragsinterface: Implementatie van een unificatie-interface die complexe bewegingen (hurken, leunen, staan) mogelijk maakt, wat eerder niet haalbaar was met cross-embodiment methoden.
3. Representatie-Learning: Integatie van embodiment-aware observaties en een representatie-loss die het netwerk in staat stelt morfologische verschillen te onderscheiden in de latent space.
4. Extensieve Validatie: Succesvolle training en evaluatie op vijf verschillende robots in simulatie en vier robots in de echte wereld.

4. Resultaten

De methode is getest op robots zoals Unitree H1, G1, Booster T1, Fourier N1 en PNDbotics Adam.

• Commando-tracking: EAGLE behaalde significant lagere tracking-fouten (zowel voor snelheid als voor gedrag zoals hoogte en pitch) vergeleken met baselines zoals standaard PPO, COMPASS en Kickstarting.
  • Bijvoorbeeld: Op de Unitree T1 was de snelheidsfout van EAGLE ($0.090$) veel lager dan die van Kickstarting ($0.761$), wat aantoont dat EAGLE robuuster is tegenover extreme morfologische verschillen.
• Ablatie-studies:
  • Zonder "embodiment-aware observation" daalde de prestatie aanzienlijk, wat aantoont dat het model de robot-identiteit moet "kennen".
  • De iteratieve versie (EAGLE w/ ID) presteerde beter dan een enkele distillatie-rondte, wat de waarde van de cyclische verbetering bevestigt.
• Sim2Real (Zero-shot): Het beleid, uitsluitend getraind in simulatie, slaagde erin om op vier verschillende echte robots succesvol te lopen, te leunen en te hurken zonder aanpassingen. Dit bewijst de robuustheid van de distillatie voor overdracht naar de fysieke wereld.
• Vergelijking met Single-Robot Policies: De EAGLE-generalist presteerde vergelijkbaar met of zelfs beter dan beleidsstrategieën die uitsluitend op één specifieke robot waren getraind.

5. Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de richting van schaalbare, vloot-niveau besturing van humanoïde robots.

• Het lost het probleem op dat elke nieuwe robot een nieuwe trainingscyclus vereist.
• Het bewijst dat complexe, hoog-dimensionale bewegingen (meer dan alleen lopen) kunnen worden overgedragen tussen robots met verschillende fysieke eigenschappen.
• De combinatie van iteratieve distillatie en embodiment-aware representaties biedt een schaalbare oplossing voor toekomstige fleets van humanoïde robots, waarbij één enkel model kan worden ingezet voor diverse hardware-platforms.

Kortom, EAGLE maakt het mogelijk om één "universele" controller te hebben die zich aanpast aan de fysieke realiteit van elke specifieke robot in de vloot, terwijl het een breed scala aan complexe bewegingen ondersteunt.