💻 informatica

Learning a Unified Latent Space for Cross-Embodiment Robot Control

Dit artikel presenteert een schaalbaar, tweestaps raamwerk dat via contrastief leren en doelgeconditioneerde policies een verenigde latente ruimte leert om robuuste, zero-shot cross-embodiment controle over diverse humanoïde robots mogelijk te maken met uitsluitend menselijke data.

Oorspronkelijke auteurs: Yashuai Yan, Dongheui Lee

Gepubliceerd 2026-01-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yashuai Yan, Dongheui Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek hebt met dansbewegingen die door mensen zijn opgenomen. Stel je nu voor dat je een robot wilt leren dansen. Het probleem is dat robots in allerlei vormen en maten komen: sommige hebben twee armen en geen benen, sommige hebben vier poten en een piekleft torso, en sommige lijken bijna exact op mensen.

Traditioneel gezien, als je een robot wilde leren dansen, moest je het vanaf nul leren, alsof je voor elk robotmodel een nieuwe dansinstructeur inhuurt. Dit artikel stelt een veel slimmere manier voor: een universele "dans taal" die elke robot kan begrijpen, ongeacht hoe hij eruitziet.

Hier is hoe de auteurs het aanpakten, onderverdeeld in eenvoudige stappen:

1. De "Universele Vertaler" (De Gedeelde Latente Ruimte)

Beschouw de lichaamsdelen van de robot (armen, benen, torso) als verschillende talen. Een menselijke arm beweegt anders dan een robotarm.

De Oude Manier: Je probeerde "Menselijke Arm" direct te vertalen naar "Robotarm", maar dat was rommelig omdat elke robot anders was.
De Nieuwe Manier: De auteurs creëerden een universele vertaler (een "Unified Latent Space"). In plaats van direct van Mens naar Robot te vertalen, vertalen ze alles eerst naar deze neutrale "dans taal".
Het Geheime Ingrediënt: Ze vertaalden niet het hele lichaam in één keer. Ze deelden het lichaam op in vijf afzonderlijke "kanalen": Linkerarm, Rechterarm, Torso, Linkerbeen en Rechterbeen.
- Analogie: Stel je een symfonieorkest voor. In plaats van te proberen de violen precies hetzelfde te laten klinken als de drums, heb je een dirigent die de muziek (de beweging) begrijpt en de violen vertelt hun deel te spelen en de drums hun deel, zelfs als ze verschillende instrumenten zijn. Dit stelt een robot met alleen armen (zoals een tafelrobot) in staat om de "arm-muziek" perfect te begrijpen, zelfs als hij geen benen heeft om te dansen.

2. De Taal Leren (Contrastive Learning)

Hoe leren ze deze universele taal aan?

Ze gebruikten een methode genaamd Contrastive Learning. Stel je voor dat je een kind leert om "klappen" te herkennen. Je laat het kind een mens zien die klapt, een robot die klapt en een cartoonfiguur die klapt. Je zegt tegen het kind: "Deze drie zijn hetzelfde idee, ook al zien ze er anders uit."
De computer doet dit door vergelijkbare bewegingen bij elkaar te groeperen in zijn "geest" (de latente ruimte). Als een mens zijn rechterarm heft en een robot heft zijn rechterarm, leert de computer om die twee acties in dezelfde "buurt" in zijn geheugen te plaatsen, ongeacht hoe de gewrichten daadwerkelijk bewegen.

3. De "Doelsteller" (Het Control Policy)

Zodra de robots deze universele taal spreken, hoe vertel je ze dan wat ze moeten doen?

De auteurs trainden een Goal-Conditioned Policy. Zie dit als een GPS voor de bewegingen van de robot.
In plaats van de robot complexe instructies te geven zoals "beweeg gewricht 1 met 5 graden, en daarna gewricht 2 met 3 graden", geef je simpelweg een bestemming: "Beweeg je hand naar dat punt."
De robot vertaalt dit doel naar de universele taal, bedenkt de stappen om daar te komen en voert de beweging uit.
De Magische Truc: Ze hebben deze GPS alleen gebruikt met menselijke data. Ze hebben de robot tijdens de trainingsfase nooit laten zien hoe hij moet bewegen. Omdat de robot de universele taal heeft geleerd, kan hij de "menselijke GPS" direct op zichzelf toepassen.

4. Nieuwe Robots Toevoegen (De "Plug-and-Play" Functie)

Dit is misschien wel het meest opwindende deel. Wat als je morgen een gloednieuwe robot koopt?

In de oude dagen zou je het hele systeem opnieuw moeten trainen.
In dit systeem voeg je gewoon een kleine, lichtgewicht adapter (een embedding layer) toe voor de nieuwe robot.
Analogie: Het is alsof je een nieuw paar schoenen koopt. Je hoeft je voet niet opnieuw te bouwen; je hebt alleen een nieuw inlegzooltje nodig dat bij jouw voetvorm past. Zodra je dat inlegzooltje erin legt, kan jouw voet (de robot) direct hetzelfde pad (de universele taal) bewandelen als iedereen anders. De auteurs lieten zien dat ze een nieuwe robot in slechts 15 minuten konden toevoegen zonder het hele brein opnieuw te trainen.

5. Resultaten in de Praktijk

Het team testte dit op veel verschillende robots, van een kleine humanoïde (NAO) tot een grote (H1) en zelfs een robot met alleen armen (TIAGo).

Nauwkeurigheid: De robots konden specifieke doelen bereiken met een nauwkeurigheid van minder dan een centimeter (minder breed dan een vingernagel).
Veelzijdigheid: Ze konden een dansbeweging van een mens nemen, deze vertalen naar een robot, en vervolgens die robotbeweging weer vertalen naar een andere robot.
Het echte leven: Ze testten het zelfs op echte robots in een lab, waarbij ze succesvol een robot lieten objecten oppakken en in een prullenbak gooien, en objecten van de ene hand naar de andere lieten doorgeven, allemaal aangestuurd door dit universele systeem.

Samenvatting

Het artikel presenteert een systeem waarbij robots niet individueel hoeven te worden aangeleerd hoe ze moeten bewegen. In plaats daarvan leren ze allemaal een gedeelde, modulaire taal van beweging. Dit stelt één enkel "brein" in staat om vele verschillende soorten robots aan te sturen, en het maakt het toevoegen van nieuwe robots aan het team even eenvoudig als het inpluggen van een nieuwe adapter. Het resultaat is een flexibele, schaalbare manier om diverse robots menselijke bewegingen te laten maken zonder dat daar duizenden uren specifieke training voor elke robot voor nodig is.

Technische Samenvatting: Het leren van een verenigde latente ruimte voor cross-embodiment robotbesturing

Probleemstelling
Het aansturen van een diverse reeks humanoïde platforms via een uniforme interface blijft een grote uitdaging in de robotica vanwege de enorme variabiliteit in morfologie, vrijheidsgraden en kinematische beperkingen. Bestaande benaderingen voor cross-embodiment besturing vertrouwen vaak op taakrelevante, domein-invariante representaties of vereisen substantiële gepaarde demonstratiegegevens tussen mensen en specifieke robots. Deze methoden hebben vaak moeite met schaalbaarheid, omdat het overdragen van vaardigheden naar nieuwe, ongeziene platforms vaak het hertrainen of platformspecifiek finetunen noodzakelijk maakt. De auteurs pakken het probleem aan door een enkel controleframework te ontwikkelen dat in staat is om over diverse robotische belichamingen (embodiments) te opereren zonder hertraining, met als doel een verenigde gedeelde latente ruimte te leren waar controlebeleid getraind op menselijke gegevens direct kan worden ingezet op meerdere robotplatforms.

Methodologie
Het voorgestelde framework werkt in twee afzonderlijke stadia:

Het leren van een verenigde latente ruimte (Stadium 1):
- Architectuur: De auteurs maken gebruik van een contrastieve leerbenadering om een gedeelde latente representatie te construeren over mensen en diverse robots. De architectuur omvat een menselijke encoder ( $E_h$ ), een cross-embodiment encoder ( $E_X$ ), een cross-embodiment decoder ( $D_X$ ) en robotspecifieke embedding-lagen ( $E_r, D_r$ ) om variërende gewrichtsdimensionaliteiten te verwerken.
- Gedecoupleerde latente structuur: Om morfologische verschillen aan te pakken (bijv. robots met alleen armen versus volledige humanoids), wordt de latente ruimte gedecoupleerd in vijf subruimten die overeenkomen met lichaamssegmenten: Linkerarm (LA), Rechterarm (RA), Romp (TK), Linkerbeen (LL) en Rechterbeen (RL).
- Op maat gemaakte gelijkenis-metrieken: Binnen elke subruimte worden specifieke gelijkenis-metrieken toegepast. Voor armen combineert een hybride metriek rotatiegebaseerde afstand met genormaliseerde end-effector (EE) positionering. Voor andere segmenten (romp, benen) wordt een rotatiegebaseerde metriek gebruikt. Dit maakt een nauwkeurige uitlijning van gelokaliseerde bewegingspatronen mogelijk.
- Trainingsdoelstellingen: Het model wordt getraind met een combinatie van verliezen: Triplet Loss voor contrastief leren, reconstructieverlies ( $L_{rec}$ ) voor robotpose-getrouwheid, latente consistentieverlies ( $L_{ltc}$ ) om menselijke en robotdomeinen uit te lijnen zonder gepaarde data, en temporeel verlies ( $L_{temporal}$ ) om end-effector snelheden uit te lijnen.
- Schaalbaarheid: Nieuwe robots kunnen worden geïntegreerd door de kernnetwerken ( $E_h, E_X, D_X$ ) te bevriezen en alleen de lichtgewicht, robotspecifieke embedding-lagen ( $E_r, D_r$ ) te trainen.
Doelgestuurde controle in de latente ruimte (Stadium 2):
- Beleidsvorming (Policy Training): Een doelgestuurd controlebeleid wordt uitsluitend getraind op menselijke bewegingsgegevens met behulp van een Conditional Variational Autoencoder (c-VAE) framework.
- Mechanisme: Het beleid voorspelt latente ruimtedisplaatsingen ( $d_t$ ) geleid door een intentiesignaal afgeleid van de gemiddelde end-effector snelheid richting een door de gebruiker gespecificeerd doel.
- Implementatie (Deployment): Het getrainde beleid opereert direct binnen de gedeelde latente ruimte. Tijdens de inferentie wordt de huidige robotpose gecodeerd, de doelgerichte snelheid wordt berekend, en de decoder genereert latente displaatsingen om de robottoestand iteratief naar het doel toe bij te werken. Dit proces vereist geen finetuning voor verschillende robotische belichamingen.

Belangrijkste Bijdragen

Gedecoupleerde latente ruimte architectuur: Een modulair ontwerp dat een fijnmazige bewegingsuitlijning over diverse morfologieën mogelijk maakt door lichaamsdelen onafhankelijk te modelleren, wat rekening houdt met robots met partiële of asymmetrische ledematen.
Modulair contrastief leerframework: Een systeem dat gebruikmaakt van op maat gemaakte gelijkenis-metrieken (combinatie van gewrichtsrotatie en end-effector positionering) om gezamenlijk bewegingsrepresentaties van mensen en meerdere robotische belichamingen te leren.
Doelgestuurd controlebeleid: Een beleid dat direct in de gedeelde latente ruimte opereert, wat nauwkeurige multi-robotbesturing mogelijk maakt zonder extra finetuning, uitsluitend getraind op menselijke demonstraties.
Schaalbaar framework: Een mechanisme om efficiënt nieuwe robots aan het systeem toe te voegen door alleen een lichtgewicht, robotspecifieke embedding-laag te leren, waardoor volledig modelhertraining wordt vermeden.

Experimentele Resultaten
De auteurs evalueerden het framework op meerdere platforms, waaronder TIAGo++, H1, NAO, JVRC, ATLAS, G1 en Kinova Gen3.

Motion Retargeting: De gedecoupleerde latente ruimte benadering presteerde aanzienlijk beter dan een monolithische (gekoppelde) latente ruimte en de baseline ImitationNet in termen van end-effector positie en snelheid nauwkeurigheid (genormaliseerde afstand-gelijkenis en genormaliseerde snelheid-gelijkenis). Hoewel een gedeelde ruimte aanvankelijk een verminderde rotationele nauwkeurigheid vertoonde, herstelde het gedecoupleerde ontwerp deze prestaties terwijl een hoge trajectgetrouwheid behouden bleef.
Schaalbaarheid: Bij het toevoegen van nieuwe robots (ATLAS, G1, Kinova) door alleen de embedding-lagen te trainen, kwam de prestatie overeen met robots die end-to-end zijn getraind, waarbij de trainingstijd werd teruggebracht van uren naar ongeveer 15 minuten.
Controleprestaties: Het latente ruimte controlebeleid bereikte een nauwkeurigheid van minder dan één centimeter bij het bereiken van doelposities over alle geteste robots (afstand tot doel fouten variërend van 0,13 cm tot 1,14 cm). Het systeem ondersteunt aansturingsfrequenties van ongeveer 100 Hz.
Hardware Validatie: Real-world experimenten op TIAGo-SEA en Kinova Gen3 robots toonden succesvolle teleoperatie voor pick-and-place taken en robot-naar-robot motion retargeting aan met enkel een RGB-camera als input.

Betekenis en Claims
Het artikel claimt een schaalbare, embodiment-agnostische oplossing te bieden voor robotbesturing. Door een verenigde latente ruimte te leren, demonstreren de auteurs dat controlebeleid getraind op menselijke data naadloos kan worden ingezet over diverse robotplatforms zonder hertraining. Het werk benadrukt het potentieel voor efficiënt multi-robot systeembeheer, waarbij een enkel beleid meerdere robots met verschillende kinematische structuren kan aansturen. De auteurs merken op dat hoewel de huidige implementatie het SMPL-model gebruikt (dat geen expliciete handbewegingsdata bevat), het framework succesvol grove lichaams- en armbewegingen afhandelt, wat een veelbelovende weg biedt naar verenigde controle. De methode wordt gepresenteerd als een stap naar het overbruggen van de embodiment-kloof, waardoor robots kunnen leren van menselijke demonstraties en vaardigheden kunnen overdragen naar nieuwe platforms met minimale computationele overhead.