💻 computer science

DexFormer: Cross-Embodied Dexterous Manipulation via History-Conditioned Transformer

DexFormer is een end-to-end, geschiedenisgeconditioneerd transformer-beleid dat één enkel model in staat stelt om te generaliseren over diverse dexterous hand-embodiments door morfologie en dynamica af te leiden uit de temporele context, waarbij sterke zero-shot transfer wordt bereikt zonder dat er aparte training voor elke robot nodig is.

Oorspronkelijke auteurs: Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

Gepubliceerd 2026-02-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ke Zhang, Lixin Xu, Chengyi Song, Junzhe Xu, Xiaoyi Lin, Zeyu Jiang, Renjing Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm probeert te leren hoe hij een beker moet oppakken. Stel je nu voor dat je drie verschillende robotarmen hebt: één die lijkt op een menselijke hand, één die lijkt op een spin, en één die lijkt op een mechanische grijper.

In het verleden, als je wilde dat een robot alle drie kon gebruiken, moest je ze afzonderlijk aanleren. Je zou met de "menselijke" hand gaan zitten om hem te leren hoe hij moet bewegen, en dan opnieuw beginnen met de "spin" hand, en daarna weer met de "grijper". Het was alsof je drie verschillende bijlesdocenten inhuurde voor drie verschillende leerlingen, ook al moesten ze allemaal dezelfde les leren: "Pak de beker op."

DexFormer is een nieuwe methode die dit verandert. Het is alsof je één superintelligente docent inhuurt die direct door te luisteren naar hoe een leerling beweegt, kan begrijpen met welke leerling hij praat, en hen zo allemaal tegelijkertijd kan onderwijzen.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: "One Size Does Not Fit All"

Robotarmen komen in alle vormen en maten. Sommige hebben 3 vingers, sommige 5, sommige 12 gewrichten, en sommige 20. Ze bewegen anders, wegen verschillend en reageren op aanraking op unieke manieren.

De Oude Manier: Als je een robotcontroller bouwde voor een hand met 5 vingers, zou deze hopeloos falen op een hand met 3 vingers. Je moest de hersenen voor elke nieuwe hand opnieuw bouwen.
De Barrière: Dit maakte robots duur en traag in het aanpassen aan nieuwe situaties. Als een fabriek een nieuw type hand kocht, moesten ze vanaf nul beginnen met trainen.

2. De Oplossing: Het "History-Conditioned" Brein

Onderzoekers hebben een systeem gebouwd genaamd DexFormer. Denk aan dit als een robotbrein dat niet alleen kijkt naar het huidige moment (zoals "ik zie een beker"), maar ook naar de afgelopen paar seconden van wat er gebeurde (zoals "ik bewoog mijn duim naar links, dan naar rechts, en voelde toen een bult").

De Analogie: Stel je voor dat je een kamer binnenloopt en een vreemde ziet. Je weet niet wie diegene is. Maar als je diegene vijf seconden lang ziet lopen, merk je misschien dat diegene mank loopt, of een lange pas heeft, of een zware tas draagt. Je kunt fysieke eigenschappen raden door simpelweg naar hun geschiedenis van beweging te kijken.
Hoe DexFormer het doet: Het observeert de recente bewegingen van de robotarm en "voelt" de vorm en het gewicht van de hand zonder dat verteld wordt welke hand het is. Het concludeert de "morfologie" (de vorm en fysica) on the fly.

3. De Training: De "Randomized Gym"

Om dit brein zo slim te maken, hebben de onderzoekers niet alleen getraind op drie specifieke handen. Ze creëerden een enorme, procedureel gegenereerde sportschool (gym).

Ze namen standaard robotarmen en pasten deze willekeurig aan: ze maakten de vingers langer, zwaarder of lichter, of veranderden de stijfheid van de gewrichten.
Ze trainden de AI op 3ende verschillende versies van deze handen, allemaal tegelijkertijd.
Het Resultaat: De AI leerde een "universele regel" voor het grijpen. De AI leerde niet specifieke handvormen uit het hoofd; het leerde hoe het zich aan elke vorm kan aanpassen die het tegenkomt.

4. De "Zero-Shot" Magie

Het meest indrukwekkende deel is wat er gebeurt wanneer ze de robot testen op handen die ze nog nooit eerder hebben gezien.

Ze namen de getrainde AI en gaven deze een Leap Hand, een Allegro Hand en een Rapid Hand. Dit waren specifieke modellen waar de AI niet expliciet op getraind was.
Het Resultaat: De AI werkte onmiddellijk. Er was geen herprogrammering of herafstemming nodig. De AI keek naar de nieuwe hand, observeerde de beweging gedurende een fractie van een seconde, begreep de fysica ervan en begon succesvol objecten op te pakken. Dit wordt "zero-shot transfer" genoemd.

5. Testen in de echte wereld

Ze hielden het niet alleen bij een computer simulatie. Ze plaatsten het systeem op een echte robotarm met een echte Leap Hand.

Ze gebruikten camera's om de hand en het object te zien (precies zoals in de simulatie).
De robot tilde succesvol een kubus op en verplaatste deze naar een doelplek.
Dit bewijst dat het "brein" dat in de computerwereld werd geleerd, ook daadwerkelijk kan werken in de chaotische, echte wereld.

Samenvatting

DexFormer is als een universele afstandsbediening voor robotarmen. In plaats van dat je voor elke tv (robotarm) een andere afstandsbediening nodig hebt, heb je één afstandsbediening die de instellingen van de tv leert kennen door simpelweg te kijken hoe de knoppen worden ingedrukt. Het stelt één enkel robotbrein in staat om vele verschillende soorten handen te besturen, waardoor robots flexibeler, goedkoper in bouw en gemakkelijker te upgraden zijn.

Wat het paper NIET beweert:

Het beweert niet dat dit voor elke mogelijke robotarm in het bestaan werkt (alleen voor de geteste en vergelijkbare variaties).
Het beweert niet dat de robot complexe taken kan uitvoeren zoals chirurgie of koken; het richt zich specifiek op het grijpen en verplaatsen van objecten.
Het beweert niet dat het de oplossing is voor het probleem waarbij de robot begrijpt wat het object is (zoals weten dat een beker is om uit te drinken); het lost alleen het probleem op van hoe je het vasthoudt, ongeacht de vorm van de hand.

Technische Samenvatting: DexFormer

Probleemstelling

Dextere manipulatie blijft een grote uitdaging in de robotica vanwege de noodzaak voor coherente controle van handen en armen met een hoog aantal vrijheidsgraden (DoF) onder complexe, contactrijke dynamiek. Een primaire barrière voor schaalbaarheid is embodiment-variabiliteit: verschillende dextere handen bezitten afwijkende kinematica, inertie, actuatorrespons en contactdynamiek. Bijgevolg vereisen bestaande methoden vaak het trainen van aparte policies voor elke hand of het vertrouwen op gedeelde actieruimtes met per-embodiment decoderkoppen. Deze specificiteit maakt leren en sim-to-real transfer fragiel, waarbij vaak herhaalde systeemidentificatie, herafstemming of aanvullende real-world dataverzameling nodig is voor elk nieuw platform. Bovendien missen bestaande benaderingen om de sim-to-real kloof te overbruggen—zoals systeemidentificatie (SysID), domain randomization of residual modeling—ofwel expliciete mechanismen om embodiment-specifieke dynamiek op testtijd te compenseren, ofwel ze zijn afhankelijk van het verzamelen van embodiment-specifieke real-world data, waardoor ze niet in staat zijn tot echte zero-shot cross-embodiment transfer.

Methodologie

De auteurs stellen DexFormer voor, een end-to-end, dynamica-bewuste cross-embodiment policy gebouwd op een aangepaste Transformer-backbone. De kerninnovatie is een geschiedenis-geconditioneerde aanpak die de policy in staat stelt om morfologie en dynamica impliciet af te leiden uit de temporele context, in plaats van te vertrouwen op expliciete embodiment-identifiers of aparte decoderkoppen.

Belangrijke technische componenten:

Gedeelde Actieruimte: De auteurs definiëren een canonieke, morfologie-invariante actieruimte ( $D_F$ dimensies). Gewrichten met dezelfde functionele rol (bijv. duimabductie, wijsvingerflexie) worden gemapt naar vaste indices over verschillende embodiments heen. Handen met een lager aantal DoF maken gebruik van zero-padding voor ongebruikte dimensies, terwijl handen met een hoger aantal DoF meer indices bezetten. Dit stelt een enkele policy in staat om acties te genereren voor heterogene handen.
Embodiment Generatie: Om een morfologie-agnostische policy te trainen, construeren de auteurs een brede distributie van hand-embodiments. Ze vertrekken vanuit canonieke handen (Allegro, LEAP, RAPID) en randomiseren procedureel morfologie-gerelateerde fysieke parameters (schakelafstanden, massa's, inertieën) terwijl de kinematische graaftopologie en de actuatiestructuur behouden blijven. Dit creëert een "morfologie-rijke" trainingsset ( $E_{train}$ ).
Geschiedenis-geconditioneerde Transformer: De policy conditioneert op een eindige geschiedenishistorie ( $H$ $H$ ) van observatie-actie paren.
- Input: De geschiedenis wordt getokeniseerd en verwerkt door een Transformer-encoder met causale self-attention masks om lekkage van toekomstige informatie te voorkomen.
- Inference: De uiteindelijke embedding dient als een compacte samenvatting van de geschiedenis, die impliciet de latente morfologie en dynamica van de huidige hand afleidt. Deze embedding wordt door een MLP actie-kop gestuurd om de controleverdeling te produceren.
- Observatieruimte: Bevat object pose/quaternion, target pose, vorige acties, gewrichtsposities/snelheden, vingertop/palm staten, contactkrachten en object puntenwolken.
Trainingsframework: De auteurs maken gebruik van een gedistribueerd trainingsframework (Isaac Lab) waarbij gerandomiseerde varianten van dezelfde canonieke hand gegroepeerd worden op enkele GPU's, terwijl verschillende canonieke typen aan verschillende GPU's worden toegewezen. Distributed Data Parallel (DDP) met all-reduce gradiënt synchronisatie zorgt ervoor dat een enkele gedeelde policy wordt getraind over deze diverse morfologie-distributie.

Belangrijkste Bijdragen

DexFormer Architectuur: Introductie van een geschiedenis-geconditioneerde Transformer-policy getraind op een grote schaal aan hand-embodiments die impliciete morfologie-inferentie uitvoert voor adaptieve controle zonder expliciete embodiment-encoding.
Schaalbare Trainingspipeline: Ontwikkeling van een grootschalige morfologie-randomisatie pipeline en een gedistribueerd trainingsframework specifiek ontworpen voor cross-embodiment dextere hand training.
Zero-Shot Generalisatie: Demonstratie dat een enkele morfologie-agnostische policy kan generaliseren naar ongeziene dextere embodiments en meerdere real-world handen (Leap, Allegro, Rapid) zonder handmatige retargeting, expliciete morfologie-encodings of aparte policy-koppen.

Experimentele Resultaten

De auteurs evalueerden DexFormer via uitgebreide simulatie- en real-world experimenten:

Vergelijking met Baselines: DexFormer presteerde consequent beter dan LSTM- en GRU-gebaseerde baselines wat betreft het succespercentage van grijpen over de LEAP, Allegro en RAPID handen. Bijvoorbeeld, op de canonieke LEAP hand behaalde DexFormer een succespercentage van 83,25%, vergeleken met 66,81% voor LSTM en 58,91% voor GRU.
Zero-Shot Transfer: De policy demonstreerde sterke zero-shot generalisatie naar 32 ongeziene varianten van elke canonieke hand en de canonieke handen zelf, die tijdens de training waren uitgesloten.
Ablatie-studies:
- Temporele Context: Het gebruik van een geschiedenis van 5 stappen verbeterde de prestaties aanzienlijk ten opzichte van een geschiedenis van 1 stap, met name voor de Allegro en LEAP handen.
- Morfologische Diversiteit: Het vergroten van het aantal verschillende trainings-embodiments (van 25 naar 100 per canonieke hand) verbeterde de zero-shot prestaties aanzienlijk, wat bevestigt dat blootstelling aan heterogeniteit de generalisatie bevordert.
- Parallellisme: Het schalen van het aantal parallelle omgevingen per GPU verbeterde over het algemeen de prestaties, hoewel er enige instabiliteit werd opgemerkt voor de RAPID hand, toegeschreven aan morfologie-statistiek-imbalans.
- Robuustheid: De policy toonde veerkracht bij het vergrendelen van gewrichten (joint locking), waarbij de prestaties geleidelijk degradeerden op basis van het anatomische belang van het vergrendelde gewricht.
Real-World Deployment: De policy werd succesvol ingezet op een real-world Franka arm met een LEAP hand. Met behulp van offline distillatie van 2000 expert demonstratie-episoden bereikte het systeem zero-shot transfer van simulatie naar realiteit, waarbij objecten succesvol naar doelposities werden getild.

Betekenis en Claims

Het artikel claimt dat DexFormer een schaalbare fundering legt voor cross-embodiment dextere manipulatie. Door gebruik te maken van de temporele context om de fysieke structuur impliciet af te leiden, elimineert de aanpak de noodzaak voor embodiment-specifieke afstemming of expliciete kinematische modellering. De resultaten suggereren dat dynamica-bewuste temporele inferentie een effectief mechanisme is voor cross-embodiment generalisatie. De auteurs stellen dat dit werk de kloof overbrugt tussen grootschalige Reinforcement Learning (RL) training en geschiedenis-geconditioneerde modellen, en een pad biedt naar verenigde manipulatie-policies die toepasbaar zijn op diverse robotische embodiments en deployment scenario's.

De auteurs blijven bescheiden over beperkingen, waarbij zij opmerken dat de huidige training beperkt is tot specifieke objectgeometrieën en dat embodiments met een hoger aantal DoF (zoals RAPID) nog steeds matige prestatiedalingen vertonen in zero-shot settings. Zij identificeren toekomstige richtingen in foundation-stijl modellen, multi-expert distillatie en verbeterde gradiënt aggregatie strategieën voor gemengde kinematische topologieën.