💻 computer science

HEX: Humanoid-Aligned Experts for Cross-Embodiment Whole-Body Manipulation

Het paper introduceert HEX, een state-of-the-art framework dat door middel van een mensgerichte universele staatrepresentatie en een mix van experts de gecoördineerde hele-lichaam manipulatie van bipedale humanoid robots verbetert, wat leidt tot superieure prestaties en generalisatie in complexe, real-world taken.

Oorspronkelijke auteurs: Shuanghao Bai, Meng Li, Xinyuan Lv, Jiawei Wang, Xinhua Wang, Fei Liao, Chengkai Hou, Langzhe Gu, Wanqi Zhou, Kun Wu, Ziluo Ding, Zhiyuan Xu, Lei Sun, Shanghang Zhang, Zhengping Che, Jian Tang, Badong

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuanghao Bai, Meng Li, Xinyuan Lv, Jiawei Wang, Xinhua Wang, Fei Liao, Chengkai Hou, Langzhe Gu, Wanqi Zhou, Kun Wu, Ziluo Ding, Zhiyuan Xu, Lei Sun, Shanghang Zhang, Zhengping Che, Jian Tang, Badong Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt bouwen die precies doet wat een mens doet: niet alleen lopen, maar ook tegelijkertijd een glas water inschenken, een doos dragen en op een stoepje springen om een obstakel te vermijden. Dat is de droom van de mensachtige robot (humanoid). Maar tot nu toe waren deze robots vaak als een beginnende danser: ze konden misschien wel stappen zetten, maar als ze hun armen bewogen, vielen ze om. Ze konden niet goed "samenwerken" met hun eigen lichaam.

Deze paper introduceert HEX, een slimme nieuwe manier om deze robots te leren bewegen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Losse Lijfjes"-Robot

Vroeger behandelden robot-ontwikkelaars de armen en benen van een robot alsof het twee verschillende mensen waren die niet met elkaar praten.

De benen kregen een opdracht om te lopen.
De armen kregen een opdracht om iets vast te pakken.
Het resultaat? De robot liep vooruit terwijl zijn armen wilden draaien, en hij viel om omdat hij zijn evenwicht verloor. Het was alsof je probeert te dansen terwijl je linkerbeen een andere muziek hoort dan je rechterarm.

2. De Oplossing: HEX (De "Alles-in-Eén" Coach)

HEX is als een supercoach die de robot leert om zijn hele lichaam als één team te zien. In plaats van losse instructies, denkt HEX in termen van "wat gebeurt er met mijn hele lijf in de komende paar seconden?"

Hier zijn de drie slimme trucjes die HEX gebruikt:

A. De "Lichaamskaart" (Humanoid-Aligned State)

Stel je voor dat je een robot wilt leren die een beetje anders gebouwd is dan een andere (bijvoorbeeld de ene heeft langere benen, de andere heeft wielen in plaats van voeten).

Oude methode: Je moest voor elke robot een nieuwe taal leren en een nieuwe handleiding schrijven.
HEX-methode: HEX gebruikt een universele "Lichaamskaart". Het denkt niet in "linkerbeen van robot A", maar in "het linkerbeen van het team". Of het nu een robot met wielen is of een met benen, HEX vertaalt alles naar dezelfde basisstructuur. Dit is alsof je een orkest hebt: of je nu een viool of een cello hebt, de dirigent (HEX) weet precies hoe je het geluid moet laten samenkomen tot één mooi muziekstuk.

B. De "Crystal Ball" (Voorspellende Voorspelling)

Dit is misschien wel het coolste deel. De meeste robots kijken alleen naar wat er nu gebeurt. Als je een bal gooit, kijken ze naar de bal en proberen hem te vangen.

HEX heeft een "kristallen bol". Het kijkt niet alleen naar nu, maar voorspelt waar zijn lichaam over een fractie van een seconde zal zijn.
De analogie: Stel je voor dat je op een fiets zit en je ziet een kuil. Een gewone robot remt pas als hij in de kuil zit. HEX ziet de kuil, rekent uit: "Als ik nu niet mijn benen buig en mijn armen uitsteek, val ik over 0,5 seconde." En dus past hij zijn beweging nu al aan om die val te voorkomen. Het is alsof je een danser bent die al weet welke stap hij over twee tellen zet, zodat hij niet struikelt.

C. De "Snelle Samenvatting" (Lightweight History)

Om te weten wat er gebeurt, moet een robot vaak kijken naar wat er de afgelopen seconden is gebeurd.

Oude methode: De robot probeerde elke oude foto van de afgelopen seconde opnieuw te bekijken en te onthouden. Dat kostte enorm veel tijd en rekenkracht (alsof je elke seconde je hele geheugen doorzoekt om te weten wat je net hebt gedaan).
HEX-methode: HEX maakt een snelle samenvatting. Het zegt: "Ik heb de laatste 2 seconden gezien, en het belangrijkste was dat die persoon naar links keek." Het slaat alleen die samenvatting op. Hierdoor is de robot veel sneller en kan hij reageren op dingen die plotseling gebeuren, zonder in de war te raken.

3. Wat levert dit op?

De onderzoekers hebben HEX getest op echte robots in de echte wereld.

Snelheid: De robot kan snel reageren als iemand plotseling in de weg loopt.
Langdurige taken: De robot kan een lange reeks taken doen (bijvoorbeeld: lopen, een doos pakken, om een hoek gaan, en de doos neerzetten) zonder halverwege te vergeten wat hij moet doen of om te vallen.
Aanpassing: Het werkt zelfs als je de robot een beetje verandert (bijvoorbeeld een ander type robot), omdat het de "essentie" van het bewegen heeft geleerd, niet alleen de specifieke knoppen.

Conclusie

Kortom: HEX is de eerste robot-coach die een mensachtige robot leert om niet als een verzameling losse onderdelen te bewegen, maar als één soepel, evenwichtig geheel. Het combineert het zien van de wereld (wat zie ik?), het begrijpen van de taal (wat moet ik doen?) en het voelen van het eigen lichaam (waar staat mijn evenwicht?) in één slimme voorspelling.

Dit maakt robots niet alleen slimmer, maar ook veiliger en natuurlijker in hun bewegingen, zodat ze echt kunnen helpen in onze huizen en scholen.

Probleemstelling

Bestaande Vision-Language-Action (VLA) modellen voor robotica behandelen robotlichaamsdelen vaak als onafhankelijke eenheden. Dit maakt de besturing van mensachtige robots (humanoids) met een hoog aantal vrijheidsgraden (high-DoF) uiterst uitdagend en vaak instabiel. Mensen voeren complexe taken uit door gecoördineerde beweging van het hele lichaam, waarbij locomotie en manipulatie gelijktijdig plaatsvinden. Huidige benaderingen voor mensachtige robots volgen meestal twee paden:

Gedecomponeerde ontwerpen: Locomotie en manipulatie worden door aparte policies bestuurd. Dit is kwetsbaar en leidt tot cumulerende fouten bij complexe taken.
Hiërarchische ontwerpen: Een hoog-niveau module geeft commando's (bijv. voor armen), die door een laag-niveau controller worden omgezet in bewegingen. Echter, veel VLA-modellen modelleren niet expliciet hoe lichaamsdelen interageren via gedeelde balans en houding, wat leidt tot gebrek aan coördinatie, vooral in snelle reactiescenario's en langdurige taken.

Er is een dringende behoefte aan een framework dat expliciete modellering van gecoördineerde hele-lichaamsdynamiek combineert met semantisch inzicht.

Methodologie: Het HEX Framework

HEX is een state-centric framework dat is ontworpen voor gecoördineerde manipulatie op volledige bipedale mensachtige robots. Het gebruikt een hiërarchische architectuur bestaande uit een hoog-niveau VLA-policy en een laag-niveau RL-based controller.

1. Mensachtige Universele State Representatie (Humanoid-Aligned Universal State)
Om leren over verschillende robotlichamen (cross-embodiment) mogelijk te maken, introduceert HEX een gestructureerde representatie. In plaats van ruwe sensor-data te gebruiken, worden staten gemapt naar een vaste set van "canonieke lichaamsdelen" (bijv. linker/rechter arm, hand, been, hoofd, taille). Als een deel ontbreekt bij een specifiek robotmodel, wordt een "missing-part token" ingevoegd. Dit zorgt voor een gedeelde latente ruimte voor heterogene datasets.

2. Unified Proprioceptive Predictor (UPP) met Mixture-of-Experts (MoE)
Dit is het kerncomponent voor het modelleren van dynamiek:

Voorspelling: De UPP voorspelt niet alleen de huidige staat, maar ook de toekomstige proprioceptieve staten (korte horizon) om "state foresight" te bieden.
MoE Architectuur: De UPP gebruikt een Mixture-of-Experts aanpak met een gedeelde transformer-ruggegraat. Er zijn specifieke "experts" die worden gerouteerd op basis van het specifieke robotlichaam en het lichaamsdeel. Dit stelt het model in staat om zowel specifieke dynamieken per robottype te leren als gedeelde dynamische patronen te behouden zonder dat een nieuwe encoder nodig is voor elk nieuw robotmodel.

3. Review-and-Forecast Paradigma
HEX combineert visueel inzicht met voorspellende dynamiek:

Visuele Context: Om herhaalde encoding van lange beeldgeschiedenissen te vermijden, gebruikt HEX een History Query Feature Cache. Dit slaat compacte samenvattingen van eerdere visuele-taal context op in plaats van de originele beelden.
Fusie: Een Action Expert voegt visuele-taal cues en de voorspelde proprioceptieve dynamiek samen via een residual-gated fusion mechanism. Een leerbare poort (gate) bepaalt adaptief hoe sterk de toestand-branch (dynamiek) de visuele-branch beïnvloedt tijdens het genereren van acties.

4. Training
Het model wordt getraind met een Flow-Matching doelstelling voor actiegeneratie en een auxiliary doelstelling voor het voorspellen van toekomstige staten. Het is voorgetraind op een dataset van meer dan 12 miljoen frames van zeven verschillende mensachtige robots (zoals Tienkung, Unitree, AgiBot), wat zorgt voor robuustheid en generalisatie.

Belangrijkste Bijdragen

Eerste Volledige VLA Framework: HEX is, voor zover bekend, het eerste VLA-framework voor volledige bipedale mensachtige robots dat is ontworpen voor gecoördineerde hele-lichaamsmanipulatie.
Cross-Embodiment State Representatie: Een nieuwe, gestructureerde manier om proprioceptieve data van verschillende robotmodellen te normaliseren, waardoor schaalbaar voortrainen mogelijk is.
Review-and-Forecast Paradigma: Een innovatieve aanpak die visuele geschiedenis samenvat en combineert met voorspellingen van toekomstige staten voor betere coördinatie.
State-of-the-Art Prestaties: Demonstratie van superieure prestaties in real-world experimenten, vooral in scenario's die snelle reacties en lange takenreeksen vereisen.

Resultaten

HEX werd getest op real-world taken met de Tienkung 2.0 en 3.0 robots en vergeleken met sterke baselines zoals ACT, SwitchVLA, GR00T N1.5 en $\pi$ 0.5.

Zichtbare Scenarios (Seen Tasks): HEX behaalde de hoogste succespercentages (bijv. 100% bij het imiteren van menselijke poses en 91.7% bij het inschenken van drank), vaak met soepelere bewegingen dan grote foundation modellen.
Lange Horizont (Long-Horizon): Bij complexe taken zoals het dragen van een doos over meerdere stappen (knielen, draaien, lopen, plaatsen), presteerde HEX significant beter dan de baselines. Het verminderde cumulerende fouten aanzienlijk, met name in de laatste fase van het neerzetten van de doos (+15% verbetering t.o.v. de beste baseline).
Generalisatie: HEX toonde sterke robuustheid tegen onbekende variaties, zoals snellere menselijke bewegingen, visuele afleidingen, veranderende lichtomstandigheden en dynamische objectposities. In generalisatietests behaalde HEX een gemiddeld succespercentage van 61,8%, aanzienlijk hoger dan $\pi$ 0.5 (44,3%) en GR00T N1.5 (41,0%).
Efficiëntie: Ondanks de complexiteit behaalde HEX een hoge succesrate met een inferentie-tijd van 73,34 ms op een RTX 4090, wat een uitstekende afweging is tussen snelheid en nauwkeurigheid.

Betekenis en Impact

Dit paper markeert een belangrijke stap in de ontwikkeling van mensachtige robots. Het bewijst dat het expliciet modelleren van de interacties tussen lichaamsdelen (via proprioceptie en balans) essentieel is voor succesvolle manipulatie, in plaats van alleen te vertrouwen op visueel-linguïstisch inzicht.

De introductie van een cross-embodiment aanpak betekent dat kennis die op één type robot is geleerd, efficiënt kan worden overgedragen naar andere, heterogene mensachtige platforms. Dit verlaagt de drempel voor het trainen van robuuste robots in de echte wereld en opent de weg voor mensachtige robots die complexe, langdurige taken in huishoudelijke en onderwijsomgevingen kunnen uitvoeren met de nodige stabiliteit en coördinatie.