🤖 machine learning

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

Dit artikel introduceert "Humanoid Everyday", een grootschalige, diverse dataset bestaande uit meer dan 10.000 multimodale trajecten over 260 taken, ontworpen om onderzoek naar humanoïde manipulatie in een open wereld te bevorderen, vergezeld van een analyse van beleidsleermethoden en een gestandaardiseerd cloudgebaseerd evaluatieplatform.

Oorspronkelijke auteurs: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een behulpzame huisgenoot te zijn. Je wilt dat de robot door het huis loopt, een kopje oppakt, een handdoek opvouwt en zelfs een gereedschap aan je overhandigt. Maar op dit moment is de meeste trainingsdata voor robots als een bibliotheek vol boeken over hoe je een enkele robotarm beweegt die op een tafel staat. Dat is geweldig voor die arm, maar het leert een hele robot niet hoe hij moet lopen, hoe hij zijn evenwicht moet bewaren en hoe hij tegelijkertijd twee handen kan gebruiken.

Het paper "Humanoid Everyday" introduceert een enorme nieuwe oplossing voor dit probleem. Denk aan de "Encyclopedie van het Dagelijks Leven van een Robot."

Hier is een eenvoudige uitsplitsing van wat de onderzoekers hebben gebouwd en waarom het ertoe doet:

1. De Dataset: Een "Realityshow voor Robots"

De onderzoekers creëerden een enorme collectie video- en sensordata genaamd Humanoid Everyday.

De Cast: Ze gebruikten twee geavanceerde humanoïde robots (de Unitree G1 en H1) die eruitzien en bewegen als mensen, compleet met behendige handen die aanraking kunnen voelen.
Het Plot: In plaats van alleen een doos van punt A naar punt B te bewegen, namen ze 260 verschillende "scènes" of taken op. Deze variëren van simpele dingen zoals het oppakken van een dumpling-speeltje tot complexe zaken zoals lopen terwijl je een deurklink vasthoudt of een handdoek opvouwt.
De Variatie: De taken bestrijken zeven verschillende categorieën, waaronder:
- Basis huishoudelijke taken (dingen oppakken).
- Omgaan met zachte objecten (zoals stof of handdoeken).
- Gereedschap gebruiken (zoals een gum).
- Teamwork (objecten aan een mens overhandigen).
- Lopen en werken (rondbewegen terwijl je taken uitvoert).
De Schaal: Ze namen meer dan 10.000 videoclips (trajecten) op en meer dan 3 miljoen frames aan data. Elke clip bevat video, diepte (3D-afstand), laserscans (LiDAR) en zelfs wat de handen van de robot "voelen" (tactiele data).

2. Het Geheime Ingrediënt: Een "Super-snelle Cameracrew"

Het verzamelen van deze data is moeilijk omdat robots snel bewegen, en als de camera zelfs maar een fractie vertraging heeft, is de data waardeloos.

Het Probleem: De officiële robotsoftware was als een trage, eenbaansweg waar de data in de file kwam te staan.
De Oplossing: Het team bouwde een nieuw "teleoperatie"-systeem (een manier om de robot op afstand te besturen). Ze behandelden de dataverzameling als een high-speed estafette. In plaats van één persoon die alles doet, verdeelden ze het werk in verschillende "processen" (zoals verschillende hardlopers) die tegelijkertijd draaien.
Het Resultaat: Ze brachten de vertraging (lag) terug van 500 milliseconden naar slechts 2 milliseconden. Dit is als gaan van een slakkentempo naar een sprint, waardoor ze vloeiende, hoogwaardige bewegingen kunnen vastleggen die daadwerkelijk lijken op een mens die beweegt.

3. De Cloud "Testbaan"

Een van de grootste hoofdpijndossiers in robotonderzoek is dat niet elke wetenschapper een humanoïde robot van $100.000 bezit.

De Innovatie: Het team bouwde een cloud-gebaseerd evaluatieplatform.
Hoe het werkt: Stel je een afgezet circuit voor. Onderzoekers van over de hele wereld kunnen hun robot-"brein" (hun AI-policy) uploaden naar de cloud. De cloud stuurt vervolgens de ogen van de robot (videofeed) naar de computer van de onderzoeker. De computer van de onderzoeker berekent wat er moet gebeuren en stuurt de commando's terug naar de fysieke robot in het lab.
Het Voordeel: Dit creëert een gelijk speelveld. Iedereen test hun robot op exact dezelfde real-world taken, in exact dezelfde kamer, met exact dezelfde robot. Geen meer gegok of jouw robot beter is omdat hij een andere camera of een andere tafel heeft.

4. De Realiteitscheck: Wat de Robots Wel (en Niet) Kunnen

De onderzoekers hebben de data niet alleen verzameld; ze hebben het ook getest. Ze namen verschillende beroemde AI-modellen (de "hersenen" die momenteel in de robotica worden gebruikt) en probeerden hen deze nieuwe taken te leren.

Het Goede Nieuws: De modellen werden beter in sommige zaken, vooral wanneer ze veel vergelijkbare data hadden gezien (pre-training). De beste performer was een model genaamd GR00T N1.5, dat slaagde in ongeveer 51% van de proeven.
Het Slechte Nieuws: De robots worstelen nog steeds met de moeilijkste zaken.
- Het "Roos in een Vaas"-probleem: In een taak waarbij de robot over een afstand moest lopen om een dunne rozenstengel in een kleine opening van een vaas te plaatsen, faalden bijna alle modellen (0% succespercentage).
- Waarom? De robots zijn goed in grote bewegingen, maar slecht in de kleine, precieze aanpassingen die nodig zijn voor delicate taken. Ze raken ook in de war wanneer ze moeten lopen en tegelijkertijd hun handen bewegen.

Samenvatting

Humanoid Everyday is een enorme, hoogwaardige bibliotheek van het dagelijks leven van een robot, verzameld met een supersnel systeem dat elk detail vastlegt. Het komt met een "cloud testbaan" zodat iedereen hun robotbreinen kan testen op echte hardware.

Het paper laat zien dat hoewel we vooruitgang boeken, huidige robot-"hersenen" nog steeds lijken op peuters die leren lopen: ze kunnen simpele dingen, maar ze struikelen wanneer ze worden gevraagd om tegelijkertijd te lopen en fijne motorische vaardigheden uit te voeren (zoals een draad in een naald rijgen). Deze dataset is de trainingsgrond die nodig is om hen te helpen volwassen te worden.

Technische Samenvatting: Humanoid Everyday

Probleemstelling

Ondanks aanzienlijke vooruitgang in de humanoïde robotica wat betreft full-body capaciteiten (locomotie, dansen, rennen), wordt de ontwikkeling van algemene humanoïde manipulatiebeleid gehinderd door drie primaire tekortkomingen:

Beperkingen in Datasets: Bestaande datasets richten zich voorneldelijk op stationaire robotarmen of eenvoudige mobiele platforms. De weinige bestaande humanoïde datasets zijn vaak beperkt tot vaste omgevingen, missen taakdiversiteit, laten onderste lichaamslocomotie weg en falen in het vastleggen van complexe mens-humanoïde interacties.
Schaarsheid aan Evaluatie: Er is een gebrek aan gestandaardiseerde evaluatieplatforms voor het benchmarken van leer-gebaseerde beleidsregels op humanoïde data. Huidige frameworks zijn grotendeels beperkt tot robotarmen of gesimuleerde agenten, wat eerlijke, rigoureuze vergelijkingen tussen diverse humanoïde beleidsregels moeilijk maakt.
Embodiment Gap: Huidige datasets slagen er vaak niet in het volledige spectrum van menselijke capaciteiten vast te leggen die vereist zijn voor real-world scenario's, inclusief bimanuele coördinatie, full-body beweging en behendige interactie met vervormbare objecten en gereedschappen.

Methodologie

1. Dataverzameling Pipeline

De auteurs hebben een zeer efficiënte, door mensen gesuperviseerde teleoperatie-pipeline ontwikkeld om de Humanoid Everyday dataset te verzamelen.

Hardware: Data werd verzameld met behulp van twee Unitree humanoïde robots: de G1 (29 DoF, uitgerust met 7-DoF Dex3-1 behendige handen met tactiele sensoren) en de H1 (27 DoF, uitgerust met 6-DoF INSPIRE handen). Beide robots dragen Intel RealSense RGB-D camera's en Livox LiDAR-systemen.
Teleoperatie Interface: Operators dragen een Apple Vision Pro om pols- en vingerkeypoints vast te leggen. Vingerbewegingen worden naar robothanden gemapt via een dex-retargeting systeem, terwijl polshoudingen worden omgezet naar armgewrichtcommando's met behulp van een Pinocchio-gebaseerd inverse kinematica (IK) algoritme.
Pipeline Optimalisatie: In tegenstelling tot het blokkerende, synchrone ontwerp van het officiële Unitree teleoperatie-script, implementeerden de auteurs een multi-processing, asynchrone I/O-pipeline. Dit ontkoppelt datastreaming, schrijven, robotcontrole en IK-berekening in aparte processen/threads met behulp van shared memory buffers.
- Prestaties: Deze herengineering verminderde de controlevertraging van 500 ms naar 2 ms en halveerde de dataverzamelingstijd vergeleken met het officiële systeem, wat hoogfrequente (30 Hz) controle en gesynchroniseerde multimodale dataverzameling mogelijk maakte.

2. Dataset Samenstelling

De dataset bestaat uit 10,3k trajecten en meer dan 3 miljoen frames die 260 unieke taken bestrijken over 7 categorieën:

Basismanipulatie: Pick-and-place taken.
Deformabele Manipulatie: Interactie met stoffen of zachte objecten.
Gelede Manipulatie: Bedienen van scharnierende of gelede structuren.
Gereedschapsgebruik: Gebruik van externe objecten om doelen te bereiken.
Hoge-Precisie Manipulatie: Taken die hoge nauwkeurigheid vereisen (bijv. het insteken van een stengel).
Mens-Robot Interactie (HRI): Coöperatieve acties met mensen.
Loco-Manipulatie: Combineren van locomotie met manipulatie.

Modaliteiten: Elke episode bevat RGB-video, dieptekaarten, LiDAR-scans, tactiele feedback, IMU-data, gewrichtshoudingen, gewrichtsacties en natuurlijke taalannotaties.

3. Cloud-gebaseerd Evaluatieplatform

Om het gebrek aan gestandaardiseerde evaluatie aan te pakken, introduceerden de auteurs een cloud-gebaseerd evaluatieplatform.

Functionaliteit: Onderzoekers kunnen beleidsregels uploaden naar een server, die real-time visuele inputs (RGB, Diepte) en robotstatussen van een fysieke G1 of H1 robot naar de client streamt.
Executie: Gebruikers draaien inferentie lokaal en sturen actiecommando's terug naar de server voor uitvoering op de fysieke robot.
Monitoring: Een webinterface biedt een third-person en egocentrisch beeld van de taakuitvoering.
Efficiëntie: Het systeem demonstreerde het vermogen om meer dan 100 minuten continu te draaien met minimale menselijke interventie (slechts 3 interventies voor motoroververhitting), wat reproduceerbare, hardware-agnostische benchmarking mogelijk maakt.

4. Beleidsanalyse Experimenten

De auteurs evalueerden een suite van representatieve imitation learning en Vision-Language-Action (VLA) modellen op de dataset:

Geteste Modellen: Diffusion Policy (DP), 3D Diffusion Policy (DP3), Action Chunking with Transformers (ACT), OpenVLA, $\pi_0$ -FAST, $\pi_0.5$ , en GR00T N1.5.
Trainingsstrategie: Een twee-fasen fine-tuning aanpak werd gebruikt voor VLA-modellen: pre-training op de volledige Humanoid Everyday dataset gevolgd door adaptatie aan specifieke taakcategorieën.
Ablatie Studie: Een vergelijking werd uitgevoerd tussen directe taakspecifieke fine-tuning en de twee-fasen pre-training strategie.

Belangrijkste Resultaten

1. Beleidsprestaties

Algemene Strijd: Alle end-to-end imitation policies worstelden aanzienlijk door de hoogdimensionale actieruimte (28 DoFs).
Model Specifieke Details:
- DP3 presteerde over het algemeen beter dan DP, toegeschreven aan de robuustheid van 3D puntwolkobservaties, hoewel het faalde in Loco-Manipulatie taken waar grote frame-naar-frame veranderingen de puntwolken minder betrouwbaar maakten dan RGB.
- ACT presteerde slecht, door overfitting op gedemonstreerde trajecten en het onvermogen om zich aan te passen aan scènevariaties.
- OpenVLA worstelde met hoogfrequente (30 Hz) data; het downsamplen naar 2 Hz verbeterde de bewegingsgeneratie maar verminderde de vloeiendheid.
- $\pi_0$ -FAST ondervond decoding-fouten door hoogdimensionale actie-tokenisatie, wat soms ervoor zorgde dat de robot stopte.
- $\pi_0.5$ produceerde vloeiendere acties maar vertoonde nog steeds overfitting.
- GR00T N1.5 behaalde het hoogste gemiddelde succespercentage (51%), toegeschreven aan uitgebreide pre-training op grootschalige humanoïde datasets.
Foutmodi: De meest uitdagende categorieën waren Loco-Manipulatie en Hoge-Precisie Manipulatie. In de "Steek roos in vaas" taak behaalden bijna alle beleidsregels een 0% succespercentage, wat wijst op een gebrek aan fijnmazige visuo-spatiële perceptie in huidige modellen.

2. Nut van Pre-training

De ablatie studie bevestigde dat pre-training op Humanoid Everyday voorafgaand aan taakspecifieke fine-tuning de prestaties van VLA-modellen consistent verbeterde. Dit suggereert dat blootstelling aan diverse humanoïde gedragingen een waardevolle prior biedt die de robuustheid en stabiliteit in downstream manipulatietaken verbetert.

Betekenis en Claims

Het artikel positioneert Humanoid Everyday als een fundamentele bron om onderzoek naar algemene humanoïde manipulatie te bevorderen. De betekenis is drieledig:

Data Diversiteit: Het overbrugt de kloof in bestaande datasets door een grootschalige, multimodale collectie aan te bieden die diverse omgevingen, full-body locomotie, behendige manipulatie en menselijke interactie omvat.
Gestandaardiseerde Benchmarking: Het bijbehorende cloud-gebaseerde evaluatieplatform is het eerste dat specifiek voor humanoïde robots is ontworpen, waardoor de drempel voor onderzoekers zonder fysieke hardwaretoegang wordt verlaagd en eerlijke, reproduceerbare vergelijkingen mogelijk worden gemaakt.
Inzicht in Beperkingen: De analyse van huidige beleidsregels laat zien dat hoewel grote VLA-modellen veelbelovend zijn, er aanzienlijke uitdagingen blijven bestaan in hoogdimensionale controle, fijnmazige perceptie en robuustheid in dynamische omgevingen.

De auteurs concluderen dat hoewel huidige imitation learning methoden voor substantiële hindernissen staan, de combinatie van deze dataset, het evaluatieplatform en de inzichten verkregen uit de beleidsanalyse de basis legt voor het ontwikkelen van meer capabele en belichaamde robotische agenten in real-world scenario's. Ze erkennen beperkingen, zoals de noodzaak voor gespecialiseerde modelontwerpen voor hoogdimensionale ruimtes en het huidige onvermogen van beleidsregels om omgevingen autonoom te resetten, en identificeren dit als richtingen voor toekomstig werk.