💻 computer science

Humanoid-DART: Humanoid Loco-Manipulation using Diffusion-guided Augmentation through Relabeling and Tracking

Humanoid-DART is een zelfgesuperviseerd framework dat diffusie-gebaseerde trajectgeneratie combineert met reinforcement learning om humanoïde robots diverse loco-manipulatievaardigheden te laten leren uit schaarse demonstraties door automatisch de doelruimte te verkennen met minimale expert-supervisie.

Oorspronkelijke auteurs: Pranav Debbad, Kanish Thiagarajan, Victor Dhédin, Shafeef Omar, Majid Khadiv

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pranav Debbad, Kanish Thiagarajan, Victor Dhédin, Shafeef Omar, Majid Khadiv

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een humanoïde robot leert om complexe taken uit te voeren, zoals het oppakken van een doos en het verplaatsen naar een specifieke plek, of het trappen tegen een bal. Normaal gesproken moet je om een robot dit te leren honderden uren aan perfect uitgevoerde menselijke handelingen opnemen. Maar dat is duur, traag en moeilijk te doen voor elke mogelijke variatie (wat als de doos zwaarder is? Wat als het doel verder weg is?).

Het artikel introduceert Humanoid-DART, een slim systeem dat een robot leert deze taken onder de knie te krijgen met slechts een handvol voorbeelden (zo weinig als vier). Dit doet het door te fungeren als een creatieve coach die niet alleen herhaalt wat hij heeft gezien, maar ook nieuwe manieren bedenkt om dingen te doen en ze vervolgens oefent tot ze werken.

Hier is hoe het systeem werkt, onderverdeeld in eenvoudige delen:

1. De strategie met twee teams

In plaats van te proberen de robot alles in één groot brein te leren, splitst Humanoid-DART de taak op in twee gespecialiseerde teams die elkaar helpen:

De "Dromer" (het Diffusiemodel): Dit is de creatieve planner. Zijn taak is om een pad te bedenken dat de robot kan volgen. Hij kijkt naar de weinige voorbeelden die hij heeft en begint nieuwe, licht afwijkende paden te "dromen" om nieuwe doelen te bereiken. Denk aan een kunstenaar die nieuwe routes op een kaart schetst. In het begin zijn deze schetsen misschien fysiek onmogelijk (zoals door een muur lopen of over de vloer glijden), maar ze zijn erg goed in het verkennen van waar de robot naartoe zou kunnen gaan.
De "Atleet" (het Reinforcement Learning Policy): Dit is de fysieke uitvoerder. Zijn taak is om de schets van de "Dromer" te nemen en deze daadwerkelijk op de robot uit te proberen. Hij werkt als een strenge coach. Als de Dromer een pad schetst waarbij de voet van de robot glijdt of de robot omvalt, zegt de Atleet: "Nee, dat werkt niet," en corrigeert de beweging om deze fysiek mogelijk te maken.

2. De "Oefenlus" (Het Curriculum)

De magie gebeurt in de manier waarop deze twee teams in de loop van de tijd met elkaar communiceren. Het systeem draait in cycli, zoals een trainingskamp:

Kies een doel: Het systeem kiest een doel (bijv. "Verplaats de doos naar deze nieuwe plek").
Droom: De "Dromer" creëert een ruw plan om daar te komen.
Test: De "Atleet" probeert het plan uit in een fysica-simulator.
Filteren & Herlabelen:
- Als de robot valt of faalt, wordt het plan weggegooid.
- Het geheime ingrediënt: Als de robot het bijna haalt (een "near miss"), behandelt het systeem dit niet als een mislukking. In plaats daarvan zegt het: "Oké, je hebt de bedoelde plek niet bereikt, maar je hebt succesvol deze plek bereikt." Het herlabelt de poging als een succes voor de nieuwe plek die daadwerkelijk is bereikt.
Leer: De "Dromer" leert van deze succesvolle (of bijna succesvolle) pogingen om beter te worden in het dromen van plannen voor die specifieke plekken. De "Atleet" wordt beter in het uitvoeren van die plannen.
Herhaal: Het systeem kiest nieuwe, iets moeilijkere doelen op basis van wat het zojuist heeft geleerd, waardoor de vaardigheden zich uitbreiden als een sneeuwbal die een heuvel afrolt.

3. De "Dual-Brain" Architectuur

Om de "Dromer" echt goed te laten worden in zowel lopen als objecten vasthouden, geeft het artikel het een speciale tweeledige hersenstructuur:

De Navigator: Richt zich op het grote plaatje (waar de voeten van de robot naartoe gaan).
De Localizer: Richt zich op de details (hoe de handen en gewrichten bewegen ten opzichte van het object).
Door deze te scheiden, leert de robot zijn hele lichaam te coördineren zonder in de war te raken, zodat hij, wanneer hij naar een doos loopt, zijn hand klaar heeft om deze te grijpen.

4. De Resultaten

De onderzoekers hebben dit getest op een echte robot (een Unitree G1) en in een simulatie. Ze begonnen met slechts vier basisvoorbeelden van een robot die duwt, trapt, overhandigt of een doos oppakt.

De uitkomst: Het systeem heeft deze taken niet alleen gekopieerd. Het leerde deze taken uit te voeren voor doelen die 4 tot 5 keer verder weg waren dan de oorspronkelijke voorbeelden.
Dekking: Voor de "pick-and-place" taak leerde de robot 96% van de mogelijke doelgebieden te bestrijken, terwijl andere methoden slechts een fractie daarvan bestreken.

Samenvatting

Humanoid-DART is als een student die begint met een paar tekstboekvoorbeelden, maar leert om duizenden nieuwe problemen op te lossen door:

Nieuwe oplossingen te bedenken.
Ze uit te proberen en te zien wat er daadwerkelijk werkt.
"Bijna-missers" te vieren als nieuwe leermomenten.
Langzaam een enorme bibliotheek aan vaardigheden op te bouwen zonder dat er een mens nodig is om elke enkele variatie op te nemen.

Het artikel concludeert dat deze aanpak robots in staat stelt om complexe, volledige lichaams-taken te leren van zeer beperkte data, waardoor het proces van het aanleren van robots veel sneller en efficiënter is dan voorheen.

Technische Samenvatting: Humanoid-DART

Probleemstelling

Humanoid loco-manipulatie vereist gecoördineerde whole-body controle en dynamische objectinteractie. Hoewel recente vooruitgang in imitatieleer en reinforcement learning (RL) indrukwekkende locomotievaardigheden mogelijk heeft gemaakt door expert-demonstraties te volgen, blijft het opschalen van deze benaderingen naar contact-rijke loco-manipulatie een aanzienlijke uitdaging. In tegenstelling tot locomotie omvat loco-manipulatie een grote, continue taakruimte die gezamenlijk wordt gedefinieerd door lichaamsbeweging, objecttoestanden en omgevingsinteracties. Variaties in objectpose, transportconfiguratie, grijpstrategie en interactietiming creëren een combinatorische ruimte die met alleen menselijke demonstraties prohibitief duur is om te dekken. Bestaande methoden vertrouwen doorgaans op grootschalige menselijke bewegingsdatasets of richten zich op het volgen van een enkel referentiegedrag, waardoor ze er niet in slagen om diverse loco-manipulatietaken robuust op te lossen onder variërende omstandigheden met schaarse initiële data.

Methodologie

Het artikel stelt Humanoid-DART voor, een zelfgesuperviseerd, iteratief framework dat ontworpen is om te bootstrappen vanuit een schaarse set initiële demonstraties en progressief zijn gedragsrepertoire uit te breiden. De pijplijn wisselt af tussen twee nauw gekoppelde componenten: een doel-geconditioneerde bewegingsgenerator en een physics-gebaseerde bewegingstracking-policy.

1. Algoritme Overzicht

Het systeem werkt als een evolutionaire curriculum over een vaardigheidsdistributie gedefinieerd door een elite-archief $E$ van succesvolle trajecten.

Doel-sampling (Goal Sampling): In elke iteratie samplet het curriculum nieuwe doeltoestanden rond de huidige distributie in $E$ , waarbij wordt getarget op zowel de verfijning van bestaande vaardigheden als de exploratie van ondervertegenwoordigde regio's.
Kinematische Generatie: Een doel-geconditioneerd diffusiemodel ( $\pi_\theta$ ) genereert kinematische referentietrajecten voor de gesamplede doelen. Deze trajecten kunnen fysieke inconsistenties bevatten (bijv. voetglijden, penetraties).
Physics Evaluatie: Een bewegingstracking-policy ( $\pi_\phi$ ), getraind via RL, voert deze kinematische referenties uit in een physics-simulator. Het fungeert als een dynamisch filter dat potentieel onhaalbare plannen omzet in fysiek consistente rollouts.
Selectie en Relabelling: De resulterende trajecten worden geëvalueerd met behulp van een fitnessfunctie $F(\tau)$ die de tracking-getrouwheid, contactcorrectheid en stabiliteit meet. Trajecten die een drempelwaarde $\tau_f$ overschrijden, worden behouden in het elite-archief $E$ . Cruciaal is dat succesvolle rollouts die niet perfect overeenkomen met het gesamplede doel, worden herlabeld met hun behaalde taakmetrieken, waardoor "bijna-missers" worden omgezet in geldige trainingssignalen.
Iteratieve Update: Zowel de diffusiegenerator als de tracking-policy worden opnieuw getraind op het uitgebreide archief, waardoor de diversiteit van haalbare trajecten en de dekking van de taakruimte progressief toenemen.

2. Belangrijke Architecturale Componenten

Kinematische Bewegingsgenerator (Diffusion Transformer):
- Dual-Branch Backbone: De architectuur scheidt de staat in een globale stroom (root-beweging en object-relatieve kenmerken) en een lokale stroom (lichaamspose/gewrichten). De lokale stroom voert cross-attention uit op de globale stroom, waardoor grove navigatie wordt ontkoppeld van fijne pose-synthese terwijl synchronisatie behouden blijft.
- Gestructureerde Partiële Unmasking: Tijdens de training onthult het model selectief geruisde feature-groepen uit toekomstige frames. Dit stimuleert de planner om ontbrekende bewegingscomponenten af te leiden uit partiële observaties, waarbij correlaties tussen feature-groepen worden geleerd (bijv. tussen hele lichaams-pose en objectinteractie) in plaats van ze onafhankelijk te behandelen.
- Inference: Gebruikt auto-regressieve synthese over overlappende segmenten met history inpainting (RePaint-stijl) om temporele consistentie te waarborgen.
Bewegingstracking-policy:
- Een DeepMimic-geïnspireerde asymmetrische actor-critic controller getraind met Proximal Policy Optimization (PPO).
- Het observeert een 5-staps referentiehorizon, proprioceptieve staat en objectpose, waarbij de critic geprivilegieerde simulatie-staat ontvangt.
- Training incorporeert domein-randomisatie (objectmassa, wrijving, duwen) om sim-to-real transfer te waarborgen.
Curriculum en Doel-relabeling:
- Frontier Target Sampling: De taakruimte wordt gediscretiseerd in bins. Sampling-gewichten worden toegewezen op basis van de afstand van bins tot de huidige elite-set: Refine (nabij bestaande elites), Explore (intermediaire afstand), en Frontier (ver weg, onopgeloste regio's). Exploratie-bins krijgen de hoogste weging om de expansie van de dekking aan te drijven.
- Doel-relabeling: In plaats van rollouts die het gesamplede doel missen te verwerpen, behandelt het systeem de behaalde staat achteraf als het beoogde doel, wat een dens leersignaal biedt zelfs wanneer de generator ondergetraind is.

Belangrijkste Bijdragen

Humanoid-DART Pijplijn: De eerste iteratieve traject-augmentatie pijplijn voor het leren van doel-geconditioneerde loco-manipulatievaardigheden vanuit schaarse demonstraties.
Nieuwe Ontwerpkeuzes:
- Een hiërarchische doel-geconditioneerde Diffusion Transformer (DiT) met een dual-branch architectuur en gestructureerde partiële unmasking om traject-synthese in schaarse-data-regimes te verbeteren.
- Een RL whole-body controller die geconditioneerd is op objectpose om gegenereerde trajecten te volgen.
- Een curriculum-gebaseerd algoritme met een doel-relabeling strategie die bijna-gemiste rollouts omzet in geldige trainingssignalen.
Empirische Validatie: Demonstratie van het framework op vier loco-manipulatie-taken (duwen, trappen, overhandigen, pick-and-place) met behulp van een Unitree G1 humanoid. Het systeem bereikt taakruimte-dekking vanaf slechts vier basisdemonstraties en generaliseert naar doelen die aanzienlijk verder liggen dan de seed-distributie.

Experimentele Resultaten

Taakruimte-dekking: In de pick-and-place taak bereikte Humanoid-DART 96,4% dekking van de doel-taakruimte beginnend vanaf slechts vier basisdemonstraties (ongeveer 20 seconden beweging). Dit vertegenwoordigt een groei van 0,1% naar bijna volledige dekking over vier generaties.
Generalisatie: Het systeem genereerde en volgde succesvol trajecten naar doelen die 4–5 keer verder weg lagen dan de basisdemonstraties, wat robuuste generalisatie aantoont.
Real-World Deployment: Gegenereerde trajecten werden succesvol ingezet op een fysieke Unitree G1 humanoid voor de taken duwen, trappen en pick-and-place, wat de dynamische haalbaarheid op hardware bevestigt.
Ablatie-studies:
- Architectuur: Het verwijderen van de dual-branch structuur (instorten naar een enkele platte DiT) zorgde ervoor dat het succespercentage bij het bereiken van doelen daalde van 1,00 naar 0,25. Gestructureerde partiële unmasking verbeterde de pad-rechtvormigheid en grasp-consistentie.
- Baselines: Vergeleken met "Parameterized Motion" (die zich richt op smalle hoogwaardige regio's) en "Hierarchical Diffusion + RL" (gezamenlijk getraind zonder de evolutionaire loop), demonstreerde Humanoid-DART superieure taakruimte-dekking. De evolutionaire loop werd geïdentificeerd als de primaire drijfveer van prestaties.
- Initialisatie: Dynamisch haalbare (DF) seed-trajecten leidden tot snellere convergentie en hogere dekking vergeleken met kinematisch haalbare (KF) seeds, die vaak fysieke inconsistenties bevatten die het diffusiemodel versterkte.

Betekenis en Claims

Het artikel claimt dat Humanoid-DART de bottleneck van datascarcity in humanoid loco-manipulatie aanpakt door generatieve modellen te gebruiken om de set van traject-referenties iteratief uit te breiden. Door de high-level bewegingsgeneratie te ontkoppelen van low-level controle en gebruik te maken van een curriculum met doel-relabeling, stelt het framework het leren van robuuste, doel-geconditioneerde policies mogelijk met minimale menselijke supervisie. De auteurs benadrukken dat deze benadering de ontdekking van diverse gedragingen en long-horizon vaardigheden mogelijk maakt die ver buiten de scope van de initiële seed-demonstraties liggen, wat een schaalbaar pad biedt naar generalistische humanoid manipulatie zonder de noodzaak voor enorme menselijke bewegingsdatasets.

Beperkingen en Toekomstig Werk: De huidige evaluatie is beperkt tot een enkele objectgeometrie en vlak terrein. De auteurs merken op dat de pijplijn biases van seed-demonstraties erft en afhankelijk is van een handmatig afgestelde fitnessfunctie. Toekomstig werk is gericht op het uitbreiden van het framework naar diverse objecten, contacteigenschappen en ongelijk terrein, en op het vervangen van de fitnessfunctie door een adaptief, geleerd criterium.