💻 computer science

Humanoid-DART: Humanoid Loco-Manipulation using Diffusion-guided Augmentation through Relabeling and Tracking

Humanoid-DART è un framework auto-supervisionato che combina la generazione di traiettorie basata sulla diffusione con l'apprendimento per rinforzo per consentire ai robot umanoidi di apprendere diverse abilità di loco-manipolazione da dimostrazioni scarse, esplorando automaticamente lo spazio degli obiettivi con una supervisione esperta minima.

Autori originali: Pranav Debbad, Kanish Thiagarajan, Victor Dhédin, Shafeef Omar, Majid Khadiv

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pranav Debbad, Kanish Thiagarajan, Victor Dhédin, Shafeef Omar, Majid Khadiv

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot umanoide a svolgere compiti complessi, come prendere una scatola e spostarla in un punto specifico, o calciare una palla. Di solito, per insegnare a un robot queste cose, è necessario registrare centinaia di ore di esseri umani che eseguono questi compiti perfettamente. Ma questo è costoso, lento e difficile da fare per ogni possibile variazione (cosa succede se la scatola è più pesante? Cosa succede se l'obiettivo è più lontano?).

Il documento presenta Humanoid-DART, un sistema intelligente che insegna a un robot a padroneggiare questi compiti partendo da pochissimi esempi (solo quattro). Lo fa agendo come un coach creativo che non si limita a ripetere ciò che ha visto, ma immagina nuovi modi per fare le cose e poi le pratica finché non funzionano.

Ecco come funziona il sistema, suddiviso in parti semplici:

1. La strategia delle due squadre

Invece di cercare di insegnare tutto al robot in un unico cervello gigante, Humanoid-DART divide il lavoro in due squadre specializzate che si aiutano a vicenda:

Il "Sognatore" (Il Modello di Diffusione): Questo è il pianificatore creativo. Il suo compito è immaginare un percorso che il robot debba seguire. Guarda i pochi esempi a sua disposizione e inizia a "sognare" nuovi percorsi, leggermente diversi, per raggiungere nuovi obiettivi. Immaginalo come un artista che abbozza nuovi percorsi su una mappa. All'inizio, questi schizzi potrebbero essere fisicamente impossibili (come camminare attraverso un muro o scivolare sul pavimento), ma sono ottimi per esplorare dove il robot potrebbe andare.
L' "Atleta" (La Politica di Reinforcement Learning): Questo è l'esecutore fisico. Il suo compito è prendere lo schizzo del "Sognatore" e provare effettivamente a eseguirlo sul robot. Agisce come un coach severo. Se il Sognatore disegna un percorso in cui il piede del robot scivola o il robot cade, l'Atleta dice: "No, questo non funzionerà", e corregge il movimento per renderlo fisicamente possibile.

2. Il "Ciclo di Pratica" (Il Curriculum)

La magia avviene nel modo in cui queste due squadre comunicano tra loro nel tempo. Il sistema opera in cicli, come un campo di addestramento:

Scegli un obiettivo: Il sistema sceglie un bersaglio (es. "Sposta la scatola in questo nuovo punto").
Sogna: Il "Sognatore" crea un piano approssimativo per arrivarci.
Testa: L' "Atleta" prova a eseguire il piano in un simulatore fisico.
Filtra e Rilabelizza:
- Se il robot cade o fallisce, il piano viene scartato.
- Il ingrediente segreto: Se il robot ci riesce quasi (un "quasi successo"), il sistema non lo tratta come un fallimento. Invece, dice: "Ok, non hai raggiunto il punto previsto, ma hai raggiunto con successo questo punto". Rilabelizza il tentativo come un successo per il nuovo punto che ha effettivamente raggiunto.
Impara: Il "Sognatore" impara da questi tentativi riusciti (o quasi riusciti) per diventare più bravo a sognare piani per quei punti specifici. L' "Atleta" diventa più bravo a eseguirli.
Ripeti: Il sistema sceglie nuovi obiettivi, leggermente più difficili, basandosi su quanto appena imparato, espandendo le sue abilità come una palla di neve che rotola giù da una collina.

3. L'architettura "Dual-Brain"

Per rendere il "Sognatore" davvero capace di gestire sia la camminata che la presa di oggetti, il documento gli assegna una struttura cerebrale speciale divisa in due parti:

Il Navigatore: Si concentra sul quadro generale (dove vanno i piedi del robot).
Il Localizzatore: Si concentra sui dettagli (come si muovono le mani e le articolazioni rispetto all'oggetto).
Separando questi elementi, il robot impara a coordinare tutto il corpo senza confondersi, assicurando che, mentre cammina verso una scatola, la sua mano sia pronta a prenderla.

4. I Risultati

I ricercatori hanno testato il sistema su un vero robot (un Unitree G1) e in simulazione. Sono partiti da soli quattro esempi base di un robot che spinge, calcia, passa un oggetto o raccoglie una scatola.

Il Risultato: Il sistema non si è limitato a copiare quei quattro esempi. Ha imparato a eseguire questi compiti per obiettivi che erano da 4 a 5 volte più lontani rispetto agli esempi originali.
Copertura: Per il compito di "pick-and-place" (prendi e posiziona), il robot ha imparato a coprire il 96% delle possibili aree target, mentre altri metodi ne coprivano solo una minima frazione.

Riassunto

Humanoid-DART è come uno studente che parte con pochi esempi da libro di testo ma impara a risolvere migliaia di nuovi problemi:

Immaginando nuove soluzioni.
Provandole e vedendo cosa funziona davvero.
Considerando i "quasi successi" come nuove opportunità di apprendimento.
Costruendo lentamente una enorme biblioteca di abilità senza bisogno che un essere umano registri ogni singola variazione.

Il documento conclude che questo approccio permette ai robot di imparare compiti complessi di tutto il corpo partendo da dati molto scarsi, rendendo il processo di insegnamento dei robot molto più veloce ed efficiente rispetto al passato.

Sintesi Tecnica: Humanoid-DART

Problematica

La loco-manipolazione umana richiede un controllo coordinato di tutto il corpo e un'interazione dinamica con gli oggetti. Sebbene i recenti progressi nell'apprendimento per imitazione e nell'apprendimento per rinforzo (RL) abbiano permesso di ottenere impressionanti capacità di locomozione seguendo dimostrazioni esperte, scalare questi approcci alla loco-manipolazione ricca di contatti rimane una sfida significativa. A differenza della locomozione, la loco-manipolazione coinvolge un ampio spazio di task continuo definito congiuntamente dal movimento del corpo, dagli stati degli oggetti e dalle interazioni ambientali. Le variazioni nella posa dell'oggetto, nella configurazione di trasporto, nella strategia di presa e nella tempistica dell'interazione creano uno spazio combinatorio che è proibitivo da coprire utilizzando solo dimostrazioni umane. I metodi esistenti si affidano tipicamente a grandi dataset di movimento umano o si concentrano sul tracciamento di un singolo comportamento di riferimento, fallendo nel risolvere in modo robusto diversi task di loco-manipolazione sotto condizioni variabili con dati iniziali scarsi.

Metodologia

Il documento propone Humanoid-DART, un framework auto-supervisionato e iterativo progettato per avviare il processo partendo da un set scarsi di dimostrazioni iniziali e per espandere progressivamente il proprio repertorio comportamentale. La pipeline alterna due componenti strettamente accoppiate: un generatore di movimento condizionato all'obiettivo e una policy di tracciamento del movimento basata sulla fisica.

1. Panoramica dell'Algoritmo

Il sistema opera come un curriculum evolutivo su una distribuzione di skill definita da un archivio di élite $E$ di traiettorie di successo.

Campionamento dell'Obiettivo (Goal Sampling): Ad ogni iterazione, il curriculum campiona nuovi stati obiettivo attorno alla distribuzione attuale in $E$ , puntando sia al raffinamento delle skill esistenti che all'esplorazione di regioni sottorappresentate.
Generazione Cinematica: Un modello di diffusione condizionato all'obiettivo ( $\pi_\theta$ ) genera traiettorie di riferimento cinematiche per gli obiettivi campionati. Queste traiettorie possono contenere incongruenze fisiche (ad es. scivolamento dei piedi, penetrazioni).
Valutazione Fisica: Una policy di tracciamento del movimento ( $\pi_\phi$ ), addestrata tramite RL, esegue queste referenze cinematiche in un simulatore fisico. Essa agisce come un filtro dinamico, convertendo piani potenzialmente impraticabili in rollout fisicamente coerenti.
Selezione e Relabeling: Le traiettorie risultanti vengono valutate utilizzando una funzione di fitness $F(\tau)$ che misura la fedeltà del tracciamento, la correttezza del contatto e la stabilità. Le traiettorie che superano una soglia $\tau_f$ vengono mantenute nell'archivio di élite $E$ . Fondamentalmente, i rollout di successo che non corrispondono perfettamente all'obiettivo campionato vengono relabelizzati con i loro parametri di task raggiunti, convertendo i "quasi-successi" in segnali di addestramento validi.
Aggiornamento Iterativo: Sia il generatore di diffusione che la policy di tracciamento vengono riaddestrati sull'archivio espanso, aumentando progressivamente la diversità delle traiettorie fattibili e la copertura dello spazio di task.

2. Componenti Architetturali Chiave

Generatore di Movimento Cinematico (Diffusion Transformer):
- Backbone a Doppia Branch: L'architettura separa lo stato in un flusso globale (movimento della radice e feature relative all'oggetto) e un flusso locale (posa del corpo/giunti). Il flusso locale effettua una cross-attention con il flusso globale, disaccoppiando la navigazione grossolana dalla sintesi della posa fine, mantenendo al contempo la sincronizzazione.
- Unmasking Parziale Strutturato: Durante l'addestramento, il modello rivela selettivamente gruppi di feature rumorose da frame futuri. Ciò incoraggia il pianificatore a inferire le componenti di movimento mancanti da osservazioni parziali, apprendendo le correlazioni tra i gruppi di feature (ad es. tra la posa dell'intero corpo e l'interazione con l'oggetto) piuttosto che trattarli indipendentemente.
- Inferenza: Utilizza la sintesi auto-regressiva su segmenti sovrapposti con inpainting della storia (stile RePaint) per garantire la coerenza temporale.
Policy di Tracciamento del Movimento:
- Un controllore actor-critic asimmetrico ispirato a DeepMimic, addestrato con Proximal Policy Optimization (PPO).
- Osserva un orizzonte di riferimento di 5 step, lo stato propriocettivo e la posa dell'oggetto, con il critic che riceve lo stato privilegiato della simulazione.
- L'addestramento incorpora il domain randomization (massa dell'oggetto, attrito, spinte) per garantire il trasferimento sim-to-real.
Curriculum e Relabeling dell'Obiettivo:
- Campionamento Target della Frontiera (Frontier Target Sampling): Lo spazio di task viene discretizzato in bin. Ai pesi di campionamento vengono assegnati valori basati sulla distanza dei bin dalla attuale élite: Raffinamento (vicino alle élite esistenti), Esplorazione (distanza intermedia) e Frontiera (lontano, regioni non risolte). I bin di esplorazione sono pesati maggiormente per guidare l'espansione della copertura.
- Relabeling dell'Obiettivo: Invece di scartare i rollout che mancano l'obiettivo campionato, il sistema tratta retroattivamente lo stato raggiunto come l'obiettivo inteso, fornendo un segnale di apprendimento denso anche quando il generatore è sottotreinato.

Contributi Chiave

Pipeline Humanoid-DART: La prima pipeline di aumento delle traiettorie iterativa per l'apprendimento di skill di loco-manipolazione condizionate all'obiettivo partendo da dimostrazioni scarse.
Scelte di Design Innovative:
- Un Diffusion Transformer (DiT) gerarchico condizionato all'obiettivo con un'architettura a doppia branch e un masking parziale strutturato per migliorare la sintesi delle traiettorie in regimi di dati scarsi.
- Un controllore whole-body RL condizionato alla posa dell'oggetto per tracciare le traiettorie generate.
- Un algoritmo basato su curriculum con una strategia di relabeling dell'obiettivo che converte i rollout quasi riusciti in segnali di addestramento validi.
Validazione Empirica: Dimostrazione del framework su quattro task di loco-manipolazione (spinta, calcio, hand-off, pick-and-place) utilizzando un umanoide Unitree G1. Il sistema raggiunge la copertura dello spazio di task partendo da appena quattro dimostrazioni base e generalizza a obiettivi significativamente oltre la distribuzione iniziale.

Risultati Sperimentali

Copertura dello Spazio di Task: Nel task di pick-and-place, Humanoid-DART ha raggiunto una copertura del 96,4% dello spazio di task target partendo da sole quattro dimostrazioni base (circa 20 secondi di movimento). Ciò rappresenta una crescita dallo 0,1% a una copertura quasi completa in quattro generazioni.
Generalizzazione: Il sistema ha generato e tracciato con successo traiettorie verso obiettivi 4–5 volte più lontani rispetto alle dimostrazioni base, dimostrando una robusta generalizzazione.
Deployment nel Mondo Reale: Le traiettorie generate sono state implementate con successo su un umanoide fisico Unitree G1 per i compiti di spinta, calcio e pick-and-place, confermando la fattibilità dinamica sull'hardware.
Studi di Ablazione:
- Architettura: Rimuovere la struttura a doppia branch (collassando a un DiT piatto singolo) ha causato la caduta del tasso di successo nel raggiungimento dell'obiettivo da 1,00 a 0,25. L'unmasking parziale strutturato ha migliorato la rettilineità del percorso e la coerenza della presa.
- Baseline: Rispetto a "Parameterized Motion" (che si concentra su regioni ristrette di alta qualità) e "Hierarchical Diffusion + RL" (addestrati congiuntamente senza il loop evolutivo), Humanoid-DART ha dimostrato una copertura dello spazio di task superiore. Il loop evolutivo è stato identificato come il principale motore delle prestazioni.
- Inizializzazione: Le traiettorie seed dinamicamente fattibili (DF) hanno portato a una convergenza più rapida e a una copertura maggiore rispetto a quelle cinematicamente fattibili (KF), che spesso contenevano incongruenze fisiche che il modello di diffusione amplificava.

Significato e Rivendicazioni

Il documento afferma che Humanoid-DART affronta il collo di bottiglia della scarsità di dati nella loco-manipolazione umana sfruttando modelli generativi per espandere iterativamente l'insieme delle traiettorie di riferimento. Decoupling (disaccoppiando) la generazione del movimento di alto livello dal controllo di basso livello e utilizzando un curriculum con relabeling dell'obiettivo, il framework consente l'apprendimento di policy robuste e condizionate all'obiettivo con un minimo di supervisione esperta. Gli autori sottolineano che questo approccio permette la scoperta di comportamenti diversificati e skill a lungo termine che vanno ben oltre l'ambito delle dimostrazioni seed iniziali, offrendo un percorso scalabile verso l'umanoidi generalisti senza la necessità di massicci dataset di movimento umano.

Limitazioni e Lavoro Futuro: La valutazione attuale è limitata a una singola geometria di oggetto e a un terreno piano. Gli autori notano che la pipeline eredita i bias delle dimostrazioni seed e si affida a una funzione di fitness regolata manualmente. Il lavoro futuro mira a estendere il framework a diversi oggetti, proprietà di contatto e terreni irregolari, e a sostituire la funzione di fitness con un criterio adattivo e appreso.