⚡ electrical engineering

VLK: Learning Humanoid Loco-Manipulation from Synthetic Interactions in Reconstructed Scenes

Questo articolo introduce VLK, un framework che sintetizza la supervisione visione-linguaggio-cinematica da scene ricostruite tramite 3D Gaussian Splatting per addestrare robot umanoidi a una loco-manipolazione basata sulla percezione efficace dal sim-to-real senza intervento umano.

Autori originali: Yen-Jen Wang, Jiaman Li, Sirui Chen, Takara E. Truong, Pei Xu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, Karen Liu

Pubblicato 2026-06-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yen-Jen Wang, Jiaman Li, Sirui Chen, Takara E. Truong, Pei Xu, Pieter Abbeel, Rocky Duan, Koushil Sreenath, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, Karen Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler insegnare a un robot maggiordomo come camminare per casa, prendere una scatola e metterla su un tavolo. La parte più difficile non è solo dire al robot cosa fare (come "prendi la scatola"); è insegnare al suo corpo come muoversi per farlo, il tutto guardando il mondo attraverso i propri occhi.

Questo articolo presenta un nuovo modo per insegnare al robot questa abilità senza la necessità che gli esseri umani lo guidino fisamente migliaia di volte. Ecco la suddivisionione utilizzando analogie semplici:

Il Grande Problema: Il "Anello Mancante"

Per insegnare a un robot, di solito servono tre cose che accadano esattamente nello stesso momento:

Ciò che vede: un video dagli occhi del robot.
Ciò che sente: un comando vocale (ad esempio, "Cammina verso il divano").
Ciò che fa: una mappa perfetta di come si è mosso l'intero corpo per farlo accadere.

Le fonti di dati esistenti sono come un puzzle incompleto. Potresti avere video di persone che camminano, o potresti avere i movimenti di un robot, ma raramente hai tutti e tre i pezzi perfettamente coordinati tra loro per ogni possibile stanza e compito. Raccogliere questi dati nel mondo reale è lento, costoso e pericoloso per il robot.

La Soluzione: La Fabbrica del "Gemello Digitale"

Gli autori hanno costruito una fabbrica che crea questi dati mancanti interamente all'interno di un computer. Immaginala come un motore di gioco video che non smette mai di giocare.

Ricostruire il Mondo (Il Set): Prendono foto e scansioni reali di stanze vere (come un laboratorio o un appartamento) e le trasformano in un mondo digitale 3D iper-realistico. È come creare un "gemello digitale" di una stanza reale dove il robot può camminare.
Il Regista Invisibile (La Sceneggiatura): Invece di assumere un essere umano per camminare e registrare se stesso, usano un programma per computer per "dirigere" il robot. Il computer sa esattamente dove si trovano i muri e i mobili (informazioni privilegiate). Dice al robot: "Cammina verso la sedia", "Prendi la scatola", "Mettila giù".
La Telecamera Magica (La Visuale): Una volta che il computer ha individuato i movimenti perfetti del corpo, "riproduce" la scena dalla prospettiva del robot. Scatta una foto di ciò che il robot avrebbe visto, creando un abbinamento perfetto tra il comando, la visuale e il movimento.

Il Risultato: 48.000 Lezioni in un Lampo

Utilizzando questo sistema, hanno generato 48.000 esempi di addestramento unici in pochi giorni.

L'Insegnante: Un programma per computer (la policy VLK) che impara da questi 48.000 esempi. Impara a guardare un'immagine, ascoltare un comando e prevedere esattamente come devono muoversi i suoi giunti successivamente.
Lo Studente: Un vero robot (l'Unitree G1) che prende queste previsioni e cerca di eseguirle.

Come Funziona nella Vita Reale

Quando hanno testato il vero robot:

Il Cervello: Il robot guarda la stanza e sente: "Prendi la scatola dal pavimento".
La Previsione: In base al suo addestramento, prevede un breve percorso per il movimento di tutto il suo corpo.
Il Tracciatore: Un sistema separato e veloce prende quella previsione e fa sì che i motori del robot si muovano effettivamente, assicurando che non cada o non faccia cadere la scatola.

Cosa Hanno Scoperto

Funziona: Il robot è riuscito a camminare in stanze reali, a raccogliere scatole dal pavimento e a posarle su dei tavoli.
Più Dati = Migliori Abilità: Più esempi sintetici generavano, meglio il robot imparava. Camminare semplicemente era facile da apprendere, ma raccogliere e posizionare oggetti richiedeva più pratica (più dati).
L'Illuminazione Conta: Hanno scoperto che, se non addestravano il robot con diverse condizioni di luce nella simulazione (come accendere/spegnere le luci o cambiare le ombre), il robot si confondeva nel mondo reale. Aggiungere "caos visivo" all'addestramento ha reso il robot molto più resistente e adattabile.

Il Limite (Limitazioni)

Il robot è attualmente molto bravo a muovere oggetti grandi, simili a scatole, che può tenere con entrambe le mani. Non è ancora bravo a raccogliere cose piccole e delicate come una tazza di caffè o un cacciavite. I dati di addestramento si sono concentrati sulle grandi interazioni, quindi il robot non ha ancora appreso le abilità motorie fini necessarie per gli oggetti piccoli.

In breve: l'articolo dimostra che puoi costruire un "parco giochi digitale" dove un robot si esercita milioni di volte contro un perfetto regista informatico, e poi uscire nel mondo reale e svolgere effettivamente il lavoro, tutto senza che un essere umano gli tenga la mano.

Riepilogo Tecnico: VLK – Apprendimento della Loco-Manipolazione Umanoide da Interazioni Sintetiche in Scenari Ricostruiti

Definizione del Problema

La loco-manipolazione umanoidale basata sulla percezione richiede la mappatura di osservazioni visive egocentriche ad alta dimensionalità e istruzioni in linguaggio naturale verso comportamenti cinematici coordinati di tutto il corpo. Un collo di bottiglia fondamentale per la scalabilità di questa capacità è la mancanza di dataset su larga scala sincronizzati che contengano la tupla completa di: (1) osservazioni visive egocentriche, (2) istruzioni del compito e (3) traiettorie cinematiche compatibili con il robot.

La teleoperazione nel mondo reale fornisce dati di alta qualità ma è costosa e difficile da scalare attraverso scene e oggetti diversificati.
La motion capture umana offre ricchi riferimenti cinematici ma manca delle corrispondenti viste egocentriche del robot.
I dataset di video egocentrici forniscono esperienza visiva ma mancano di cinematica o azioni robotiche accoppiate.

Di conseguenza, non esiste una fonte esistente che fornisca la supervisione Vision-Language-Kinematics (VLK) necessaria per l'apprendimento scalabile delle policy.

Metodologia

Gli autori propongono una pipeline che genera supervisione VLK accoppiata sinteticamente all'interno di scene indoor ricostruite in scala metrica. Il sistema decoppia la generazione di asset del mondo, la sintesi del comportamento e il rendering visivo per superare la scarsità di dati.

1. Pipeline di Generazione dei Dati Sintetici

La pipeline opera in tre fasi per produrre 48.000 traiettorie accoppiate senza intervento umano:

Ricostruzione della Scena e Annotazione: Gli ambienti indoor sono ricostruiti da scansioni iPhone 14 Pro utilizzando lo 3D Gaussian Splatting (3DGS) per preservare il dettaglio fotorealistico e la scala metrica. Bounding box 3D semantici e regioni percorribili sono annotati per definire i vincoli per la sintesi del movimento.
Sintesi del Movimento del Robot: Utilizzando i vincoli della scena annotata, il sistema sintetizza traiettorie per Unitree G1 per due famiglie di compiti:
- Navigazione diretta verso l'oggetto: Addestrata su movimenti da BONES-SEED.
- Interazione con l'oggetto: Addestrata su sequenze OMOMO ri-targetizzate alla morfologia G1 tramite OmniRetarget.
- Un modello di diffusione condizionale genera traiettorie accoppiate G1-oggetto, condizionando su istruzioni del compito, stati iniziali, geometria dell'oggetto e label di contatto desiderate per il polso.
Rendering della Vista Egocentrica: Le traiettorie G1 sintetizzate vengono riprodotte in Isaac Sim all'interno delle scene ricostruite in 3DGS. Una telecamera virtuale ZED 2i (calibrata sul robot fisico) renderizza le osservazioni RGB accoppiate. Il domain randomization (illuminazione, estrinseci della telecamera, lunghezza focale) viene applicato per migliorare la robustezza ai gap visivi sim-to-real.

2. Policy Vision-Language-Kinematics (VLK)

Il componente centrale dell'apprendimento è una policy che predice brevi traiettorie cinematiche di tutto il corpo.

Input: Immagine RGB egocentrica corrente ( $o_t$ ), istruzione del compito ( $\ell$ ) e stato cinematico attuale del robot ( $x_t$ ).
Output: Una traiettoria futura ( $\hat{x}_{t+1:t+H}$ ) di lunghezza $H=30$ (1 secondo a 30 Hz) e label di contatto binario polso-oggetto.
Architettura e Addestramento: La policy è inizializzata da un modello $\pi_0.5$ pre-addestrato e raffinata utilizzando una formulazione di flow-matching con un obiettivo di predizione $x_0$ . Sono applicate loss ausiliarie per il contatto piede-pavimento, la coerenza della traiettoria, l'accuratezza della cinematica diretta e la regolarizzazione dello scivolamento del piede.
Rappresentazione dello Stato: Lo stato cinematico include lo spostamento planare della radice, yaw, altezza, orientamento 6D della radice, angoli dei giunti (codificati tramite seno/coseno per evitare discontinuità) e label di contatto.

3. Tracking di Tutto il Corpo e Deployment

Esecuzione: Le predizioni della policy VLK servono come riferimenti di alto livello per un tracker di tutto il corpo consapevole del contatto (basato su SceneBot). Il tracker converte la cinematica predetta in target PD a livello di giunto per il robot fisico Unitree G1.
Sistema Real-Time: Il deployment utilizza un sistema VLA in tempo reale con Triton come backend di inferenza. Su una RTX 5090, la latenza end-to-end è stabile a 31 ms. Per gestire il motion blur e garantire la continuità, il sistema impiega la selezione dei frame basata sulla nitidezza e chunk di azione sovrapposti.

Contributi Chiave

Generazione di Supervisione VLK: Una nuova pipeline che sintetizza 48.000 traiettorie accoppiate (immagini egocentriche, linguaggio e cinematica) in scene ricostruite in 3DGS, affrontando il collo di bottiglia dei dati per la loco-manipolazione umanoidale.
Sintesi dei Dati Decoppiata: Un metodo che sfrutta informazioni privilegiate della scena (es. pose degli oggetti, geometria delle collisioni) per facilitare la generazione del comportamento mentre il rendering delle osservazioni avviene a posteriori, consentendo una scalabilità massiccia senza dimostrazioni umane.
Trasferimento Sim-to-Real: Dimostrazione che una policy addestrata interamente su scene ricostruite sintetiche può eseguire con successo la loco-manipolazione basata sulla percezione su un Unitree G1 fisico in ambienti reali.
Tracking Consapevole del Contatto: Integrazione delle label di contatto binarie predette nel loop di tracking di tutto il corpo per stabilizzare il trasporto di oggetti durante la manipolazione.

Risultati Sperimentali

Il sistema è stato valutato su Unitree G1 in due ambienti (laboratorio e appartamento) con layout di mobili variabili.

Success Rate (Mondo Reale):
- Navigazione: Ha raggiunto un successo quasi perfetto (19/20 a 20/20) per i compiti "Walk To" (Cammina Verso) e "Turn Around" (Gira).
- Manipolazione a Pavimento: Alto successo nel prelevare e posizionare scatole da terra (16/20 a 20/20).
- Manipolazione su Superficie: Success rate più bassi per posizionare scatole su superfici (8/20 a 15/20), attribuiti alla copertura limitata delle altezze delle superfici di supporto nei dati di interazione ri-targetizzati.
Simulazione vs Realtà: Il sistema ha raggiunto alti tassi di successo in simulazione MuJoCo (con rendering IsaacSim), validando le prestazioni in loop chiuso prima del deployment reale.
Ablazione del Volume di Dati: Le prestazioni scalano con la quantità di dati sintetizzati. Mentre la navigazione è robusta anche con dati limitati, i compiti di manipolazione (specificamente "Pick Surface") hanno mostrato un miglioramento significativo, passando dallo 0% di successo con il 10% del volume di dati al 46% con il dataset completo.
Domain Randomization: Il domain randomization visivo è stato critico per il trasferimento sim-to-real. Rimuoverlo ha ridotto il successo del camminare dal 90% al 41% sotto perturbazioni visive.

Significato e Claim

L'articolo sostiene che la sintesi di interazioni compatibili con il robot all'interno di scene ricostruite fornisca una supervisione efficace per la loco-manipolazione umanoidale basata sulla percezione sim-to-real.

Gli autori pongono questo lavoro come una soluzione al collo di bottiglia dei dati che ha ostacolato l'apprendimento scalabile delle policy. Collegando soluzioni parziali — 3DGS per asset del mondo realistici e whole-body tracking per l'esecuzione del comportamento — dimostrano una pipeline "Real-to-Sim-to-Real" efficace. I risultati suggeriscono che generare interazioni sintetiche in ambienti ricostruiti è una strada promettente verso il controllo umanoidale condizionato dalla percezione e scalabile, particolarmente per compiti che coinvolgono la navigazione e il trasporto di oggetti grandi.

Limitazioni Riconosciute:
Il sistema attuale è limitato dalla copertura del dataset OMOMO, rendendolo più adatto al trasporto bimanuale di oggetti simili a scatole piuttosto che alla presa di piccoli oggetti (es. tazze, strumenti). Inoltre, il tracker consapevole del contatto stabilizza la manipolazione di oggetti grandi ma non affronta la presa precisa dell'oggetto. Estendere questo alla manipolazione di piccoli oggetti richiederebbe dati di interazione più ricchi e controller low-level specializzati.