HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

Sintesi Tecnica: HOIST – Ottimizzazione Umanoide tramite Imitazione e Tuning Efficiente in Campioni per la Manipolazione di Carichi Sospesi

1. Definizione del Problema

Il documento affronta la sfida del sollevamento umanoidale (humanoid hoisting): l'utilizzo di un robot umanoide per posizionare un carico sottosospeso e sottoattuato. A differenza dei normali compiti di pick-and-place in cui il robot afferra rigidamente un oggetto, il carico in questo scenario è sospeso (ad esempio, tramite una gru o un cavo) e si comporta come un pendolo oscillante. Il robot non può attuare direttamente il carico; può solo influenzarne il moto attraverso la locomozione di tutto il corpo, la postura corporea e forze di contatto intermittenti (spinta).

Le difficoltà chiave includono:

• Sottoattuazione e Dinamica: Il carico continua a oscillare dopo che il contatto è cessato, portando a sovraelongazioni (overshoot) e oscillazioni residue.
• Sicurezza ed Efficienza: L'apprendimento per rinforzo (RL) diretto da zero su veri umanoidi è insicuro a causa del rischio di movimenti instabili e contatti duri. Al contrario, l'apprendimento per imitazione (IL) puro da dimostrazioni spesso non riesce a ottimizzare la precisione del posizionamento finale o a correggere gli errori di esecuzione a ciclo chiuso.
• Complessità del Compito: Il successo richiede una coordinazione della locomozione di tutto il corpo, una temporizzazione precisa del contatto e comportamenti di arresto specifici per smorzare l'oscillazione del carico.

2. Metodologia: Il Framework HOIST

HOIST (Humanoid Optimized with Imitation and Sample-efficient Tuning) è una pipeline a tre stadi progettata per colmare il divario tra l'inizializzazione sicura e l'ottimizzazione del compito.

A. Raccolta Dati di Teleoperazione

• Gli operatori umani utilizzano visori VR e controller per teleoperare un robot umanoide attraverso la sequenza di sollevamento (approccio, contatto, spinta, arresto).
• Le traiettorie vengono registrate come coppie stato-azione, inclusi osservazioni visive, stati propriocettivi e comandi del pianificatore.
• Queste dimostrazioni forniscono una politica di comportamento iniziale sicura che evita fallimenti catastrofici durante le prime fasi di implementazione.

B. Fine-tuning Supervisionato della VLA

• Una politica Vision-Language-Action (VLA) di alto livello viene perfezionata utilizzando i dati di teleoperazione raccolti. Il modello base è adattato da GR00T N1.6.
• Modalità di Input: La politica elabora input multimodali che includono immagini RGB/depth onboard, immagini esterne laterali (per catturare la relazione carico-target), stati propriocettivi (giunti/base/IMU), istruzioni linguistiche e comandi di navigazione precedenti.
• Modifiche all'Architettura:
  • I comandi di navigazione sono aggiunti come una modalità esplicita al modello vision-language.
  • Le immagini di profondità (depth) e la velocità dell'ego sono aggiunte all'esperto d'azione basato su flow-matching per condizionare il sistema sulla geometria della scena e sullo stato fisico.
  • Solo gli ultimi quattro strati del VLM, l'esperto d'azione diffusion-transformer e i nuovi encoder di modalità vengono sottoposti a fine-tuning; il resto del modello di fondazione rimane congelato per preservare i priori generali.
• Output: La politica predice un chunk a breve orizzonte di incrementi di comando relativi ($\Delta U_t$) per i target delle mani, la posa della testa, la navigazione e l'altezza della base. Questi vengono accumulati in comandi completi per il pianificatore.

C. Esecuzione a Corpo Intero Fissa

• I comandi del pianificatore di alto livello sono eseguiti da un controller a corpo intero (WBC) fisso e disaccoppiato (basato sullo stack GR00T WBC).
• Il controller di basso livello gestisce l'equilibrio, la stabilizzazione dei giunti e le forze di contatto. Fondamentalmente, il controller di basso livello non viene sottoposto a fine-tuning; tutta l'adattazione al compito avviene nella fase di generazione del comando di alto livello.

D. Raffinamento RL Efficiente in Campioni

• Per correggere i bias sistematici della politica appresa per imitazione (ad esempio, spinte eccessive o insufficienti costanti), HOIST impiega un RL iterativo a lotti (batched RL).
• Processo:
  1. La politica VLA sottoposta a fine-tuning viene distribuita per raccogliere un piccolo lotto di rollouts autonomi.
  2. Questi rollouts vengono etichettati con ricompense specifiche per il sollevamento (una combinazione pesata dell'errore di posizionamento traslazionale e dell'errore angolare grezzo).
  3. Un modulo actor-critic viene addestrato offline per predire un "vettore di sterzata del rumore iniziale" per l'esperto d'azione a flow-matching. Questo actor produce deterministicamente un vettore di correzione per guidare il processo di generazione della politica VLA congelata.
  4. La politica VLA stessa rimane congelata; viene aggiornato solo l'actor-critic di sterzata del rumore.
  5. Le caratteristiche VLM della politica congelata vengono memorizzate (cached) e riutilizzate per massimizzare l'efficienza.
• Questo ciclo si ripete, permettendo al sistema di affinare la precisione del posizionamento e il comportamento di arresto con un numero minimo di dati reali.

3. Contributi Chiave

1. Formulazione del Probleza: L'introduzione del "sollevamento umanoidale" come un problema distinto di manipolazione loco-manipolativa a corpo intero che coinvolge carichi sospesi esternamente e oscillanti.
2. Il Framework HOIST: Una nuova pipeline che combina teleoperazione VR, fine-tuning supervisionato VLA, esecuzione a corpo intero fissa e raffinamento RL efficiente in campioni (tramite sterzata del rumore) per la manipolazione di carichi sospesi.
3. Valutazione Empirica: Esperimenti completi in simulazione e su una piattaforma umana reale, che dimostrano come il raffinamento tramite RL superi la semplice aggiunta di ulteriori dimostrazioni e analizzano l'impatto delle modalità di input e dei conteggi dei rollout.

4. Risultati Sperimentali

Il documento valuta HOIST rispetto ai baseline, inclusi l'imitazione pura (VLA-50, VLA-80) e la teleoperazione umana.

• Guadagni di Performance:
  • In simulazione, HOIST (50 demo + 30 RL rollouts) ha ridotto l'errore di posizionamento traslazionale di 19,9 cm e l'errore angolare grezzo di 3,56° rispetto ai rollout VLA puri (VLA-50).
  • Sulla piattaforma reale, HOIST ha ottenuto un errore di posizione Manhattan totale di 6,38 cm, superando VLA-80 (8,57 cm) che utilizzava 30 dimostrazioni aggiuntive ma nessun RL.
• RL vs. Ulteriori Dimostrazioni: I risultati indicano che l'ottimizzazione dei premi di posizionamento a ciclo chiuso tramite RL è più efficace per correggere gli errori di posizione finale rispetto alla semplice aggiunta di un maggior numero di dimostrazioni teleoperate.
• Studi di Ablazione:
  • L'aggiunta di immagini di profondità e il condizionamento del comando di navigazione all'input VLA hanno migliorato significativamente la politica iniziale appresa per imitazione prima del raffinamento RL.
  • L'analisi del moto residuo (tramite IMU sul carico) ha mostrato che, sebbene HOIST produca letture di accelerazione più elevate (indicando una correzione attiva), riduce le risposte del giroscopio (moto angolare) di circa la metà rispetto alle politiche basate solo sull'imitazione, suggerendo un migliore smorzamento dell'oscillazione residua.

5. Significato e Rivendicazioni

Il documento afferma che HOIST dimostra il potenziale degli umanoidi per compiti di movimentazione materiali sottoattuati, un dominio attualmente dominato dai lavoratori umani a causa dei rischi per la sicurezza (urti, intrappolamento).

• Sicurezza ed Efficienza: Partendo da dati di teleoperazione sicuri e utilizzando l'RL solo per il raffinamento del comando di alto livello, HOIST evita i rischi di sicurezza e l'inefficienza di campionamento derivanti dall'addestramento da zero su hardware reale.
• Correzione del Bias: Il lavoro evidenzia che l'apprendimento per imitazione da solo soffre di shift della distribuzione al momento della distribuzione (dove l'errore del robot altera la dinamica del compito). Il raffinamento RL di HOIST mira specificamente a questi bias sistematici per migliorare la precisione finale.
• Limitazioni Modeste: Gli autori riconoscono che il sistema è attualmente limitato dal controller a corpo intero fisso, che non può adattare esplicitamente le forze a diversi pesi del carico. Di conseguenza, il sistema fatica con oggetti più pesanti dove sono richieste forze più grandi e adattive.

In sintesi, HOIST presenta un approccio pratico per consentire agli umanoidi di manipolare carichi sospesi combinando la sicurezza dell'apprendimento per imitazione con il potere di ottimizzazione dell'apprendimento per rinforzo efficiente in campioni, specificamente adattato alle dinamiche di sistemi oscillanti e sottoattuati.