Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

1. Il Problema

Il campo del controllo per robot umanoidi tramite Reinforcement Learning (RL) profondo affronta un compromesso persistente (trade-off) tra due approcci principali:

• Imitazione di riferimento (Reference Tracking): I policy appresi seguendo strettamente dati di movimento umano (MoCap) producono movimenti naturali e coordinati, ma sono spesso fragili e non generalizzano bene al di fuori delle condizioni di dimostrazione (es. nuovi ostacoli, condizioni iniziali diverse).
• RL guidato dagli obiettivi (Goal-Driven RL): I policy ottimizzati per massimizzare il successo del compito sono adattabili, ma spesso mancano di qualità del movimento, risultando in comportamenti innaturali, aggressivi o non coordinati.

L'obiettivo della ricerca è colmare questo divario creando un controller che mantenga la qualità e lo stile del movimento umano (imitazione) ma sia in grado di adattarsi robustamente a nuovi compiti e ambienti senza dipendere dai dati di riferimento durante l'esecuzione.

2. Metodologia

Gli autori propongono un framework unificato di RL multi-task che combina l'imitazione guidata dal riferimento con l'apprendimento generalizzato guidato dagli obiettivi.

A. Formulazione Unificata

Viene addestrata una singola policy condizionata all'obiettivo che condivide lo stesso spazio di osservazione e azione per due task distinti:

1. Task di Imitazione Guidata dal Riferimento:
   • Obiettivo: Fornire supervisione densa per modellare il comportamento.
   • Meccanismo: I movimenti di riferimento definiscono le ricompense di imitazione (tracking) e le condizioni di obiettivo, ma non vengono forniti come input alla policy. La policy impara a mappare le condizioni dell'obiettivo al comportamento motorio strutturato.
   • Vantaggio: Fornisce un segnale di apprendimento denso e informativo per acquisire abilità motorie di alta qualità.
2. Task di Generalizzazione Guidata dall'Obiettivo:
   • Obiettivo: Adattabilità a nuove condizioni.
   • Meccanismo: Gli obiettivi sono campionati indipendentemente da qualsiasi riferimento. La ricompensa è sparsa e basata esclusivamente sul successo del compito (es. raggiungere una posizione target).
   • Vantaggio: Costringe la policy a imparare a raggiungere l'obiettivo senza vincoli di traiettoria predefiniti.

B. Design Chiave

• Input della Policy: La policy osserva lo stato del robot (configurazione dei giunti, velocità, gravità proiettata) e una variabile di obiettivo (posizione target 2D). Non osserva traiettorie future, variabili di fase o movimenti di riferimento.
• Curriculum di Apprendimento (Task Mixing): Viene utilizzato un curriculum automatico basato su una variabile di difficoltà $\lambda$. All'inizio, l'addestramento è dominato dall'imitazione e da un "wrench assistivo virtuale" (forza applicata al corpo per stabilizzare). Man mano che l'addestramento procede, il curriculum riduce l'assistenza e aumenta la probabilità di campionare il task di generalizzazione, permettendo una transizione fluida dalla modellazione dello stile all'adattabilità pura.
• Inizializzazione degli Stati:
  • Nel task di imitazione, gli stati sono inizializzati vicino ai dati di riferimento.
  • Nel task di generalizzazione, gli stati e gli obiettivi sono campionati da distribuzioni ampie e casuali per forzare l'adattamento.

3. Contributi Chiave

1. Framework Multi-Task Unificato: Un approccio che tratta il movimento di riferimento come un prior per la modellazione comportamentale (behavioral shaping) piuttosto che come un vincolo di deployment.
2. Separazione tra Apprendimento e Inferenza: La policy apprende dai riferimenti ma non li usa durante l'esecuzione, eliminando la necessità di tracciamento esplicito o variabili di fase a runtime.
3. Generalizzazione Robusta: Dimostrazione che la policy può eseguire compiti complessi (parkour) partendo da condizioni iniziali non viste durante l'addestramento, mantenendo la naturalezza del movimento.
4. Composizione di Abilità a Lungo Orizzonte: Capacità di comporre diverse abilità apprese (camminata, salto, arrampicata) in sequenze complesse per navigare ambienti ostacolati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un robot umanoide Unitree G1 (29 gradi di libertà) sia in simulazione (MuJoCo, Isaac Lab) che su hardware reale. I compiti valutati includono: camminata-salto, camminata-arrampicata e discesa.

• Robustezza e Generalizzazione:
  • La metodologia proposta mantiene tassi di successo elevati (fino al 100% in condizioni nominali e >60-90% in condizioni "beyond-nominal" con perturbazioni di posizione e orientamento) su compiti complessi.
  • Il robot adatta dinamicamente la strategia (es. scegliere quale gamba usare per arrampicarsi o saltare) in base alla configurazione iniziale, senza riavvii specifici.
• Confronto con Baseline:
  • Vs. RL "Tabula Rasa" (solo obiettivi): Il metodo proposto produce movimenti molto più naturali e coordinati. Il RL puro tende a comportamenti aggressivi e disordinati (es. saltare giù da un box invece di scendere controllatamente).
  • Vs. Tracking-based (ZEST): I metodi basati sul tracciamento falliscono drasticamente quando le condizioni iniziali si discostano dai dati di riferimento (es. il robot cerca di riallinearsi alla traiettoria sbagliata e cade). Il metodo proposto generalizza meglio mantenendo la qualità del movimento.
• Ablation Study:
  • Rimuovere il curriculum di task mixing porta al fallimento nell'apprendimento di abilità dinamiche complesse.
  • Rimuovere il task di imitazione degrada la qualità del movimento e la capacità di interagire con l'ambiente in modo strutturato.
  • Rimuovere il task di generalizzazione riduce drasticamente la robustezza in condizioni non nominali.
• Composizione: Il sistema è stato testato in scenari di parkour a lungo orizzonte, dove la policy esegue sequenze di camminata, arrampicata e salto composte dinamicamente in base alla disposizione delle scatole.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'autonomia degli umanoidi in ambienti non strutturati.

• Superamento dei Limiti dell'Imitazione: Dimostra che non è necessario vincolare il robot a seguire traiettorie fisse per ottenere movimenti umani; l'imitazione può essere usata come strumento di addestramento per insegnare "come muoversi", mentre l'RL guidato dagli obiettivi insegna "dove e quando muoversi".
• Deployabilità Reale: La capacità di operare senza riferimenti esterni durante l'esecuzione rende il sistema più pratico per l'uso su robot fisici in scenari reali dove i dati di riferimento precisi potrebbero non essere disponibili o applicabili.
• Flessibilità: L'approccio permette di riutilizzare le abilità apprese in contesti nuovi, aprendo la strada a robot capaci di eseguire compiti di parkour complessi e adattativi senza bisogno di un'ingegnerizzazione manuale estensiva per ogni scenario.

In sintesi, il paper propone una soluzione elegante che combina il meglio dei due mondi: la qualità del movimento dell'imitazione e la robustezza adattativa del RL guidato dagli obiettivi, realizzata attraverso un'unica policy multi-task.