Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots

Titolo: Apprendimento di Proprietà Invarianti al Compito tramite Dreamer: Abilitazione di un Trasferimento Efficiente delle Politiche per Robot Quadrupedi

1. Il Problema

Il trasferimento di politiche di locomozione dai simulatori alla realtà (Sim-to-Real) per i robot quadrupedi rimane una sfida critica a causa delle discrepanze tra gli ambienti simulati e le condizioni del mondo reale.

• Sfide principali: Le differenze dinamiche, il rumore dei sensori e le discrepanze visive causano spesso un crollo delle prestazioni quando una politica addestrata in simulazione viene deployata nella realtà.
• Limitazioni degli approcci esistenti:
  • I metodi di Domain Randomization (randomizzazione del dominio) spesso non coprono la complessità del mondo reale.
  • I metodi di Domain Adaptation (adattamento del dominio) possono essere instabili e costosi dal punto di vista computazionale.
  • Le politiche attuali tendono a dipendere eccessivamente dai parametri dinamici specifici configurati in simulazione, rendendole fragili di fronte a variazioni reali (es. cambi di carico, attrito,地形).
• Obiettivo: Sviluppare un metodo che apprenda rappresentazioni robuste, invarianti alle variazioni dinamiche, permettendo un adattamento rapido con un numero minimo di campioni reali.

2. Metodologia: Il Framework DreamTIP

Gli autori propongono DreamTIP (Learning Task-Invariant Properties via Dreamer), un framework che estende l'architettura del modello del mondo Dreamer integrando l'apprendimento di "Proprietà Invarianti al Compito" (Task-Invariant Properties - TIP).

A. Estrazione delle Proprietà Invarianti (TIP) tramite LLM

Invece di progettare manualmente caratteristiche intermedie (costoso e soggetto a bias), il framework utilizza un Large Language Model (LLM) per identificare principi fisici e comportamentali fondamentali.

• Processo: L'LLM analizza la descrizione del compito e lo spazio degli stati privilegiati (privileged observations) per generare una funzione di estrazione (TIP_Extractor).
• Esempi di TIP estratte:
  • Stabilità di contatto: Rilevamento di scivolamenti o perdita di contatto con il terreno.
  • Libertà di movimento (Terrain Clearance): La distanza tra il corpo del robot e il terreno per evitare collisioni.
  • Angoli di base: Stabilità rispetto alla gravità.
    Queste proprietà sono robuste alle variazioni dinamiche e trasferibili tra diversi compiti.

B. Architettura DreamTIP (Fase di Addestramento in Simulazione)

Il modello Dreamer viene modificato per apprendere esplicitamente queste TIP come obiettivi di previsione ausiliari.

• Modello del Mondo: Utilizza un RSSM (Recurrent State-Space Model) per codificare la dinamica latente.
• Predittore delle Proprietà: Viene aggiunto un predittore (MLP) che stima le TIP ($\hat{f}_t$) direttamente dagli stati latenti ($h_t, z_t$) del modello.
• Funzione di Perdita: L'obiettivo di addestramento include un termine aggiuntivo ($L_{MLE}$) che minimizza l'errore tra le TIP reali (estritte dall'LLM) e quelle predette dal modello latente. Questo forza il modello a imparare rappresentazioni che catturano la fisica essenziale del compito, indipendentemente dai parametri dinamici specifici.

C. Adattamento Efficiente nel Mondo Reale (Fase di Deployment)

Per colmare il divario residuo tra simulazione e realtà con pochi dati, viene proposta una strategia di adattamento rapida:

1. Buffer di Replay Misto: Si utilizza un buffer che combina dati simulati (pre-addestramento) e dati reali (raccogliendo pochi roll-out). Questo bilancia le distribuzioni e previene l'overfitting sui pochi dati reali.
2. Congelamento del Modulo Ricorrente: Durante l'adattamento, il modulo ricorrente (RNN) del modello DreamTIP viene congelato per accelerare l'allineamento con la distribuzione dei dati reali senza distruggere le rappresentazioni temporali apprese.
3. Vincoli di Regolarizzazione (Teacher-Student):
   • Una copia congelata del modello pre-addestrato ($M_{sg}$) funge da "insegnante".
   • Viene introdotta una perdita di regolarizzazione basata sulla similarità del coseno negativo tra gli stati stocastici del modello adattabile e quelli del modello congelato.
   • Questo vincolo impedisce il collasso delle rappresentazioni (representation collapse) e l'oblio catastrofico (catastrophic forgetting), mantenendo la coerenza semantica degli stati latenti.

3. Risultati Sperimentali

Il metodo è stato valutato su un robot Unitree Go2 in ambienti simulati (Isaac Gym) e reali, su terreni complessi (scale, arrampicata, pendenze, strisciamento).

• Performance in Simulazione:

  • Su 8 compiti di trasferimento diversi, DreamTIP ha mostrato un miglioramento medio del 28.1% rispetto agli stati dell'arte (baselines come WMP e DreamTIP-DWL).
  • In compiti difficili come "Crawl" (strisciamento su ostacoli bassi), il metodo proposto ha mantenuto prestazioni elevate (reward 25.35) mentre i baselines crollavano drasticamente (reward 5.66).

• Performance nel Mondo Reale:

  • Task "Climb" (Arrampicata su 52 cm): Il metodo baseline ha ottenuto solo un 10% di successo, mentre DreamTIP ha raggiunto il 100% di successo.
  • Task "Tilt" e "Stair": Anche in questi scenari, DreamTIP ha superato significativamente i baselines, dimostrando una capacità di adattamento superiore.
  • Robustezza: Il metodo ha mantenuto prestazioni stabili anche con variazioni di massa (aggiunta di 2 kg) e comandi di velocità non visti durante l'addestramento.

• Ablation Study:

  • L'uso delle TIP guidate dall'LLM è risultato superiore alla previsione diretta di informazioni privilegiate.
  • L'adattamento richiede un numero limitato di nuovi roll-out (circa 5) per ottenere guadagni significativi, con rendimenti decrescenti oltre questo punto.

4. Contributi Chiave

1. Uso innovativo degli LLM: Sfruttare gli LLM non solo per il controllo, ma per estrarre automaticamente proprietà fisiche invarianti al compito da utilizzare come obiettivi di apprendimento ausiliari nei modelli del mondo.
2. Framework DreamTIP: Un'architettura che integra queste proprietà nel modello del mondo Dreamer, riducendo la dipendenza dai parametri dinamici specifici.
3. Strategia di Adattamento Ibrida: Una combinazione di buffer misti, congelamento selettivo dei parametri e vincoli di regolarizzazione basati sulla similarità del coseno, che permette un adattamento stabile e rapido con dati reali scarsi.
4. Validazione Sperimentale: Dimostrazione empirica che l'approccio supera i metodi attuali sia in simulazione che su robot reali, risolvendo problemi critici come l'oblio catastrofico durante il fine-tuning.

5. Significato e Impatto

Questo lavoro offre una soluzione promettente per il problema della generalizzazione nella robotica legged (a zampe). Dimostrando che l'apprendimento di proprietà fisiche fondamentali (invarianti al compito) guidate dall'intelligenza artificiale può ridurre drasticamente il divario Sim-to-Real, il metodo DreamTIP abilita robot quadrupedi a operare in modo robusto in ambienti dinamici e non strutturati senza la necessità di costosi e lunghi addestramenti nel mondo reale. Questo apre la strada a robot più autonomi e adattabili per applicazioni di soccorso, ispezione e esplorazione.