Partial Motion Imitation for Learning Cart Pushing with Legged Manipulators

Titolo

Imitazione Parziale del Movimento per l'Apprendimento della Spinta di Carrelli con Manipolatori a Gambe (Legged Manipulators).

1. Il Problema

L'obiettivo è abilitare i robot a gambe (in particolare quadrupedi con bracci manipolatori montati sopra) a eseguire compiti di loco-manipolazione complessi, come la spinta di carrelli in ambienti non strutturati.
Le sfide principali identificate sono:

• Complessità dell'apprendimento: Apprendere politiche robuste che combinino locomozione stabile e manipolazione precisa è difficile. I metodi basati sul Reinforcement Learning (RL) tradizionali richiedono un'ingegnerizzazione complessa delle funzioni di ricompensa (spesso con 10-20 termini) e un'addestramento meticoloso.
• Instabilità: Combinare ingenuamente gli obiettivi di locomozione e manipolazione porta spesso a soluzioni instabili o inefficienti.
• Mancanza di dati di riferimento: Le tecniche di imitazione del movimento (Motion Imitation) richiedono grandi dataset di riferimento, che non esistono per compiti di loco-manipolazione specifici (i dataset esistenti si concentrano su movimenti umani o locomozione pura).
• Trasferibilità: Garantire che le politiche apprese in simulazione funzionino in ambienti diversi (sim-to-sim o sim-to-real) è critico, specialmente quando si interagisce con oggetti dinamici come carrelli.

2. Metodologia

Gli autori propongono un approccio di Apprendimento per Imitazione Parziale (Partial Imitation Learning) basato su un framework a due stadi che utilizza un Prior Adversariale di Movimento Parziale (Partial AMP).

Fase 1: Addestramento della Politica di Locomozione di Riferimento

• Viene addestrata una politica di locomozione robusta ($\pi_{ref}$) su terreni accidentati utilizzando il Reinforcement Learning (PPO) con estesa randomizzazione del dominio e del terreno.
• Questa politica apprende uno stile di camminata stabile e simmetrico basandosi solo su osservazioni propriocettive (senza visione).
• Una volta convergente, questa politica genera un dataset di transizioni di stato ($D_{ref}$) che codifica il comportamento di locomozione desiderato.

Fase 2: Addestramento della Politica di Loco-Manipolazione con AMP Parziale

• Viene addestrata una nuova politica ($\pi$) per il compito di spinta del carrello.
• Idea Chiave: Invece di imitare l'intero corpo (che vincolerebbe eccessivamente il braccio manipolatore), la politica imita solo i movimenti del corpo inferiore (gambe e base).
• Partial Adversarial Motion Prior (AMP):
  • Viene utilizzato un discriminatore adversariale che confronta le transizioni di stato proiettate della politica in apprendimento con quelle di riferimento.
  • Una funzione di proiezione $\phi(\cdot)$ mappa lo stato completo su una rappresentazione a dimensionalità ridotta contenente solo le informazioni rilevanti per la locomozione (velocità angolare della base, cinematica delle articolazioni delle gambe: anche, cosce, polpacci).
  • Le componenti relative al braccio e all'end-effector sono escluse dal processo di imitazione. Questo permette al braccio di adattarsi liberamente al compito di spinta, mentre le gambe mantengono lo stile di locomozione stabile appreso.
• Funzione di Ricompensa: La politica è ottimizzata per massimizzare una ricompensa ponderata composta da:
  1. Ricompensa di Stile ($r_{style}$): Derivata dal discriminatore AMP, incoraggia il mantenimento dello stile di locomozione.
  2. Ricompensa di Task ($r_{task}$): Specifica per il compito (spinta del carrello, tracciamento della traiettoria, mantenimento del contatto).
• Controllo di Alto Livello: Per il tracciamento di percorsi complessi, la politica appresa (basso livello) è combinata con un controller di feedback classico (Controller Stanley) che genera i comandi di velocità e imbardata.

3. Contributi Chiave

1. Nuovo Framework di Imitazione Parziale: Introduzione di un metodo che separa l'apprendimento dello stile di locomozione da quello della manipolazione, imitando solo una sottoparte dello stato (gambe) per preservare la stabilità senza vincolare l'azione manipolativa.
2. Robustezza e Trasferibilità: Dimostrazione di un trasferimento efficace da IsaacLab a MuJoCo, superando le limitazioni dei metodi puramente basati su ricompensa o sull'imitazione completa.
3. Prestazioni Superiori: Confronto empirico che mostra come il metodo proposto superi le baseline (RL puro, AMP completo, politiche gerarchiche) in termini di stabilità, accuratezza nel tracciamento e resilienza alle variazioni ambientali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un robot Unitree Go2 con un braccio WidowX AI che spinge un carrello.

• Confronto in Simulazione (IsaacLab e MuJoCo):

  • Partial AMP (Metodo Proposto): Ha ottenuto il tasso di sopravvivenza più alto (99.9% in IsaacLab, 94.4% in MuJoCo) e l'errore di tracciamento più basso. Ha mostrato un passo "trotto" regolare e una stabilità dell'end-effector eccellente.
  • No AMP (Solo RL): Ha funzionato bene in IsaacLab ma ha fallito pesantemente in MuJoCo (63.6% di sopravvivenza) a causa di un passo instabile (bounding) e scivolamento dei piedi.
  • Full AMP (Imitazione Completa): Ha ottenuto il peggior risultato (31.6% in MuJoCo). L'imitazione dell'intero corpo ha costretto il braccio a posizioni subottimali, causando la perdita di contatto con il manico del carrello.
  • Politica Gerarchica: Ha mostrato prestazioni intermedie (66.0%) ma ha fallito nell'adattarsi quando si verificavano errori di manipolazione, poiché la politica delle gambe era fissa.

• Robustezza (Stress Test):

  • Il metodo Partial AMP ha dimostrato la maggiore resilienza a variazioni di attrito, massa del robot, massa del carrello e smorzamento delle ruote, mantenendo i criteri di successo in un'ampia gamma di parametri.

• Tracciamento del Percorso:

  • Combinato con il controller Stanley, il sistema ha tracciato con successo traiettorie complesse (BeatPath, RiverPath, SincPath) con errori di cross-track medi molto bassi (es. 0.0112 m per RiverPath).

5. Significato e Conclusioni

Questo lavoro dimostra che per i robot a gambe che devono manipolare oggetti, non è necessario (e anzi è controproducente) imitare l'intero corpo umano o di riferimento.

• Insight Principale: Separare la locomozione dalla manipolazione tramite un "prior" parziale permette di ereditare la robustezza della locomozione appresa su terreni difficili, lasciando allo stesso tempo la libertà necessaria al manipolatore per interagire con l'ambiente.
• Impatto: Il metodo offre una soluzione scalabile e robusta per l'automazione in magazzini e ambienti retail, riducendo la necessità di complesse ingegnerizzazioni delle ricompense e migliorando drasticamente il trasferimento tra simulatori diversi.
• Lavori Futuri: Gli autori indicano la necessità di integrare il feedback visivo per la pianificazione dinamica e lo sviluppo di politiche per il recupero attivo del contatto (re-grasping) in caso di scivolamento.