Riepilogo Tecnico: Apprendimento Efficiente di una Locomozione Robusta basata su Coppia attraverso il Reinforcement con Supervisione Model-Based

Definizione del Problema

L'apprendimento di policy di locomozione efficaci basate sulla coppia per robot bipedi rimane una sfida significativa. Sebbene il controllo della coppia permetta comportamenti reattivi e conformi, esso richiede la gestione precisa di dinamiche complesse e non lineari. L'apprendimento diretto della policy a livello di coppia è particolarmente difficile in presenza di incertezze del mondo reale, come l'incertezza del contatto, il rumore dei sensori, i ritardi di attuazione e le dinamiche non modellate (ad esempio, attrito nei giunti, flessibilità strutturali).

I metodi tradizionali di controllo basati su modelli (ad esempio, pianificazione della traiettoria DCM con Whole-Body Control) si affidano a modelli di sistema accurati. Tuttavia, le loro prestazioni degradano quando le discrepanze tra il modello e il sistema fisico diventano sostanziali. Al contrario, gli approcci di Deep Reinforcement Learning (DRL) puramente data-driven, pur essendo robusti agli errori di modellazione tramite la randomizzazione del dominio, spesso soffrono di inefficienza dei dati, sensibilità alla progettazione delle ricompense e mancanza di interpretabilità o garanzie di sicurezza. Le strategie ibride esistenti si affidano spesso esclusivamente ai segnali di ricompensa, richiedendo estese iterazioni di tentativi ed errori e offrendo una guida limitata durante l'addestramento.

Metodologia

Gli autori propongono un framework di controllo che integra la locomozione bipede model-based con il reinforcement learning residuo (RL), potenziato da un nuovo meccanismo di supervisione model-based. L'architettura è composta da tre componenti primarie:

1. Base Policy ($\pi_b$): Un controllore model-based che comprende un pianificatore di traiettoria Divergent Component of Motion (DCM) e un Whole-Body Controller (WBC) basato sulla dinamica inversa. Questa policy opera sotto un modello dinamico inaccurato e osservazioni di stato rumorose, fungendo da fondamento affidabile ma imperfetto.
2. Oracle Policy ($\pi^*$): Un controllore model-based con accesso "privilegiato" alle informazioni di sistema reali (ground-truth), inclusi la dinamica esatta del robot, lo stato vero (privo di rumore) e i parametri dei motori (ad esempio, ritardi di attuazione, efficienza). Questa policy genera azioni correttive ideali in condizioni randomizzate, ma viene utilizzata solo durante l'addestramento come supervisore.
3. Residual RL Policy ($\pi_r$): Una policy apprendibile addestrata tramite Proximal Policy Optimization (PPO) per produrre comandi di coppia residui che compensino le inesattezze della Base Policy.

Componenti Tecniche Chiave:

• Domain Randomization: L'ambiente di addestramento randomizza il rumore dei sensori, la dinamica del robot (massa, attrito, smorzamento, efficienza del motore) e i fattori ambientali (attrito del pavimento, irregolarità) per esporre la policy alla variabilità del mondo reale.
• Supervised Reinforcement Learning: A differenza del RL standard che si affida solo alla modellazione delle ricompense (reward shaping), questo framework introduce un termine di perdita supervisionata ($L_{sup}$). La policy residua è esplicitamente guidata a imitare le azioni correttive della Oracle policy.
  • La perdita totale è una somma pesata: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • La perdita supervisionata incoraggia la policy ad assegnare un'alta verosimiglianza all'azione residua della Oracle ($\tau^*_t - \tau^b_t$).
• Spazio delle Osservazioni: La policy utilizza una rete neurale ricorrente (LSTM) per elaborare una cronologia di osservazioni rumorose (stati dei giunti, coppie della base policy, errori di inseguimento). La rete del critic utilizza inoltre osservazioni privilegiate (stati veri, coppie della Oracle) per una stima più accurata del valore durante l'addestramento.

Contributi Chiave

Il documento delinea quattro contributi primari:

1. Framework di Controllo Integrato: Una nuova architettura che combina l'affidabilità strutturata del controllo model-based con l'adattabilità del residual RL per mitigare le inesattezze del modello.
2. Model-Based Oracle Policy: L'introduzione di una Oracle policy che sfrutta informazioni privilegiate per generare segnali di controllo quasi ottimali, fungendo da supervisore per il processo di apprendimento.
3. Obiettivo di Supervised RL: Un framework di addestramento che incorpora le azioni della Oracle in una perdita supervisionata, completando l'obiettivo standard di RL per migliorare l'efficienza dell'apprendimento senza dipendere esclusivamente dalla progettazione delle ricompense.
4. Validazione Cross-Platform: Valutazioni complete su tre distinti robot bipedi (Kangaroo, Unitree H1-2 e Bruce), dimostrando robustezza e generalizzazione su diverse piattaforme hardware senza una specifica sintonizzazione dei parametri.

Risultati

Il metodo è stato valutato sui robot Kangaroo, Unitree H1-2 e Bruce sotto un'estesa randomizzazione del dominio ($\beta=1$).

• Performance rispetto ai Baseline:
  • Oracle (O): Ha raggiunto il 100% di successo su tutte le piattaforme con minimi errori di inseguimento, validando il suo ruolo di supervisore efficace.
  • Base Policy (B): È fallita completamente (0% di successo) sotto randomizzazione, evidenziando la fragilità del controllo model-based standard senza adattamento.
  • Standard Residual RL (ResRL): Ha mostrato prestazioni scarse (0-10% di successo), faticando ad apprendere la locomozione basata sulla coppia senza una guida esplicita.
  • Imitation Learning (IL): Ha performato bene su Kangaroo (70-100% di successo) ma ha avuto difficoltà su Bruce (80% di successo), suggerendo una sensibilità all'affidabilità della Oracle in specifici regimi dinamici.
  • Metodo Proposto (BOR - Base + Oracle Residual): Ha ottenuto il 100% di successo su Kangaroo e H1-2, e l'80% su Bruce. Ha superato significativamente il ResRL standard e il puro IL, avvicinandosi alle prestazioni della Oracle in termini di inseguimento del DCM e del piede.
• Robustezza all'Incertezza: Quando testato con livelli variabili di randomizzazione ($\beta \in [0.1, 0.7]$), il metodo proposto ha mantenuto un tasso di successo del 100%, mentre il Model-Based Controller (MBC) standard è fallito significativamente all'aumentare dell'incertezza.
• Efficienza dell'Addestramento: L'approccio supervisionato è convergente a oltre l'80% di successo in soli 1.500 episodi (circa 4,16 ore di simulazione), mentre il residual RL standard mostrava scarsi progressi nelle stesse condizioni.
• Generalizzazione: Il framework è stato trasferito con successo su terreni irregolari e diverse morfologie robotiche senza necessità di ri-sintonizzazione, dimostando la capacità di apprendere comportamenti adattivi che vanno oltre la semplice imitazione della Oracle.

Significato e Claim

Il documento sostiene che questo approccio colmi efficacemente il divario tra il controllo model-based e il RL data-driven. Integrando i priori model-based con l'adattamento data-driven, il metodo offre una soluzione scalabile per il sim-to-real transfer nella locomozione bipede.

Gli autori sottolineano che il framework migliora l'efficienza dell'apprendimento e la robustezza utilizzando la Oracle per guidare la policy verso comportamenti correttivi senza ricorrere a un'estesa ingegneria delle ricompense. Notano che, sebbene la Oracle fornisca un segnale di supervisione forte, la componente RL è cruciale per esplorare azioni che deviano dalla Oracle quando necessario (ad esempio, in condizioni altamente stocastiche o su terreni irregolari dove la pianificazione model-based della Oracle potrebbe essere subottimale). Il lavoro dimostra che il supervised reinforcement learning fornisce una soluzione efficiente, robusta e trasferibile per il controllo della locomozione basata sulla coppia in robot umanoidi.