Riepilogo Tecnico: HuMam – Controllo del Movimento Umanoide tramite Apprendimento per Rinforzo Profondo End-to-End con Mamba

1. Definizione del Problema

La locomozione umana presenta sfide uniche rispetto ai sistemi quadrupedi o ruotati, dovute principalmente ai centri di gravità più elevati, alla dinamica accoppiata tra parte superiore e inferiore del corpo e ai rigorosi requisiti di sicurezza. Sebbene l'apprendimento per rinforzo (RL) end-to-end offra una mappatura percezione-azione compatta, l'implementazione pratica soffre spesso di instabilità nell'addestramento, fusione inefficiente delle caratteristiche e alti costi di attuazione.

Gli approcci esistenti affrontano limitazioni specifiche:

• I backbone feedforward spesso non sfruttano appieno i dati di osservazione strutturati, come la fase del passo e i target del passo orientati.
• I modelli sequenziali pesanti (ad esempio, Transformer o RNN profonde) impongono scambi sfavorevoli tra calcolo e memoria, ostacolando l'implementazione in tempo reale su sistemi onboard.
• La dinamica dell'addestramento presenta frequentemente instabilità, alta varianza tra i diversi seed e un uso inefficiente dei campioni, portando a policy che sono o instabili o energeticamente inefficienti.

Il paper affronta la necessità di un controllore che sia sia lungimirante (coordinando il posizionamento dei piedi e l'equilibrio) sia consapevole delle risorse (operando entro i limiti di calcolo e attuazione onboard) senza fare affidamento sull'accumulo esplicito della storia temporale.

2. Metodologia: Il Framework HuMam

Gli autori propongono HuMam, un framework di RL end-to-end centrato sullo stato, progettato per la camminata umana. L'innovazione principale risiede nell'adozione di un encoder Mamba a singolo strato come backbone leggero per la fusione.

2.1. Spazio delle Osservazioni

L'agente riceve un ricco insieme di osservazioni ad ogni istante temporale, suddivise in due categorie:

• Stati centrati sul robot: Posizioni e velocità delle articolazioni per 12 giunti delle gambe attuati, orientamento del root (roll, pitch) e velocità angolare (roll, pitch, yaw). Lo yaw globale è escluso poiché i passi sono definiti rispetto al frame del root.
• Guida esterna: Due target di passo orientati ($T_1, T_2$) definiti da posizione 3D e heading, oltre a un clock di fase continuo che codifica il ciclo del passo ($\sin, \cos$) per evitare discontinuità associate alla codifica scalare della fase.

2.2. Architettura: Encoder Mamba a Singolo Strato

A differenza dei design ricorrenti o basati sull'attenzione che accumulano la storia temporale, HuMam si affida esclusivamente allo stato corrente ma utilizza la dinamica dello spazio degli stati selettiva di Mamba per catturare le dipendenze strutturate tra le modalità di input.

• Tokenizzazione: I ruoli del robot e gli stati esterni vengono concatenati e proiettati in embedding specifici per modalità.
• Codifica dello Spazio degli Stati: Un singolo strato Mamba applica dinamiche di spazio degli stati a porta (gated) a questi token. Questa formulazione fornisce una visione convoluzionale con kernel a decadimento esponenziale, consentendo un efficiente mixing delle caratteristiche senza una ricorsione temporale esplicita.
• Output: La rappresentazione codificata viene aggregata in un vettore di caratteristiche compatto condiviso dalle teste della policy e del valore.

2.3. Gerarchia di Controllo e Spazio delle Azioni

• Spazio delle Azioni: La policy di alto livello (che opera a 40 Hz) produce i target desiderati della posizione articolare per i 12 giunti delle gambe attuati.
• Esecuzione di Basso Livello: Un controllore Proporzionale-Derivativo (PD) a basso guadagno (che opera a 1000 Hz) converte questi target di posizione in coppie di giunto eseguibili. Questa struttura gerarchica garantisce un'esecuzione fluida della coppia e mantiene il problema di apprendimento ben condizionato.

2.4. Modellazione della Ricompensa (Reward Shaping)

Il framework impiega una funzione di ricompensa concisa a sei termini ottimizzata tramite Proximal Policy Optimization (PPO) per bilanciare stabilità, accuratezza ed efficienza energetica:

1. Forza del Piede ($R_{force}$): Penalizza le forze di reazione al suolo eccessive.
2. Velocità del Piede ($R_{vel}$): Incoraggia movimenti fluidi della gamba oscillante.
3. Accuratezza del Passo ($R_{step}$): Premia il posizionamento preciso del piede rispetto ai target.
4. Orientamento ($R_{orient}$): Allinea l'orientamento del root con l'heading desiderato.
5. Altezza del Corpo ($R_{height}$): Mantiene un'altezza nominale del torso.
6. Stabilità della Parte Superiore ($R_{upper}$): Minimizza l'oscillazione della parte superiore del corpo.

3. Contributi Chiave

Il paper delinea quattro contributi primari:

1. Primo controllore RL per umanoidi basato su Mamba: Introduce Mamba come backbone di fusione leggero per la locomozione umana end-to-end, dimostrando che un singolo strato è sufficiente per prestazioni elevate in un contesto centrato sullo stato.
2. Efficacia del Backbone: Dimostra che l'encoder Mamba produce un apprendimento più veloce, una migliore efficienza di campionamento e una ridotta variabilità tra i diversi seed rispetto a un baseline feedforward addestrato in modo identico.
3. Reward Shaping Consapevole dell'Energia: Propone una ricompensa a sei termini che regola congiuntamente le forze di contatto, le velocità di oscillazione, l'accuratezza del passo e la stabilità del corpo, promuovendo implicitamente l'efficienza energetica.
4. Vasta Validazione Empirica: Valida il framework sul JVRC-1 umanoide attraverso diversi compiti (camminata in avanti, all'indietro, curva, laterale e in piedi) nell'ambiente mc-mujoco.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul JVRC-1 umanoide (1.72m, 62kg) utilizzando mc-mujoco. HuMam è stato confrontato con un forte baseline feedforward sotto identiche impostazioni di addestramento.

4.1. Efficienza di Apprendimento e Stabilità

• Efficienza di Campionamento: HuMam ha richiesto 15.8M di campioni per raggiungere un ritorno di 240, rispetto ai 18.2M del baseline (un miglioramento del 13.2%). A una soglia più alta (ritorno 260), il miglioramento è stato del 42.5% (20.2M vs 35.0M campioni).
• Stabilità: HuMam ha ridotto la deviazione della curva di apprendimento tra i diversi seed del 35.4% e la varianza nelle fasi finali dell'addestramento del 61.0%, indicando una convergenza più affidabile.
• Prestazioni: Le prestazioni di picco sono aumentate del 5.8% (da 269.85 a 285.50) e il ritorno medio nell'ultimo 10% dell'addestramento è migliorato del 5.5%.

4.2. Profili di Ricompensa e Coppia

• Componenti della Ricompensa: HuMam ha ottenuto una ricompensa media per step più elevata (0.737 vs 0.728), con miglioramenti notevoli nella regolazione della forza del piede e nella fluidità della velocità.
• Riduzione della Coppia: Il framework ha ridotto l'entità media delle coppie articolari del 9.6% e le coppie di picco del 9.1%. Giunti specifici, come il hip pitch sinistro e l'ankle pitch destro, hanno visto riduzioni significative (fino al 40% nella coppia media per la caviglia).

4.3. Efficienza Energetica

HuMam ha dimostrato una superiore economia energetica nei compiti dinamici:

• Stasi (Standing): Ha ridotto il consumo di potenza media da 57.48 W a 35.08 W (diminuzione del 39%).
• Camminata in Avanti: Ha ridotto il costo energetico da 673 J/m a 421 J/m.
• Camminata Laterale: Ha ridotto il costo energetico da 1395 J/m a 963 J/m.
• Potenza per Massa: Costantemente inferiore W/kg in tutti i compiti, con una riduzione media da 1.92 W/kg (baseline) a 1.38 W/kg (HuMam).

5. Significato e Rivendicazioni

Gli autori affermano che HuMam rappresenta il primo controllore RL end-to-end per umanoidi ad adottare Mamba come backbone di fusione. Il paper sostiene che questa architettura fornisce vantaggi tangibili in tre aree critiche:

1. Efficienza: Raggiungere prestazioni superiori con meno campioni di addestramento e un minor overhead computazionale grazie alla complessità quasi lineare del singolo strato Mamba.
2. Stabilità: Ridurre la varianza dell'addestramento e produrre andature più fluide e robuste in diversi scenari di locomozione.
3. Economia di Controllo: Generare policy che richiedono meno coppia ed energia, rendendole più adatte all'implementazione su hardware con budget di potenza limitati.

Il lavoro conclude che il backbone Mamba è un encoder efficace per l'apprendimento di policy compatte e incentrate sullo stato, consentendo la sintesi di comportamenti di camminata umana naturali e stabili senza dipendere da una storia temporale esplicita o da modelli sequenziali pesanti. Il lavoro futuro è diretto verso l'implementazione hardware, il trasferimento sim-to-real e l'integrazione della percezione onboard.