Sintesi Tecnica: Embedding di Mappatura Contrattiva per la Locomozione Umanoide Robusta su Terreni Non Strutturati (CMR)

Definizione del Problema

Il rifiuto robusto dei disturbi rimane una sfida critica nella locomozione umanoide, in particolare negli ambienti non strutturati caratterizzati da irregolarità del terreno, perturbazioni dell'attuazione e sensori inaffidabili. Sebbene i dati di percezione (ad esempio, mappe di altezza) migliorino la consapevolezza del terreno, il rumore dei sensori e i gap sim-to-real possono destabilizzare le politiche di controllo. Gli approoli esistenti affrontano limitazioni significative:

• I controllori basati su modelli (ad esempio, ZMP, LIP) si affidano ad assunzioni restrittive (altezza fissa del CoM, dinamiche semplificate) e faticano con l'incertezza della misurazione.
• I metodi basati sull'apprendimento spesso falliscono nel mantenere la robustezza quando i sensori esterocepptivi introducono rumore, specialmente su terreni complessi come scale o travi di equilibrio.
• Le attuali tecniche di robustezza, come i filtri passa-basso o i premi di fluidità (smoothness rewards), richiedono un tuning esteso, riducono la capacità di esplorazione e spesso non riescono a generalizzare su diversi sistemi robotici.
• I metodi esistenti di controllo della sensibilità (ad esempio, vincoli di Lipschitz tramite penalità del gradiente) sono spesso limitati a comportamenti di base della camminata su terreni a bassa complessità.

Il problema centrale affrontato è la mancanza di un metodo sistematico per garantire la robustezza contro il rumore di osservazione in compiti di locomozione umanoide ad alto grado di libertà (DOF) senza sacrificare le prestazioni del compito o richiedere un overhead ingegneristico proibitivo.

Metodologia

Gli autori propongono il Contractive Mapping for Robustness (CMR), un framework che mappa osservazioni ad alta dimensionalità e soggette a disturbi in uno spazio latente dove le perturbazioni locali vengono attenuate nel tempo.

Fondamento Teorico

L'approccio si basa sul Teorema della Mappatura Contrattiva. Gli autori derivano limiti teorici sul "gap di rendimento" (degradazione delle prestazioni) sotto rumore di osservazione:

1. Sistemi Standard: In sistemi con costanti di Lipschitz $L_f \geq 1$, il rumore di osservazione può portare a una crescita esponenziale dell'errore sull'orizzonte temporale $H$, causando una grave degradazione delle prestazioni.
2. Sistemi Contrattivi: Mappando gli stati in uno spazio latente con un fattore di contrazione $0 < \kappa < 1$, il framework garantisce che le differenze tra le traiettorie si restringano nel tempo. L'analisi teorica (Teorema 2) stabilisce che il gap di rendimento è limitato da $O(\frac{\eta}{1-\kappa})$, dove $\eta$ limita la discrepanza attesa dell'azione. Crucialmente, questo limite è indipendente dalla lunghezza dell'orizzonte $H$, offrendo una robustezza superiore su lunghi orizzonti rispetto agli approcci non contrattivi.

Architettura del Framework

Il framework CMR integra tre componenti chiave in una pipeline standard di Deep Reinforcement Learning (RL) (specificamente Proximal Policy Optimization, PPO):

1. Apprendimento di Rappresentazione Contrastiva: Utilizza una perdita InfoNCE per preservare la discriminazione semantica, assicurando che lo spazio latente mantenga la geometria rilevante per il compito e prevenga un eccessivo rilascio di informazioni.
2. Regolarizzazione di Lipschitz: Introduce un termine di perdita specifico ($L_{Lipschitz}$) per vincolare esplicitamente l'evoluzione delle differenze nello spazio di embedding, imponendo la proprietà di contrazione ($\kappa < 1$).
3. Ottimizzazione Congiunta: L'obiettivo totale di addestramento combina la perdita PPO, la perdita contrastiva e la regolarizzazione di Lipschitz:
   $$L_{CMR} = L_{InfoNCE} + \lambda \cdot L_{Lipschitz} + L_{PPO}$$
   dove $\lambda$ bilancia la discriminazione semantica e la contrazione dinamica.

Dettagli di Implementazione

• Osservazioni: Il sistema elabora dati propriocettivi rumorosi (posizioni/velocità dei giunti, posa della base) e dati esterocepptivi (mappe di elevazione egocentriche).
• Iniezione di Rumore: Durante l'addestramento, il rumore viene iniettato nelle osservazioni percettive per simulare il degrado del mondo reale.
• Compatibilità: La formulazione agisce come un termine di perdita ausiliario, richiedendo modifiche minime alle pipeline di deep RL esistenti.

Contributi Chiave

1. Nuovo Framework: Introduzione di CMR, un framework di embedding contrattivo che attenua sistematicamente le perturbazioni delle osservazioni preservando al contempo la struttura rilevante per il compito.
2. Avanzamento Teorico: La prima applicazione del teorema della mappatura contrattiva alla locomozione umanaide basata sull'apprendimento, fornendo limiti rigorosi sui gap di rendimento indotti dal rumore.
3. Integrazione Pratica: Sviluppo di un sistema di addestramento semplice ed efficace che si integra perfettamente con le moderne pipeline di deep RL, consentendo un controllo robusto con un minimo sforzo tecnico.

Risultati Sperimentali

Estesi esperimenti sono stati condotti sul robot umanoide Unitree G1 in simulazione (Isaac Gym e MuJoCo) attraverso diversi terreni (terreno irregolare, pietre di passaggio, travi di equilibrio) e livelli di rumore.

• Rifiuto del Rumore: In condizioni di rumore elevato (Caso di Rumore I e III-V), CMR ha superato significativamente i baseline (HIM, LCP, Naive PPO). Ha mantenuto una locomozione stabile, ha raggiunto distanze di percorrenza maggiori ed ha mostito un minor consumo di potenza dei giunti e azioni di controllo più fluide.
• Generalizzazione (Sim-to-Sim): In scenari di trasferimento zero-shot da Isaac Gym a MuJoCo sotto disturbi rumorosi, CMR ha dimostrato un tracking del comando e un'efficienza energetica superiori rispetto al baseline HIM.
• Studi di Ablazione: L'analisi degli iperparametri ($\tau$, $\lambda$, $\kappa$) ha confermato un compromesso tra accuratezza della traiettoria e consumo energetico, validando la configurazione predefinita scelta come un compromesso equilibrato.
• Visualizzazione dello Spazio Latente: Le visualizzazioni t-SNE hanno rivelato che le traiettorie latenti di CMR mostrano deviazioni significativamente minori sotto rumore rispetto ai baseline, confermando le proprietà di auto-stabilizzazione dello spazio contrattivo.

Significato e Rivendicazioni

Il paper sostiene che CMR rappresenti un passo avanti significativo nel controllo robusto degli umanoidi:

• Affrontando sistematicamente la robustezza al rumore in compiti di locomozione complessi, un'area precedentemente identificata come un problema di ricerca aperto.
• Fornendo garanzie teoriche che limitano la degradazione delle prestazioni dovuta al rumore di osservazione, andando oltre il tuning euristico.
• Abilitando un potenziale trasferimento sim-to-real robusto attraverso l'apprendimento di embedding di stato contrattivi che limitano provabilmente la propagazione del rumore.

Gli autori osservano che, sebbene l'attuale lavoro si concentri sulla simulazione, stanno verificando le prestazioni di trasferimento attraverso esperimenti con robot reali per rafforzare la credibilità pratica. Il lavoro futuro mira a incorporare la percezione multi-modale (ad esempio, telecamere di profondità) per gestire terreni ancora più precisi e complessi.