Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain

Sintesi Tecnica: Apprendimento per Rinforzo Neuromorfico per il Controllo della Locomozione di Quadrupedi su Terreni Irregolari

Definizione del Problema
Sebbene l'Apprendimento per Rinforzo (RL) abbia abilitato una locomozione robusta per i quadrupedi su terreni complessi, gli attuali controller affrontano limitazioni significative riguardanti l'adattamento sul robot e l'efficienza energetica. La maggior parte delle politiche allo stato dell'arte viene addestrata offline tramite backpropagation (BP) in simulazioni massivamente parallele e distribuita come politiche fisse. Questo approccio fatica ad adattarsi alle variazioni del mondo reale, come cambiamenti del terreno, spostamenti del carico o usura degli attuatori. Inoltre, il costo computazionale dell'inferenza frequente ad alta dimensionalità e della propagazione del gradiente su piattaforme CPU/GPU crea un carico energetico sostanziale, in particolare per robot di piccola scala che operano sotto risorse energetiche limitate. Esiste una necessità critica di algoritmi di apprendimento che siano compatibili con substrati hardware neuromorfici a basso consumo e che possano eseguire un adattamento locale, consapevole dell'energia, senza ricorrere alla backpropagation globale.

Metodologia
Gli autori propongono un framework che integra la Propagazione dell'Equilibrio (EP) con l'Ottimizzazione della Politica Prossimale (PPO) per addestrare un controller bio-ispirato per quadrupedi. Il sistema sostituisce le reti convenzionali addestrate con backpropagation con l'apprendimento locale basato su EP, dove l'apprendimento è guidato dagli stati neurali locali e dalle dinamiche di rilassamento della rete piuttosto che dal trasporto globale del gradiente.

L'architettura di controllo è un sistema a due rami CPG–RES (Central Pattern Generator – Residual):

1. Ramo CPG: Genera traiettorie del piede strutturate e ritmiche (fase, ampiezza, frequenza) per gestire la generazione della andatura di base.
2. Ramo RES: Fornisce aggiustamenti posturali residui per correggere i target articolari durante il transito su terreni irregolari.

Per adattare PPO a EP, gli autori affrontano diverse sfide tecniche:

• Obiettivo Compatibile con EP: Derivano un segnale di "nudging" (stimolazione) dell'output che mappa l'obiettivo della politica PPO sulle dinamiche di equilibrio di EP. Invece di minimizzare una perdita, la rete viene guidata a massimizzare l'obiettivo surrogato di PPO applicando il gradiente negativo dell'obiettivo ai neuroni dello strato di output.
• Meccanismi di Stabilizzazione: Per prevenire il collasso della politica e aggiornamenti instabili durante il processo di rilassamento, gli autori introducono un meccanismo di clipping del rapporto a due lati (modificando l'intervallo di clipping standard di PPO) e una regola di scalatura del gradiente aggiustata utilizzando $1/\sigma_i$ invece di $1/\sigma_i^2$.
• Preprocessing: Viene applicata una trasformata discreta del coseno inversa (iDCT) ai vettori di osservazione per accelerare la convergenza all'equilibrio e ridurre la latenza di inferenza.
• Paradigma di Addestramento: Il sistema impiega un processo di addestramento in due fasi. Fase 1: addestra la politica CPG su terreno piano. Fase 2: congela la politica CPG e addestra la politica RES su terreno irregolare randomizzato. Entrambe le fasi utilizzano il framework EP-PPO.

Contributi Chiave

1. Framework PPO basato su EP: Il documento presenta la prima dimostrazione di un framework PPO basato su EP per il controllo continuo della locomozione senza backpropagation. Formula gli aggiornamenti EP sia per l'apprendimento della politica che per la regressione del valore, stabilendo un percorso per l'implementazione neuromorfica del controllo robotico ad alta dimensionalità.
2. Policy Gradient Compatibile con EP: Gli autori derivano un segnale di nudging specifico per lo strato di output e un obiettivo di clipping del rapporto a due lati che stabilizza gli aggiornamenti della politica durante il rilassamento EP, consentendo l'addestramento di politiche di controllo continuo stocastico senza backpropagation diretta attraverso la rete.
3. Integrazione di Controller Bio-Ispirati: Il lavoro integra reti EP in un controller CPG–RES, collegando l'organizzazione della locomozione biologica (dinamiche dell'oscillatore) con l'apprendimento neuromorfico locale per il transito su terreni irregolari.

Risultati
Il controller proposto è stato valutato su un quadrupede Unitree A1 a 12 gradi di libertà in ambiente simulato con MuJoCo su terreno irregolare randomizzato e confrontato con un baseline PPO addestrato con backpropagation.

• Parità di Prestazioni: Il controller basato su EP ha raggiunto prestazioni comparabili al baseline BP in termini di tasso di successo, tracciamento della velocità di avanzamento, consumo di potenza degli attuatori e stabilità del corpo (velocità angolare di rollio/beccheggio).
• Stabilità dell'Addestramento: Il metodo EP ha raggiunto una convergenza stabile della politica in entrambe le fasi di addestramento senza collasso della politica, e la rete del valore ha minimizzato costantemente la perdita.
• Efficienza: Un risultato significativo è il miglioramento dell'efficienza della memoria. L'algoritmo EP ha consumato circa 4,3 volte meno memoria GPU (3110 MB rispetto a 13486 MB) rispetto alla Backpropagation Through Time (BPTT) per lo stesso compito, grazie all'eliminazione dei requisiti di memorizzazione del gradiente globale.

Significato e Rivendicazioni
Il documento afferma che l'apprendimento locale basato sull'equilibrio può supportare la locomozione incarnata ad alta dimensionalità e ricca di contatti, andando oltre i semplici benchmark di controllo neuromorfico. Il significato primario risiede nel fornire una base algoritmica per l'adattamento e l'affinamento on-robot a basso consumo. Allineando le regole di apprendimento con le dinamiche dell'hardware in-memory e neuromorfico, il framework offre una potenziale soluzione ai vincoli energetici per l'autonomia a lungo termine.

Gli autori rimangono modesti riguardo allo stato attuale del lavoro, osservando che:

• Il metodo eredita i limiti di efficienza campionaria di PPO, che sono problematici per i robot reali.
• L'implementazione corrente si affida ancora al calcolo digitale per il rilassamento e l'infrastruttura; è un passo algoritmico verso l'apprendimento consapevole dell'energia piuttosto che una realizzazione hardware completa.
• È necessario ulteriore lavoro per affrontare la sicurezza, l'efficienza campionaria e lo sviluppo di design neuromorfici a livello di sistema che integrino le dinamiche EP con l'infrastruttura RL circostante.