Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion

Sintesi Tecnica: Mixture-of-Experts RL per la Locomozione Legged Tollerante ai Guasti

Problematica
I robot leggati (legged robots) sono sempre più vitali per l'esplorazione planetaria e le operazioni remote grazie alla loro capacità di attraversare terreni strutturati. Tuttavia, l'impiego prolungato in questi ambienti espone l'hardware a degradazione e guasti agli attuatori, che possono compromettere gravemente la mobilità. Sebbene l'Apprendimento per Rinforzo (RL) abbia dimostrato robustezza nella locomozione leggata, le convenzionali policy monolitiche faticano a rappresentare efficientemente le diverse strategie di controllo richieste per differenti condizioni di guasto. Una singola rete che tenta di codificare la percezione del terreno, la locomozione standard e molteplici comportamenti distinti di recupero dai guasti soffre spesso di interferenza rappresentativa e di ridotta efficienza di apprendimento, in particolare all'aumentare della complessità del compito.

Metodologia
Gli autori propongono un'architettura di controllo modulare consapevole dei guasti (fault-aware) che sfrutta esplicitamente le informazioni sulla diagnosi del guasto per attivare esperti di controllo specializzati. A differenza degli approcci standard Mixture-of-Experts (MoE) che si affidano a una rete di gating appresa per inferire la modalità operativa, questo framework utilizza informazioni esplicite sul guasto per selezionare l'esperto appropriato.

La pipeline di controllo consiste in tre componenti principali:

1. Policy Mixture-of-Experts Consapevole dei Guasti: La rete di policy utilizza un encoder condiviso per elaborare le osservazioni propriocettive (velocità lineari/angolari della base, proiezione della gravità, posizioni/velocità dei giunti) e le mappe di altezza visive del terreno. Invece di un meccanismo di routing appreso, il sistema impiega un meccanismo di selezione one-hot basato sulla condizione di guasto diagnosticata $k$. Questo attiva un esperto specifico $\pi_k$ adattato a quella modalità di guasto mantenendo inattivi gli altri esperti. Questo design riduce il costo di inferenza attiva ($C_{active} = C_{enc} + C_k$) rispetto al routing denso ($C_{dense} = C_{enc} + \sum C_k$).
2. Stima dello Stato: Per gestire il collasso delle assunzioni basate su modelli durante guasti gravi (ad esempio, trascinamento del corpo), il framework impiega uno stimatore di stato basato sull'apprendimento. Questa rete neurale predice direttamente la velocità lineare della base dalle osservazioni sensoriali (incluse le accelerazioni dell'IMU) senza fare affidamento su una modellazione esplicita del contatto, adattandosi ai cambiamenti dinamici indotti dai guasti agli attuatori.
3. Rilevamento dei Guasti: Una rete neurale dedicata ($f_{fault}$) è addestrata come problema di apprendimento supervisionato per identificare l'attuale condizione di guasto dell'attuatore da una finestra temporale di cronologia propriocettiva. Questo modulo fornisce la distribuzione categorica degli stati di guasto utilizzata per attivare l'esperto corrispondente.

Il sistema è stato addestrato utilizzando Proximal Policy Optimization (PPO) all'interno del framework IsaacLab su un robot Unitree Go2. La funzione di ricompensa include obiettivi orientati al compito (tracking della velocità, altezza/orientamento della base) e termini di regolarizzazione (energia dei giunti, fluidità). Fondamentalmente, termini di ricompensa specifici vengono attivati o disattivati dinamicamente in base al numero di gambe guaste ($n_f$) per adattare l'obiettivo di apprendimento alla gravità del guasto.

Contributi Chiave

• Policy MoE Consapevole dei Guasti: La proposta di un framework RL modulare in cui esperti specializzati sono esplicitamente condizionati dai guasti agli attuatori diagnosticati, eliminando la necessità di una funzione di routing appresa e consentendo il calcolo condizionale.
• Efficienza sotto Vincoli: Un'valutazione che dimostra come le policy modulari mantengano prestazioni di locomozione competitive anche con una capacità di rete significativamente ridotta (varianti Small), superando le baseline monolitiche di dimensioni comparabili.
• Riproducibilità: Il rilascio del codice associato per fornire una baseline riproducibile alla comunità.

Risultati
Gli esperimenti sono stati condotti in simulazione e su un robot fisico Unitree Go2 in quattro scenari: Nessun Guasto (No Fail), Guasto Anteriore Sinistro (LF Fail), Guasto Posteriore Sinistro (LH Fail) e guasto simultaneo Posteriore Sinistro + Posteriore Destro (LH+RH Fail).

• Confronto delle Prestazioni: L'architettura MoE proposta ha superato costantemente le baseline PPO monolitiche in tutti gli scenari di guasto. Mentre le prestazioni erano comparabili nelle condizioni nominali, il vantaggio dell'approccio MoE è diventato progressivamente più evidente all'aumentare della gravità del guasto. Nello scenario più severo (LH+RH Fail), dove la locomozione richiede comportamenti di trascinamento distinti dal trotto standard, la policy MoE ha ottenuto ricompense cumulative sensibilmente più elevate.
• Sensibilità alla Capacità della Rete: Quando la capacità della rete è stata ridotta (da architetture Large a Small), la baseline monolitica ha subito un significativo degrado delle prestazioni. Al contrario, l'architettura MoE ha mantenuto prestazioni robuste, con la sua variante "Small" che ha raggiunto risultati comparabili alla baseline monolitica "Large". Ciò suggerisce che la specializzazione strutturata consente un apprendimento efficace anche con meno parametri attivi.
• Validazione nel Mondo Reale: Il framework è stato implementato con successo su un robot fisico, dimostrando una traversata riuscita di un terreno roccioso in condizioni nominali, locomozione a tre gambe (LH Fail) e locomozione a trascinamento su due gambe (LH+RH Fail).

Significatività e Limitazioni
L'articolo sostiene che la specializzazione esplicita condizionata al guasto offra un'alternativa superiore al semplice aumento della dimensione del modello per la locomozione tollerante ai guasti. L'architettura è particolarmente significativa per le piattaforme robotiche con risorse computazionali limitate, come quelle utilizzate nell'esplorazione spaziale, dove le risorse a bordo sono limitate. Decoupling (disaccoppiando) i comportamenti specifici del guasto in esperti dedicati, il sistema raggiunge un'alta robustezza senza l'overhead computazionale di una massiccia rete monolitica.

Gli autori riconoscono modestamente un limite riguardante l'efficienza campionaria (sample efficiency). Poiché le reti degli esperti non condividono tutti i parametri, le stime del gradiente della policy sono più rumorose, poiché ogni esperto viene aggiornato solo sulle traiettorie relative alla sua specifica condizione di guasto. Sebbene gli esperimenti attuali (utilizzando circa 4.096 agenti per condizione di guasto) siano stati sufficienti, la scalabilità a un numero maggiore di condizioni di guasto potrebbe richiedere ambienti di simulazione aggiuntivi o strategie di condivisione dei parametri più sofisticate.