Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

Titolo: Parkour per Quadrupedi: Apprendimento con Mixture of Experts (MoE) a Gate Sparsi e Input Visivo

1. Il Problema

Il parkour robotico rappresenta una sfida fondamentale per l'avanzamento della locomozione su terreni complessi, caratterizzati da discontinuità elevate (come gradini alti o ostacoli da saltare). Sebbene i recenti approcci basati sull'apprendimento per rinforzo (RL) abbiano dimostrato capacità dinamiche notevoli (arrampicata, salti), la maggior parte delle politiche di controllo attuali si basa su architetture sequenziali di Perceptron Multistrato (MLP) con livelli densamente attivati.
Queste architetture tradizionali presentano due limiti principali:

1. Scalabilità: Aumentare le prestazioni richiede spesso un aumento lineare e costoso del numero di parametri attivi durante l'inferenza.
2. Efficienza Computazionale: Non sfruttano la possibilità di attivare solo un sottoinsieme di parametri in base all'input specifico (computazione condizionale), un paradigma che ha rivoluzionato i Large Language Models (LLM) ma è stato poco esplorato nella locomozione robotica, specialmente in combinazione con input visivi.

2. Metodologia

Gli autori propongono l'applicazione di un'architettura Mixture of Experts (MoE) a gate sparsi per il controllo di un robot quadrupede basato sulla visione.

• Architettura della Politica (Actor):

  • La rete neurale dell'agente è composta da tre livelli sequenziali, dove lo strato centrale è un MoE a gate sparsi.
  • Il modello utilizza 16 esperti totali ($n=16$), attivandone solo 4 ($k=4$) per ogni passo di inferenza tramite un meccanismo di top-k gating.
  • Questo permette di avere un numero totale di parametri elevato (circa 1,6 milioni) ma di attivare solo una frazione di essi (circa 0,8 milioni) durante l'esecuzione, garantendo efficienza.
  • La funzione di attivazione utilizzata è ELU.

• Pipeline di Addestramento (Two-Phase Training):

  • Fase 1 (Simulazione con Informazione Privilegiata): Il robot viene addestrato in simulazione (Isaac Gym) utilizzando informazioni "privilegiate" (es. offset del baricentro, coefficienti di attrito, forza dei motori) che non sarebbero disponibili nel mondo reale. L'input visivo è rappresentato da una mappa di altezze (scandots) codificata tramite MLP.
  • Fase 2 (Distillazione e Sim-to-Real): La politica addestrata nella Fase 1 funge da "insegnante". Viene addestrato uno studente che deve replicare le azioni senza le informazioni privilegiate, stimandole invece dalla storia delle osservazioni proprioceptive.
  • Input Visivo: Nella Fase 2, la mappa di altezze viene sostituita da immagini di profondità reali (da una camera Intel Realsense D435f) elaborate tramite un'unità ricorrente (GRU) per gestire la sequenzialità temporale.
  • Robustezza: Vengono introdotti rumore gaussiano sulle osservazioni proprioceptive e artefatti simulati nelle immagini di profondità (contorni, blur, distorsioni) per colmare il divario simulazione-realtà (sim-to-real gap).

• Funzione di Perdita:

  • Oltre alla perdita standard PPO (Proximal Policy Optimization), viene aggiunto un termine di bilanciamento del carico (load balancing loss) per evitare che pochi esperti dominino l'addestramento, incoraggiando una diversità nell'utilizzo degli esperti.

3. Contributi Chiave

1. Nuovo Framework MoE per il Parkour: Prima applicazione di un MoE a gate sparsi nel contesto del parkour robotico basato sulla visione, sfruttando la computazione condizionale per scalare le prestazioni.
2. Integrazione Visiva Robusta: Incorporazione di una pipeline di elaborazione delle immagini di profondità (con artefatti simulati) direttamente nel framework di apprendimento, permettendo al robot di navigare in ambienti non strutturati.
3. Validazione nel Mondo Reale: Implementazione e test su un robot Unitree Go2 in condizioni reali, dimostrando la capacità di superare ostacoli alti l'80% dell'altezza del robot e di operare in ambienti esterni (es. skate-park) con illuminazione variabile.
4. Analisi della Specializzazione: Dimostrazione empirica che gli esperti sviluppano una specializzazione ciclica (legata al ciclo di camminata) e tematica (alcuni esperti sono più sensibili alle informazioni di profondità, altri alla propriocezione).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un ostacolo di 32 cm (80% dell'altezza del robot) e confrontati con diverse varianti di MLP sequenziali.

• Prestazioni di Successo:

  • La politica MoE ha ottenuto il 100% di successo (10 su 10 tentativi) nell'attraversare l'ostacolo.
  • Un MLP sequenziale "Large" (con lo stesso numero di parametri attivi all'inferenza del MoE) ha ottenuto solo il 50% di successo (5 su 10).
  • Un MLP "Extra-Large" (con lo stesso numero totale di parametri del MoE, quindi molto più pesante) ha ottenuto il 90% di successo, ma con movimenti più goffi e tempi di recupero più lunghi.

• Efficienza Computazionale:

  • Il MoE è stato significativamente più veloce dell'MLP "Extra-Large".
  • In test di inferenza con un batch di 6000, l'MLP Extra-Large è stato 14,3% più lento del MoE, nonostante avesse un numero totale di parametri simile. Questo dimostra il vantaggio della sparsità.

• Analisi degli Esperti:

  • L'analisi dei pesi degli esperti ha rivelato segnali ciclici forti per la maggior parte degli esperti (coerenti con il ciclo di locomozione), mentre un esperto specifico (indice 7) mostrava una bassa utilizzazione (7,7%) ed era altamente sensibile alle informazioni di profondità, suggerendo una specializzazione per la gestione degli ostacoli visivi.

• Studi di Ablazione:

  • È stato dimostrato che sia l'introduzione di rumore nelle osservazioni sia l'uso della adattazione online regolarizzata (ROA) sono essenziali per il successo nel mondo reale. Senza di essi, la politica falliva nel superare l'ostacolo.

5. Significato e Implicazioni

Questo lavoro dimostra che le architetture MoE a gate sparsi, già consolidate nel campo dei LLM, possono essere efficacemente trasferite alla robotica dinamica.

• Trade-off Ottimale: Offre un compromesso superiore tra prestazioni e efficienza computazionale. Permette di aumentare la capacità del modello (e quindi la robustezza su terreni complessi) senza penalizzare la velocità di inferenza, a differenza dell'approccio tradizionale di aumentare semplicemente la densità della rete.
• Scalabilità: Apre la strada a politiche di controllo più complesse e scalabili per la locomozione robotica, dove la capacità di adattare dinamicamente le risorse computazionali in base alla difficoltà dell'ambiente è cruciale.
• Generalizzazione: La capacità di operare in ambienti esterni non strutturati con input visivi grezzi conferma la robustezza dell'approccio, rendendolo promettente per applicazioni reali come ricerca e soccorso o esplorazione planetaria.