Rapid co-design of Buoyancy-assisted robots for Challenging Locomotion using Gaussian Evolutionary Specialists

Sintesi Tecnica: Co-design Rapido di Robot ad Assistenza di Galleggiabilità tramite Specialisti Evolutivi Gaussiani

Problematica

Il documento affronta la sfida del co-design robotico, che consiste nell'ottimizzazione congiunta della morfologia del robot (struttura fisica) e delle politiche di controllo per ottenere prestazioni di task non raggiungibili da nessuno dei due componenti isolatamente. Nello specifico, gli autori si concentrano sul Buoyancy-Assisted Light Legged Unit (BALLU), un robot bipede che utilizza palloni gonfiati con elio per compensare il peso.

La difficoltà principale risiede nel costo computazionale del processo di co-design. Si tratta di un problema di ottimizzazione bi-livello:

1. Ciclo Esterno: Cerca nello spazio di progettazione morfologica.
2. Ciclo Interno: Per ogni candidato morfologia, deve essere addestrato un controllore robusto (tipicamente tramite Reinforcement Learning, RL).

Gli approcci esistenti affrontano colli di bottiglia significativi:

• Addestramento RL Ripetuto: Addestrare una nuova politica da zero per ogni candidato morfologia è computazionalmente proibitivo.
• Politiche Universali: Il pre-addestramento di una singola politica "universale" condizionata ai parametri morfologici per consentire l'valutazione zero-shot fallisce a causa del collasso della diversità comportamentale. La politica converge verso una singola strategia di locomozione subottimale perché i gradienti contrastanti provenienti da diverse morfologie si mediano tra loro durante l'addestramento.
• Mixture-of-Experts (MoE) End-to-End: Sebbene le architetture MoE teoricamente permettano l'esistenza di esperti specializzati, esse soffrono di collasso della rappresentazione in questo contesto. Il router non riesce a differenziare tra gli esperti nelle fasi iniziali dell'addestramento, causando la convergenza di tutti gli esperti verso comportamenti simili, rendendo inefficace la miscela.

Metodologia: Gaussian Evolutionary Specialists (GES)

Gli autori propongono i Gaussian Evolutionary Specialists (GES), un framework che scinde la partizione dello spazio di progettazione dall'apprendimento delle politiche di controllo per catturare esplicitamente comportamenti diversificati senza incorrere nei fallimenti delle politiche universali o delle politiche MoE end-to-end.

Meccanismo Core:
GES mantiene un insieme di $K$ politiche specializzate, ciascuna associata a un territorio Gaussiano (definito da una media $\mu_k$ e una covarianza diagonale $\Sigma_k$) sopra lo spazio dei parametri di progettazione. Il framework opera in un ciclo iterativo composto da tre fasi fino a quando lo spazio di progettazione non è sufficientemente coperto (copertura Monte Carlo del 95%):

1. Inizializzazione:

   • $K$ centri Gaussiani sono inizializzati nello spazio di progettazione normalizzato utilizzando il Farthest Point Sampling (FPS) seguito da Lloyd's Relaxation per garantire una copertura ben dispersa e space-filling.
   • Ogni specialista è inizializzato come un MLP casuale.

2. Evoluzione Iterativa del Territorio:

   • Train (Addestramento): Ogni specialista $\pi_k$ campiona i design dal proprio territorio Gaussiano corrente e si addestra tramite Proximal Policy Optimization (PPO), riprendendo dai precedenti checkpoint per preservare i comportamenti appresi.
   • Probe (Sondaggio): I design candidati vengono campionati vicino ai confini ($2\sigma$) di tutti i territori Gaussiani. Questi candidati vengono valutati da tutti i $K$ specialisti. Ogni candidato viene assegnato competitivamente allo specialista che ottiene il punteggio di performance del task ($J$) più elevato.
   • Refit (Riajustamento): I parametri Gaussiani ($\mu_k, \Sigma_k$) per ogni specialista vengono aggiornati per riflettere la media e la covarianza dei design che ha "vinto" nella fase di sondaggio. Ciò consente ai territori di espandersi e adattarsi in base alle performance empiriche.

3. Integrazione del Co-Design:

   • Una volta completato l'addestramento, gli specialisti fungono da valutatori zero-shot per il ciclo di ottimizzazione del design esterno (ad esempio, l'Ottimizzazione Bayesiana).
   • Per un nuovo design candidato, un router geometrico seleziona lo specialista più vicino in base alla verosimiglianza Gaussiana, e la performance dello specialista viene valutata direttamente, eliminando la necessità di ri-addestramento.

Contributi Chiave

1. Identificazione dei Modi di Fallimento: Il documento identifica il collasso della diversità comportamentale come un modo di fallimento precedentemente non riconosciuto delle politiche universali nel co-design robotico, dove le politiche convergono verso una singola strategia indipendentemente dalla morfologia. Evidenzia inoltre come il collasso della rappresentazione mini l'addestramento MoE end-to-end in questo contesto.
2. Framework GES: La proposta di un framework a due stadi che utilizza l'evoluzione iterativa del territorio Gaussiano per risolvere entrambi i problemi di collasso. Decoupling (scindendo) la partizione dalla specializzazione, GES assicura che ogni specialista si addestri su una regione dello spazio di progettazione stabile e ben definita.
3. Validazione Hardware: Implementazione con successo di un design ottimizzato tramite GES su hardware fisico, dimostrando un miglioramento significativo nelle capacità di superamento degli ostacoli.

Risultati

Il metodo è stato validato sulla piattaforma BALLU in simulazione (Isaac Lab) e su hardware.

• Performance in Simulazione:

  • Superamento Ostacoli (Spazio 2D): GES ha ottenuto un miglioramento della media delle performance del 25,5% rispetto a una politica universale monolitica (e2e MLP) e dell 8,62% rispetto a una MoE end-to-end. I design GES hanno superato ostacoli fino a 54 cm, rispetto ai 38 cm della politica universale.
  • Superamento Ostacoli (Spazio 3D): GES ha mostrato un picco di guadagno del 31,7% rispetto alla politica universale, con un miglioramento medio del 18,8%.
  • Salita su Rampa: GES ha migliorato la performance media di circa il 13% rispetto ai baseline nello spazio 2D.
  • Efficienza: GES ha ridotto il tempo totale di co-design (wall-clock time) del 37% (da ~100 ore a ~63 ore) sostituendo l'oneroso ri-addestramento RL con la valutazione diretta.

• Risultati Hardware:

  • Un BALLU co-progettato (ottimizzato per $GCR=0.86, SPCF=0.008$) ha superato con successo un ostacolo di 24 cm.
  • Ciò rappresenta un miglioramento di 3 volte rispetto al design baseline BALLU, che poteva superare solo un ostacolo di 8 cm.
  • I risultati confermano che i miglioramenti morfologici scoperti in simulazione si trasferiscono efficacemente alla piattaforma fisica, nonostante i gap sim-to-real.

• Analisi Comportamentale:

  • A differenza dei baseline, gli specialisti GES hanno mantenuto la diversità comportamentale. Le visualizzazioni hanno mostrato che diversi specialisti che controllano lo stesso design robotico producono traiettorie delle zampe e strategie qualitativamente distinte per superare gli ostacoli.
  • Il baseline MoE end-to-end ha subito un collasso della rappresentazione, distribuendo i design equamente tra gli esperti, mentre GES ha stabilito partizioni rigide dove ogni specialista domina il proprio subspace specifico.

Significatività e Rivendicazioni

Il documento afferma che GES fornisce una soluzione scalabile ed efficiente per il co-design robotico superando i limiti fondamentali delle politiche universali e delle architetture MoE standard. Catturando esplicitamente la diversità comportamentale attraverso l'evoluzione iterativa del territorio, GES consente la scoperta di morfologie robotiche ad alte prestazioni che altrimenti verrebbero trascurate da valutatori collassati. Il framework è presentato come agnostico rispetto alla piattaforma, sebbene la validazione attuale sia specifica per i robot a gambe assistiti dalla galleggiabilità. Gli autori osservano che il metodo assume un numero fisso di specialisti e uno spazio di progettazione continuo e limitato, identificando questi come aree per future adattabilità.