Quadruped Parkour Learning: Sparsely Gated Mixture of Experts with Visual Input

Probleemstelling

Het paper adresseert de uitdagingen van het besturen van viervoeters (quadrupeds) in parkour-achtige omgevingen, waarbij robots moeten navigeren over zeer uitdagend terrein met grote discontinuïteiten, zoals hoge trappen en obstakels.

• Huidige beperkingen: Bestaande benaderingen gebruiken vaak Reinforcement Learning (RL) met actor-critic methoden, waarbij de "actor" (het controlebeleid) doorgaans een sequentiële Multilayer Perceptron (MLP) is. Deze architecturen hebben dichtbevolkte lagen, wat betekent dat bij elke inferentie alle parameters worden geactiveerd. Dit beperkt de schaalbaarheid en efficiëntie.
• Doel: Het onderzoeken of Sparsely Gated Mixture of Experts (MoE) architecturen, die succesvol zijn in Large Language Models (LLMs), kunnen worden toegepast op vision-based robotparkour. Het doel is om prestaties te verbeteren door conditionele berekening (slechts een subset van parameters activeren) te gebruiken, terwijl de totale modelgrootte groter blijft dan het aantal geactiveerde parameters tijdens inferentie.

Methodologie

De auteurs hebben een nieuw framework ontwikkeld dat MoE integreert in een RL-pipeline voor een Unitree Go2 robot.

1. Tweefasige Training (Two-Phase Training):
Om de "sim-to-real" kloof te overbruggen, wordt een trainingsstrategie gebruikt die bestaat uit twee fasen:

• Fase 1 (Privileged Learning): De robot wordt getraind in simulatie (Isaac Gym) met toegang tot "geprivilegieerde informatie" (ground truth), zoals exacte massa, wrijvingscoëfficiënten, motorsterkte en lineaire snelheid. De waarneming omvat ook "scandots" (hoogtemaps) in plaats van dieptebildjes.
• Fase 2 (Student-Teacher Distillation): De actor uit Fase 1 fungeert als leraar. De student-actor wordt getraind om de acties van de leraar na te bootsen, maar zonder toegang tot geprivilegieerde informatie. In plaats daarvan gebruikt de student:
  • Proprioceptie: Sensordata van de robot zelf (hoekversnelling, gewrichtsposities, etc.).
  • Perceptie: Dieptebildjes (Depth Images) verwerkt door een Gated Recurrent Unit (GRU) om een latent representation te genereren.
  • Schattingen: Een MLP schat de geprivilegieerde variabelen (zoals wrijving en massa) op basis van de proprioceptieve geschiedenis.

2. Architectuur: Sparsely Gated MoE Actor:
In plaats van een standaard MLP gebruikt de actor een MoE-laag als tussenlaag:

• Structuur: De actor bestaat uit drie lagen. De middelste laag is de MoE-laag, omringd door lineaire lagen met ELU-activatie.
• Experts: Er zijn $n=16$ experts (simpele gewichtsmatrices).
• Gating: Een gating-netwerk selecteert dynamisch de $k=4$ meest relevante experts voor elke input. Dit zorgt voor sparsiteit: slechts 25% van de experts wordt per stap geactiveerd.
• Verliesfunctie: Er wordt een "load balancing loss" toegevoegd om te voorkomen dat slechts een paar experts worden gebruikt (diversiteit van experts stimuleren).

3. Observaties en Data-Verwerking:

• Observatievector: Een samenvoeging van proprioceptie, geschatte fysieke parameters, heading (richting) en een latent representation van de dieptebildjes.
• Dieptebildjes Pipeline: Om de simulatie realistischer te maken, worden dieptebildjes in simulatie verstoord met ruis (artefacten, blur, contourfouten) die lijken op de ruis van de echte Intel Realsense D435f camera. Dit is cruciaal voor robuustheid.

Belangrijkste Bijdragen

1. Nieuw Framework: De eerste toepassing van een sparsely gated MoE architectuur specifiek voor vision-based parkour op viervoeters.
2. Integratie van Visie: Succesvolle koppeling van dieptecamera-invoer (via GRU) aan het controlebeleid, inclusief robuuste verwerking van ruis.
3. Real-world Deploy: Een robuuste implementatie op een Unitree Go2 robot die succesvol complexe obstakels (80% van de robothoogte) overwint in zowel laboratorium- als buitenomgevingen.

Resultaten

De experimenten werden uitgevoerd op een Unitree Go2 robot met een 32cm hoge doos (80% van de robothoogte) als testobstakel.

• Prestatievergelijking:
  • De MoE-policy (1,6 miljoen totale parameters, 0,8 miljoen geactiveerd) behaalde 100% succes (10/10 pogingen).
  • Een standaard MLP met dezelfde geactiveerde parameters (0,8 miljoen) faalde volledig (0/5 succes).
  • Een MLP met dezelfde totale parameters als de MoE (1,6 miljoen, "Extra-Large") behaalde 90% succes (9/10), maar vertoonde meer "scrambling" (onrustige bewegingen) en herstelde minder soepel.
• Berekeningsefficiëntie:
  • De MoE-policy is 14,3% sneller in inferentie-tijd dan de "Extra-Large" MLP, ondanks dat ze evenveel totale parameters hebben. Dit bewijst het voordeel van conditionele berekening.
• Expert Specialisatie:
  • Analyse van de expert-gewichten toonde aan dat experts cyclisch worden geactiveerd, wat overeenkomt met de loopcyclus van de robot.
  • Eén expert (index 7) specialiseerde zich specifiek in diepte-informatie en werd minder vaak gebruikt, wat suggereert dat de MoE architectuur automatisch specialisatie ontwikkelt voor verschillende aspecten van de taak.
• Ablatie Studies:
  • Zowel ruis in de observaties (voor domain randomization) als Regularized Online Adaptation (ROA) (voor het schatten van fysieke parameters) bleken essentieel voor succes in de echte wereld. Zonder deze elementen faalde het beleid.

Significantie en Conclusie

Dit paper toont aan dat sparsely gated MoE-architecturen een superieur compromis bieden tussen prestaties en computationele efficiëntie voor vision-based robotbesturing.

• Schalbaarheid: Het stelt onderzoekers in staat om grotere, complexere modellen te trainen zonder de inferentie-tijd lineair te laten toenemen.
• Robuustheid: De MoE-policy presteerde aanzienlijk beter dan traditionele MLP's bij het overwinnen van grote obstakels, zelfs in ruwe buitenomgevingen met veranderend licht.
• Toekomstperspectief: Hoewel het systeem veel hyperparameters vereist (aantal experts, gating-strategie), opent het de deur voor schaalbare, adaptieve controlebeleid voor complexe dynamische taken in de robotica.

Kortom, het paper bewijst dat technieken uit het taalmodel-domein (MoE) direct en effectief kunnen worden overgebracht naar de fysieke robotica om complexere, visueel geleide bewegingen mogelijk te maken.