REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering

Probleemstelling

Extreme parkour met benen (voor zowel bipedale als quadrupedale robots) vereist razendsnelle terreinbeoordeling en precieze voetplaatsing onder dynamische omstandigheden. Hoewel recente op leer gebaseerde systemen (Reinforcement Learning - RL) indrukwekkende wendbaarheid hebben bereikt, zijn ze fundamenteel kwetsbaar voor perceptiedegradatie. Zelfs korte momenten van visuele ruis, latentie of tijdelijk verlies van het zicht (bijvoorbeeld door bewegingsonscherpte of obstructies) kunnen leiden tot catastrofale storingen.

Bestaande methoden behandelen perceptie vaak als een directe feedforward-input zonder rekening te houden met onzekerheid, zonder gebruik te maken van tijdsgeheugen (temporal memory) en zonder fysische consistentie af te dwingen. Dit zorgt ervoor dat visuele ruis direct doorgeeft naar motorcommando's, wat het gedrag destabiliseert. Bovendien zijn bestaande state-estimators vaak deterministisch en negeren ze de dynamica van starre lichamen, waardoor ze onbetrouwbaar worden bij slip of hoge impact.

Methodologie: Het REAL Framework

De auteurs stellen REAL (Robust Extreme Agility Learning) voor, een end-to-end framework dat vision, proprioceptie (lichaamsgevoel) en tijdsgeheugen strak koppelt binnen één trainingspipeline. Het systeem bestaat uit drie kerncomponenten en volgt een twee-fasen trainingsparadigma (Teacher-Student):

1. Spatio-Temporal Policy Learning (Leerproces)

• Stage 1 (Privileged Teacher): Een "leraar" wordt getraind in simulatie met toegang tot geprivilegieerde informatie (zoals exacte terreinscandots en proprioceptie). Deze leraar gebruikt een cross-modal attention mechanism om gestructureerde relaties tussen de lichaamstoestand en het terrein te leren. De robot leert welke terreindeel relevant is voor de volgende actie op basis van zijn huidige dynamiek.
• Stage 2 (Student Distillatie): De leraar wordt gedistilleerd naar een inzetbare "student" die alleen werkt met aan boord aanwezige sensoren (dieptebeeld en proprioceptie).
  • FiLM (Feature-wise Linear Modulation): Visuele kenmerken worden dynamisch gemoduleerd door proprioceptieve signalen. Dit fungeert als een adaptief filter: bij snelle bewegingen of impact (waar visuele data onbetrouwbaar is door bewegingsonscherpte) worden visuele features onderdrukt en wordt vertrouwd op de proprioceptie.
  • Mamba Backbone: In plaats van zware Transformers, gebruikt de student een Mamba-architectuur (een State Space Model) voor tijdsmodellering. Dit biedt een lineaire complexiteit ($O(1)$) en zorgt voor een efficiënt kortetermijngeheugen van het terrein, zelfs als visuele input tijdelijk wegvalt.

2. Physics-Guided Filtering (Fysische Filtering)

Om drift en fysisch onrealistische schattingen te voorkomen tijdens hoge dynamiek (zoals sprongen of slip):

• Een onzekerheidsbewuste neurale snelheidsschatting (gebaseerd op een 1D ResNet die een sequentie van 10 frames proprioceptie verwerkt) voorspelt snelheid en de bijbehorende onzekerheid ($\Sigma_t$).
• Deze schatting wordt gefuseerd met een Extended Kalman Filter (EKF) dat starre-lichaam-dynamica toepast.
• Als het neurale netwerk hoge onzekerheid rapporteert (bijv. tijdens een sprong), vertraagt het EKF de correctie, waardoor fysische consistentie behouden blijft.

3. Consistency-Aware Loss Gating (Consistentie-gedreven Loss)

Om de kloof tussen simulatie en realiteit (Sim-to-Real) te overbruggen:

• Een adaptieve poortmechanisme (gating) balanceert dynamisch tussen Behavioral Cloning (BC) (nabootsen van de leraar) en Reinforcement Learning (RL).
• De weging ($\lambda$) hangt af van de afwijking tussen de actie van de student en de leraar. Bij grote afwijkingen (hoge onzekerheid) domineert BC om stabiliteit te garanderen; bij kleine afwijkingen schakelt het over naar RL voor exploratie en robuustheid.

Kernbijdragen

1. REAL Framework: Een nieuw spatio-temporeel beleidsleerframework dat gestructureerde cross-modale associaties tussen proprioceptie en terrein vastlegt voor robuuste quadrupedale locomotie.
2. Physics-Guided Filtering: Een module die onzekerheid expliciet modelleert en starre-lichaam-consistentie afdwingt via een EKF, wat essentieel is voor betrouwbare state-schatting tijdens extreme manoeuvres.
3. Consistency-Aware Loss Gating: Een strategie die imitatie en RL adaptief combineert om de distillatie te stabiliseren en de Sim-to-Real overdracht te verbeteren.
4. Hardware Validatie: Succesvolle zero-shot overdracht naar een echte Unitree Go2 robot, zelfs onder extreme perceptiedegradatie.

Resultaten

De methoden zijn getest in simulatie (Isaac Gym) en op een Unitree Go2 quadruped.

• Extreme Terreinoversteken: REAL bereikte een 78% success rate op diverse parkoer-terrains (hindernissen, stappen, gaten), wat aanzienlijk hoger is dan bestaande baselines zoals Extreme Parkour (16%) en RPL (4%).
• Robuustheid tegen Ruis: Onder zware visuele degradatie (zoals frame-drops, Gaussische ruis en een 1-meter visuele blindzone voor obstakels) degradeerde REAL slechts marginaal. Bestaande methoden faalden vaak direct of vertoonden catastrofale dalingen in prestaties.
• Blind Manoeuvres: Zelfs zonder visuele input gedurende 1 meter voor een obstakel, kon REAL de omgeving "onthouden" via proprioceptieve geschiedenis en bleef vooruitgang boeken, terwijl baselines direct faalden.
• Echtijd Prestaties: De inferentie-tijd bedroeg gemiddeld 13,1 ms per stap (op een NVIDIA Jetson), wat binnen de strikte 20 ms limiet voor 50 Hz controle valt. In tegenstelling tot Transformer-baselines (die 23+ ms nodig hadden), garandeert de Mamba-architectuur een voorspelbare $O(1)$ complexiteit.
• Ablatie Studies: Het verwijderen van de Mamba-backbone leidde tot een vijfvoudige toename in voet-randfouten (MEV), en het verwijderen van FiLM liet de success rate dalen naar 44%, wat de noodzaak van beide componenten bevestigt.

Betekenis

Dit paper is een belangrijke stap voorwaarts in het veld van robuuste robotlocomotie. Het toont aan dat het mogelijk is om extreme parkour uit te voeren zonder te vertrouwen op perfecte sensorische input. Door visuele ruis actief te filteren via proprioceptie en fysische wetten, en door gebruik te maken van efficiënte tijdsmodellen (Mamba), overwint REAL de kwetsbaarheid van bestaande systemen. Dit maakt robots veiliger en inzetbaarder in ongestructureerde, gevaarlijke omgevingen (zoals rampbestrijding of industriële inspectie) waar sensoren vaak verstoord worden door stof, trillingen of slechte belichting. De zero-shot overdracht naar hardware zonder extra fine-tuning onderstreept de praktische bruikbaarheid van de aanpak.