Technische Samenvatting: Shield-Loco

Probleemstelling

Reinforcement learning (RL) policies hebben succes getoond in het mogelijk maken van dynamische legged locomotion door gewenste contactlocaties te mappen naar low-level gewrichtscommando's. Echter, deze policies missen actieve mechanismen om veiligheidschendingen te voorkomen wanneer ze omgevingsbeperkingen tegenkomen (bijv. obstakels) die niet aanwezig waren tijdens de training. Hoewel grootschalige offline veilige leerprocessen onpraktisch zijn voor het dekken van alle randgevallen, kampen bestaande veiligheidskaders met aanzienlijke beperkingen:

• Reduced-order modellen: Methoden zoals Control Barrier Functions (CBF) vertrouwen vaak op vereenvoudigde modellen die niet kunnen redeneren over whole-body gedrag, wat leidt tot falen onder ongemodelleerde contactdynamiek.
• Conservatieve herstelmechanismen: Model Predictive Shielding (MPS) en Hamilton-Jacobi (HJ) reachability benaderingen grijpen vaak terug op conservatieve herstelcontrollers die de taakprestaties opofferen of handmatige certificaten vereisen die falen in complexe scenario's.
• Schaalbaarheid: HJ reachability schaalt exponentieel met de staat-dimensie, waardoor whole-body legged modellen onhandelbaar worden.

De kernuitdaging is om in te grijpen op de policy om veiligheid te garanderen zonder de taakprestaties te verslechteren of een volledige hertraining van de RL-policy te vereisen.

Methodologie

De auteurs stellen Shield-Loco voor, een predictieve veiligheidsfilter die post-hoc opereert op de contactlocaties die worden gevoed aan een contact-geconditioneerde RL-policy. Het cruciale inzicht is dat voetcontactlocaties een kinematische abstractie vormen die voldoende is voor het afdwingen van whole-body botsingsvermijding, terwijl het hanteerbaar blijft voor online optimalisatie.

Framework Overzicht

Bij elke controelstap ontvangt de filter een nominaal sequentie van contactlocaties van een high-level planner. Het voert een forward rollout uit met een full-physics simulator (MuJoCo) en de bevroren RL-policy om toekomstige staten te voorspellen.

1. Predictie: Als er binnen de receding horizon geen veiligheidsschending wordt voorspeld, wordt het nominale contact doorgegeven aan de policy.
2. Interventie: Als een schending wordt voorspeld, zoekt een sampling-gebaseerde optimizer naar een alternatieve contactsequentie die de finite-horizon return maximaliseert terwijl aan veiligheidsrestricties wordt voldaan.
3. Executie: De eerste geoptimaliseerde contactlocatie wordt gevoed aan de RL-policy, die gewrichtstorsies genereert. Het proces herhaalt zich asynchroon, waardoor de low-level policy met een hoge frequentie (50 Hz) kan draaien, zelfs als de optimizer op een lagere frequentie draait (3 Hz).

Optimalisatie Formulering

De filter lost het volgende optimalisatieprobleem op wanneer interventie vereist is:
$$\max_{p_{0}, \dots, p_{H-1}} \mathbb{E} \left[ \sum_{t=0}^{H-1} \gamma^t r(s_t, a_t) + \gamma^H V(s_H) \right]$$
Onderhevig aan veiligheidsrestricties $g(s_t, p_t) \leq 0$, waarbij $a_t = \pi(s_t, p_t)$ en $s_{t+1} = f(s_t, a_t)$.

• Beloning ($r$): Codeert taakprestaties (bijv. het volgen van gewenste contacten, energie-efficiëntie).
• Waardefunctie ($V$): Een geleerde waardefunctie die long-horizon returns bootstrapt, getraind via offline temporal-difference learning op trajecten verzameld door de optimizer.
• Veiligheidsrestricties ($g$):
  • Voetcontact Straf: Zachte straffen gebaseerd op de signed distance function (SDF) tussen voeten en obstakels.
  • Whole-Body Botsing: Een grote straf wordt toegepast als een robotlink contact maakt met een obstakel, gedetecteerd via MuJoCo's contactdata.

Algoritmische Componenten voor Hanteerbaarheid

Om optimalisatie haalbaar te maken in een discontinue contact-landschap, introduceren de auteurs drie sleutelcomponenten:

1. Geometrische Projectie: Gesamplede contactlocaties worden geprojecteerd op de botsingsvrije set via een Quadratic Program (QP) vóór de rollout-evaluatie. Dit zorgt ervoor dat kandidaten lokaal aan harde restricties voldoen, hoewel de volledige rollout nog steeds wordt geëvalueerd voor veiligheid.
2. Momentum-Augmented Updates: Afgeleid van Accelerated Proximal Natural Gradient Descent, versnelt deze update-regel de convergentie door te extrapoleren in de richting van verbetering, waardoor het aantal iteraties dat nodig is wordt verminderd.
3. Replica Exchange (Parallel Tempering): Om te ontsnappen aan oppervlakkige lokale minima, worden meerdere optimizer-replica's met verschillende inverse temperature ($\lambda$) onderhouden. Naburige replica's wisselen contactsequenties op basis van de Metropolis–Hastings criteria, waardoor high-temperature replica's breed kunnen exploreren terwijl low-temperature replica's veelbelovende oplossingen exploiteren.

Belangrijkste Bijdragen

1. Predictieve Veiligheidsfilter op Contactlocaties: Een methode die direct opereert op de contactlocaties die als input dienen voor RL-policies, wat whole-body botsingsvermijding mogelijk maakt zonder de onderliggende policy te wijzigen.
2. Hanteerbare Sampling-gebaseerde Optimalisatie: Een nieuw optimalisatieschema dat geometrische projectie, momentum-augmented updates en replica exchange incorporeert om het niet-gladde, discontinue kostenlandschap van legged locomotion aan te pakken.
3. Validatie in Simulatie en de Werkelijkheid: Uitgebreide evaluatie op een Unitree Go2 quadruped in dichte, rommelige omgevingen, wat substantiële reducties in veiligheidsschendingen aantoont met minimale afwijking van de nominale gait.

Resultaten

De methode werd geëvalueerd op een Unitree Go2 quadruped in zowel MuJoCo-simulatie als experimenten met hardware in de echte wereld.

• Veiligheid vs. Prestatie Trade-off: Vergeleken met baselines (CBF en HJ reachability met unicycle-benaderingen) behaalde Shield-Loco aanzienlijk lagere tracking-kosten en minder werkelijke veiligheidsschendingen. De reduced-order baselines hadden moeite in dichte, rommelige omgevingen, terwijl Shield-Loco een sterke veiligheid-tracking trade-off behield.
• Optimizer Varianten: Onder de geteste optimizers (MPPI, CEM en Replica Exchange MPPI) bereikte de Replica Exchange variant de laagste tracking-kosten (0.0086) terwijl een lage schendingsgraad werd behouden, hoewel dit een hogere optimalisatietijd met zich meebracht.
• Ablatie Studies:
  • Momentum: Niet-nul momentumcoëfficiënten ($\beta$) verbeterden consistent de tracking-kosten, waarbij $\beta=0.1$ de optimale prestaties leverde.
  • Horizon en Iteraties: Een gematigd computationeel budget ($N=3$ iteraties, $H \in [4, 6]$) bood de beste balans tussen veiligheid en reactiviteit.
  • Projectie: Het toepassen van geometrische projectie tijdens zowel de rollout-sampling als op het uiteindelijke geoptimaliseerde plan was cruciaal voor het minimaliseren van schendingen.
• Real-World Deployment: Het systeem navigeerde succesvol door rommelige omgevingen met obstakels (telefoons, pakketten, kabels) en grote statische obstakels. Het asynchrone ontwerp maakte het mogelijk dat de robot stabiel bleef, zelfs wanneer de optimizer langer duurde dan de planningcyclus (bijv. 400ms voor $H=8$), omdat de low-level policy de laatste bekende veilige contactdoelen bleef volgen.

Betekenis en Beperkingen

Het artikel positioneert Shield-Loco als een minimaal invasieve veiligheidsinterventie die de kloof overbrugt tussen de expressiviteit van full-physics modellen en de hanteerbaarheid die vereist is voor online veiligheidsfiltering. Door te opereren op contactlocaties in plaats van gewrichtstorsies, vermijdt het de "vloek van dimensionaliteit" terwijl het het vermogen behoudt om over whole-body botsingen te redeneren.

Beperkingen en Toekomstig Werk:

• Theoretische Garanties: De methode mist formele theoretische garanties van optimaliteit of veiligheid. Het gefilterde plan kan afwijken van de ware veilige set als de optimizer convergeert naar een lokaal optimum.
• Heuristische Projectie: De geometrische projectie is een heuristiek en garandeert mogelijk niet strikt de convergentie-eigenschappen van de optimizer.
• Policy Beperkingen: Werkelijke schendingen in experimenten werden soms veroorzaakt door de RL-policy die onveilige tussenliggende swing-phase configuraties genereerde, zelfs wanneer de contactdoelen veilig waren.
• Scope: Validatie is momenteel beperkt tot quadrupeds op vlak terrein. Het uitbreiden naar multi-terrain locomotion, humanoids of scenario's die actieve torso-draaiing vereisen, blijft toekomstig werk.
• Perceptie: Het huidige framework gaat uit van bekende obstakelgeometrie; het integreren van online perceptie-pipelines voor volledig autonome inzetbaarheid in onbekende omgevingen wordt geïdentificeerd als een noodzakelijke toekomstige richting.