Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

Technische Samenvatting: Leren van Gait-Bewuste Quadrupedale Locomotie met Temporele Logica-Specificaties

Probleemstelling
Reinforcement learning (RL) voor quadrupedale locomotie leunt momenteel zwaar op vaste, handmatig ontworpen Markoviaanse beloningsfuncties. Hoewel deze effectief zijn voor het leren van enkele dominante gangen (bijv. trotteren), lijden deze benaderingen aan twee primaire beperkingen:

1. Gebrek aan Interpreteerbaarheid: De geleerde policies zijn vaak "black boxes" waarbij de verbinding tussen beloningstermen en specifieke gedragsfouten opaak is.
2. Beperkte Gait-Controle: Statische beloningsfuncties hebben moeite om onderscheidende gait-regimes (loop-trot, trot, bound) of vloeiende overgangen daartussen te induceren op basis van snelheid. Ze slagen er vaak niet in om de temporele structuur van contactpatronen die vereist zijn voor verschillende snelheden expliciet af te dwingen, wat leidt tot instabiele training of slechte commando-tracking bij hoge snelheden.

De auteurs pakken de uitdaging aan om een enkele policy te leren die zijn gait-structuur kan aanpassen over meerdere snelheidsregimes, terwijl veiligheid, stabiliteit en nauwkeurige snelheidsvolging behouden blijven.

Methodologie
Het voorgestelde framework vervangt heuristische beloningen door Signal Temporal Logic (STL) specificaties om gewenste gedragingen te coderen. De kernmethodologie omvat:

1. Modus-Afhankelijke Gait-Selectie:
   Het systeem definieert drie locomotie-modi op basis van de gecommandeerde voorwaartse snelheid ($v_{cmd}$), waarbij het Froude-getal wordt gebruikt om transitiedrempels te bepalen:

   • Walking-Trot (W): $0 \le v_{cmd} \le 0.7$ m/s.
   • Trot (T): $0.7 < v_{cmd} \le 1.7$ m/s.
   • Bound (B): $v_{cmd} > 1.7$ m/s.
     Hysteresis wordt toegepast om modus-chatter nabij transitiegrenzen te voorkomen.

2. Data-Gedreven STL-Specificatie Mining:
   In plaats van handmatig logica-parameters af te stemmen, gebruiken de auteurs een data-gedreven aanpak:

   • Expert Trajecten: Ze verzamelen 50 expert rollouts per regime (walk-trot, trot, bound) van gespecialiseerde modellen.
   • Parametrische STL (PSTL) Templates: Ze definiëren parametrische templates voor veiligheid (koppelgrenzen, roll/pitch grenzen, CoM hoogte), snelheidsvolging en gait-structuur (contactpatronen, duty factors, fase-synchronisatie).
   • Parameter Kalibratie: Drempelwaarden voor de STL-predicaten worden gefit aan de expert-data met behulp van empirische kwantielen (bijv. het 99ste percentiel voor foutmarges) om ervoor te zorgen dat de specificaties worden voldaan door succesvol gedrag zonder transiënte ruis overmatig te bestraffen.

3. Reward Shaping via Robustness:
   De STL-specificaties worden omgezet in een dichte, continue beloningssignaal met behulp van kwantitatieve robuustheidssemantiek.

   • Predicaten: Specifieke predicaten worden gedefinieerd voor elke modus (bijv. diagonale fase-fout voor trot, aerial phase bezetting voor bound, onderdrukking van diagonale patronen voor bound).
   • Aggregatie: De robuheidswaarden ($\rho$) voor veiligheid, tracking en patroonrestricties worden geaggregeerd met een teken-behoudende soft-min functie en genormaliseerd via $\tanh(\rho)$ om te mappen naar $[-1, 1]$.
   • Finale Beloning: De scalaire beloning is een gewogen som van de genormaliseerde robuidheidstermen minus een energie-efficiëntie straf (koppelinspanning).

4. Trainingspipeline:
   De aanpak wordt geïnstantieerd op de Barkour vb quadruped robot binnen de MuJoCo XLA (MJX) simulator.

   • Algoritme: Proximal Policy Optimization (PPO) wordt gebruikt.
   • Optimalisatie: Parallellisatie op GPU's en domain randomization worden ingezet om trainingssnelheid en policy-robuustheid te verbeteren.
   • Curriculum: Training begint met lagere snelheidsbereiken en breidt geleidelijk uit om ook het "bound" regime te omvatten.

Belangrijkste Bijdragen

1. Modus-Bewuste Logica-gebaseerde Beloningen: Een framework waar verschillende gecommandeerde snelheden onderscheidende STL-specificaties activeren, wat een enkele policy in staat stelt meerdere gait-structuren te leren.
2. Data-Gedreven Parameter Leren: Een pipeline die parametrische gait-templates direct uit expert-trajecten past, wat interpreteerbare specificaties oplevert die zijn uitgelijnd met werkelijke gait-statistieken in plaats van heuristische gissingen.
3. Verenigde Multi-Gait Policy: Een enkele policy die succesvol snelheidscommando's volgt over walking, trotting en bounding regimes, waarbij lagere commando-volgfouten worden behaald vergeleken met heuristische baselines.
4. Interpreteerbare Diagnostiek: Het gebruik van STL-robuidheidssignalen maakt fouttoeschrijving mogelijk. Als een rollout faalt, kunnen specifieke overtreden predicaten (bijv. onvoldoende ondersteuning, actuatorlimieten) worden geïdentificeerd, wat een praktisch hulpmiddel biedt voor debugging.

Experimentele Resultaten
De auteurs evalueerden de STL-gevormde policy tegen twee baselines met handmatig ontworpen beloningen (heuristic-best en heuristic-default) op de Barkour robot.

• Metrieken: Cost of Transportation (CoT), survival rate, en success rate (gedefinieerd als gemiddelde voorwaartse snelheid binnen $\pm 15\%$ van het commando).
• Prestaties: De STL-gebaseerde policy vertoonde strakkere snelheidsvolging en een stabielere training.
• Hoge Snelheid Robuustheid: Cruciaal is dat de STL-policy een perfecte survival en success rate behield over het gehele geteste snelheidsbereik, inclus inclusief hoge snelheidscommando's ($1.9 - 2.1$ m/s), waar de heuristische baselines begonnen te degraderen in prestaties.

Betekenis en Claims
Het artikel claimt dat het framework een gestructureerd, analyseerbaar en specificatie-gestuurd alternatief biedt voor zowel black-box latente representatie methoden als puur heuristische reward shaping. Door locomotie-objectieven te coderen als logische specificaties, biedt de aanpak:

• Expliciete controle over gait-gedragingen en contactsequenties.
• Verbeterde interpreteerbaarheid door policy-fouten te koppelen aan specifieke logische schendingen.
• Een oplossing voor de engineering-uitdaging van het leren van een verenigde policy die zijn gait-structuur aanpast over snelheidsregimes zonder dat hiervoor aparte controllers of complexe hiërarchische schakelmechanismen nodig zijn.

Het werk demonstreert dat formele specificaties effectief kunnen worden geïntegreerd in deep RL-pipelines om zowel de prestaties als de debugbaarheid van legged locomotion policies te verbeteren.