=== TECHNISCHE SAMENVATTING ===

Technische Samenvatting: Van door LLM gegenereerde specificaties naar geleerd quadrupede loopgedrag

Probleemstelling

Deep reinforcement learning (RL) heeft quadrupedale robots in staat gesteld om wendelend loopgedrag te leren, maar de prestaties blijven sterk afhankelijk van het handmatig ontwerpen van beloningsfuncties (reward functions). Het ontwerpen van deze beloningen vereist aanzienlijke domeinkennis om lokale termen (tracking, houding, energie) in balans te brengen en steunt vaak op empirische afstemming in plaats van op eerste principes. Bovendien beschrijven numerieke lokale beloningen niet expliciet het gewenste globale temporele gedrag, wat bijzonder cruciaal is voor multi-gait (meerdere gangen) loopgedrag waarbij wandelen, trottelen en bouncen verschillen in contacttiming en ondersteuningspatronen. Hoewel formele specificaties zoals Signal Temporal Logic (STL) interpreteerbaarheid en kwantitatieve robuustheid bieden, vereist het handmatig schrijven ervan nog steeds aanzienlijke expertise. Daarentegen missen recente benaderingen met Large Language Models (LLM's) die direct beloningscode genereren uit natuurlijke taal vaak de structurele strengheid die nodig is voor complexe temporele beperkingen. Dit artikel adresseert de kloof in het genereren van interpreteerbare, temporeel gestructureerde beloningsspecificaties met behulp van LLM's, terwijl de numerieke parameters worden gegrond in expertdata.

Methodologie

De auteurs stellen een pijplijn voor die gebruikmaakt van LLM's om de structuur van Parametrische Signal Temporal Logic (PSTL) specificaties te genereren, terwijl expert-trajecten worden gebruikt om de parameters te instantiëren en de output te filteren.

1. LLM Specificatiegeneratie:

   • Modellen (GPT-5.5 en Qwen 3.6) worden geprompt met natuurlijke taal locomotie-objectieven en een beperkte STL-grammatica.
   • Cruciaal is dat de LLM's worden gevraagd om alleen de symbolische structuur (templates) voor opdracht-tracking, veiligheid en gangstructuur voor te stellen. Numerieke drempelwaarden en temporele constanten worden als symbolische parameters overgelaten om later te worden geschat, wat voorkomt dat de LLM willekeurige waarden verzint.
   • Twee instellingen worden verkend:
     • Gait-Aware (Multi-Gait): De prompt definieert drie snelheidsregimes (wandelen-trottelen, trottelen, bouncen) gebaseerd op Froude-getal transities. De LLM genereert onderscheidende specificaties voor elk regime.
     • Gait-Agnostic: De prompt schrijft geen specifieke gangen voor, waardoor de robot contactpatronen kan ontdekken.

2. Data Gronding en Expert-Consistentie Filtering:

   • Numerieke parameters voor de gegenereerde PSTL-templates worden geschat vanuit een dataset van 50 expert-trajecten per regime.
   • Een filtermechanisme wordt toegepast: een gegenereerde specificatie wordt alleen behouden als de mediaan-robuustheid over de expert-trajecten niet-negatief is ($Q_{0.50}(R_\phi) \ge 0$). Dit elimineert specificaties die systematisch worden geschonden door expert-gedrag, waardoor het beloningssignaal in lijn blijft met gedemonstreerde competentie.

3. Beloningsconstructie en Training:

   • De behouden specificaties worden omgezet in vloeiende, finite-history beloningsfuncties met behulp van STL-robuustheidssemantiek.
   • Robuustheidswaarden voor actieve specificaties worden geaggregeerd met een soft-min functie en genormaliseerd via $\tanh$ om dominantie door grote magnitudes te voorkomen.
   • De uiteindelijke scalaire beloning is een gewogen som van veiligheid, tracking en patroontermen.
   • Policies worden getraind met Proximal Policy Optimization (PPO) in de MuJoCo XLA (MJX) simulatieomgeving met de Barkour quadruped robot.

Belangrijkste Bijdragen

1. LLM-Expert Hybride Pijplijn: Een nieuw framework waar LLM's de symbolische structuur van interpreteerbare locomotie-specificaties genereren, terwijl expert-data de numerieke parameters grondt.
2. Expert-Consistentie Filter: Een mechanisme om LLM-gegenereerde specificaties te verwijderen die het gedemonstreerde expert-gedrag tegenspreken (mediaan-robuustheid < 0), wat de introductie van systematisch geschonden beperkingen in de beloning voorkomt.
3. Comparatieve Evaluatie van Formuleringen: Een onderzoek naar hoe het expliciet voorschrijven van gangstructuur (gait-aware) versus het toestaan van emergent gedrag (gait-agnostic) het geleerde loopgedrag beïnvloedt.
4. Benchmarking: Een uitgebreide vergelijking met handmatig ontworpen heuristieken, directe LLM-gegenereerde beloningscode (Text2Reward) en een expert-switching oracle.

Resultaten

De studie evalueert de prestaties over voorwaartse snelheden van 0,3 m/s tot 2,1 m/s met metrieken waaronder Cost of Transportation (CoT), survival rate, command success en gait match.

• Gait-Agnostic Prestaties:

  • GPT-5.5 en Text2Reward (Gait-Agnostic) behaalden de sterkste kwantitatieve prestaties, waarbij ze 100% survival en command success behielden over alle snelheden met een lage CoT.
  • Echter, visuele inspectie onthulde een kritiek defect: deze policies leerden een "bounce-achtige" contactpatroon over het volledige snelheidsbereik, inclusief lage snelheden (0,3 m/s). Dit resulteerde in onnatuurlijke, hoog-cadente beenbewegingen en verticale oscillaties, wat aangeeft dat hoge kwantitatieve successcores geen dynamisch passende controle garanderen.
  • Qwen 3.6 (Gait-Agnostic) slaagde er niet in te overleven bij snelheden $\ge 1,6$ m/s.

• Gait-Aware (Multi-Gait) Prestaties:

  • Qwen 3.6 (Multi-Gait): Behaalde 100% survival en command success over het volledige snelheidsbereik (0,3–2,1 m/s) en mat succesvol de doelgestelde "bounce" gang bij hoge snelheden.
  • GPT-5.5 (Multi-Gait): Ving lage/middelmatige gangen goed op, maar faalde in command tracking bij snelheden $\ge 1,9$ m/s.
  • Text2Reward (Multi-Gait): Faalde volledig bij hoge snelheden (1,9–2,1 m/s), met terminaties in elke rollout.
  • Hand-Engineered (Heuristic): Verloor tracking-nauwkeurigheid bij de hoogste snelheden (2,0–2,1 m/s).

• Ablatie op Robuustheidshorizon ($H$):

  • Kortere temporele horizonten ($H \in \{1, 5\}$) leverden over het algemeen stabielere en succesvollere policies op.
  • Langere horizonten ($H=20, 30$) verslechterden de prestaties vaak, omdat de "always" ($G$) operator in STL afhankelijk is van de slechtste waarde in het venster, waardoor eerdere schendingen langer in het beloningssignaal blijven en credit assignment bemoeilijken.

• Modelvergelijking:

  • De relatieve prestaties van GPT-5.5 en Qwen 3.6 waren sterk afhankelijk van de controle-instelling. GPT-5.5 excelleerde in de gait-agnostic setting, terwijl Qwen 3.6 het beter deed in de multi-gait setting, met name bij hoge snelheden.

Betekenis en Claims

Het artikel claimt dat het invoegen van temporele logica als een intermediaire representatie tussen LLM-generatie en policy learning duidelijke voordelen biedt ten opzichte van directe beloningscode-generatie, met name voor hoge-snelheid locomotie. De STL-gebaseerde aanpak (specifiek Qwen 3.6 in de multi-gait setting) slaagde er succesvol in om de gewenste hoge-snelheid "bounce" gang te leren waar directe code-generatie (Text2Reward) faalde.

De auteurs nemen echter een bescheiden standpunt in over de bevindingen:

• Geen Universele Dominantie: Geen enkele beloningsformulering domineert universeel over zowel de taaksettings (gait-aware vs. agnostic) als alle evaluatiecriteria.
• Beperkingen van Kwantitatieve Metrieken: De resultaten benadrukken dat een hoog command-tracking succes niet garandeert dat de beoogde gangstructuren of natuurlijke bewegingen worden hersteld, zoals gezien bij de gait-agnostic policies die een bounce-gang adopteerden bij lage snelheden.
• Simulatiebeperking: De auteurs merken expliciet op dat de evaluaties beperkt zijn tot simulatie (MJX). Hoewel domain randomization werd gebruikt, is de sim-to-real transferbaarheid van deze geleerde multi-gait gedragingen op fysieke hardware nog niet vastgesteld.

Het werk demonstreert dat LLM's effectief de structuur van formele specificaties kunnen voorstellen, maar dat de parameters en de geldigheid van deze specificaties rigoureus gegrond moeten worden in expert-data om robuuste, interpreteerbare en effectieve locomotie-policies te produceren.