From LLM-Generated Specifications to Learned Quadruped Locomotion

=== TECHNISCHE ZUSAMMENFASSUNG: Von LLM-generierten Spezifikationen zu gelerntem quadrupedalem Lokomotionsverhalten ===

Problemstellung

Tiefes Reinforcement Learning (RL) hat quadrupeden Robotern ermöglicht, agile Lokomotion zu erlernen, doch die Leistung bleibt stark von der manuellen Konstruktion von Belohnungsfunktionen (Reward Functions) abhängig. Das Entwerfen dieser Belohnungen erfordert erhebliches Fachwissen, um lokale Terme (Tracking, Haltung, Energie) auszubalancieren, und stützt sich oft auf empirische Abstimmung statt auf erste Prinzipien. Darüber hinaus können numerische lokale Belohnungen das gewünschte globale zeitliche Verhalten nicht explizit beschreiben, was besonders kritisch für die Lokomotion mit mehreren Gängen (Multi-Gait) ist, bei der sich Gehen, Trab und Sprung (Bounding) in Kontaktzeitpunkten und Stützmustern unterscheiden. Während formale Spezifikationen wie die Signal Temporal Logic (STL) Interpretierbarkeit und quantitative Robustheit bieten, erfordert das manuelle Schreiben dieser immer noch erhebliches Fachwissen. Umgekehrt mangelt es jüngsten LLM-Ansätzen, die Belohnungscode direkt aus natürlicher Sprache generieren, oft an der strukturellen Strenge, die für komplexe zeitliche Bedingungen erforderlich ist. Diese Arbeit adressiert die Lücke bei der Generierung interpretierbarer, zeitlich strukturierter Belohnungsspezifikationen mittels LLMs, während sie deren numerische Parameter anhand von Expertendaten fundiert.

Methodik

Die Autoren schlagen eine Pipeline vor, die LLMs nutzt, um die Struktur von parametrisierten Signal Temporal Logic (PSTL)-Spezifikationen zu generieren, während Expertentrajektorien dazu verwendet werden, die Parameter zu instanziieren und die Ausgabe zu filtern.

1. LLM-Spezifikationsgenerierung:

   • Modelle (GPT-5.5 und Qwen 3.6) werden mit natürlicher Sprache zu Lokomotionszielen und einer beschränkten STL-Grammatik gepromptet.
   • Entscheidend ist, dass die LLMs angewiesen werden, nur die symbolische Struktur (Templates) für Command-Tracking, Sicherheit und Gangstruktur vorzuschlagen. Numerische Schwellenwerte und zeitliche Konstanten werden als symbolische Parameter belassen, die später geschätzt werden sollen, um zu verhindern, dass das LLM willkürliche Werte erfindet.
   • Zwei Einstellungen werden untersucht:
     • Gang-bewusst (Multi-Gait): Der Prompt definiert drei Geschwindigkeitsregime (Walk-Trot, Trab, Sprung/Bound) basierend auf Froude-Zahlen-Übergängen. Das LLM generiert distinkte Spezifikationen für jedes Regime.
     • Gang-agnostisch: Der Prompt schreibt keine spezifischen Gänge vor, wodurch der Roboter die Kontaktmuster selbst entdecken kann.

2. Datengrundierung und Expertenkonsistenz-Filterung:

   • Die numerischen Parameter der generierten PSTL-Templates werden aus einem Datensatz von 50 Expertentrajektorien pro Regime geschätzt.
   • Ein Filtermechanismus wird angewendet: Eine generierte Spezifikation wird nur beibehalten, wenn ihre mediane Robustheit über die Expertentrajektorien nicht negativ ist ($Q_{0.50}(R_\phi) \ge 0$). Dies verwirft Spezifikationen, die systematisch durch Expertenverhalten verletzt werden, und stellt sicher, dass das Belohnungssignal mit der demonstrierten Kompetenz übereinstimmt.

3. Belohnungskonstruktion und Training:

   • Die beibehaltenen Spezifikationen werden unter Verwendung der STL-Robustheitssemantik in glatte Reward-Funktionen mit endlichem Zeitverlauf umgewandelt.
   • Die Robustheitswerte für aktive Spezifikationen werden mittels einer Soft-Min-Funktion aggregiert und über $\tanh$ normalisiert, um eine Dominanz durch große Magnituden zu verhindern.
   • Die endgültige skalare Belohnung ist eine gewichtete Summe aus Sicherheits-, Tracking- und Muster-Termen.
   • Die Policys werden mittels Proximal Policy Optimization (PPO) in der MuJoCo XLA (MJX) Simulationsumgebung mit dem Barkour-Quadrupeden trainiert.

Wichtigste Beiträge

1. LLM-Experten-Hybrid-Pipeline: Ein neuartiges Framework, bei dem LLMs die symbolische Struktur interpretierbarer Lokomationsspezifikationen generieren, während Expertendaten die numerischen Parameter fundieren.
2. Expertenkonsistenz-Filter: Ein Mechanismus, um LLM-generierte Spezifikationen zu verwerfen, die dem demonstrierten Expertenverhalten widersprechen (mediane Robustheit < 0), wodurch die Einführung systematisch verletzter Constraints in die Belohnung verhindert wird.
3. Vergleichende Evaluierung von Formulierungen: Eine Untersuchung darüber, wie das explizite Vorschreiben der Gangstruktur (Gait-Aware) im Vergleich zum Zulassen von emergentem Verhalten (Gait-Agnostic) die gelernte Lokomotion beeinflusst.
4. Benchmarking: Ein umfassender Vergleich gegen handgefertigte Heuristiken, direkten LLM-generierten Reward-Code (Text2Reward) und einen Expert-Switching-Oracle.

Ergebnisse

Die Studie evaluiert die Leistung über Geschwindigkeiten von 0,3 m/s bis 2,1 m/s unter Verwendung von Metriken wie Cost of Transportation (CoT), Überlebensrate, Command-Erfolg und Gang-Übereinstimmung.

• Gait-Agnostic Performance:

  • GPT-5.5 und Text2Reward (Gait-Agnostic) erreichten die stärkste quantitative Leistung und hielten eine 100%ige Überlebensrate und Command-Erfolgsrate über alle Geschwindigkeiten bei niedrigem CoT aufrecht.
  • Eine visuelle Inspektion enthüllte jedoch einen kritischen Fehler: Diese Policies lernten ein "Sprung-ähnliches" (Bound-like) Kontaktmuster über den gesamten Geschwindigkeitsbereich, einschließlich niedriger Geschwindigkeiten (0,3 m/s). Dies führte zu unnatürlichen, hochfrequenten Beinbewegungen und vertikalen Oszillationen, was darauf hindeutet, dass hohe quantitative Erfolgsmetriken keine dynamisch angemessene Kontrolle garantieren.
  • Qwen 3.6 (Gait-Agnostic) konnte bei Geschwindigkeiten $\ge 1,6$ m/s nicht überleben.

• Gait-Aware (Multi-Gait) Performance:

  • Qwen 3.6 (Multi-Gait): Erreichte 100% Überlebensrate und Command-Erfolg über den vollen Geschwindigkeitsbereich (0,3–2,1 m/s) und passte erfolgreich den Ziel-Sprung-Gang (Bound) bei hohen Geschwindigkeiten an.
  • GPT-5.5 (Multi-Gait): Erfasste Low/Mid-Speed-Gänge gut, versagte aber beim Command-Tracking bei Geschwindigkeiten $\ge 1,9$ m/s.
  • Text2Reward (Multi-Gait): Versagte vollständig bei hohen Geschwindigkeiten (1,9–2,1 m/s) und endete in jedem Rollout.
  • Hand-Engineered (Heuristic): Verlor die Tracking-Genauigkeit bei den höchsten Geschwindigkeiten (2,0–2,1 m/s).

• Ablation zur Robustheits-Horizon ($H$):

  • Kürzere zeitliche Horizonte ($H \in \{1, 5\}$) lieferten im Allgemeinen stabilere und erfolgreichere Policies.
  • Längere Horizonte ($H=20, 30$) verschlechterten oft die Leistung, da der "Immer"-Operator ($G$) in der STL vom schlechtesten Wert im Fenster abhängt, was vergangene Verletzungen länger im Belohnungssignal hält und das Credit Assignment erschwert.

• Modellvergleich:

  • Die relative Leistung von GPT-5.5 und Qwen 3.6 hing stark von der Steuerungseinstellung ab. GPT-5.5 glänzte in der Gait-Agnostic-Einstellung, während Qwen 3.6 in der Multi-Gait-Einstellung überlegen war, insbesondere bei hohen Geschwindigkeiten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass das Einfügen von temporaler Logik als Zwischenrepräsentation zwischen LLM-Generierung und Policy-Learning deutliche Vorteile gegenüber der direkten Reward-Code-Generierung bietet, insbesondere für Hochgeschwindigkeits-Lokomotion. Der STL-basierte Ansatz (speziell Qwen 3.6 in der Multi-Gait-Einstellung) konnte den gewünschten Hochgeschwindigkeits-"Sprung"-Gang erfolgreich erlernen, wo die direkte Code-Generierung (Text2Reward) versagte.

Die Autoren vertreten jedoch eine moderate Position bezüglich der Ergebnisse:

• Keine universelle Dominanz: Keine einzelne Belohnungsformulierung dominiert universell über beide Task-Settings (Gait-Aware vs. Agnostic) und alle Evaluierungskriterien hinweg.
• Limitierungen quantitativer Metriken: Die Ergebnisse verdeutlichen, dass ein hoher Command-Tracking-Erfolg nicht die Wiederherstellung der intendierten Gangstrukturen oder natürlichen Bewegungen garantiert, wie es bei den Gait-Agnostic-Policies der Fall war, die bei niedrigen Geschwindigkeiten einen Sprung-Gang annahmen.
• Simulationsbeschränkung: Die Autoren weisen ausdrücklich darauf hin, dass die Evaluierungen auf die Simulation (MJX) beschränkt sind. Obwohl Domain Randomization verwendet wurde, wurde die Sim-to-Real-Übertragbarkeit dieser gelernten Multi-Gait-Verhaltensweisen auf physische Hardware noch nicht etabliert.

Die Arbeit zeigt, dass LLMs effektiv die Struktur formaler Spezifikationen vorschlagen können, aber die Parameter und die Validität dieser Spezifikationen rigoros durch Expertendaten fundiert werden müssen, um robuste, interpretierbare und effektive Lokomations-Policies zu erzeugen.