=== RÉSUMÉ TECHNIQUE ===

Résumé technique : Des spécifications générées par LLM à l'apprentissage de la locomotion quadrupède

Énoncé du problème

L'apprentissage par renforcement profond (RL) a permis aux robots quadrupèdes d'apprendre une locomotion agile, pourtant les performances restent fortement dépendantes de l'ingénierie manuelle des fonctions de récompense. La conception de ces récompenses nécessite une expertise approfondie du domaine pour équilibrer les termes locaux (suivi, posture, énergie) et repose souvent sur un ajustement empirique plutôt que sur des principes fondamentaux. De plus, les récompenses locales numériques ne décrivent pas explicitement le comportement temporel global souhaité, ce qui est particulièrement critique pour la locomotion multi-allures où la marche, le trot et le bond diffèrent par la synchronisation des contacts et les schémas d'appui. Bien que les spécifications formelles comme la Logique Temporelle du Signal (STL) offrent interprétabilité et robustesse quantitative, leur rédaction manuelle exige également une expertise significative. Inversement, les approches récentes utilisant des Grands Modèles de Langage (LLM) pour générer directement du code de récompense à partir du langage naturel manquent souvent de la rigueur structurelle nécessaire aux contraintes temporelles complexes. Cet article traite de l'écart entre la génération de spécifications de récompense structurées temporellement et interprétables via des LLM, tout en ancrant leurs paramètres numériques dans des données d'experts.

Méthodologie

Les auteurs proposent un pipeline qui exploite les LLM pour générer la structure des spécifications de Logique Temporelle du Signal Paramétrique (PSTL), tout en utilisant des trajectoires d'experts pour instancier les paramètres et filtrer la sortie.

1. Génération de spécifications par LLM :

   • Les modèles (GPT-5.5 et Qwen 3.6) sont sollicités avec des objectifs de locomotion en langage naturel et une grammaire STL contrainte.
   • Crucialement, on demande aux LLM de proposer uniquement la structure symbolique (modèles/templates) pour le suivi de commande, la sécurité et la structure de la cadence. Les seuils numériques et les constantes temporelles sont laissés comme paramètres symboliques à estimer ultérieurement, empêchant le LLM d'inventer des valeurs arbitraires.
   • Deux configurations sont explorées :
     • Sensible à la cadence (Multi-allure) : Le prompt définit trois régimes de vitesse (marche-trot, trot, bond) basés sur les transitions du nombre de Froude. Le LLM génère des spécifications distinctes pour chaque régime.
     • Indépendante de la cadence (Agnostique) : Le prompt ne prescrit pas de cadences spécifiques, permettant au robot de découvrir des schémas de contact.

2. Ancrage de données et filtrage par cohérence d'expert :

   • Les paramètres numériques des modèles PSTL générés sont estimés à partir d'un ensemble de données de 50 trajectoires d'experts par régime.
   • Un mécanisme de filtrage est appliqué : une spécification générée n'est conservée que si sa robustesse médiane sur les trajectoires d'experts est non négative ($Q_{0.50}(R_\phi) \ge 0$). Cela écarte les spécifications qui sont systématiquement violées par le comportement de l'expert, garantissant que le signal de récompense s'aligne avec la compétence démontrée.

3. Construction de la récompense et entraînement :

   • Les spécifications retenues sont converties en fonctions de récompense lisses à historique fini en utilisant la sémantique de robustesse STL.
   • Les valeurs de robustesse des spécifications actives sont agrégées à l'aide d'une fonction soft-min et normalisées via $\tanh$ pour éviter la dominance par de grandes magnitudes.
   • La récompense scalaire finale est une somme pondérée des termes de sécurité, de suivi et de patron.
   • Les politiques sont entraînées via l'Optimisation de Politique Proximale (PPO) dans l'environnement de simulation MuJoCo XLA (MJX) avec le robot quadrupède Barkour.

Contributions clés

1. Pipeline hybride LLM-Expert : Un cadre novateur où les LLM génèrent la structure symbolique de spécifications de locomotion interprétables, tandis que les données d'experts ancrent les paramètres numériques.
2. Filtre de cohérence d'expert : Un mécanisme pour écarter les spécifications générées par LLM qui contredisent le comportement démontré de l'expert (robustesse médiane < 0), empêissant l'introduction de contraintes systématiquement violées dans la récompense.
3. Évaluation comparative des formulations : Une investigation sur la manière dont la prescription explicite de la structure de la cadence (sensible à la cadence) versus l'autorisation de comportements émergents (agnostique) affecte la locomotion apprise.
4. Benchmarking : Une comparaison complète avec les heuristiques conçues à la main, le code de récompense généré directement par LLM (Text2Reward) et un oracle de commutation d'expert.

Résultats

L'étude évalue les performances sur des vitesses allant de 0,3 m/s à 2,1 m/s en utilisant des métriques incluant le Coût de Transport (CoT), le taux de survie, le succès de commande et la correspondance de la cadence.

• Performance Agnostique (Indépendante de la cadence) :

  • GPT-5.5 et Text2Reward (Agnostique) ont obtenu les meilleures performances quantitatives, maintenant 100 % de survie et de succès de commande sur toutes les vitesses avec un faible CoT.
  • Cependant, l'inspection visuelle a révélé une faille critique : ces politiques ont appris un schéma de contact de type "bond" sur toute la plage de vitesse, y compris à basse vitesse (0,3 m/s). Cela a entraîné des mouvements de jambes antinaturels à haute cadence et des oscillations verticales, indiquant que des scores de succès quantitatifs élevés ne garantissent pas un contrôle dynamiquement approprié.
  • Qwen 3.6 (Agnostique) n'a pas survécu à des vitesses $\ge 1,6$ m/s.

• Performance Sensible à la cadence (Multi-allure) :

  • Qwen 3.6 (Multi-allure) : A atteint 100 % de survie et de succès de commande sur toute la plage de vitesses (0,3–2,1 m/s) et a réussi à correspondre à la cadence cible de "bond" à haute vitesse.
  • GPT-5.5 (Multi-allure) : A bien capturé les cadences de basse/moyenne vitesse mais a échoué dans le suivi de commande à des vitesses $\ge 1,9$ m/s.
  • Text2Reward (Multi-allure) : A totalement échoué à haute vitesse (1,9–2,1 m/s), se terminant systématiquement lors de chaque exécution.
  • Conçu à la main (Heuristique) : A perdu en précision de suivi aux vitesses les plus élevées (2,0–2,1 m/s).

• Ablation sur l'horizon de robustesse ($H$) :

  • Des horizons temporels plus courts ($H \in \{1, 5\}$) ont généralement produit des politiques plus stables et réussies.
  • Des horizons plus longs ($H=20, 30$) ont souvent dégradé les performances, car l'opérateur "toujours" ($G$) de la STL dépend de la pire valeur dans la fenêtre, maintenant les violations passées dans le signal de récompense plus longtemps et compliquant l'attribution de crédit.

• Comparaison des modèles :

  • La performance relative de GPT-5.5 et Qwen 3.6 dépendait fortement de la configuration de contrôle. GPT-5.5 excellait dans le cadre agnostique, tandis que Qwen 3.6 surpassait celui-ci dans le cadre multi-allure, particulièrement à haute vitesse.

Signification et affirmations

L'article affirme que l'insertion de la logique temporelle comme représentation intermédiaire entre la génération par LLM et l'apprentissage de la politique offre des avantages distincts par rapport à la génération directe de code de récompense, particulièrement pour la locomotion à haute vitesse. L'approche basée sur la STL (spécifiquement Qwen 3.6 dans le cadre multi-allure) a réussi à apprendre la cadence de "bond" haute vitesse souhaitée là où la génération de code directe (Text2Reward) a échoué.

Cependant, les auteurs maintiennent une position modeste concernant les conclusions :

• Absence de dominance universelle : Aucune formulation de récompense ne domine universellement à travers les deux configurations (sensible à la cadence vs agnostique) et tous les critères d'évaluation.
• Limites des métriques quantitatives : Les résultats soulignent qu'un succès élevé de suivi de commande ne garantit pas la récupération des structures de cadence prévues ou d'un mouvement naturel, comme on l'a vu avec les politiques agnostiques qui ont adopté une cadence de bond à basse vitesse.
• Contrainte de simulation : Les auteurs notent explicitement que les évaluations sont confinées à la simulation (MJX). Bien que la randomisation du domaine ait été utilisée, la transférabilité sim-to-real de ces cadences multi-allures apprises n'a pas encore été établie sur du matériel physique.

Le travail démontre que les LLM peuvent efficacement proposer la structure de spécifications formelles, mais que les paramètres et la validité de ces spécifications doivent être rigoureusement ancrés dans des données d'experts pour produire des politiques de locomotion robustes, interprétables et efficaces.