Resumen Técnico: De especificaciones generadas por LLM a la locomoción cuadrúpeda aprendida

Planteamiento del Problema

El aprendizaje por refuerzo profundo (RL) ha permitido que los robots cuadrúpedos aprendan locomoción ágil, pero el rendimiento sigue dependiendo en gran medida de la ingeniería manual de funciones de recompensa. El diseño de estas recompensas requiere una experiencia sustancial en el dominio para equilibrar términos locales (seguimiento, postura, energía) y a menudo se basa en el ajuste empírico en lugar de en los primeros principios. Además, las recompensas locales numéricas no describen explícitamente el comportamiento temporal global deseado, lo cual es particularmente crítico para la locomoción de marcha múltiple donde el caminar, el trote y el salto (bounding) difieren en la sincronización de contacto y los patrones de soporte. Si bien las especificaciones formales como la Lógica Temporal de Señales (STL) ofrecen interpretabilidad y robustez cuantitativa, su redacción manual aún requiere una experiencia significativa. Por el contrario, los enfoques recientes de Modelos de Lenguaje de Gran Escala (LLM) que generan código de recompensa directamente a partir de lenguaje natural suelen carecer de la rigurosidad estructural necesaria para las restricciones temporales complejas. Este artículo aborda la brecha de la generación de especificaciones de recompensa interpretables y temporalmente estructuradas utilizando LLMs, mientras fundamenta sus parámetros numéricos en datos de expertos.

Metodología

Los autores proponen un flujo de trabajo que aprovecha los LLMs para generar la estructura de las especificaciones de Lógica Temporal de Señales Paramétrica (PSTL), mientras utiliza trayectorias de expertos para instanciar los parámetros y filtrar el resultado.

1. Generación de Especificaciones mediante LLM:

   • Los modelos (GPT-5.5 y Qwen 3.6) son inducidos con objetivos de locomoción en lenguaje natural y una gramática STL restringida.
   • Crucialmente, se le pide a los LLMs que propongan únicamente la estructura simbólica (plantillas) para el seguimiento de comandos, la seguridad y la estructura de la marcha. Los umbrales numéricos y las constantes temporales se dejan como parámetros simbólicos para ser estimados posteriormente, evitando que el LLM invente valores arbitrarios.
   • Se exploran dos configuraciones:
     • Con conciencia de marcha (Multi-Gait): El prompt define tres regímenes de velocidad (caminar-trote, trote, salto) basados en las transiciones del número de Froude. El LLM genera especificaciones distintas para cada régimen.
     • Agnóstico a la marcha (Gait-Agnostic): El prompt no prescribe marchas específicas, permitiendo que el robot descubra los patrones de contacto.

2. Fundamentación de Datos y Filtrado de Consistencia con el Experto:

   • Los parámetros numéricos para las plantillas PSTL generadas se estiman a partir de un conjunto de datos de 50 trayectorias de expertos por régimen.
   • Se aplica un mecanismo de filtrado: una especificación generada se conserva solo si su robustez mediana sobre las trayectorias de expertos es no negativa ($Q_{0.50}(R_\phi) \ge 0$). Esto descarta especificaciones que son sistemáticamente violadas por el comportamiento experto, asegurando que la señal de recompensa se alinee con la competencia demostrada.

3. Construcción de Recompensa y Entrenamiento:

   • Las especificaciones retenidas se convierten en funciones de recompensa suaves de historial finito utilizando la semántica de robustez de STL.
   • Los valores de robustez para las especificaciones activas se agregan usando una función soft-min y se normalizan mediante $\tanh$ para evitar el predominio de magnitudes grandes.
   • La recompensa escalar final es una suma ponderada de términos de seguridad, seguimiento y patrón.
   • Las políticas se entrenan utilizando Optimización de Política Próxima (PPO) en el entorno de simulación MuJoCo XLA (MJX) con el robot cuadrúpedo Barkour.

Contribuciones Clave

1. Flujo Híbrido LLM-Experto: Un marco novedoso donde los LLMs generan la estructura simbólica de especificaciones de locomoción interpretables, mientras que los datos de expertos fundamentan los parámetros numéricos.
2. Filtro de Consistencia con el Experto: Un mecanismo para descartar especificaciones generadas por LLM que contradicen el comportamiento experto demostrado (robustez mediana < 0), evitando la introducción de restricciones sistemáticamente violadas en la recompensa.
3. Evaluación Comparativa de Formulaciones: Una investigación sobre cómo prescribir explícitamente la estructura de la marcha (con conciencia de marcha) frente a permitir el comportamiento emergente (agnóstico a la marcha) afecta la locomoción aprendida.
4. Benchmarking: Una comparación exhaustiva contra heurísticas diseñadas a mano, generación directa de código de recompensa por LLM (Text2Reward) y un oráculo de cambio de experto.

Resultados

El estudio evalúa el rendimiento a través de velocidades de avance desde 0.3 m/s hasta 2.1 m/s utilizando métricas que incluyen el Costo de Transporte (CoT), la tasa de supervivencia, el éxito del comando y la coincidencia de la marcha.

• Rendimiento Agnóstico a la Marcha:

  • GPT-5.5 y Text2Reward (Agnóstico a la marcha) lograron el mayor rendimiento cuantitativo, manteniendo un 100% de supervivencia y éxito de comando en todas las velocidades con un bajo CoT.
  • Sin embargo, la inspección visual reveló un fallo crítico: estas políticas aprendieron un patrón de contacto tipo "salto" (bound-like) en todo el rango de velocidades, incluyendo velocidades bajas (0.3 m/s). Esto resultó en movimientos de patas antinaturales de alta cadencia y oscilaciones verticales, indicando que los altos puntajes de éxito cuantitativo no garantizan un control dinámicamente apropiado.
  • Qwen 3.6 (Agnóstico a la marcha) no logró sobrevivir a velocidades $\ge 1.6$ m/s.

• Rendimiento con Conciencia de Marcha (Multi-Gait):

  • Qwen 3.6 (Multi-Gait): Logró un 100% de supervivencia y éxito de comando en todo el rango de velocidades (0.3–2.1 m/s) y logró coincidir con éxito la marcha de "salto" objetivo a altas velocidades.
  • GPT-5.5 (Multi-Gait): Capturó bien las marchas de baja/media velocidad, pero falló en el seguimiento de comandos a velocidades $\ge 1.9$ m/s.
  • Text2Reward (Multi-Gait): Falló completamente a altas velocidades (1.9–2.1 m/s), terminando en cada ejecución (rollout).
  • Diseñado a Mano (Heurístico): Perdió precisión de seguimiento en las velocidades más altas (2.0–2.1 m/s).

• Ablación sobre el Horizonte de Robustez ($H$):

  • Los horizontes temporales más cortos ($H \in \{1, 5\}$) generalmente produjeron políticas más estables y exitosas.
  • Los horizontes más largos ($H=20, 30$) a menudo degradaron el rendimiento, ya que el operador "siempre" ($G$) en STL depende del peor valor en la ventana, manteniendo las violaciones pasadas en la señal de recompensa durante más tiempo y complicando la asignación de crédito.

• Comparación de Modelos:

  • El rendimiento relativo de GPT-5.5 y Qwen 3.6 dependió altamente de la configuración de control. GPT-5.5 destacó en la configuración agnóstica a la marcha, mientras que Qwen 3.6 superó a este último en la configuración de marcha múltiple, particularmente a altas velocidades.

Significado y Afirmaciones

El artículo afirma que insertar la lógica temporal como una representación intermedia entre la generación por LLM y el aprendizaje de la política ofrece ventajas distintivas sobre la generación directa de código de recompensa, particularmente para la locomoción de alta velocidad. El enfoque basado en STL (específicamente Qwen 3.6 en la configuración de marcha múltiple) aprendió con éxito la marcha de "salto" deseada a alta velocidad donde la generación directa de código (Text2Reward) falló.

Sin embargo, los autores mantienen una postura modesta respecto a los hallazgos:

• Sin Dominancia Universal: Ninguna formulación de recompensa domina universalmente en ambas configuraciones de tareas (con conciencia de marcha vs. agnóstica) y en todos los criterios de evaluación.
• Limitaciones de las Métricas Cuantitativas: Los resultados resaltan que un alto éxito en el seguimiento de comandos no garantiza la recuperación de las estructuras de marcha pretendidas o del movimiento natural, como se vio en las políticas agnósticas a la marcha que adoptaron una marcha de salto a bajas velocidades.
• Restricción de Simulación: Los autores señalan explícitamente que las evaluaciones se limitan a la simulación (MJX). Aunque se utilizó la aleatorización de dominio, la transferibilidad de estas marchas aprendidas de múltiples tipos de simulación a la realidad (sim-to-real) en hardware físico aún no se ha establecido.

El trabajo demuestra que los LLMs pueden proponer efectivamente la estructura de las especificaciones formales, pero los parámetros y la validez de dichas especificaciones deben estar rigurosamente fundamentados en datos de expertos para producir políticas de locomoción robustas, interpretables y efectivas.