When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

Resumen Técnico: ¿Cuándo son los LLM optimizadores de políticas suficientes para tareas de RL secuencial?

Planteamiento del problema
El Aprendizaje por Refuerzo (RL) ha establecido como objetivo central la producción de políticas que maximicen el retorno esperado mediante la interacción con un entorno. Sin embargo, los algoritmos de RL estándar (p. ej., PPO, SAC, DQN) suelen ser computacionalmente intensivos, requiriendo una interacción sustancial con el entorno, y son frágiles debido a su dependencia de un ajuste cuidadoso de hiperparámetros, la selección de la arquitectura del modelo y la elección del algoritmo. Este artículo investiga si los Modelos de Lenguaje de Gran Escala (LLM) pueden servir como optimizadores de políticas de "caja negra" efectivos que actúen como reemplazos directos para los algoritmos de RL estándar. Específicamente, los autores se preguntan: ¿Puede un LLM, dada únicamente una descripción en Python del espacio de estados, el espacio de acciones y la función de recompensa, generar y refinar una política que maximice el retorno esperado sin las extensas decisiones de diseño y la ineficiencia de muestreo típicas del RL tradicional?

Metodología: Optimización de Políticas Mediante Prompts (PromptPO)
Los autores introducen Prompted Policy Optimization (PromptPO), un marco iterativo donde un LLM genera código Python ejecutable que representa una política. El proceso opera de la siguiente manera:

1. Entrada: El LLM recibe una descripción en formato Python del espacio de estados, el espacio de acciones y la función de recompensa del entorno. Crucialmente, los autores evitan proporcionar la dinámica de transición explícita para evaluar el método en entornos libres de modelo (model-free).
2. Generación de la Función de Evaluación: Antes de la generación de la política, se le solicita al LLM que implemente una clase Feedback. Esta clase resume estadísticas a nivel de trayectoria (p. ej., media de recompensa, valores mínimos/máximos) para proporcionar supervisión más allá de la señal de recompensa bruta, de forma análoga a cómo los algoritmos de RL utilizan errores de diferencia temporal.
3. Generación de la Política: Se le solicita al LLM que genere una clase de política (implementada en Python) que tome una observación y devuelva una acción para maximizar el retorno esperado.
4. Refinamiento Iterativo:
   • Se muestrean $N$ candidatas políticas del LLM.
   • Cada política se ejecuta (rollout) en el entorno.
   • Se selecciona la mejor política (basada en el retorno).
   • El LLM recibe una reflexión en lenguaje natural comparando el rendimiento de la nueva política frente al historial de intentos previos.
   • Utilizando este feedback y el historial de las mejores políticas, el LLM genera una nueva política para la siguiente ronda.
   • Si ocurren errores de ejecución de código, se le solicita al LLM que reimplente el artefacto de código relevante.

Los autores utilizan Gemini 3 Pro para todos los experimentos. El método depende de la capacidad del LLM para sintetizar código que implemente diversas estrategias de optimización, que van desde planes basados en reglas hasta algoritmos de planificación como la iteración de valor, sin necesidad de un prompt explícito para usarlos.

Contribuciones Clave

• Introducción del Marco: La propuesta de PromptPO como un método para tratar a los LLM como optimizadores de políticas que emiten código ejecutable en lugar de acciones directas o vectores de parámetros.
• Evaluación Empírica: Una evaluación exhaustiva en cuatro dominios distintos: entornos de exploración difícil (NoiseWorld, Point Maze), manipulación robótica (Meta-World), control continuo (MuJoCo) y tareas de control del mundo real (Mitigación de Pandemias, Monitoreo de Glucosa, Control de Tráfico).
• Análisis de Condiciones Suficientes: La identificación de escenarios donde la optimización basada en LLM es suficiente frente a donde falla, vinculando específicamente el éxito a la capacidad de aprovechar el conocimiento previo sobre el entorno o la estrategia de optimización.

Resultados Experimentales
El estudio compara PromptPO contra líneas base de RL libre de modelo estándar (PPO, SAC, DQN/QR-DQN, TD3) en 19 entornos:

• Entornos de Exploración: PromptPO iguala o supera el rendimiento de las mejores líneas base de RL en 15/19 entornos en total. En NoiseWorld (mundos de rejilla generados aleatoriamente) y Point Maze, PromptPO demuestra capacidades de exploración sólidas. Notablemente, en NoiseWorld, PromptPO a menudo logra un rendimiento óptimo sin necesidad de actualizaciones de feedback del entorno, lo que sugiere que aprovecha los priors para implementar algoritmos de planificación (p. ej., Iteración de Valor, Dijkstra) directamente en el código generado.
• Robótica (Meta-World vs. MuJoCo):
  • Meta-World: PromptPO es significativamente más eficiente en muestras que el RL en todas las tareas y supera el rendimiento final de RL en la tarea de "Pick and Place". El espacio de acciones aquí implica desplazamientos del efector final.
  • MuJoCo: PromptPO rinde por debajo de los algoritmos de RL estándar. Los autores atribuyen esto al requisito de un control continuo de grano fino (torques de articulación), sobre el cual los LLM actuales tienen dificultades para razonar eficazmente.
• Control del Mundo Real: En tareas que involucran regulaciones de confinamiento pandémico, administración de insulina y control de tráfico de vehículos autónomos, PromptPO es sustancialmente más eficiente en muestras (p. ej., >60x en Mitigación de Pandemias) y a menudo logra retornos finales más altos que PPO dentro del mismo presupuesto de entrenamiento.
• Tipos de Política: Sin instrucciones explícitas, PromptPO genera autónomamente tipos de políticas diversos, incluyendo controladores proporcionales ajustados, heurísticas basadas en reglas y algoritmos de planificación, adaptando la estrategia a la naturaleza del entorno.

Significancia y Reivindicaciones
El artículo afirma que la optimización de políticas basada en LLM es una alternativa suficiente y a menudo superior al RL estándar para muchas tareas de toma de decisiones secuenciales, particularmente aquellas donde el LLM puede aprovechar el conocimiento previo sobre el entorno o las estrategias de optimización efectivas.

• Eficiencia de Muestreo: La principal ventaja de PromptPO es su eficiencia de muestreo, derivada de la preentrenada de los LLM en vastos conjuntos de datos que codifican conocimiento estructural sobre optimización y control, reduando la necesidad de una extensa interacción con el entorno.
• Accesibilidad: PromptPO reduce la barrera de entrada para el RL, ya que requiere menos hiperparámetros y decisiones de diseño algorítmico que los métodos estándar, haciéndolo accesible para profesionales sin una profunda experiencia en RL.
• Limitaciones: Los autores reconocen modestamente que el método actualmente tiene dificultades en entornos que requieren un control continuo de grano fino (como los torques de las articulaciones en MuJoCo) o donde la función de recompensa es una red neuronal no interpretable (p. ej., aprendida vía RLHF) en lugar de una función Python.
• Generalización: Los resultados sugieren que el éxito de PromptPO puede derivar menos del conocimiento específico del entorno (como se evidencia en el éxito en NoiseWorlds generados aleatoriamente) y más de un prior sobre las estrategias de optimización efectivas.

El artículo concluye que, si bien los LLM aún pueden no superar las capacidades humanas en todos los dominios, representan una herramienta práctica y poderosa para generar políticas de alto rendimiento en una amplia gama de entornos, facilitando potencialmente una adopción más amplia del RL en aplicaciones del mundo real.