Resumen Técnico: Descubrimiento de Interfaces de Aprendizaje por Refuerzo con Modelos de Lenguaje Grande

Formulación del Problema

Los sistemas de aprendizaje por refuerzo (RL) dependen de interfaces de entorno, específicamente mapeos de observación ($\phi$) y funciones de recompensa ($R$), para definir el Proceso de Decisión de Markov (MDP) que experimenta un agente. Aunque avances recientes han utilizado Modelos de Lenguaje Grande (LLM) para automatizar el diseño de recompensas, estos enfoques suelen asumir un espacio de observación fijo y previamente ajustado. En muchos escenarios, los estados crudos del simulador contienen información mal estructurada que dificulta el aprendizaje, y la ingeniería manual tanto de observaciones como de recompensas sigue siendo un cuello de botella significativo.

Este artículo aborda el problema del descubrimiento de interfaces de RL a partir del estado crudo del simulador. El objetivo es sintetizar conjuntamente un mapeo de observación $\phi: S \to O$ y una función de recompensa $R: S \times A \times S \to \mathbb{R}$ para maximizar una métrica de éxito a nivel de trayectoria $F$. Los autores formalizan esto como un problema de optimización de dos niveles, donde el bucle externo busca la interfaz óptima $(\phi, R)$, y el bucle interno entrena un agente de RL $\pi$ en el MDP inducido $M_I = (O, A, T_\phi, R)$ para evaluar el rendimiento. El espacio de búsqueda consiste en programas ejecutables que operan directamente sobre las variables de estado del simulador.

Metodología: LIMEN

Los autores proponen LIMEN (Aprendizaje de Interfaces mediante Evolución Guiada por MDP), un marco evolutivo guiado por LLM diseñado para descubrir interfaces efectivas.

Componentes Principales

1. Representación de Programas Ejecutables: Tanto el mapeo de observación como la función de recompensa se representan como programas Python que utilizan operaciones numéricas compatibles con JAX. Esto permite que la búsqueda altere la dimensionalidad, la estructura y la semántica del espacio de entrada del agente y la señal de recompensa, en lugar de simplemente aprender incrustaciones dentro de un espacio fijo.
2. Evolución Guiada por LLM: El marco trata al LLM como un operador de mutación estructurado. Comenzando con una descripción de la tarea, el sistema genera interfaces candidatas. En iteraciones posteriores, el LLM recibe una instrucción que contiene la descripción de la tarea, una interfaz padre seleccionada de un archivo y retroalimentación de los candidatos de mejor rendimiento y los fallidos (incluyendo trazas de errores). Este bucle de retroalimentación orienta al LLM alejándose de patrones de código negativos.
3. Búsqueda de Calidad-Diversidad (MAP-Elites): Para evitar que la búsqueda colapse en una sola estrategia, LIMEN emplea un archivo MAP-Elites. El archivo se estructura mediante dos descriptores conductuales:
   • Dimensionalidad de la Observación: Agrupada en rangos uniformes (por ejemplo, 1–50, 51–100 características).
   • Complejidad Estructural de la Recompensa: Medida por el recuento de nodos del Árbol de Sintaxis Abstrata (AST).
     Esto asegura el mantenimiento de soluciones estructuralmente diversas (por ejemplo, observaciones compactas con recompensas simples frente a observaciones complejas con conformación intrincada).
4. Cascada de Evaluación: Para gestionar los costos computacionales, los candidatos pasan por un filtro de cascada de "presupuesto corto". Las interfaces deben superar un umbral mínimo de éxito en una ejecución de entrenamiento truncada antes de proceder a la evaluación completa con múltiples semillas. La aptitud se define como la tasa media de éxito a través de las semillas de evaluación.

Configuración Experimental

Los autores evaluaron LIMEN en cinco tareas novedosas que abarcan razonamiento discreto y control continuo:

• XLand-MiniGrid (Discreto): Tres tareas de complejidad composicional creciente (Fácil: recogida de objetos; Medio: colocación relacional; Difícil: cadenas de reglas de múltiples pasos). Las observaciones predeterminadas son cuadrículas egocéntricas aplanadas.
• Robótica MuJoCo (Continuo): Dos tareas (Recuperación de empuje Go1: equilibrio de cuadrúpedo bajo fuerza; Seguimiento Panda: seguimiento de trayectoria de manipulador). Estas tareas presentan recompensas escasas y control de alta dimensionalidad.

Los experimentos compararon el Descubrimiento Conjunto (LIMEN) contra tres líneas base:

• Escasas: Observaciones crudas con recompensas binarias de éxito.
• Solo-Obs: Evolución de observaciones con una recompensa fija.
• Solo-Recompensa: Evolución de recompensas con observaciones crudas fijas (instanciando métodos como Eureka).

Resultados Clave

1. Superioridad de la Optimización Conjunta: LIMEN superó consistentemente a todas las líneas base. Logró altas tasas de éxito en todas las tareas (99% en Fácil/Medio, 85% en Difícil, 45% en Panda, 48% en Go1).
2. Fallo Catastrófico de la Optimización de Componente Único:
   • Solo-Recompensa falló en tareas de mundos de cuadrícula composicionales (19% en Medio, 1% en Difícil), lo que indica que incluso recompensas bien estructuradas no pueden compensar observaciones no estructuradas en estos dominios.
   • Solo-Obs falló completamente en la tarea de seguimiento de Panda (0% de éxito), demostrando que las observaciones crudas son insuficientes cuando la señal de recompensa es demasiado escasa para guiar el aprendizaje.
   • Esto confirma que diferentes dominios fallan por razones fundamentalmente distintas, haciendo necesario el co-diseño.
3. Necesidad de Retroalimentación Evolutiva: Una línea base de muestreo independiente de LLM (30 muestras aleatorias sin selección evolutiva) tuvo un rendimiento significativamente peor que LIMEN (por ejemplo, 2,1% frente a 97% en Medio). Esto indica que el prior del LLM sobre diseños de interfaces es insuficiente por sí solo; el bucle iterativo de evaluar y refinar es esencial para navegar el espacio combinatorio.
4. Robustez: Las interfaces evolucionadas mantuvieron la estructura relevante para la tarea bajo cambios de distribución (por ejemplo, fuerzas de empuje aumentadas o velocidades de seguimiento), degradándose de manera elegante en lugar de colapsar, lo que sugiere el descubrimiento de patrones estructurales generalizables.

Análisis de las Interfaces Descubiertas

El análisis de los programas evolucionados reveló patrones consistentes e interpretables que se asemejan a estrategias manuales de ingeniería de RL:

• Observaciones: Construcción frecuente de características geométricas relativas (distancias normalizadas, indicadores direccionales), codificaciones multiescala e indicadores explícitos de fase de tarea.
• Recompensas: Incorporación de conformación basada en potencial, bonos por hitos para transiciones de fase y penalizaciones por suavidad.
• Descubrimiento Estructural: En la tarea Go1, la evolución descubrió un cambio estructural en la función de recompensa (eliminación de una "compuerta de verticalidad" en las recompensas de posición) que mejoró significativamente la dinámica de aprendizaje, demostrando la capacidad del sistema para modificar la estructura de la recompensa, no solo sus parámetros.

Significado y Afirmaciones

El artículo afirma que la construcción automática de interfaces de RL a partir del estado crudo puede reducir sustancialmente el esfuerzo de ingeniería manual. La contribución principal es la demostración de que los componentes de observación y recompensa a menudo se benefician del co-diseño, ya que optimizarlos de forma aislada conduce a un fallo catastrófico en al menos un dominio dentro de la suite de evaluación.

Los autores posicionan a LIMEN como un paso hacia la automatización del "sesgo inductivo" de los problemas de RL. Al buscar sobre programas ejecutables que definen el propio MDP inducido, el método produce artefactos de código interpretables y transferibles en lugar de incrustaciones neuronales aprendidas. El trabajo destaca que, si bien los métodos actuales se centran en el diseño de recompensas, la interfaz de observación es igualmente crítica y a menudo el factor limitante en tareas complejas y composicionales.

Limitaciones: Los autores reconocen que el enfoque depende del acceso a variables de estado estructuradas del simulador (información privilegiada) y una métrica de éxito fiable a nivel de trayectoria. Además, el costo computacional sigue siendo un cuello de botella, escalando con los requisitos de entrenamiento de RL, aunque el paralelismo basado en JAX mitiga esto para los experimentos actuales. Se sugiere trabajo futuro para entornos a mayor escala y observaciones basadas en visión.