Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

Resumen Técnico: SuperIgor

1. Planteamiento del Problema

El trabajo aborda el desafío de enseñar a agentes de IA a seguir instrucciones complejas en lenguaje natural dentro de entornos dinámicos, parcialmente observables y estocásticos (como videojuegos o simulaciones de mundo abierto).

• Limitaciones de los enfoques actuales:
  • Aprendizaje por demostración: Aunque generalizan bien, dependen de grandes cantidades de datos de demostración de expertos, lo cual es costoso y poco escalable.
  • Aprendizaje por experiencia (RL puro): Escalables pero sufren de dificultades para anclar instrucciones de lenguaje natural a comportamientos a largo plazo, especialmente con recompensas escasas y retardadas.
  • Métodos basados en planificación existentes: Suelen depender de un conjunto predefinido y finito de subobjetivos o habilidades de bajo nivel. Esto limita su aplicabilidad en entornos abiertos donde no existe una biblioteca de habilidades previa. Además, muchos requieren modelos de lenguaje masivos (100B+ parámetros).

La pregunta central: ¿Cómo aprender una política de bajo nivel para seguir instrucciones en entornos sin habilidades de bajo nivel predefinidas, sin necesidad de anotación manual de datos?

2. Metodología: El Framework SuperIgor

Los autores proponen SuperIgor, un marco de trabajo que integra un Modelo de Lenguaje Grande (LLM) para la planificación de alto nivel con un Agente de Aprendizaje por Refuerzo (RL) para la ejecución. La innovación clave es un mecanismo de auto-aprendizaje iterativo que no requiere datasets anotados manualmente.

El proceso se basa en un bucle de co-entrenamiento con cuatro etapas principales:

1. Generación de Planes (Plan Generation):

   • El LLM extrae posibles subtareas de las instrucciones y genera múltiples planes candidatos en lenguaje natural.
   • Se utiliza una ontología de subtareas para estructurar los planes, asegurando consistencia y evitando contradicciones. Se construye una base de subtareas unificada y se generan dependencias (qué tarea debe preceder a otra).
   • En el ciclo inicial, se generan planes zero-shot. En ciclos posteriores, el conjunto se refina.

2. Aprendizaje de la Política (Policy Learning):

   • Un agente RL (entrenado con PPO - Proximal Policy Optimization) intenta ejecutar los planes generados.
   • Curriculum de Habilidades (Skill Curriculum Learning): Para abordar el problema de la recompensa escasa, el entrenamiento comienza con tareas de una sola subhabilidad. A medida que el agente domina una subtarea (superando un umbral de éxito), se expande el currículo para incluir planes con una nueva subhabilidad no dominada. Esto crea un gradiente de aprendizaje suave.

3. Validación de Planes (Plan Validation):

   • La calidad de los planes se evalúa ejecutando el agente RL múltiples veces con cada plan. Se calcula la tasa de éxito promedio para determinar qué planes son viables en el entorno real.

4. Ajuste Fino del LLM (LLM Fine-Tuning):

   • Se utiliza Optimización de Preferencia Directa (DPO) para ajustar el LLM.
   • El LLM aprende a priorizar los planes que el agente RL ejecutó con éxito y a desestimar los que fallaron. Esto crea un bucle de retroalimentación donde el planificador mejora basándose en la experiencia empírica del agente, alineando la generación de planes con la capacidad real de ejecución.

3. Contribuciones Clave

• Nuevo Paradigma de Entrenamiento Auto-supervisado: Un enfoque donde los planes se generan y refinan mediante la interacción entre un LLM y un agente RL, eliminando la necesidad de datasets anotados manualmente.
• Curriculum de Habilidades para RL: Una estrategia específica para entrenar agentes bajo condiciones de recompensa escasa, permitiendo la adquisición progresiva de habilidades complejas.
• Integración LLM-RL sin Habilidades Predefinidas: El sistema opera en entornos abiertos (como CrafText) sin depender de una biblioteca de habilidades de bajo nivel preexistente, aprendiendo las habilidades desde cero.
• Validación en Entornos Dinámicos: Implementación y prueba en el benchmark CrafText, un entorno parcialmente observable y de mundo abierto, demostrando robustez más allá de los entornos simplificados.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset FOCUS dentro del entorno CrafText, evaluando tareas atómicas (un solo objetivo) y combinadas (secuencias de objetivos).

• Efectividad y Generalización:

  • Los agentes SuperIgor superaron significativamente a las líneas base que solo usan instrucciones (RL puro), logrando tasas de éxito de 0.34-0.44 en tareas atómicas frente a 0.10-0.19 de las líneas base.
  • En tareas combinadas, SuperIgor alcanzó un 0.21, superando a las líneas base (0.08).
  • Generalización: Los agentes entrenados con planes auto-generados mostraron una mejor generalización a instrucciones no vistas (nuevas combinaciones de objetos) en comparación con agentes entrenados con planes de "Oráculo" (expertos humanos). Esto se debe a que aprender de múltiples planes alternativos expone al agente a una mayor variabilidad.
  • Robustez Lingüística: El sistema mantuvo su rendimiento incluso cuando las instrucciones se parafraseaban con vocabulario y sintaxis diferentes.

• Impacto del Entrenamiento Iterativo:

  • A través de los ciclos de SuperIgor (Ciclo 1 a Ciclo 2), el rendimiento mejoró consistentemente gracias a la re-priorización de planes mediante DPO.
  • El uso de DPO permitió al LLM aprender a generar planes que el agente RL podía aprender más fácilmente, actuando como un currículo automatizado.

• Estudios de Ablación:

  • Se demostró que el Curriculum de Habilidades solo es efectivo cuando se combina con una generación de planes estructurada por ontología. Sin la estructura de la ontología, el curriculum no logra mejorar el rendimiento.
  • La calidad del LLM base es crítica; modelos más grandes no siempre generan mejores planes, y la familia del modelo (ej. Qwen vs. otros) influye más que el número de parámetros.

5. Significado e Impacto

El trabajo SuperIgor representa un avance significativo en la intersección entre la planificación basada en lenguaje y el aprendizaje por refuerzo.

• Escalabilidad: Al eliminar la dependencia de demostraciones de expertos y de habilidades predefinidas, el método ofrece una ruta escalable para entrenar agentes en entornos complejos y abiertos.
• Eficiencia de Datos: Logra un alto rendimiento en tareas de seguimiento de instrucciones con una fracción de los datos necesarios para los métodos basados en demostración.
• Robustez: Demuestra que es posible lograr generalización composicional y robustez lingüística en entornos dinámicos y estocásticos, superando las limitaciones de los enfoques puramente basados en RL o puramente basados en LLM.
• Aplicabilidad: El framework es aplicable a dominios más allá de los videojuegos, como robótica o sistemas de asistencia personal, donde las instrucciones son ambiguas y el entorno es impredecible.

En resumen, SuperIgor establece un nuevo estándar para el aprendizaje de agentes que deben seguir instrucciones complejas, demostrando que la colaboración iterativa entre un planificador de lenguaje y un ejecutor de RL puede superar las limitaciones de ambos enfoques por separado.