Resumen Técnico: HERAKLES – Compilación Jerárquica de Habilidades para Agentes de LLM de Propósito Abierto

Declaración del Problema

El artículo aborda el desafío del aprendizaje de propósito abierto en entornos parcialmente observables caracterizados por recompensas dispersas y espacios de objetivos estructurados y de gran escala. Aunque los modelos fundacionales recientes han alcanzado un rendimiento de nivel humano en tareas estáticas, tienen dificultades con el crecimiento de la complejidad a lo largo de la vida porque dependen de conjuntos de datos fijos. En contraste, los humanos adquieren continuamente diversas habilidades descomponiendo tareas complejas en sub-habilidades más simples previamente internalizadas.

Los enfoques actuales para agentes de propósito abierto (por ejemplo, Voyager, AutotelicLLM) a menudo enfrentan una explosión combinatoria en la complejidad de los objetivos. A medida que los agentes encuentran objetivos cada vez más complejos, el tiempo requerido para dominar cada nuevo objetivo de forma aislada crece rápidamente, causando que el progreso del aprendizaje se estanque. Los métodos de Aprendizaje por Refuerzo Jerárquico (HRL) existentes a menudo dependen de conjuntos de habilidades predefinidos o políticas pre-entrenadas, lo cual es incompatible con agentes de propósito abierto que deben descubrir y expandir autónomamente su repertorio de habilidades sin intervención de expertos.

El problema central es cómo permitir que un agente se adapte continuamente a un espacio de objetivos creciente mediante la composición eficiente de nuevas habilidades a partir de comportamientos dominados, sin depender de conjuntos de datos estáticos o primitivas definidas por expertos.

Metodología: HERAKLES

Los autores proponen HERAKLES (HiERarchicAl sKill compiLation for open Ended llm agentS), un agente jerárquico que entrena conjuntamente una política de alto nivel y un controlador de bajo nivel. El sistema opera bajo el supuesto de que el espacio de objetivos admite relaciones de prerrequisitos, permitiendo que las tareas se descompongan en sub-objetivos.

Arquitectura

El agente consta de dos políticas entrenadas concurrentemente:

1. Política de Alto Nivel ($\pi_{HL}$): Implementada como un Modelo de Lenguaje Grande (LLM) (específicamente Mistral 7B con adaptadores LoRA). Actúa como un planificador y explorador, seleccionando sub-objetivos basados en prompts textuales derivados de observaciones y objetivos de la tarea. Opera sobre un conjunto restringido de opciones "llamables"—sub-objetivos que se estima que la política de bajo nivel puede lograr de manera confiable.
2. Política de Bajo Nivel ($\pi_{LL}$): Una red neuronal ligera y computacionalmente eficiente (basada en ResNet) que ejecuta acciones primitivas. Está entrenada para resolver directamente objetivos y compilar progresivamente trayectorias exitosas en habilidades reutilizables.

Mecanismos Clave

• Compilación Jerárquica: Cuando el agente jerárquico resuelve con éxito un objetivo $g$, la trayectoria completa de acciones primitivas se "compila" en $\pi_{LL}$. Una vez dominado, $\pi_{LL}$ puede ejecutar $g$ directamente como una sola habilidad. $\pi_{HL}$ puede entonces invocar esta nueva habilidad como una primitiva para objetivos más complejos, reduciendo efectivamente la relación señal-ruido para la planificación de alto nivel.
• Filtrado Adaptativo de Sub-objetivos: Para evitar que $\pi_{HL}$ seleccione sub-objetivos inalcanzables, un estimador de competencia ($C_\theta$) filtra el espacio de objetivos. Este estimador, entrenado en trayectorias de bajo nivel, predice la probabilidad de que $\pi_{LL}$ pueda alcanzar un objetivo específico desde el estado actual. $\pi_{HL}$ solo muestrea de objetivos con una alta probabilidad de éxito estimada, asegurando un aprendizaje estable.
• Optimización Bilével: El sistema se enmarca como un problema bilével con una estructura de Stackelberg. $\pi_{HL}$ moldea la distribución de estados y sub-objetivos vistos por $\pi_{LL}$, mientras que la ejecución de $\pi_{LL}$ determina la optimalidad de la descomposición de alto nivel. Las dos políticas se entrenan simultáneamente:
  • $\pi_{HL}$ se entrena mediante RL on-policy (POAD) sobre trayectorias de decisión de alto nivel.
  • $\pi_{LL}$ se entrena mediante RL off-policy (AWR) utilizando dos tipos de datos: rollouts jerárquicos completos (para la compilación de habilidades) y segmentos de sub-objetivos (para el refuerzo de habilidades).

Dinámica de Entrenamiento

El proceso de entrenamiento sigue un currículo automático. Inicialmente, $\pi_{LL}$ solo domina acciones atómicas. A medida que domina objetivos, estos se añaden a su repertorio. $\pi_{HL}$ utiliza entonces estos objetivos dominados como bloques de construcción para abordar objetivos más complejos. Esto crea un bucle de retroalimentación donde la creciente competencia de la política de bajo nivel expande el espacio de acción efectivo de la política de alto nivel.

Contribuciones Clave

1. Marco de Aprendizaje Conjunto: Un método para agentes de propósito abierto que entrena conjuntamente una política de alto nivel basada en LLM y un controlador de bajo nivel sin requerir habilidades pre-especificadas o un pre-entrenamiento extensivo.
2. Compilación Dinámica de Habilidades: Un mecanismo donde los comportamientos exitosos se destilan automáticamente en la política de bajo nivel, permitiendo una composición de habilidades escalable a medida que la competencia del agente crece.
3. Filtrado Adaptativo: Un mecanismo de filtrado basado en la competencia que restringe el espacio de búsqueda de la política de alto nivel a sub-objetivos alcanzables, estabilizando el aprendizaje en entornos complejos de propósito abierto.
4. Abstracción Estructurada en Lenguaje: Aprovechamiento de las propiedades composicionales del lenguaje natural para definir el espacio de objetivos y facilitar el descubrimiento de cadenas de prerrequisitos entre objetivos.

Resultados Experimentales

El método fue evaluado en el entorno Crafter, un mundo 2D generado procedimentalmente con un árbol de logros de 17 objetivos que requieren la recolección de artefactos y fabricación.

• Eficiencia de Muestreo: HERAKLES superó a los baselines (POAD, FUN, BOSS) a largo plazo. Aunque los baselines progresaron más rápido inicialmente, se estancaron tras dominar los objetivos fáciles. HERAKLES mostró una mejora gradual y sostenida a medida que se compilaban más objetivos en $\pi_{LL}$, alcanzando eventualmente objetivos complejos (ej. "hacer pico de piedra") que los baselines no lograron descubrir.
• Generalización: HERAKLES demostró una generalización superior a objetivos no vistos en comparación con los baselines:
  • Generalización Composicional: Mantuvo altas tasas de éxito en objetivos que requieren la repetición de tareas conocidas (ej. "recolectar 4 maderas" frente a "recolectar madera"), mientras que los baselines fallaron significativamente.
  • Objetivos Sinónimos: Manejó eficazmente verbos sinónimos.
  • Objetivos Similares en Trayectoria: Transferió con éxito las habilidades a objetivos no vistos que comparten estructuras de prerrequisitos similares (ej. "hacer espada de madera" después de aprender "hacer pico de madera").
• Expansión de Habilidades: El número de habilidades de bajo nivel llamadas por $\pi_{HL}$ aumentó constantemente durante el entrenamiento, confirmando la capacidad del sistema para construir una biblioteca de habilidades reutilizables.

Significado y Reivindicaciones

El artículo afirma que HERAKLES proporciona una vía viable hacia agentes autotélicos capaces de aprendizaje continuo. Al combinar las capacidades de razonamiento y composición de los LLM con la eficiencia de ejecución de controladores especializados de bajo nivel, el sistema supera la "barrera de complejidad" que detiene el aprendizaje de propósito abierto.

Los autores enfatizan que su enfoque:

• No depende de habilidades definidas por expertos o políticas pre-entrenadas.
• Permite la generalización composicional al tratar los objetivos dominados como primitivas para el aprendizaje futuro.
• Mejora la eficiencia de muestreo en entornos de propósito abierto al amortizar el aprendizaje pasado en habilidades reutilizables.

El trabajo se presenta como un paso hacia la Inteligencia Artificial General (AGI), abordando específicamente la necesidad de agentes que puedan generar, seleccionar y entrenar autónomamente sobre sus propios objetivos para expandir continuamente sus capacidades. Los autores reconocen limitaciones, como la dependencia actual de objetivos textuales (lo que sugiere trabajo futuro con Modelos de Lenguaje y Visión) y el costo computacional del re-entrenamiento periódico, pero posicionan el método como un paso fundamental hacia agentes de propósito abierto totalmente autónomos.