Resumen Técnico: Aprendizaje de Opciones Escalable en Entornos de Alto Rendimiento

Declaración del Problema

El Aprendizaje por Refuerzo Jerárquico (HRL) ofrece un marco prometedor para resolver tareas de toma de decisiones que abarcan escalas de tiempo largas mediante la descomposición de problemas en subtareas (opciones) gestionadas por un controlador de nivel superior. Sin embargo, los métodos jerárquicos existentes han fallado en gran medida en realizar los beneficios del entrenamiento a gran escala que han impulsado el progreso en el RL plano y otros dominios del aprendizaje automático. Mientras que los agentes planos y los modelos de visión se entrenan rutinariamente con miles de millones de muestras, los agentes jerárquicos suelen estar restringidos a millones de muestras debido a cuellos de botella computacionales significativos.

El desafío principal al escalar el HRL es la dificultad de paralelizar la ejecución jerárquica. En un lote de segmentos de trayectoria, diferentes pasos de tiempo a menudo corresponden a diferentes políticas (el controlador o varias opciones), cada una con funciones de recompensa y condiciones de terminación distintas. Esta heterogeneidad impide la aplicación directa de bibliotecas de RL de alto rendimiento (por ejemplo, IMPALA, Sample Factory) que dependen del procesamiento de lotes uniforme. En consecuencia, los métodos jerárquicos actuales a menudo procesan trayectorias individuales de forma secuencial, lo que limita su rendimiento y les impide aprovechar las "leyes de escalamiento" observadas en otras áreas de la IA.

Metodología: Aprendizaje de Opciones Escalable (SOL)

Los autores proponen Aprendizaje de Opciones Escalable (SOL), un algoritmo de gradiente de política jerárquico diseñado para optimizar tanto el rendimiento como el rendimiento computacional. SOL aborda el cuello de botella de la escalabilidad mediante innovaciones algorítmicas y a nivel de sistema específicas.

1. Contribuciones Algorítmicas

• Optimización Conjunta con Arranque de Valor: SOL optimiza conjuntamente los objetivos actor-crítico para el controlador y todas las opciones. Una innovación clave es el arranque (bootstrapping) de las funciones de valor de las opciones al cambiar de opción. En lugar de esperar a que una opción termine naturalmente para calcular los retornos, el algoritmo aproxima el valor de una opción $\omega$ en el estado $s_t$ utilizando un retorno de $K$ pasos más una estimación arrancada del valor en el punto de cambio ($s_{t+K+1}$). Esto permite que las políticas de opciones optimicen recompensas intrínsecas independientes ($R_\omega$) incluso cuando se entrenan con trayectorias generadas por políticas de comportamiento mixtas.
• Longitudes de Opciones Adaptativas: El controlador no solo selecciona la siguiente opción $\omega$, sino que también genera una longitud de ejecución $l$ de un conjunto de valores espaciados exponencialmente ($L = \{2^i\}$). Esto se implementa mediante una cabeza softmax entrenada junto con la cabeza de selección de opciones. Este mecanismo permite que el agente ajuste dinámicamente la abstracción temporal de las subtareas según la observación actual, evitando el problema de la "degeneración de opciones", donde los controladores colapsan a seleccionar solo opciones de longitud 1.
• Reducción de la No Estacionariedad: La función objetivo está diseñada de tal manera que las funciones de ventaja y valor para una opción específica dependen únicamente de su propia recompensa y de la distribución de estados inducida por el sistema, en lugar de las políticas específicas de otras opciones o del controlador después de que la opción termine. Esto limita las interdependencias y reduce la no estacionariedad durante el entrenamiento.

2. Contribuciones a Nivel de Sistema

Para lograr un alto rendimiento, SOL reestructura la tubería de entrenamiento para habilitar una paralelización masiva en GPUs:

• Red Neuronal Unificada: Una sola red neuronal representa todas las políticas (controlador y todas las opciones). La red toma una observación y un vector one-hot que indica la política activa como entrada. Genera distribuciones sobre las acciones del entorno, las opciones y las longitudes de las opciones. Esto permite pasadas hacia adelante en lote a través de todas las políticas simultáneamente.
• Envoltura del Entorno: Un envoltorio en el lado del actor rastrea el índice de la política activa, maneja el cambio de políticas basado en condiciones de terminación y calcula recompensas específicas de la opción. Duplica las observaciones cuando se llama al controlador para asegurar que la opción seleccionada reciba la entrada de estado correcta.
• Cálculo Paralelizado de Retornos: El trabajador del aprendiz calcula ventajas y objetivos de valor para todas las políticas simultáneamente utilizando operaciones tensorizadas. Al iterar hacia atrás a través de la dimensión temporal y utilizar índices de políticas para enrutar las recompensas, el sistema calcula retornos para lotes de políticas mixtas en un solo paso. Se aplican correcciones V-trace para manejar datos fuera de política provenientes de actores asíncronos.

Resultados Clave

Los autores evalúan SOL en tres entornos: MiniHack, NetHack y Mujoco (PointMaze).

• Rendimiento: En el Entorno de Aprendizaje NetHack (NLE), SOL alcanza un rendimiento de 43,000 pasos/segundo, lo que representa una aceleración de 35x a 580x en comparación con los métodos jerárquicos existentes (HIRO, Option-Critic, MOC, Hierarchical RLLib). Mantiene el 86% del rendimiento de un agente APPO plano.
• Rendimiento en NetHack: Entrenado con 30 mil millones de fotogramas, SOL supera significativamente a los agentes planos (APPO) y a otros baselines jerárquicos.
  • En el entorno NetHackScore, SOL mejora constantemente y supera a los agentes planos.
  • Cuando se combina con Motif (un sintetizador de recompensas intrínsecas basado en LLM), SOL+Motif establece un nuevo estado del arte en NetHackScore.
  • Los estudios de ablación confirman que tanto la estructura jerárquica como las recompensas de opciones específicas son necesarias; los agentes jerárquicos entrenados solo con recompensas de tarea (SOL+HiPPO) no logran superar los baselines planos.
• Asignación de Crédito en MiniHack: En ZombieHorde (que requiere compensaciones entre curación y combate) y TreasureDash (que requiere equilibrar la recolección de oro con la huida), los agentes planos y los agentes planos con recompensas de opciones no logran escapar de óptimos locales. SOL aprende con éxito a coordinar opciones distintas (por ejemplo, una opción "Salud" para curar y una opción "Puntuación" para combate) para lograr un rendimiento casi óptimo.
• Control Continuo: En un G-maze personalizado (PointMaze) diseñado para atrapar a los agentes en óptimos locales debido a un paisaje de recompensa engañoso, SOL es el único método que logra progreso (alcanzando ~70% de éxito), mientras que los agentes planos y otros métodos jerárquicos permanecen en cero éxito.
• Descubrimiento Automático de Recompensas: El artículo demuestra que SOL es compatible con métodos de síntesis automática de recompensas como DIAYN. SOL+DIAYN aprende políticas efectivas sin recompensas de opciones codificadas manualmente, aunque converge ligeramente más lento que la versión con recompensas diseñadas a mano.

Significado y Afirmaciones

El artículo afirma presentar el primer algoritmo de RL jerárquico en línea capaz de escalar a miles de millones de muestras. Su importancia radica en cerrar la brecha entre los beneficios teóricos de la jerarquía y los requisitos prácticos del entrenamiento a gran escala moderno.

• Escalabilidad: El trabajo demuestra que el RL jerárquico puede hacerse lo suficientemente eficiente computacionalmente para competir con el RL plano en términos de rendimiento, permitiendo el entrenamiento de agentes en conjuntos de datos órdenes de magnitud más grandes de lo que era posible anteriormente para el HRL.
• Necesidad de Jerarquía + Recompensas: Los experimentos sugieren que para problemas difíciles de asignación de crédito, la jerarquía por sí sola es insuficiente; debe ir acompañada de recompensas intrínsecas útiles (ya sea diseñadas a mano o aprendidas) para desbloquear ganancias de rendimiento.
• Aplicabilidad General: Se demuestra que el método es efectivo en entornos discretos y abiertos (NetHack) y en tareas de control continuo (Mujoco), lo que indica su potencial como un marco de propósito general para la toma de decisiones a largo plazo.

Los autores señalan que, aunque el sistema está optimizado para la eficiencia computacional en regímenes ricos en muestras (como videojuegos y simuladores), actualmente no está optimizado para la eficiencia de muestras en entornos con escasez de datos. Se sugiere trabajo futuro para explorar métodos generales para aprender recompensas de opciones e integrar potencialmente estos diseños escalables en marcos de RL basados en modelos.