Curriculum reinforcement learning with measurable task representation learning

Resumen Técnico: Aprendizaje por Refuerzo de Currículo con Aprendizaje de Representación de Tareas Medible

Enunciado del Problema
El Aprendizaje por Refuerzo de Currículo (CRL) busca acelerar el aprendizaje en tareas objetivo desafiantes entrenando agentes en una secuencia de tareas con dificultad creciente. Mientras que los primeros métodos de CRL se centraron en secuenciar tareas predefinidas, la investigación reciente ha girado hacia la generación automática de currículos. Un paradigma dominante en este campo implica la interpolación de distribuciones de tareas, donde se generan nuevas tareas intermedias interpolando entre una distribución de tareas inicial y una distribución de tareas objetivo utilizando métricas de distancia como la divergencia KL o la distancia de Wasserstein.

Sin embargo, este enfoque basado en interpolación se basa en la suposición de que la similitud entre tareas puede medirse mediante la distancia euclidiana en el espacio de contexto (tarea). Esta suposición falla en entornos complejos, particularmente aquellos con estructuras geométricas no euclidianas (por ejemplo, laberintos con muros). En tales contextos, una interpolación en línea recta en el espacio de parámetros puede generar tareas que son físicamente inviables (por ejemplo, colocar un objetivo detrás de un muro) o que no representan una progresión significativa en dificultad, obstaculizando así la capacidad del agente para transferir conocimientos de manera efectiva. Además, los métodos existentes a menudo luchan por definir métricas de similitud significativas en entornos complejos, de alta dimensión o con recompensas escasas, sin señales de recompensa externas diseñadas específicamente para la generación de currículos.

Metodología: ACRL
Los autores proponen ACRL (Currículo Automático con Aprendizaje de Representación), un marco que genera currículos aprendiendo una representación de tarea medible en un espacio latente. La idea central es que la similitud entre tareas debe definirse por el comportamiento del agente (transiciones de estado y recompensas) en lugar de los parámetros ambientales brutos.

La metodología consta de tres componentes principales:

1. Aprendizaje de Representación de Tareas mediante VAE:
   Los autores emplean un Autoencoder Variacional (VAE) para mapear contextos de tareas a un espacio latente.

   • Codificador: Toma trayectorias (secuencias de estados, acciones, recompensas y siguientes estados) recopiladas de un contexto de tarea específico $c$ y las codifica en una incrustación latente $z$. Para garantizar la invariancia de permutación, la incrustación de la trayectoria se calcula como el producto de las incrustaciones de transiciones individuales.
   • Decodificadores: El VAE incluye un decodificador de transición ($p_\theta(s'|z)$) y un decodificador de recompensa ($p_\theta(r|z)$) para reconstruir el siguiente estado y la recompensa, asegurando que el espacio latente capture la dinámica y la estructura de recompensa de la tarea.
   • Decodificador de Tarea: Un decodificador auxiliar ($p_c^\theta(z)$) mapea la incrustación latente de vuelta al espacio de contexto, permitiendo la generación de nuevos parámetros de tarea a partir de puntos latentes.
   • Restricción de Entrenamiento: Para garantizar representaciones significativas, el VAE se entrena solo en trayectorias donde el agente logra un retorno superior a un umbral específico $\delta$, filtrando intentos aleatorios o fallidos.

2. Generación Automática de Currículo:
   Una vez aprendidas las representaciones de tareas, el currículo se actualiza utilizando dos estrategias basadas en el progreso de aprendizaje del agente:

   • Predicción en Espacio Latente (LSP): Se utiliza cuando el agente ha logrado cierto rendimiento en la tarea objetivo. El método interpola entre las incrustaciones latentes de las tareas exitosas actuales y la incrustación de la tarea objetivo en el espacio latente. Estos puntos interpolados se decodifican de vuelta al espacio de contexto para generar nuevas tareas progresivamente más difíciles que respetan las restricciones geométricas subyacentes del entorno.
   • Actualización del Límite de Exploración (EBU): Se utiliza en etapas tempranas o cuando el rendimiento en la tarea objetivo es bajo. El método identifica el "límite de exploración" —tareas más cercanas a la objetivo que el agente puede resolver actualmente— y muestrea nuevas tareas cerca de este límite con ruido gaussiano añadido para fomentar la exploración.

3. Estrategia de Muestreo:
   El marco mantiene un búfer de tareas y utiliza una relación de muestreo $\lambda$ para equilibrar entre el muestreo de la distribución de currículo aprendida (para explotar el progreso) y una distribución uniforme sobre el espacio de contexto (para asegurar la exploración y prevenir el colapso de modos).

Contribuciones Clave

1. Marco ACRL: La propuesta de un marco automatizado de RL de currículo que genera distribuciones de tareas intermedias entre tareas fuente y objetivo sin requerir recompensas externas para la generación del currículo. Utiliza el aprendizaje de representación de tareas para mapear contextos a un espacio latente, asegurando una métrica más suave y significativa para la similitud de tareas.
2. Similitud de Tareas Medible: Un método novedoso de aprendizaje de representación de tareas que mapea el espacio de contexto a un espacio latente utilizando un VAE. Este enfoque permite la medición de similitud en espacios métricos no euclidianos codificando transiciones de estado y recompensas, superando las limitaciones de la interpolación euclidiana directa.
3. Superioridad Empírica: Demostraciones que muestran que ACRL logra una eficiencia de aprendizaje superior y un rendimiento asintótico en tareas de navegación desafiantes con estructuras geométricas complejas en comparación con líneas base de última generación, incluidos métodos basados en interpolación (CURROT) y enfoques generativos (Goal GAN, ALP-GMM).

Resultados Experimentales
Los autores evaluaron ACRL en dos dominios:

• MiniGrid (Espacio de Acción Discreto): Un conjunto de tareas de navegación por laberintos con dificultad variable (Fácil, Medio, Difícil) que involucran llaves, puertas y lava. En estos entornos, la distancia euclidiana falla porque los muros bloquean los caminos directos.

  • Rendimiento: ACRL superó a las líneas base (Predeterminado, Aleatorio, ALP-GMM, Goal GAN, VDS, PLR, CURROT) en términos de tiempo para alcanzar el umbral y estabilidad.
  • Visualización del Currículo: Las distribuciones de tareas generadas navegaron exitosamente alrededor de obstáculos, moviéndose desde la posición inicial hacia el objetivo a través de caminos viables. En contraste, CURROT generó tareas intermedias que a menudo llevaban a los agentes a chocar contra muros, fallando en proporcionar una ruta de aprendizaje válida.
  • Análisis de Representación: La Escalamiento Multidimensional (MDS) del espacio latente reveló que las incrustaciones aprendidas capturaron efectivamente la estructura no euclidiana de las tareas, agrupando tareas similares (en términos de dificultad y geometría) juntas.

• U-Maze (Espacio de Acción Continuo): Un entorno de control continuo donde el agente debe navegar una barrera en forma de U.

  • Rendimiento: ACRL demostró una mejor eficiencia de muestra que las líneas base. Aunque Goal GAN logró un buen rendimiento asintótico, sufrió en el tiempo para alcanzar el umbral debido a la falta de guía hacia el objetivo. Otras líneas base fallaron porque generaron tareas en regiones inalcanzables.
  • Estudios de Ablación: El estudio confirmó que la combinación de LSP y EBU es crucial. Eliminar cualquiera de los componentes o establecer la relación de muestreo $\lambda$ demasiado alta (reduciendo la exploración) o demasiado baja (degradándose a muestreo uniforme) redujo significativamente el rendimiento. También se demostró que la inclusión de ambos decodificadores de recompensa y transición es esencial para un aprendizaje de representación estable.

Significado y Afirmaciones
El artículo afirma que ACRL aborda una limitación fundamental en la generación automática de currículos: la incapacidad de las métricas de distancia euclidiana para capturar la similitud de tareas en entornos complejos y no euclidianos. Al aprender una representación latente basada en la interacción real del agente (trayectorias), el método puede generar currículos que respetan las restricciones geométricas y dinámicas del entorno.

Los autores enfatizan que su enfoque:

• No requiere recompensas externas para la generación de currículos.
• Es compatible con cualquier algoritmo de RL existente (por ejemplo, PPO, SAC).
• Maneja tanto espacios de contexto discretos como continuos.
• Proporciona una ruta de aprendizaje más robusta y eficiente para agentes que enfrentan tareas de largo horizonte con recompensas escasas.

El artículo concluye modestamente, reconociendo una limitación: el método asume actualmente un espacio de contexto paramétrico (parámetros numéricos) y no puede manejar directamente definiciones no paramétricas como contextos simbólicos o basados en lenguaje, aunque esto se señala como una posible vía para trabajos futuros que involucren codificadores semánticos.