Resumen Técnico: Trajectory First: Un Currículo para Descubrir Políticas Diversas

Enunciado del Problema

Los métodos de aprendizaje por refuerzo (RL) a menudo asumen distribuciones de acción unimodales, produciendo una única política que puede ser frágil ante perturbaciones ambientales y propensa a quedar atrapada en óptimos locales. Aunque descubrir un conjunto de políticas diversas maximiza la robustez, los métodos existentes de optimización de diversidad con restricciones a menudo fallan en tareas complejas y ricas en contactos, como la manipulación robótica.

El desafío central identificado es la subexploración. En dominios como la manipulación robótica, los estados de los objetos están mediados por contactos intermitentes, creando mapeos no suaves entre acciones y estados dominados por discontinuidades de contacto. En consecuencia, los objetivos orientados a la diversidad a menudo colapsan a unos pocos modos porque las estrategias alternativas se descubren con demasiada poca frecuencia para ser reforzadas. Los métodos estándar de exploración local (por ejemplo, ruido gaussiano en el espacio de políticas) son insuficientes para conectar variedades de alta recompensa desconectadas en estos entornos.

Metodología: Un Currículo de Dos Etapas

Los autores proponen "Trajectory First", un currículo diseñado para superar los cuellos de botella de la exploración desacoplando la exploración global de trayectorias del aprendizaje de políticas reactivas. El enfoque consta de dos etapas distintas:

Etapa 1: Búsqueda de Novedad Constrained (CNS) en el Espacio de Trayectorias

En lugar de optimizar directamente los parámetros de la red neuronal, la primera etapa explora el espacio de trayectorias de lazo abierto utilizando una Estrategia Evolutiva (ES).

• Parametrización Basada en Splines: Las trayectorias $\tau$ se parametrizan como B-splines definidas por puntos de control $\omega$. Esto proporciona un sesgo inductivo suave y reduce la dimensionalidad del espacio de búsqueda en comparación con las secuencias de acciones crudas.
• Objetivo de Optimización: El objetivo es encontrar un conjunto de parámetros de trayectoria $\Omega_n$ que maximice la diversidad sujeto a una restricción de cercanía a la optimalidad ($v_{\omega_i} \geq \alpha v^*$).
• Búsqueda de Novedad Constrained: Los autores introducen un objetivo Lagrangiano que equilibra una recompensa intrínseca de novedad (basada en la entropía del conjunto de trayectorias, estimada mediante la distancia k-NN) y la recompensa extrínseca de la tarea.
• Algoritmo de Optimización: Los puntos de control $\omega$ se optimizan utilizando CMA-ES, que es altamente eficiente para el espacio de parámetros de tamaño moderado de las B-splines. Esto permite al algoritmo "saltar" entre modos y descubrir anclajes diversos y de alta recompensa que la búsqueda local en el espacio de políticas pasaría por alto.

Etapa 2: Destilación en Políticas Reactivas

Las trayectorias diversas descubiertas en la Etapa 1 se destilan en un conjunto de $n$ políticas reactivas condicionadas a habilidades $\Pi_n$ utilizando aprendizaje fuera de política con restricciones.

• Marco de Trabajo: Los autores adoptan el marco Domino, tratando el gradiente del objetivo de diversidad como una recompensa intrínseca.
• Técnicas de Estabilización: Para garantizar una destilación estable desde datos de trayectorias fuera de línea hacia políticas reactivas en línea en tareas ricas en contactos, se introducen tres modificaciones críticas:
  1. Muestreo Simétrico: Los lotes de entrenamiento se componen de un 50% de datos en línea y un 50% de trayectorias CNS filtradas (seleccionadas del 25% superior de retornos). Esto previene el colapso de la diversidad durante la transición al RL en línea.
  2. El truco de $v_{max}$: En lugar de depender de una única política experta para estimar el valor óptimo $v^*$, los autores actualizan $v^*$ como el máximo rendimiento alcanzado en todas las habilidades y en todo el historial de entrenamiento ($v^* \leftarrow \max\{v^*, \max_i v_i\}$). Esto proporciona un objetivo monótonamente creciente y estable para la restricción de suboptimalidad, evitando que el objetivo de diversidad sea sofocado por una presión de optimalidad prematura.
  3. Alta Relación de Actualización de Política a Datos (UTD): A diferencia del RL estándar de fuera de línea a en línea donde el crítico se actualiza frecuentemente y la política con poca frecuencia, este método aumenta la frecuencia de actualización de la política (por ejemplo, 4 actualizaciones por paso de entorno). Esto es necesario porque la recompensa intrínseca depende de la ocupación de estados del conjunto actual de políticas; las actualizaciones frecuentes de la política permiten que el agente mantenga el ritmo con el paisaje intrínseco cambiante.

Contribuciones Clave

1. Identificación Empírica de Cuellos de Botella de Exploración: El trabajo demuestra que los métodos existentes de optimización de diversidad con restricciones (por ejemplo, Domino) fallan en descubrir políticas diversas en tareas de manipulación robótica debido a la incapacidad de la exploración local para conectar regiones de alta recompensa desconectadas.
2. Currículo Primero Trayectoria: Un enfoque novedoso de dos etapas que utiliza búsqueda evolutiva sobre trayectorias basadas en splines para generar anclajes diversos de alta recompensa, los cuales luego se destilan en políticas reactivas.
3. Receta de Estabilización: Un conjunto de técnicas (Muestreo Simétrico, truco de $v_{max}$, Alta UTD de Política) que permiten un aprendizaje estable de fuera de línea a en línea para objetivos de diversidad, abordando la no estacionariedad de las recompensas intrínsecas en entornos con restricciones.

Resultados Experimentales

El método se evaluó en cuatro tareas robóticas: Navegación en Laberinto, Empuje de Cubo, Presión de Botón y Volteo de Cubo.

• Diversidad vs. Rendimiento: El currículo propuesto logró un aumento de 1.5x en la diversidad conductual en comparación con la línea base más fuerte (Domino) mientras mantenía un rendimiento de tarea comparable.
• Hallazgos Específicos por Tarea:
  • En Navegación en Laberinto, el método descubrió el mayor número de caminos distintos, mientras que las líneas base tendían a agruparse alrededor de rutas seguras y libres de colisiones.
  • En Presión de Botón, las líneas base a menudo colapsaron al usar el mismo eslabón del robot para todas las habilidades. El método propuesto descubrió con éxito estrategias de manipulación de cuerpo completo utilizando diferentes eslabones del robot.
  • En Volteo de Cubo, el método encontró modos de contacto y perfiles de fuerza diversos, mientras que las líneas base de exploración basadas en ruido fallaron debido a colisiones frecuentes y recompensas negativas.
• Robustez: El método permaneció robusto bajo especificaciones de recompensa adversarias (por ejemplo, penalizaciones altas por colisión) donde las líneas base fallaron en interactuar con los objetos en absoluto, ya que la fase CNS proporcionó un inicio cálido dentro de regiones de alta recompensa.

Significado y Afirmaciones

El artículo afirma que el principal cuello de botella en la optimización de diversidad con restricciones para la robótica no es el objetivo de aprendizaje en sí mismo, sino la dependencia de la exploración local. Al introducir un sesgo inductivo a través de priores de trayectorias basadas en splines, los autores permiten el descubrimiento de modos de contacto diversos que de otro modo serían inaccesibles para la búsqueda estándar en el espacio de políticas.

Los autores posicionan este trabajo como una solución al dilema "exploración-explotación" en la optimización de diversidad. Argumentan que, mientras que el trabajo anterior asume que los comportamientos diversos de alta recompensa son fácilmente alcanzables bajo la optimización de políticas en línea, esta suposición falla en tareas complejas de manipulación. El currículo propuesto conecta la exploración global a nivel de trayectoria con el control reactivo, ofreciendo una receta práctica para entrenar agentes robustos y diversos. Los autores notan modestamente limitaciones, como la dependencia de características de estado definidas manualmente para la medición de la diversidad y la transición fija entre etapas, sugiriendo que trabajos futuros podrían explorar el cambio adaptativo y el aprendizaje de representaciones a partir de observaciones crudas.