Resumen Técnico: No Olvides al Crítico: Ensayo de Datos Basado en Valor para el Aprendizaje por Refuerzo Continuo Multi-Cíclico

Enunciado del Problema

El Aprendizaje por Refuerzo Continuo (CRL) tiene como objetivo permitir que los agentes aprendan una secuencia de tareas manteniendo el rendimiento en las tareas previamente aprendidas, abordando los desafíos del olvido catastrófico y la pérdida de plasticidad. Si bien el ensayo de datos (almacenar y reproducir experiencias pasadas) ha surgido como un enfoque líder en CRL, la investigación existente se confina predominantemente a marcos de gradiente de política (métodos actor-crítico). En estos entornos, la regularización mediante clonación conductual se aplica exclusivamente a la red actor, ya que extender la regularización al crítico ha sido observado históricamente como perjudicial para el rendimiento. En consecuencia, el potencial del ensayo de datos para la aproximación de funciones de valor (por ejemplo, Deep Q-Networks o DQN) permanece significativamente poco explorado.

Además, las evaluaciones existentes de CRL rara vez consideran entornos multi-cíclicos, donde las secuencias de tareas se repiten a lo largo de múltiples ciclos. Este escenario es crítico para aplicaciones del mundo real donde los entornos reaparecen naturalmente. Se ha demostrado que los entornos multi-cíclicos exacerban el olvido y la pérdida de plasticidad, sin embargo, siguen siendo subutilizados en la investigación del olvido catastrófico, que a menudo limita la evaluación a un solo ciclo o como máximo dos ciclos.

Metodología

Los autores investigan el ensayo de datos para DQN utilizando regularización de valores Q (Qreg), el contraparte basado en valor de la clonación conductual. Identifican que el Qreg estándar exhibe inestabilidad e inconsistencia en entornos multi-cíclicos, sufriendo a menudo de un "sesgo de primacía" donde un aprendizaje inicial deficiente inhibe los ciclos subsiguientes. Para abordar esto, proponen Qreg+NWLU (Qreg sin espera con actualizaciones en vivo), que introduce dos modificaciones clave al marco de ensayo:

1. Actualizaciones en Vivo (Recopilación Continua de Datos): En lugar de muestrear transiciones solo al final de una tarea (como en trabajos anteriores), el método agrega muestras de ensayo al Bucle de Reproducción de Ensayo (RRB) de forma incremental a una frecuencia fija durante todo el entrenamiento. Esta estrategia "En Vivo" reduce el sesgo de selección hacia transiciones que ocurren cerca del final del entrenamiento y promueve la diversidad de muestras, particularmente cuando el tamaño del búfer de reproducción es pequeño en relación con el total de pasos de entrenamiento.
2. Regularización Sin Espera: El Qreg estándar típicamente pospone la regularización hasta que se completa la primera tarea y están disponibles las muestras del RRB. El mecanismo "Sin Espera" aplica la regularización inmediatamente una vez que las muestras de ensayo están disponibles, en lugar de esperar a la finalización de la tarea. Esto busca estabilizar el aprendizaje de la tarea inicial, lo cual es crucial en entornos continuos donde el conocimiento de cada tarea debe aprovecharse eficientemente para las tareas subsiguientes.
3. Actualizaciones Periódicas de los Valores Q: El método actualiza periódicamente los valores Q almacenados en el RRB correspondientes a la tarea actual durante el entrenamiento. Esto evita que la regularización apunte a valores Q obsoletos o inexactos que puedan resultar de un entrenamiento inicial insuficiente o del conocimiento ganado en tareas posteriores.

El marco utiliza un RRB dedicado separado del búfer de reproducción estándar. El RRB actúa como memoria a largo plazo y entre tareas, mientras que el búfer de reproducción sirve como memoria a corto plazo y específica de la tarea.

Contribuciones Clave

• Investigación del Ensayo de Datos Basado en Valor: El artículo investiga la aplicación del ensayo de datos con regularización de valores Q en configuraciones de CRL multi-cíclicas, llenando una brecha en la comprensión de cómo la regularización puede permitir un aprendizaje efectivo de la función de valor.
• Propuesta de Qreg+NWLU: Los autores identifican limitaciones en el Qreg estándar (inestabilidad e inconsistencia) y proponen Qreg+NWLU, un enfoque modificado que incorpora Actualizaciones en Vivo y regularización Sin Espera.
• Validación Empírica: El estudio demuestra que Qreg+NWLU supera consistentemente a las líneas base estándar de CRL (incluyendo DQN, DDQN, EWC, L2, PackNet y MER) en múltiples entornos y métricas.

Resultados

Los experimentos se realizaron en tres secuencias de tareas: Minihack Room (con transiciones difíciles y cambios en el espacio de observación), Flappy Bird y Catcher (utilizando el Entorno de Aprendizaje PyGame). La evaluación abarcó cuatro ciclos con 10 semillas aleatorias.

• Métricas de Rendimiento: Los autores utilizaron Transferencia Final ($F$), Transferencia Peor ($W$) y Retorno Promedio ($G$).
• Secuencia Room: Qreg+NWLU alcanzó un rendimiento casi óptimo para el Ciclo 2 con un error estándar notablemente bajo. Mitigó significativamente la volatilidad y el sesgo de primacía observados en el Qreg estándar. Mientras que el Qreg estándar mostró alta varianza y fallos en algunas ejecuciones, Qreg+NWLU logró el mayor retorno promedio ($G$) y puntuaciones de transferencia positiva en todas las tareas.
• Secuencias Flappy y Catcher: Qreg+NWLU superó consistentemente a las líneas base, logrando los mayores retornos promedio. En Flappy Bird, donde la dificultad de la tarea aumenta, Qreg+NWLU mostró un rendimiento mejorado en todas las tareas en comparación con DQN, mientras que el Qreg estándar tuvo dificultades con la Tarea 1. En Catcher, Qreg+NWLU alcanzó un rendimiento casi óptimo para el Ciclo 2 y mitigó en gran medida el olvido observado en el Qreg estándar.
• Estudios de Ablación: El estudio confirmó que tanto las estrategias "En Vivo" como "Sin Espera" son críticas. Eliminar "Sin Espera" condujo a una alta varianza e inestabilidad similar al Qreg estándar. La combinación de estrategias ayudó a suavizar las normas de los valores Q ($\|Q\|_2$) a través de las transiciones de tareas, reduciendo el rango de valores de norma Q a lo largo de los ciclos y mejorando la robustez.

Significado y Afirmaciones

El artículo afirma que incorporar el ensayo de datos en la aproximación de funciones de valor mediante Qreg mejora significativamente la eficiencia del aprendizaje, las capacidades de transferencia y la resiliencia al olvido multi-cíclico. Sin embargo, los autores enfatizan que lograr estos resultados requiere el marco adecuado, específicamente la combinación de regularización Sin Espera, muestreo continuo (En Vivo) y actualización periódica de las muestras de ensayo.

Los autores posicionan este trabajo como un primer paso hacia la aplicación más amplia de la regularización de ensayo de datos basada en valor en CRL. Reconocen limitaciones, incluyendo la exclusión de secuencias de tareas aleatorizadas y transiciones difíciles que involucran tareas completamente únicas, la dependencia de etiquetas de tarea para la estrategia de Actualizaciones y el enfoque en algoritmos puramente basados en valor (DQN) en lugar de marcos actor-crítico. A pesar de estas limitaciones, los resultados sugieren que los métodos basados en valor, cuando se regularizan adecuadamente con ensayo de datos, pueden mitigar efectivamente el olvido catastrófico en entornos multi-cíclicos, desafiando el consenso anterior de que dicha regularización perjudica el rendimiento.