Resumen Técnico: Forager – Un Entorno de Pruebas Ligero para el Aprendizaje Continuo con Observabilidad Parcial

Enunciado del Problema

El Aprendizaje por Refuerzo Continuo (CRL) tiene como objetivo desarrollar agentes que puedan aprender, actuar y explorar indefinidamente en un "gran mundo" que es parcialmente observable y no estacionario. La investigación actual en CRL se ha centrado en gran medida en la pérdida de plasticidad—la incapacidad de los agentes para continuar aprendiendo después de los cambios de tarea—frecuentemente dentro de Procesos de Decisión de Markov (MDP) totalmente observables donde la no estacionariedad se introduce artificialmente.

Existe una brecha crítica en el estudio del CRL bajo observabilidad parcial. Si bien la observabilidad parcial es una característica fundamental de los entornos del mundo real (la "Hipótesis del Gran Mundo"), la mayoría de las pruebas existentes:

1. Son totalmente observables (por ejemplo, ALE, Mujoco), donde los agentes pueden teóricamente simular el entorno perfectamente.
2. Son prohibitivamente costosas para ejecutar experimentos de CRL a largo plazo (por ejemplo, Minecraft, Craftax), requiriendo a menudo paralelismo masivo o información de estado privilegiada para lograr el éxito.
3. Sufren limitaciones técnicas, como huellas de memoria crecientes que dificultan la iteración rápida (por ejemplo, Jelly Bean World).

En consecuencia, la interacción entre la construcción de estado (utilizando memoria/recurrencia para manejar la observabilidad parcial) y el aprendizaje continuo (rastrear dinámicas cambiantes) permanece poco explorada.

Metodología: El Entorno Forager

Los autores presentan Forager, un entorno de mundo en cuadrícula ligero y configurable diseñado para servir como un entorno de pruebas escalable para CRL.

• Estructura del Entorno: Forager simula un mundo toroidal infinito donde un agente navega para recolectar setas con recompensas variables y comportamientos de reaparición. El mundo se genera proceduralmente, pero no depende de física compleja ni gráficos ricos.
• Observabilidad Parcial: El agente opera con un Campo de Visión (FOV) limitado y centrado en el agente. La observación es una imagen RGB o un tensor binario del área visible. El agente no puede ver el estado global, lo que hace necesaria la memoria para rastrear ubicaciones de objetos y tiempos de reaparición fuera del FOV.
• No Estacionariedad: El entorno admite varias formas de no estacionariedad, incluyendo:
  • Cambio de Tarea: Cambios periódicos en las funciones de recompensa para tipos específicos de objetos (por ejemplo, un tipo de seta que antes era positivo se vuelve negativo).
  • Recompensas Dinámicas: Recompensas que decaen con el tiempo o cambian según horarios ocultos.
  • Flujos Interminables: Una variante donde nuevas especies de setas reemplazan a las extintas, creando una secuencia infinita de tareas.
• Características de Rendimiento: Forager está optimizado para velocidad y eficiencia de memoria. Funciona a hasta $10^5$ cuadros por segundo (FPS) con una huella de memoria constante, independientemente del historial de exploración del agente. Esto contrasta con pruebas como Jelly Bean World, donde el uso de memoria crece con la exploración.
• Implementación: El entorno está disponible en una implementación para CPU y una implementación basada en JAX (Foragax) que permite cientos de ensayos paralelos en una sola GPU.

Contribuciones Clave

1. Un Entorno de Pruebas Eficiente en Recursos: Forager proporciona un entorno configurable para la prototipación rápida de algoritmos de CRL. Permite a los investigadores controlar el grado de observabilidad parcial (mediante el tamaño del FOV) y la dificultad del problema (mediante la colocación de objetos y la dinámica de recompensas) sin la sobrecarga computacional de motores de juegos complejos.
2. Demostración de la Necesidad de Construcción de Estado: El artículo proporciona evidencia empírica de que los agentes estándar de RL profundo (DQN, PPO) no funcionan bien en Forager debido a la observabilidad parcial. Destaca que la construcción de estado (mediante trazas de memoria o arquitecturas recurrentes) es más crítica para el rendimiento continuo en este escenario que las técnicas estándar de mitigación de la plasticidad.
3. Suite Integral de Pruebas: Los autores evalúan una amplia gama de algoritmos, incluyendo:
   • Líneas Base: DQN y PPO.
   • Mitigaciones de Plasticidad: Regularización hacia la inicialización, activaciones cReLU, Encoger y Perturbar (Shrink & Perturb), regularización L2, y Aprendizaje Q Permanente-Transitorio (PT-DQN).
   • Construcción de Estado: Trazas de memoria exponencial, Redes Cuánticas Recurrentes Profundas (DRQN) y PPO con Unidad Temporal Recurrente (RTU-PPO).
4. Variante de Tarea Interminable: Una configuración específica que genera un flujo interminable de nuevas tareas, obligando a los agentes a aprender para siempre sin converger a una política estática, destacando así las limitaciones de los agentes actuales de CRL.

Resultados Experimentales

1. Impacto de la Observabilidad Parcial (Campo de Visión)

• Observación: A medida que disminuye el FOV, el rendimiento de los agentes DQN feed-forward cae significativamente.
• Hallazgo: Con FOV grandes, DQN se acerca al rendimiento de una Búsqueda Oráculo. Con FOV pequeños (donde el agente no puede ver a través de las brechas de "bioma"), DQN falla al aprender estrategias óptimas de forrajeo, comportándose como una búsqueda aleatoria o de vecino más cercano. Esto confirma que el entorno requiere efectivamente memoria para rastrear estados ocultos.

2. Pérdida de Plasticidad y Mitigaciones

• Observación: En una variante de cambio de tarea, PPO exhibió una severa pérdida de plasticidad (el rendimiento se degradó con el tiempo), mientras que DQN mostró solo una degradación menor.
• Prueba de Mitigaciones: Se probaron varias mitigaciones propuestas (cReLU, L2 Init, Encoger y Perturbar, PT-DQN).
  • Resultados: Aunque algunas mitigaciones (notablemente L2 Init y cReLU) mejoraron la velocidad de adaptación o evitaron el colapso total, ninguna permitió que los agentes se acercaran al rendimiento de la línea base de Búsqueda Oráculo.
  • Conclusión: Mitigar la pérdida de plasticidad por sí sola es insuficiente para el CRL en entornos parcialmente observables; los agentes aún carecen de la capacidad de construir un estado interno útil.

3. El Papel de la Construcción de Estado

• Memoria Simple: Añadir una traza de memoria ponderada exponencialmente de recompensas recientes mejoró significativamente el rendimiento tanto para DQN como para PPO.
• Arquitecturas Recurrentes:
  • DRQN: Una DRQN modificada con GRU no superó al DQN estándar, lo que sugiere que la implementación específica o el algoritmo no estaban extrayendo un estado útil en este contexto.
  • RTU-PPO: Una variante recurrente de PPO que utiliza una capa de Unidad Temporal Recurrente (RTU) logró el mejor rendimiento entre todos los agentes de aprendizaje, igualando casi la línea base de Búsqueda Oráculo.
  • Evidencia de Aprendizaje Continuo: Cuando el agente RTU-PPO se "congeló" (dejó de aprender) a mitad del experimento, su rendimiento cayó significativamente. Esto demuestra que el agente no estaba convergiendo a una política estática, sino que estaba reaprendiendo continuamente y adaptándose a los cambios de tarea mientras aprovechaba su estado recurrente para manejar la observabilidad parcial.

4. Flujo de Tareas Interminable

• En la variante más desafiante (cuatro biomas, reemplazo dinámico de especies, pistas ocultas), incluso los mejores agentes recurrentes (RTU-PPO) se estancaron y no lograron alcanzar el rendimiento del Oráculo.
• Interpretación: La combinación de una no estacionariedad rápida de recompensas, un tamaño de mundo grande y un FOV limitado crea un desafío que los algoritmos actuales no pueden superar completamente, particularmente en un entorno de aprendizaje de flujo único (síncrono).

Significado y Afirmaciones

El artículo afirma que Forager llena una brecha crítica en la investigación de CRL al proporcionar un entorno escalable y eficiente en memoria que aísla los desafíos de la observabilidad parcial y la construcción de estado.

• Afirmaciones Modestas: Los autores declaran explícitamente que Forager no es una simulación realista y carece de física compleja. Su valor radica en su capacidad para equilibrar la prototipación rápida con suficiente complejidad para desafiar a los algoritmos actuales.
• Insight Central: El hallazgo principal es que, si bien mitigar la pérdida de plasticidad es importante, la construcción de estado (mediante recurrencia o memoria) es el factor dominante que permite a los agentes aprender continuamente en mundos parcialmente observables.
• Dirección Futura: La variante de tarea interminable sirve como un "problema de desafío" para impulsar futuras investigaciones hacia algoritmos que puedan manejar la adaptación rápida, la abstracción temporal y la exploración efectiva en grandes mundos parcialmente observables.

El artículo concluye que los agentes actuales de CRL tienen limitaciones claras en estos entornos y que Forager ofrece un entorno de pruebas científico para investigar estas limitaciones sin las prohibiciones computacionales de entornos a mayor escala.