Resumen Técnico: Equilibrando Plasticidad y Estabilidad con Características de Sucesor Rápidas y Lentas

Enunciado del Problema

Los agentes de Aprendizaje por Refuerzo (RL) profundo a menudo luchan en entornos no estacionarios. Mientras que investigaciones anteriores han abordado el "dilema de estabilidad-plasticidad" mediante cambios abruptos de tarea (por ejemplo, tareas secuenciales de Atari), los entornos del mundo real suelen evolucionar a través de una no estacionariedad naturalista y continua. En tales configuraciones, las dinámicas cambian gradualmente en lugar de abruptamente, y no existen límites de tarea explícitos. Las técnicas estándar de RL, incluidas aquellas que dependen de la reproducción de experiencias o de reinicios abruptos de parámetros, a menudo fallan en adaptarse efectivamente o sufren olvido catastrófico en estos escenarios de deriva continua. Además, los enfoques existentes para la estabilidad y la plasticidad operan principalmente a nivel de valores Q o políticas, dejando el papel de las representaciones predictivas en gran medida poco estudiado en este contexto específico.

Metodología

1. Protocolo de Evaluación: No Estacionariedad Continua Naturalista

Los autores introducen un protocolo de evaluación de RL continuo caracterizado por una no estacionariedad suave y continua sin límites de tarea explícitos. Esto se materializa en dos dominios:

• Salas Cuadradas 3D Resbaladizas: Una tarea de navegación donde los resultados de las acciones se reemplazan estocásticamente basándose en una función sinusoidal ruidosa (simulando condiciones húmedas/icy).
• Suite de Control MuJoCo: Tareas de control continuo (Humanoide, Caminante, Cuadrúpedo, Media Guepardo) donde la masa del cuerpo varía con el tiempo mediante funciones sinusoidales ruidosas, funciones sinusoidales no periódicas y procesos de Ornstein–Uhlenbeck (OU).

2. Mecanismo Central: Características de Sucesor (SFs) con Consolidación Sináptica

El artículo propone un marco que combina Características de Sucesor (SFs) con Consolidación Sináptica (SC) inspirada en neurociencia a través de múltiples escalas de tiempo.

• Características de Sucesor: Las SFs descomponen la función de valor estado-acción $Q(s, a, w)$ en una representación predictiva $\psi(s, a)$ y parámetros de recompensa $w$. A diferencia del aprendizaje Q estándar, las SFs capturan la ocupación descontada esperada de características futuras, permitiendo la transferencia entre tareas con dinámicas compartidas. En este trabajo, tanto las características base como las SFs deben adaptarse a las dinámicas de transición cambiantes $p(s'|s,a; \omega_t)$.
• Consolidación Sináptica (SC): Inspirada en Benna & Fusi (2016), la SC modela la estabilización de la fuerza sináptica como una cadena de $K$ variables interactuantes ($u_1, \dots, u_K$) con capacidades variables ($C_k$) y fuerzas de flujo ($g_{k,k+1}$).
  • Escala de Tiempo Rápida ($u_1$): Corresponde a la eficacia sináptica visible, permitiendo una adaptación rápida a nuevas experiencias.
  • Escalas de Tiempo Lentas ($u_2, \dots, u_K$): Actúan como variables ocultas que interactúan bidireccionalmente con sus vecinos, preservando el conocimiento estable y evitando interferencias.
  • Implementación: Los autores mapean estas variables a los parámetros de SF ($\psi_{u_k}$). La variable más plástica ($\psi_{u_1}$) se actualiza mediante descenso de gradiente estándar sobre la pérdida Q-SF-TD. Las variables restantes se actualizan analíticamente utilizando el método de Euler para simular dinámicas continuas. Crucialmente, los autores demuestran que estas actualizaciones deben realizarse utilizando Descenso de Gradiente Estocástico (SGD) en lugar de optimizadores adaptativos (como Adam) para preservar la información de escala de tiempo relativa inherente a las dinámicas de consolidación.

3. Líneas Base y Comparaciones

El estudio compara el método propuesto SF + SC contra:

• Métodos centrados en plasticidad: Reinicios de parámetros (P-last, reiniciando la última capa) y Retropropagación Continua (CBP, reiniciando los pesos menos utilizados).
• Métodos centrados en estabilidad: Consolidación de Pesos Elásticos (EWC) y Consolidación Sináptica (SC) aplicada a valores Q (TD3+SC, DQN+SC) en lugar de SFs.
• Métodos de Región de Confianza: Optimización de Política Proximal (PPO).

Contribuciones Clave

1. Protocolo de No Estacionariedad Continua Naturalista: Los autores introducen una referencia utilizando procesos de deriva estocástica suave (sinusoidal periódica/no periódica, OU) en dominios de navegación y control continuo, avanzando más allá de los paradigmas de cambio abrupto de tarea.
2. Diagnóstico del Cuello de Botella: A través de una comparación sistemática, el artículo proporciona evidencia de que la degradación del rendimiento bajo no estacionariedad continua es impulsada principalmente por la inestabilidad en lugar de una plasticidad insuficiente. Los métodos que preservan la estabilidad (SC, EWC) superan consistentemente a aquellos que inyectan plasticidad (P-last, CBP).
3. SFs como Objetivos de Consolidación Superiores: El estudio demuestra que aplicar consolidación sináptica a las Características de Sucesor produce un rendimiento superior en comparación con la consolidación de valores Q. Esto sugiere que estabilizar representaciones predictivas es más efectivo que estabilizar estimaciones de valor en entornos que cambian gradualmente.
4. Análisis de Múltiples Escalas de Tiempo: El artículo introduce un mecanismo de atención cruzada para analizar las contribuciones relativas de las variables de consolidación rápidas y lentas. Los resultados indican que, aunque las escalas de tiempo rápidas impulsan la mayor parte del aprendizaje, las escalas de tiempo más lentas proporcionan estabilidad complementaria, y una combinación de múltiples escalas de tiempo (por ejemplo, 6–9 variables) es crucial para un rendimiento óptimo.

Resultados Experimentales

• Estabilidad vs. Plasticidad: Tanto en las Salas Cuadradas Resbaladizas como en los entornos MuJoCo, los métodos que preservan la estabilidad (SC y EWC) superaron significativamente a los métodos de inyección de plasticidad (P-last, CBP). Los agentes que carecían de estabilidad no lograron aprender eficazmente en configuraciones de no estacionariedad continua.
• Superioridad de SF + SC: La combinación de SFs con Consolidación Sináptica (SF + SC) logró el mayor rendimiento y eficiencia de aprendizaje. Esto se mantuvo cierto a través de procesos de deriva periódicos, no periódicos y OU.
• Magnitud del Cambio: El beneficio de consolidar SFs (frente a valores Q) se volvió más pronunciado a medida que aumentaba la magnitud del cambio ambiental (desde perturbaciones de masa leves del 25% hasta severas del 100%). Bajo cambios leves, la consolidación de valores Q fue competitiva, pero bajo deriva severa, SF + SC fue distintamente superior.
• Importancia de la Escala de Tiempo: Aumentar el número de variables de consolidación (introduciendo escalas de tiempo más lentas) mejoró la eficiencia de aprendizaje. El análisis de atención cruzada reveló que, aunque las variables rápidas ($u_2, u_3$) recibieron la mayor atención, las variables más lentas contribuyeron significativamente a la estabilidad.
• Eficiencia de Parámetros: El enfoque SF + SC superó a redes base significativamente más grandes (por ejemplo, TD3 con capacidad aumentada), lo que indica que las ganancias provienen de las dinámicas de consolidación y las representaciones predictivas en lugar del simple escalado del modelo.
• Restricciones de Optimización: Los autores señalan que el método requiere SGD; el uso de optimizadores adaptativos como Adam altera la preservación de la escala de tiempo. Además, las actualizaciones analíticas introducen sobrecarga computacional, reduciendo el rendimiento de entrenamiento (FPS) en comparación con las líneas base estándar.

Significado y Afirmaciones

El artículo afirma que para los agentes de RL profundo que operan en entornos naturalistas en constante cambio, la estabilidad es a menudo el cuello de botella principal, y mantener la plasticidad mediante reinicios de parámetros es insuficiente. La solución propuesta—consolidación sináptica multi-escala de representaciones predictivas (SFs)—ofrece un enfoque fundamentado para equilibrar la compensación estabilidad-plasticidad sin requerir límites de tarea explícitos o estadísticas de tarea.

Los autores posicionan este trabajo como un paso hacia la comprensión de cómo los sistemas biológicos (a través de la consolidación sináptica) podrían resolver problemas de aprendizaje continuo en configuraciones dinámicas, sugiriendo que estabilizar estructuras predictivas a través de múltiples escalas de tiempo es una estrategia efectiva para una adaptación robusta. Reconocen limitaciones, incluida la restricción a actualizaciones basadas en SGD y el costo computacional de las actualizaciones analíticas no paralelizables, pero enfatizan la eficiencia de parámetros del método y su robustez frente a la deriva ambiental gradual.