Resumen Técnico: Plasticidad Impulsada por la Esparcidad en el Aprendizaje por Refuerzo Multitarea

Planteamiento del Problema

Los agentes de Aprendizaje por Refuerzo Profundo (DRL) a menudo sufren de pérdida de plasticidad, un fenómeno donde la capacidad de la red para adaptarse a nuevas experiencias disminuye a medida que avanza el entrenamiento. Este problema se caracteriza por patologías de optimización como la interferencia de gradientes, el colapso representacional y la inactividad neuronal (neuronas que se vuelven inactivas). Aunque se ha estudiado extensamente en entornos de tarea única, la pérdida de plasticidad es particularmente crítica en el Aprendizaje por Refuerzo Multitarea (MTRL). En MTRL, los agentes deben mantener la flexibilidad representacional para gestionar demandas de tareas diversas y potencialmente conflictivas de forma simultánea. Los enfoques actuales de MTRL suelen depender de modelos sobreparametrizados que pueden infrautilizar la capacidad de la red o fallar en la generalización, lo que lleva a agentes que luchan contra la interferencia negativa de tareas y la adquisición de políticas universales.

Metodología

El artículo investiga si los métodos de esparcificación pueden mitigar la pérdida de plasticidad y mejorar el rendimiento en MTRL. Los autores se centran en dos técnicas de esparcificación dinámica:

1. Poda Gradual de Magnitud (GMP - Gradual Magnitude Pruning): Aumenta incrementalmente la esparcidad de la red durante el entrenamiento mediante la eliminación de pesos de baja magnitud durante una ventana de tiempo predefinida, permitiendo que la red se adapte al aumento de la esparcidad.
2. Entrenamiento Evolutivo Disperso (SET - Sparse Evolutionary Training): Mantiene un nivel de esparcidad total fijo durante todo el entrenamiento mediante la reconfiguración continua de la conectividad de la red (podando conexiones débiles y regenerando nuevas), inspirado en algoritmos evolutivos.

Configuración Experimental

El estudio evalúa estos métodos a través de tres arquitecturas distintas de MTRL:

• MTPPO: Una línea base de política compartida con cabezales específicos para cada tarea.
• Mezcla de Expertos (MoE - Mixture of Experts): Utiliza un mecanismo de compuerta para seleccionar expertos para tareas específicas.
• Mezcla de Expertos Ortogonales (MOORE - Mixture of Orthogonal Experts): Incorpora submódulos ortogonales para forzar la separación de tareas.

Benchmarks:

• MiniGrid: Benchmarks MT3, MT5 y MT7 (observable parcialmente, recompensa dispersa).
• MetaWorld: Benchmark MT10 (control continuo, espacios de estado/acción de alta dimensión).

Comparaciones:
Los agentes dispersos (GMP y SET) se comparan contra:

• Líneas base densas.
• Intervenciones explícitas para inducir plasticidad: ReDo (reinicio periódico de neuronas inactivas) y Reset (reinicialización periódica de capas).
• Técnicas de regularización implícita: Decaimiento de Peso (WD - Weight Decay) y Normalización de Capa (LayerNorm).

Métricas:
El rendimiento se mide mediante la Media Intercuartílica Normalizada (IQM). La plasticidad se evalúa mediante:

• Porcentaje de Neuronas Inactivas: La proporción de neuronas que no presentan actividad.
• Rango Efectivo: Una medida de la diversidad representacional (un rango bajo indica colapso).
• Traza de la Matriz de Información de Fisher (FIM): Un proxy de la sensibilidad de la política ante cambios en los parámetros (valores altos indican mínimos agudos/inestabilidad).

Contribuciones Clave

1. Mitigación de la Degradación de la Plasticidad: Los autores establecen que GMP y SET mitigan eficazmente los indicadores clave de la pérdida de plasticidad, específicamente reduciendo la inactividad neuronal y previniendo el colapso representacional. Los agentes dispersos exhiben consistentemente perfiles de plasticidad más favorables (menor inactividad, mayor/estable rango efectivo) en comparación con sus contrapartes densas.
2. Correlación de Rendimiento: Las mejoras en la plasticidad inducidas por la esparcificación se correlacionan frecuentemente con un mejor rendimiento multitarea. Los agentes dispersos superan con frecuencia a las líneas base densas y logran resultados competitivos frente a intervenciones de plasticidad especializadas (ReDo, Reset) y métodos de regularización.
3. Efectos Dependientes de la Arquitectura: Se demuestra que el impacto de la esparcificación depende altamente de la arquitectura de la red. Mientras que GMP y SET producen ganancias consistentes en las configuraciones MTPPO y MoE, sus efectos en MOORE son más matizados, sugiriendo que los mecanismos arquitectónicos inherentes (como las restricciones de ortogonalidad) interactúan de manera distinta con la esparcidad.

Resultados

• Rendimiento: En las arquitecturas MTPPO y MoE, tanto GMP como SET lograron consistentemente retornos agregados finales más altos que las líneas base densas en todos los benchmarks de MiniGrid (MT3, MT5, MT7). En el entorno de control continuo MetaWorld MT10, la poda selectiva de la red del actor (GMP-Actor) superó tanto a la línea base densa como a la poda global, logrando una tasa de éxito del 81%.
• Dinámicas de Plasticidad:
  • SET demostró ser particularmente efectivo para minimizar la inactividad neuronal tanto en los componentes del actor como del crítico, manteniendo un alto rango efectivo.
  • GMP mostró un patrón característico de "pico y declive" en la Traza de Fisher, lo que sugiere la convergencia hacia mínimos más planos, mientras que SET mantuvo una traza baja y estable.
  • LayerNorm, aunque redujo la inactividad, causó una caída severa y persistente en el rango efectivo (colapso representacional), lo que derivó en un pobre rendimiento.
  • ReDo y Reset mostraron resultados mixtos; ReDo redujo la inactividad pero no siempre se tradujo en ganancias de rendimiento, mientras que Reset introdujo inestabilidad en las métricas de plasticidad.
• Especificidades de MOORE: En la arquitectura MOORE, la esparcificación no produjo las mismas ganancias de rendimiento que en MTPPO o MoE. SET a veces condujo a ligeros descensos en el rendimiento, y la poda extrema (99% de esparcidad) causó colapso de rango y degradación del rendimiento en MOORE, resaltando los límites de la esparcidad en diseños altamente estructurados y ortogonales.

Significado y Reivindicaciones

El artículo sostiene que la esparcificación dinámica sirve como un mecanismo robusto y de propósito general para mejorar la plasticidad en MTRL, superando a menudo o igualando a intervenciones especializadas diseñadas explícitamente para restaurar la plasticidad. Los hallazgos sugieren que los beneficios de la poda no se deben meramente a la compresión del modelo, sino que emanan de los efectos de regularización que guían a la red hacia mínimos más "planos" y evitan la infrautilización de la capacidad de la red.

Los autores enfatizan que la esparcificación ofrece una forma distinta de regularización implícita que equilibra el control de la capacidad con la diversidad representacional, un equilibrio que las técnicas estándar como LayerNorm no logran alcanzar en entornos multitarea. Sin embargo, el artículo señala modestamente que estos beneficios son sensibles al contexto; la efectividad de la esparcificación depende fuertemente de la arquitectura subyacente y no es una solución universal para todos los diseños de MTRL (por ejemplo, MOORE). El trabajo destaca la interacción entre el diseño de la red, la esparcidad y las dinámicas de aprendizaje, abogando por la esparcificación como una herramienta valiosa en el arsenal de MTRL que amerita una mayor investigación teórica.