NORACL: Neurogenesis for Oracle-free Resource-Adaptive Continual Learning

1. Planteamiento del Problema: El Dilema de la Arquitectura Oráculo

El Aprendizaje Continuo (CL) enfrenta el dilema estabilidad-plasticidad: un modelo debe ser lo suficientemente estable para preservar el conocimiento pasado, pero lo suficientemente plástico para aprender nuevas tareas. Los autores argumentan que este dilema tiene una raíz arquitectónica.

• El Problema Central: En el CL estándar, la capacidad de red requerida depende de dos propiedades futuras desconocidas: el número de tareas (conteo de tareas) y la similitud/superposición de las tareas en el espacio de características (geometría de las tareas).
• El Problema del Oráculo: Los métodos existentes (como EWC, SI, MAS) operan sobre arquitecturas de capacidad fija. Dependen implícitamente de un "oráculo" que conoce el flujo futuro de tareas para dimensionar la red correctamente.
  • Si la red es demasiado pequeña para un flujo largo de tareas disímiles, se agotan los recursos plásticos, lo que lleva al olvido catastrófico o a un aprendizaje estancado.
  • Si la red es demasiado grande para un flujo corto de tareas similares, está sobredimensionada e ineficiente.
• Limitaciones de las Soluciones Actuales:
  • Métodos basados en regularización: Protegen los parámetros importantes pero los congelan, reduciendo la plasticidad con el tiempo.
  • Métodos basados en expansión (por ejemplo, Redes Neuronales Progresivas): A menudo requieren conocimiento de la identidad de la tarea en el momento de la inferencia o dependen de desencadenantes heurísticos (como mesetas de pérdida) que confunden la dificultad de optimización con límites reales de capacidad.

2. Metodología: Marco NORACL

NORACL (Neurogénesis para Aprendizaje Continuo Adaptativo a los Recursos Sin Oráculo) aborda esto imitando la neurogénesis adulta biológica. Comienza con una red compacta y hace crecer neuronas bajo demanda sin conocimiento previo del flujo de tareas.

A. Mecanismo de Disparador de Crecimiento

NORACL monitorea dos señales complementarias para determinar cuándo y dónde crecer. El crecimiento ocurre solo cuando ambas señales indican saturación:

1. Saturación Representacional (Dimensión Efectiva - DE):

   • Métrica: Mide la fracción de neuronas que producen patrones de activación linealmente independientes en una capa utilizando la Descomposición en Valores Singulares (SVD) de las activaciones.
   • Disparador: Si la DE normalizada ($\phi_l$) supera un umbral descontado de la DE de la tarea anterior ($\gamma \cdot \phi^{(0)}_l$), la capa se considera saturada representacionalmente.
   • Propósito: Detectar si la capa ha agotado su capacidad para codificar nuevas características.

2. Saturación de Plasticidad (Información de Fisher):

   • Métrica: Utiliza la diagonal de la Matriz de Información de Fisher (FIM) para estimar la importancia de los parámetros.
   • Disparador: Si el percentil de los valores de la FIM de la tarea actual supera una línea base histórica (promedio móvil exponencial), se considera que los parámetros de la capa son demasiado importantes para ser sobrescritos.
   • Propósito: Confirmar que los parámetros existentes están "congelados" por tareas pasadas y no pueden absorber nueva información sin daño.

Lógica Combinada: Una capa crece solo si está tanto saturada representacionalmente (necesita más capacidad) como saturada en plasticidad (los parámetros existentes no pueden ser reutilizados). Esto evita un crecimiento espurio debido al ruido de lotes o problemas de optimización.

B. Neurogénesis (Cómo Añadir Neuronas)

Cuando se dispara un evento de crecimiento para la capa $l$:

• Preservación de la Función: Se añaden nuevas neuronas con pesos de salida inicializados en cero. Esto asegura que la función de salida de la red permanezca inalterada inmediatamente después de la expansión ($f(x; \theta') = f(x; \theta)$), preservando la estabilidad para las tareas anteriores.
• Inicialización Ortogonal: Los nuevos pesos de entrada se inicializan mediante descomposición QR de una matriz aleatoria. Esto asegura que las nuevas neuronas comiencen con direcciones de entrada diversas y no redundantes, maximizando su potencial para especializarse rápidamente.
• Plasticidad Sin Restricciones: La Información de Fisher y los parámetros de anclaje EWC para las nuevas neuronas se inicializan en cero. Esto significa que las nuevas neuronas no tienen penalización por cambiar, haciéndolas totalmente plásticas para aprender la nueva tarea inmediatamente.
• Periodo de Enfriamiento: Un periodo de enfriamiento evita el re-disparo inmediato, permitiendo que la red integre las nuevas neuronas.

C. Columna Vertebral de Regularización

NORACL utiliza EWC en Línea (Consolidación Elástica de Pesos) como su columna vertebral para proteger los parámetros existentes. El mecanismo de crecimiento es agnóstico al regularizador específico, pero depende de la diagonal de Fisher proporcionada por EWC para la señal de plasticidad.

3. Análisis Teórico

Los autores proporcionan una demostración teórica utilizando una tarea de asociación de patrones aleatorios:

• Redes Estáticas (EWC): Muestran que en redes de capacidad fija, la proporción de nueva información que puede almacenarse decae como una ley de potencia ($t^{-1}$) a medida que se acumulan las tareas. La red inevitablemente pierde plasticidad.
• NORACL: Demuestra que al expandir la capa oculta linealmente con el número de tareas ($M(t) \approx M(0) + (1-\gamma)t$), NORACL preserva estrictamente los parámetros para las tareas antiguas mientras dirige todo el nuevo aprendizaje a parámetros frescos y sin restricciones. Esto elude el compromiso estabilidad-plasticidad sin necesidad de un oráculo.

4. Contribuciones Clave

1. Marco Sin Oráculo: Propone NORACL, el primer método de CL que resuelve el dilema estabilidad-plasticidad mediante crecimiento bajo demanda sin conocimiento previo del conteo o la geometría de las tareas.
2. Disparador de Doble Señal: Introduce un disparador de crecimiento principista que combina la Dimensión Efectiva (capacidad) y la Saturación de Fisher (plasticidad) para evitar disparadores heurísticos como las mesetas de pérdida.
3. Garantía Teórica: Demuestra teóricamente que NORACL evita el decaimiento de la plasticidad por ley de potencia inherente a las redes regularizadas de capacidad fija.
4. Crecimiento Interpretable: Muestra que la arquitectura se adapta inteligentemente a la geometría de las tareas (ver Resultados).

5. Resultados Empíricos

Evaluado en MNIST Permutado (débilmente relacionado), MNIST Rotado (moderadamente relacionado) y MNIST Dividido Binariamente (altamente relacionado).

• Rendimiento vs. Eficiencia: NORACL logra una precisión igual o mejor que las líneas base estáticas "provisionadas por oráculo" (redes dimensionadas perfectamente para el flujo completo de tareas) mientras utiliza 10–20% menos de parámetros.
• Capacidad Adaptativa:
  • En MNIST Permutado (tareas ortogonales), NORACL crece significativamente en la primera capa (extracción de características), ya que las características de bajo nivel no pueden compartirse.
  • En MNIST Dividido Binariamente (características compartidas), el crecimiento se desplaza a la segunda capa (combinación de características), ya que las características de bajo nivel son reutilizables.
  • Esto demuestra que NORACL descubre autónomamente la estructura arquitectónica óptima basada en la geometría de la tarea.
• Prueba de Estrés de Largo Alcance (MNIST Permutado de 50 Tareas):
  • NORACL (comenzando pequeño) superó a una red estática provisionada previamente con la misma capacidad final exacta que el tamaño máximo de NORACL.
  • Esto prueba que cuándo y cómo ocurre el crecimiento es más crítico que simplemente tener una red estática grande. NORACL mantiene un grupo más alto de "parámetros plásticos efectivos" a lo largo del proceso de aprendizaje.

6. Significado y Conclusión

• Desplazamiento de la Frontera de Pareto: NORACL empuja la frontera precisión-capacidad del aprendizaje continuo asignando recursos dinámicamente solo cuando es necesario.
• Plausibilidad Biológica: El método ofrece un modelo computacional de neurogénesis adulta, donde se añaden nuevas neuronas para manejar la novedad mientras las neuronas maduras preservan memorias establecidas.
• Impacto Práctico: Elimina la necesidad de conocimiento "oráculo" en escenarios de implementación del mundo real donde el número y la naturaleza de las futuras tareas son desconocidos.
• Trabajo Futuro: Los autores notan la limitación actual a MLPs y sugieren extender las señales DE y Fisher a Redes Neuronales Convolucionales (CNN) y Transformadores (añadiendo filtros/cabezas) como el siguiente paso.

En resumen, NORACL resuelve el cuello de botella arquitectónico fundamental del aprendizaje continuo transformando la red de un contenedor estático en un organismo en crecimiento y adaptativo que expande su capacidad precisamente cuando y donde la tarea de aprendizaje lo exige.