Resumen Técnico: El Olvido Catastrófico es de Bajo Rango

Planteamiento del Problema

La adaptación continua —el ajuste fino de modelos preentrenados de gran tamaño en nuevas tareas manteniendo el rendimiento en las anteriores— está limitada por el olvido catastrófico. Aunque las estrategias de mitigación existentes abarcan la regularización de parámetros (EWC, SI), el replay, la destilación y la proyección de gradientes, el campo carece de un relato mecanicista sobre qué direcciones del espacio de salida son vulnerables a la deriva. Trabajos teóricos previos (por ejemplo, Doan et al., 2021; Bennani et al., 2020) han establecido límites escalares sobre la magnitud del olvido basados en la alineación de tareas, pero no logran identificar la estructura específica del eigenspacio del vector de olvido ni explicar por qué ciertas direcciones de salida derivan mientras otras permanecen estables.

Metodología: Teoría del Espacio de Funciones en el Régimen NTK

El artículo reformula el olvido catastrófico como interferencia de bajo rango en el espacio de funciones dentro del régimen del Kernel de Tangente Neuronal (NTK). El marco teórico central se basa en el análisis del cambio en las predicciones para una tarea previa (Tarea A) inducido por el entrenamiento en una nueva tarea (Tarea B).

1. El Predictor de Olvido

Los autores derivan un predictor de forma cerrada para el vector de olvido $\Delta f_A$ (el cambio en las predicciones de la Tarea A) antes de que se realice cualquier paso de gradiente de la nueva tarea. Bajo la linealización NTK alrededor de los parámetros $\theta_A$ de la tarea antigua, y asumiendo que el entrenamiento de la Tarea B converge a un minimizador de una pérdida MSE regularizada, el vector de olvido viene dado por:

$$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$$

Donde:

• $K_{AB} = J_A J_B^\top$ es el kernel entre tareas (interacción entre los Jacobianos de la Tarea A y la Tarea B).
• $K_{BB} = J_B J_B^\top$ es el kernel de la Tarea B.
• $r_B = f_B(\theta_A) - y_B$ es el residuo de la Tarea B al inicio del entrenamiento.
• El predictor es exacto (salvo por precisión numérica) en el régimen de un backbone congelado con una cabeza lineal entrenable (lineal en parámetros). Para adaptadores no lineales o ajuste fino completo, sirve como una aproximación local de NTK.

2. Caracterización Estructural

El predictor revela que el olvido no es uniforme, sino que se concentra en un subespacio de bajo rango del espacio de salida:

• Concentración de Bajo Rango: El vector de olvido reside en la imagen del Jacobiano de la Tarea A ($Im(J_A)$). Al expandirlo en la base de eigenvectores de la Tarea A ($K_{AA}$), la energía del vector de olvido se concentra en un pequeño número de modos superiores (1–6 modos portan el 50–90% de la energía en benchmarks estándar).
• Regla de Escalamiento de Kronecker: Para un mapa de características $\phi(x)$ congelado y una cabeza lineal entrenable $W \in \mathbb{R}^{C \times F}$, el kernel $K_{AA}$ admite una factorización de Kronecker exacta $K_{AA} = I_C \otimes G$, donde $G$ es la matriz de Gram de las características. Esto implica que la dimensión del subespacio vulnerable escala como:
  $$k^\star \approx C \cdot k_G$$
  donde $C$ es el número de clases de salida y $k_G$ es el rango efectivo de la matriz de Gram de las características.

3. Solución Propuesta: Regularización Espectral

Basándose en la teoría de que el olvido se concentra en un subespacio de baja dimensión específico, los autores proponen la Regularización Espectral. En lugar de penalizar la deriva en todos los parámetros o en todas las direcciones de salida (como en EWC o LwF), este método penaliza explícitamente la deriva solo a lo largo de los top-$k$ eigenvectores del kernel de la tarea antigua $K_{AA}$. Esto otorga total plasticidad al complemento del subespacio mientras protege las direcciones vulnerables.

Contribuciones Clave

1. Predictor de Olvido de Forma Cerrada: Una fórmula (Proposición 1) que predice la dirección y magnitud del vector de olvido utilizando únicamente cantidades de preentrenamiento. La validación empírica muestra una similitud de coseno > 0.99 con los cambios realizados en backbones de transformadores y ResNets bajo adaptación de cabeza congelada.
2. Caracterización Estructural de la Vulnerabilidad: La identificación de que el olvido se concentra en un puñado de modos propios de NTK. El artículo proporciona una factorización de Kronecker exacta para cabezas lineales con backbone congelado, estableciendo una regla de escalamiento ($k^\star \approx C \cdot k_G$) que vincula el número de salidas y el rango de las características con la dimensión del subespacio vulnerable.
3. Lente Diagnóstica para el Diseño de Métodos: La teoría explica por qué los regularizadores en el espacio de parámetros (como EWC) fallan en benchmarks de cabeza compartida: restringen la deriva de los parámetros pero no se alinean con los eigenmodos específicos del espacio de salida donde ocurre la interferencia. Por el contrario, explica por qué los métodos amplios en el espacio de funciones (como LwF) tienen éxito pero pueden ser ineficientes, ya que penalizan direcciones no vulnerables.

Resultados Experimentales

El artículo evalúa la teoría y la propuesta de Regularización Espectral en Split-MNIST, Split-CIFAR-10 y Split-CIFAR-100 (régimen de cabeza lineal con backbone congelado).

• Fracaso de los Métodos en el Espacio de Parámetros: En benchmarks de cabeza compartida, los métodos de espacio de parámetros (EWC, SI) no funcionan mejor que sin regularización, confirmando que la vulnerabilidad reside en el espacio de salida, no en el de parámetros.
• Protección Dirigida vs. Amplia:
  • Split-MNIST: La regularización espectral logra una relación de deriva (Otro/Vulnerable) de 75:1, lo que significa que suprime la deriva vulnerable casi por completo mientras deja la otra deriva sin restricciones. En contraste, los baselines como EWC y LwF muestran relaciones cercanas a 0.5:1 o 0.8:1, indicando una supresión uniforme o falta de focalización.
  • Split-CIFAR-100: Cuando el número de salidas $C$ es grande (100), la dimensión del subespacio vulnerable $k^\star$ crece. Bajo estas condiciones, la penalización "amplia" de LwF se solapa significamente con el subespacio vulnerable, causando que la Regularización Espectral y LwF converjan en rendimiento (aprox. 40% de precisión).
• Precisión: El predictor alcanza una precisión de precisión de máquina ($1 - \cos \text{sim} \approx 10^{-6}$) en backbones ViT y DINOv2 con cabezas lineales congeladas.

Significado y Reivindicaciones

El artículo afirma proporcionar un relato mecanicista del olvido catastrófico, yendo más allá de los límites escalares hacia una comprensión estructural del vector de olvido.

• Reencuadre: El olvido se identifica como una interferencia de bajo rango en el espacio de funciones, impulsada por el kernel entre tareas actuando sobre el residuo de la nueva tarea.
• Explicación del Fallo: El trabajo aclara por qué los regularizadores de espacio de parámetros fallan en tareas de cabeza compartida: no pueden proteger selectivamente los eigenmodos específicos del espacio de salida donde se concentra la interferencia.
• Heurística de Diseño: La regla de escalamiento derivada ($k^\star \approx C \cdot k_G$) ofrece una forma fundamentada de ajustar los regularizadores espectrales. Explica la convergencia de los métodos dirigidos y amplios a medida que aumenta la dimensión de la salida.
• Alcance: Los autores son modestos respecto a la aplicabilidad, señalando que el predictor es exacto para cabezas lineales en backbones congelados y una aproximación local para adaptadores no lineales. Reconocen limitaciones respecto al ajuste fino completo de backbones profundos, las pérdidas de entropía cruzada (que rompen el desacoplamiento de bloques estricto) y secuencias de tareas largas donde el error se acumula.

El artículo concluye que, si bien no propone una nueva arquitectura PEFT, ofrece una base teórica y una herramienta diagnóstica (Regularización Espectral) que alinea la regularización con la geometría real del olvido.