Resumen Técnico: Interferencia y Retención en el Aprendizaje Continuo

Planteamiento del Problema

El aprendizaje continuo (CL) enfrenta el desafío del olvido catastrófico, donde un modelo entrenado secuencialmente en una nueva tarea $B$ degrada su rendimiento en una tarea $A$ aprendida previamente. Los enfoques estándar, como el replay de experiencia, la consolidación elástica de pesos (EWC) y la destilación, actúan típicamente como mecanismos correctivos, intentando reparar el olvido después de que la interferencia ya ha ocurrido. Estos métodos suelen depender de heurísticas, grandes buffers de memoria (replay) o matrices de información de Fisher computacionalmente costosas.

Este trabajo argumenta que el olvido debe modelarse directamente como interferencia entre tareas, gobernada por la geometría del espacio de características. El artículo postula que la pregunta central no es cómo reparar el daño, sino cómo predecir cuándo la interferencia es evitable, cuándo es inevitable y qué restricciones estructurales debe satisfacer una actualización para retener el conocimiento antiguo sin sacrificar la transferencia útil.

Metodología y Marco Teórico

1. El Funcional de Interferencia

El artículo establece un marco teórico principalmente en el régimen de características congeladas, donde un extractor de características fijo $\phi(x)$ se empareja con una cabeza lineal entrenable $w$.

• Energía de Interferencia: El olvido de la tarea $A$ tras aprender la tarea $B$ se cuantifica exactamente como la energía de interferencia:
  $$\Delta L_A = \frac{1}{2} \Delta^\top \Sigma_A \Delta$$
  donde $\Delta = w_B - w^*_A$ es el vector de actualización, y $\Sigma_A = \mathbb{E}_{x \sim D_A}[\phi(x)\phi(x)^\top]$ es la matriz del segundo momento de las características (la covarianza de las características para la tarea $A$).
• Dicotomía de Removibilidad:
  • Soportes Disjuntos: Si los subespacios de características activos de dos tareas son disjuntos (i.e., $\text{range}(\Sigma_A) \cap \text{range}(\Sigma_B) = \emptyset$), el olvido es libre de pérdida de información (losslessly removable). Las actualizaciones pueden confinarse al kernel de $\Sigma_A$ ($\ker \Sigma_A$), dejando la pérdida para la tarea $A$ sin cambios.
  • Soportes Superpuestos: Si los soportes de las tareas se superponen en direcciones conflictivas, un suelo de distorsión no nulo es inevitable. Ningún modelo de una sola cabeza puede ajustar perfectamente ambas tareas simultáneamente; el costo es un error irreducible determinado por la confundibilidad de las tareas y el desacuerdo de los objetivos.

2. Generalización a Redes Profundas

Aunque la identidad exacta se mantiene para características congeladas, el artículo extiende el concepto al entrenamiento de extremo a extremo mediante el Teorema 2:

• En redes profundas con deriva de características (feature drift), la curvatura fija $\Sigma_A$ es reemplazada por un Hessiano promediado por trayectoria $\bar{H}_A$, promediado a lo largo de la trayectoria desde $w_A$ hasta $w_B$.
• Esto permite que el funcional de interferencia siga siendo un predictor válido de olvido incluso cuando las características cambian, siempre que la curvatura sea estimada (por ejemplo, mediante un pequeño número de pasadas hacia adelante a lo largo del segmento de actualización).

3. Fusión Óptima como $\Sigma$-Ortogonalización

El artículo redefine la fusión de modelos (combinar modelos entrenados de forma independiente) como un problema de aprendizaje continuo en línea.

• Condición de Fusión Óptima: La pérdida total se minimiza cuando los vectores de las tareas son $\Sigma$-ortogonales por pares ($\Delta_{t'} \in \ker \Sigma_t$).
• Métrica: El producto interno correcto para la fusión es la métrica $\Sigma$ dependiente de la tarea, no la métrica euclidiana estándar. La ortogonalidad euclidiana solo es óptima cuando las características son isotrópicas ($\Sigma \propto I$).

4. Asignación Funcional con Compuerta de Interferencia (igfa)

Basándose en estos hallazgos, los autores proponen igfa, un controlador estructural libre de replay y libre de Fisher.

• Mecanismo: igfa mantiene un resumen de bajo rango del subespacio de características ocupado. Para cada gradiente de una nueva tarea:
  1. Descompone el gradiente en componentes paralelas ($g_\parallel$) y ortogonales ($g_\perp$) al subespacio ocupado.
  2. Aplica una compuerta con signo basada en la similitud entre la dirección objetivo de la nueva tarea y los subespacios existentes.
     • Alineado ($s > s^*$): Comparten la dirección (permitir $g_\parallel$) para preservar la transferencia.
     • Conflictivo ($s < s^*$): Ortogonalizar (eliminar $g_\parallel$) para proteger el conocimiento antiguo.
• Estado: El método requiere solo un resumen de subespacio de bajo rango ($O(dk)$ de memoria), eliminando la necesidad de buffers de ejemplares o matrices de Fisher completas.
• Manejo de la Deriva: Para manejar la deriva de características en redes profundas, igfa utiliza una actualización recursiva de Gauss-Newton para rastrear la geometría, evitando la "agotación de capacidad" observada en métodos que utilizan subespacios fijos y obsoletos.

Resultados Clave

1. Validación Teórica

• Identidad Exacta: En el régimen de características congeladas, la energía de interferencia predicha coincide con el olvido medido con precisión de máquina ($r=1.0$).
• Asignación sin Pérdida: En soportes disjuntos, igfa logra un olvido cercano a cero mientras aprende nuevas tareas, igualando el límite inferior teórico.
• Suelo de Distorsión: En soportes superpuestos con objetivos conflictivos, el método identifica correctamente que el costo no puede eliminarse, solo reubicarse (del olvido de la tarea antigua al ajuste diferido de la nueva tarea).

2. Rendimiento en Benchmarks

• Tareas Disímiles (Split-Digits, Split-CIFAR-100, CUB-200): Cuando las tareas tienen baja superposición de características, igfa se reduce a la proyección ortogonal (OGD/GPM), logrando una retención de vanguardia entre los métodos libres de replay y libres de Fisher (por ejemplo, 0.980 de precisión en Split-Digits con olvido casi nulo).
• Tareas Similares (Rotated-Digits, ImageNet-R): Cuando las tareas comparten estructura, la proyección incondicional (OGD) es demasiado conservadora. La compuerta de similitud de igfa permite el intercambio, superando significativamente a OGD (por ejemplo, 0.771 vs 0.684 en Rotated-Digits) mientras mantiene un olvido casi nulo.
• Escalabilidad: Los experimentos con backbones de ViT congelados confirman que el método escala eficazmente. La "ganancia de la compuerta" sobre la proyección incondicional se correlaciona con la densidad de la partición (la fracción de pares de tareas que cruzan el umbral de similitud) del flujo de datos.

3. Capacidad y Plasticidad

• El artículo demuestra un "punto de inflexión de capacidad" donde el rendimiento se degrada una vez que el rango acumulado de los subespacios ocupados excede la dimensión de las características.
• igfa gestiona esto mediante un enfoque de tasa-distorsión: cuando la capacidad está llena, sobrescribe de forma controlada las direcciones menos excitadas, limitando el olvido inducido por el autovalor de la dirección descartada.

Significado y Reivindicaciones

El artículo afirma proporcionar un lenguaje geométrico para el aprendizaje continuo que reemplaza las correcciones heurísticas con la asignación estructural predictiva.

1. Predictivo vs. Correctivo: A diferencia del replay o la regularización que reparan el daño, el funcional de interferencia predice cuándo ocurre la interferencia y si es removible antes de que comience el entrenamiento.
2. Visión Unificada: Unifica la fusión de modelos offline y el aprendizaje continuo online como soluciones al mismo problema de minimización de interferencia bajo diferentes esquemas.
3. Garantías Estructurales: En el régimen de características congeladas (común en el ajuste de parámetros eficientes o PEFT y el ajuste de adaptadores), las garantías de retención son exactas. Para redes profundas, el método proporciona una aproximación de primer orden con residuos cuantificados.
4. Eficiencia: igfa logra una fuerte retención sin la sobrecarga de memoria de los buffers de replay o el costo computacional de la estimación de la matriz de Fisher, basándose en el rastreo de subespacios de bajo rango.
5. Procedimiento de Decisión: El marco ofrece un diagnóstico previo al vuelo: al medir la superposición de soporte de las tareas y la similitud de los objetivos, uno puede determinar si debe usar asignación estructural (igfa/OGD), compartir, o si un suelo de distorsión es inevitable, guiando así la elección del mecanismo (replay vs. proyección vs. compartir) basándose en la geometría de los datos en lugar de prueba y error.

Los autores enfatizan que, si bien el método destaca en el régimen de "retención estructural", no elimina el suelo de distorsión fundamental causado por la ambigüedad de las tareas; más bien, asigna óptimamente el costo de ese suelo entre el olvido y el ajuste diferido.