The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

Resumen Técnico: El Manifold de Recuperación Estable

Planteamiento del Problema
El aprendizaje continuo busca permitir que los modelos adquieran nuevo conocimiento secuencialmente sin borrar la información previamente aprendida. El obstáculo principal es el olvido catastrófico, tradicionalmente visto como la destrucción permanente de las representaciones codificadas. Mientras que las estrategias de mitigación previas (regularización, replay, aislamiento arquitectónico) operan bajo la suposición de que la información se pierde, un trabajo reciente de los autores [1] desafió esto, demostrando que el conocimiento "olvidado" a menudo permanece accesible mediante el sondeo representacional. Este fenómeno, denominado colapso de accesibilidad, sugiere que la red pierde el acceso a la información a través de su clasificador activo en lugar de perder la información en sí misma. Sin embargo, la estructura geométrica y la dinámica temporal de este conocimiento recuperable permanecieron sin caracterizar.

Metodología
Los autores investigan la estructura geométrica de la recuperabilidad utilizando una arquitectura ResNet-18 entrenada secuencialmente en Split CIFAR-100 (diez tareas, diez clases cada una) sin buffers de replay, memoria de ejemplares o regularización. El estudio emplea seis experimentos para medir:

1. Recuperabilidad ($R_t$): La precisión de un clasificador lineal reinicializado aleatoriamente, entrenado sobre características congeladas de la tarea $t$ para predecir la Tarea 0.
2. Deriva Geométrica: Medida mediante la Deriva de Ángulo Principal ($D_t$) (rotación de subespacios) y la Energía de Proyección ($PE_t$) (alineación de la varianza con el subespacio original de la Tarea 0).
3. Dimensionalidad del Subespacio ($k_t$): El rango mínimo de la matriz de pesos del sondeo lineal requerido para preservar el 90% de la precisión total del sondeo.
4. Similitud Representacional: Utilizando Alineación de Kernel Centrado (CKA) y Ratio de Participación (PR) para analizar los cambios estructurales por capa.

El estudio pone a prueba la hipótesis inicial de Difusión de la Recuperabilidad (la idea de que la dimensionalidad del subespacio de recuperación crece monótonamente a medida que se aprenden más tareas) frente a la propuesta hipótesis del Manifold de Recuperación Estable (SRM).

Contribuciones Clave y Resultados

1. Falsificación de la Difusión de la Recuperabilidad:
   Contrario a la hipótesis inicial, la dimensionalidad del subespacio de recuperación ($k_t$) no crece. Se mantiene notablemente constante en aproximadamente 8 direcciones principales de un total de 512 dimensiones en todas las diez tareas (Media $k_t = 8.0$, $\sigma = 0.82$). Esto indica que la red no requiere subespacios cada vez más complejos para recuperar conocimiento antiguo; la capacidad de recuperación es compacta y estable.

2. La Hipótesis del Manifold de Recuperación Estable (SRM):
   El artículo postula que el olvido catastrófico es primordialmente un fallo de accesibilidad geométrica en lugar de una destrucción representacional. El conocimiento olvidado se preserva dentro de un manifold compacto, estable y de baja dimensión. Aunque el subespacio representacional rota significativamente (la deriva media del ángulo principal alcanza los 65°) y las capas profundas se reorganizan, la información sigue siendo recuperable mediante una lectura lineal.

3. Predictibilidad Geométrica de la Recuperabilidad:
   Un modelo de regresión lineal utilizando tres variables geométricas —precisión del Sondeo Lineal ($LP_t$), Energía de Proyección ($PE_t$) y Deriva de Ángulo Principal ($D_t$)— explica el 82% de la varianza en la recuperabilidad ($R^2 = 0.82$).

   • La Deriva de Ángulo Principal ($D_t$) es el predictor dominante (Pearson $r = -0.862$), indicando que la recuperabilidad está gobernada por la orientación del subespacio respecto a la tarea original, no por el volumen de información retenida.
   • La red pierde el acceso a la información (alineación del clasificador) mucho antes de que pierda la información en sí.

4. Mecanismo de Estratificación por Profundidad:
   El análisis del Ratio de Participación revela un efecto de estratificación por profundidad novedoso:

   • Capas Tempranas (L1, L2): Se vuelven más distribuidas (características generales), con L1 mostrando una retención casi perfecta (100.02%) a través de todas las tareas.
   • Capas Profundas (L3, L4): Se vuelven más concentradas (compresión específica de la tarea), experimentando una reorganización estructural significativa.
     Esta estratificación proporciona la base mecánica de por qué las capas tempranas retienen características universales mientras que las capas profundas impulsan el colapso de accesibilidad.

Significancia y Reivindicaciones
El artículo redefine el olvido catastrófico de un problema de pérdida de información a un problema de preservación de la orientación del subespacio. Los autores afirman que:

• El olvido es un desalineamiento sistemático entre una estructura representacional estable y un clasificador que se adapta dinámicamente.
• La hipótesis de la "Difusión de la Recuperabilidad" es falsa; el subespacio de recuperación es estable, no difusivo.
• Las futuras estrategias de mitigación deberían apuntar a la preservación de la orientación del manifold (evitar la rotación de las 8 direcciones singulares principales) en lugar de la preservación general de la deriva de parámetros o del volumen de información.
• Los hallazgos sugieren que intervenciones dirigidas que preserven solo ~8 dimensiones podrían mantener una recuperabilidad casi total, ofreciendo una alternativa altamente eficiente al almacenamiento de checkpoints completos o a los grandes buffers de replay.

Los autores mantienen la modestia respecto a la universalidad del hallazgo $k_t \approx 8$, señalando que actualmente está establecido solo para ResNet-18 en Split CIFAR-100 y requiere validación en arquitecturas no residuales y secuencias de tareas más largas.