The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

Résumé Technique : La Variété de Récupération Stable (Stable Recovery Manifold)

Énoncé du Problème
L'apprentissage continu vise à permettre aux modèles d'acquérir de nouvelles connaissances de manière séquentielle sans effacer les informations précédemment apprises. L'obstacle principal est l'oubli catastrophique, traditionnellement perçu comme la destruction permanente des représentations encodées. Alors que les stratégies d'atténuation antérieures (régularisation, rejeu, isolation architecturale) opèrent sur l'hypothèse que l'information est perdue, des travaux récents des auteurs [1] ont remis cela en question, démontrant que la connaissance « oubliée » reste souvent accessible via un sondage représentationnel. Ce phénomène, nommé effondrement de l'accessibilité, suggère que le réseau perd l'accès à l'information par son classificateur actif plutôt qu'il ne perd l'information elle-même. Cependant, la structure géométrique et la dynamique temporelle de cette connaissance récupérable restaient non caractérisées.

Méthodologie
Les auteurs étudient la structure géométrique de la récupérabilité en utilisant un squelette ResNet-18 entraîné séquentiellement sur Split CIFAR-100 (dix tâches, dix classes chacune) sans tampons de rejeu, sans mémoire d'exemplaires, ni régularisation. L'étude emploie six expériences pour mesurer :

1. La Récupérabilité ($R_t$) : La précision d'un classificateur linéaire réinitialisé aléatoirement, entraîné sur les caractéristiques gelées de la tâche $t$ pour prédire la Tâche 0.
2. La Dérive Géométrique : Mesurée via la Dérive d'Angle Principal ($D_t$) (rotation des sous-espaces) et l'Énergie de Projection ($PE_t$) (alignement de la variance avec le sous-espace original de la Tâche 0).
3. La Dimensionnalité du Sous-espace ($k_t$) : Le rang minimal de la matrice de poids du sondage linéaire requis pour préserver 90 % de la précision totale du sondage.
4. La Similitude Représentationnelle : Utilisation de l'Alignement de Noyau Centré (CKA) et du Ratio de Participation (PR) pour analyser les changements structurels couche par couche.

L'étude teste une hypothèse initiale de Diffusion de la Récupérabilité (l'idée que la dimensionnalité du sous-espace de récupération croît de manière monotone à mesure que plus de tâches sont apprises) contre l'hypothèse proposée de la Variété de Récupération Stable (SRM).

Contributions Clés et Résultats

1. Falsification de la Diffusion de la Récupérabilité :
   Contrairement à l'hypothèse initiale, la dimensionnalité du sous-espace de récupération ($k_t$) ne croît pas. Elle reste de manière frappante constante à environ 8 directions principales sur un total de 512 dimensions à travers les dix tâches (Moyenne $k_t = 8,0$, $\sigma = 0,82$). Cela indique que le réseau ne nécessite pas de sous-espaces de plus en plus complexes pour récupérer les anciennes connaissances ; la capacité de récupération est compacte et stable.

2. L'Hypothèse de la Variété de Récupération Stable (SRM) :
   Le papier pose que l'oubli catastrophique est principalement un échec d'accessibilité géométrique plutôt qu'une destruction représentationnelle. La connaissance oubliée est préservée au sein d'une variété compacte, stable et de faible dimension. Bien que le sous-espace représentationnel pivote de manière significative (la dérive de l'angle principal moyen atteint 65°) et que les couches profondes se réorganisent, l'information reste récupérable via une lecture linéaire.

3. Prédictibilité Géométrique de la Récupérabilité :
   Un modèle de régression linéaire utilisant trois variables géométriques — la précision du sondage linéaire ($LP_t$), l'Énergie de Projection ($PE_t$) et la Dérive d'Angle Principal ($D_t$) — explique 82 % de la variance de la récupérabilité ($R^2 = 0,82$).

   • La Dérive d'Angle Principal ($D_t$) est le prédicteur dominant (Pearson $r = -0,862$), indiquant que la récupérabilité est gouvernée par l'orientation du sous-espace par rapport à la tâche originale, et non par le volume d'information conservé.
   • Le réseau perd l'accès à l'information (alignement du classificateur) bien avant de perdre l'information elle-même.

4. Mécanisme de Stratification par Profondeur :
   L'analyse du Ratio de Participation révèle un effet de stratification par profondeur inédit :

   • Couches Précoces (L1, L2) : Deviennent plus distribuées (caractéristiques générales), L1 montrant une rétention quasi parfaite (100,02 %) à travers toutes les tâches.
   • Couches Profondes (L3, L4) : Deviennent plus concentrées (compression spécifique à la tâche), subissant une réorganisation structurelle significative.
     Cette stratification fournit la base mécaniste expliquant pourquoi les couches précoces retiennent des caractéristiques universelles tandis que les couches profondes pilotent l'effondrement de l'accessibilité.

Signification et Revendications
Le papier recadre l'oubli catastrophique, passant d'un problème de perte d'information à un problème de préservation de l'orientation du sous-espace. Les auteurs affirment que :

• L'oubli est un désalignement systématique entre une structure représentationnelle stable et un classificateur s'adaptant dynamiquement.
• L'hypothèse de la « Diffusion de la Récupérabilité » est fausse ; le sous-espace de récupération est stable, et non diffusif.
• Les futures stratégies d'atténuation devraient cibler la préservation de l'orientation de la variété (empêcher la rotation des 8 directions singulières principales) plutôt que la dérive générale des paramètres ou la préservation du volume d'information.
• Les résultats suggèrent qu'une intervention ciblée préservant seulement environ 8 dimensions pourrait maintenir une récupérabilité quasi totale, offrant une alternative hautement efficace au stockage complet de checkpoints ou aux grands tampons de rejeu.

Les auteurs restent modestes quant à l'universalité de la découverte $k_t \approx 8$, notant qu'elle est actuellement établie uniquement pour ResNet-18 sur Split CIFAR-100 et nécessite une validation sur des architectures non résiduelles et des séquences de tâches plus longues.