Catastrophic Forgetting as Accessibility Collapse: A Three-Level Framework for Knowledge Persistence in Continual Learning

Cet article propose un cadre à trois niveaux distinguant le stockage, la représentation et l'accessibilité de la connaissance pour démontrer que l'oubli catastrophique dans l'apprentissage continu est principalement un échec d'accessibilité plutôt qu'une effacement représentationnel complet, comme en témoigne la persistance de l'information de tâche dans les représentations neurales qui peut être récupérée par un simple réentraînement de classificateur.

L'essentiel

L'idée principale : Ce n'est pas perdu, c'est juste verrouillé

Imaginez que vous avez une bibliothécaire brillante (l'IA) qui a mémorisé des milliers de livres. Un jour, vous lui demandez d'apprendre une nouvelle langue. En étudiant cette nouvelle langue, elle oublie soudainement comment parler sa langue d'origine. Dans le monde de l'IA, c'est ce qu'on appelle l'oubli catastrophique (Catastrophic Forgetting).

D'habitude, les scientifiques supposent que lorsque l'IA « oublie », l'information est réellement supprimée de son cerveau, comme si on effaçait un disque dur.

Cet article soutient que l'information n'est pas du tout supprimée. Au lieu de cela, l'IA possède toujours la connaissance, mais elle a perdu la clé pour y accéder. Les auteurs appellent cela l'« effondrement de l'accessibilité » (Accessibility Collapse).

Les trois niveaux de connaissance

Pour prouver cela, les auteurs ont décomposé le cerveau de l'IA en trois niveaux, comme un bâtiment à trois étages :

1. Niveau 1 : Le Stockage (Le Sous-sol) : Les données brutes et les solutions sont toujours là, bien au chaud dans le sous-sol. Si vous revenez exactement au moment où l'IA a fini d'apprendre la première tâche, la réponse est toujours présente.
2. Niveau 2 : La Représentation (Les Étages intermédiaires) : Les « pensées » internes ou les caractéristiques de l'IA concernant la première tâche sont toujours intactes. Même si l'IA ne peut plus répondre aux questions sur la première tâche, si vous jetez un œil à ses notes internes, l'information y est encore clairement écrite.
3. Niveau 3 : L'Accessibilité (La Porte d'entrée) : C'est la partie qui casse. La « porte d'entrée » (la couche finale de prise de décision) se bloque. L'IA connaît la réponse au plus profond d'elle-même, mais elle ne peut pas la transmettre au monde extérieur.

L'expérience : Le test de la « page blanche »

Les chercheurs ont mis en place un test strict pour prouver cela. Ils ont utilisé un modèle d'IA standard (ResNet-18) et lui ont enseigné 10 tâches différentes les unes après les autres.

• Pas de ruse : Ils n'ont utilisé aucune méthode spéciale pour aider l'IA à se souvenir.
• Pas de regard en arrière : Ils n'ont pas laissé l'IA relire les anciennes données.
• Le Résultat : Après avoir appris la Tâche 10, le score de l'IA sur la Tâche 1 est tombé à 0 %. Cela ressemblait à un échec total.

Le « tour de magie » : Déverrouiller la porte

C'est ici que l'article devient passionnant. Les chercheurs ont tenté une solution simple :

1. Ils ont pris l'IA « défectueuse » (celle avec un score de 0 %).
2. Ils ont gelé son cerveau (les couches profondes) pour qu'il ne puisse plus changer.
3. Ils ont remplacé uniquement la « porte d'entrée » (le classificateur final) par une toute nouvelle.
4. Ils ont appris à cette nouvelle porte comment s'ouvrir en utilisant les anciennes données.

Le Résultat : L'IA s'est soudainement souvenue de 75,7 % de la tâche originale !

L'analogie : Imaginez que vous avez oublié comment conduire votre ancienne voiture parce que vous avez appris à conduire un nouveau modèle déroutant. L'article montre que si vous remplacez le volant et les pédales (la « porte d'entrée ») de l'ancienne voiture, vous pouvez la conduire parfaitement à nouveau. Le moteur et le châssis (les couches profondes) étaient parfaitement fonctionnels ; vous aviez simplement les mauvais commandes attachées.

Où les dégâts ont-ils eu lieu ?

Les auteurs ont examiné l'IA couche par couche pour voir où l'oubli s'était produit.

• Couches précoces (Les Fondations) : Ces couches sont en fait devenues meilleures pour se souvenir de l'ancienne tâche après avoir appris les nouvelles. Elles sont comme les racines d'un arbre ; elles sont restées solides et sont même devenues plus fortes.
• Couches tardives (Le Sommet) : Les dommages étaient presque entièrement concentrés tout en haut, dans la dernière couche qui prend la décision.

C'est comme si les racines de l'arbre étaient saines, mais que la branche supérieure s'était cassée. Le fruit (la connaissance) pousse toujours sur les branches inférieures, mais vous ne pouvez pas l'atteindre parce que le sommet est brisé.

L'« écart d'accessibilité »

Les auteurs ont créé une nouvelle façon de mesurer ce problème appelée l'Écart d'Accessibilité (Accessibility Gap).

• L'Écart : C'est la différence entre ce que l'IA sait (qui est élevé) et ce qu'elle dit (qui est de zéro).
• La Découverte : Un écart énorme signifie que l'IA n'est pas stupide ; elle est simplement verrouillée hors de sa propre connaissance.

Ce qui n'a pas fonctionné

Les chercheurs ont également testé une correction « géométrique ». Ils se sont dit : « Peut-être que si nous poussons simplement le cerveau de l'IA vers l'état où il était avant, elle se souviendra. » Ils ont tenté de ramener les paramètres internes de l'IA vers ses anciens réglages.

• Le Résultat : Cela n'a pas fonctionné. L'article est honnête sur ce « résultat négatif ». Il semble qu'on ne puisse pas simplement pousser le cerveau en arrière ; il faut plutôt réparer la « porte » (la couche de lecture) à la place.

L'essentiel à retenir

Cet article change notre façon de concevoir l'oubli de l'IA.

• Ancienne vision : « L'IA a tout oublié. Nous devons empêcher son cerveau de changer. »
• Nouvelle vision : « L'IA n'a pas oublié ; elle a simplement perdu la capacité d'accéder à l'information. Nous n'avons pas besoin d'empêcher son cerveau de changer. Au lieu de cela, nous devons construire de meilleures "clés" ou "portes" pour l'aider à accéder aux connaissances qu'elle possède déjà. »

Les auteurs suggèrent qu'à l'avenir, nous devrions nous concentrer sur la réparation des points d'accès plutôt que d'essayer d'empêcher le cerveau de changer.

Résumé technique

Résumé Technique : L'oubli catastrophique comme effondrement de l'accessibilité

Énoncé du problème

L'article traite de l'oubli catastrophique dans les réseaux de neurones profonds, un phénomène où la performance sur les tâches précédemment apprises s'effondre rapidement à mesure que de nouvelles tâches sont apprises séquentiellement. L'hypothèse prédominante dans le domaine est que cet effondrement représente la destruction ou l'effacement irréversible des représentations de connaissances apprises. Les auteurs contestent cette interprétation, proposant que l'effondrement de la précision observé ne reflète peut-être pas la perte de la connaissance sous-jacente, mais plutôt un échec de l'accès à cette connaissance. La question de recherche centrale est de savoir si l'oubli catastrophique implique que le réseau a perdu la connaissance elle-même ou simplement la capacité de l'utiliser via son chemin de décision actuel.

Méthodologie

Les auteurs utilisent un dispositif expérimental d'« oubli pur » pour créer un banc d'essai propre afin d'analyser la persistance de la connaissance sans l'interférence des stratégies d'atténuation de l'apprentissage continu (CL).

• Jeu de données et protocole : Les expériences utilisent le Split CIFAR-100, partitionné en 10 tâches séquentielles de 10 classes chacune.
• Architecture : Un modèle ResNet-18 est entraîné à partir d'une initialisation aléatoire.
• Conditions d'entraînement : Le modèle est entraîné séquentiellement en utilisant une perte de cross-entropie standard et la descente de gradient stochastique (SGD). Crucialement, aucun replay, aucune régularisation et aucune méthode de CL ne sont appliqués. Cela garantit que toute rétention de connaissance est intrinsèque à la dynamique du réseau plutôt qu'imposée par des contraintes externes.
• Cadre d'évaluation : Les auteurs introduisent un cadre à trois niveaux pour distinguer :
  1. Le stockage de la connaissance : Validité des points de contrôle (checkpoints) sauvegardés.
  2. La représentation de la connaissance : Information encodée dans les caractéristiques intermédiaires gelées.
  3. L'accessibilité de la connaissance : Performance fonctionnelle de sortie.
• Métriques de diagnostic :
  • Écart d'accessibilité (AG) : Défini par $AG = LP_{final} - ACC_{final}$, quantifiant la divergence entre la précision de la sonde linéaire (connaissance représentationnelle) et la précision de la tâche (performance fonctionnelle).
  • Énergie de projection (PE) : Une métrique géométrique mesurant la fraction de l'énergie de la représentation finale restant dans l'espace de sous-plan de la tâche originale.
  • Analyse de l'angle principal : Utilisée pour mesurer la dérive géométrique entre le point de contrôle et l'espace de sous-plan du modèle final.
• Expériences clés :
  • Sonde linéaire (Linear Probing) : Entraînement de classificateurs linéaires sur les caractéristiques gelées de diverses couches pour mesurer l'information retenue.
  • Réinitialisation du classificateur (Classifier Reset) : Gel de l'intégralité du backbone du modèle « oublié » et entraînement d'une nouvelle tête linéaire sur les données de la tâche originale pour tester la récupérabilité.
  • Analyse par couche : Examen de la rétention et de la récupérabilité à chaque bloc résiduel (Couches 1–4).
  • Récupération dans l'espace des paramètres : Test de la possibilité de restaurer la précision en déplaçant les poids vers un point de contrôle stocké.

Résultats Clés

1. Effondrement complet de la précision vs Rétention de la représentation

Après un entraînement séquentiel sur 10 tâches, la précision de sortie de la Tâche 0 s'effondre complètement à 0.000. Cependant, l'état interne du réseau retient une information significative :

• Rétention de la sonde linéaire : Une sonde linéaire entraînée sur les caractéristiques de la Couche 4 du modèle final atteint une précision de 0.468, ce qui représente 76 % de la précision de la sonde au niveau du point de contrôle (0.616).
• Écart d'accessibilité (AG) : L'AG pour la Tâche via la sonde est de 0.468, démontrant une divergence massive entre la performance fonctionnelle et la qualité représentationnelle interne.

2. Asymétrie par couche

L'oubli n'est pas uniforme à travers le réseau :

• Couches précoces (1 & 2) : Ces couches montrent une rétention de 103 % et 104 % respectivement de leur précision de sonde originale. Dans certains cas, l'entraînement de tâches ultérieures semble affiner les caractéristiques de bas niveau, améliorant leur pouvoir discriminant pour les tâches antérieures.
• Couches tardives (4 & Classificateur) : La dégradation est presque entièrement concentrée dans la Couche 4 (76 % de rétention) et la couche du classificateur final (0 % de rétention).

3. Récupérabilité via la réinitialisation du classificateur

Lorsque le backbone du modèle « oublié » est gelé et qu'une nouvelle tête linéaire est entraînée sur les données de la Tâche 0 :

• Le modèle récupère une précision de 0.415.
• Cela représente 75,7 % de la performance originale de la Tâche 0 (0.548), prouvant que la majorité de l'information pertinente pour la tâche reste encodée et est récupérable sans modifier le backbone.
• Hiérarchie de récupérabilité par couche : La précision récupérable diminue de manière monotone de la Couche 1 (122 % de l'original) à la Couche 4 (85 %) jusqu'au reset complet du backbone (75,7 %), indiquant que la perte d'information s'accumule à mesure que les représentations se propagent vers l'avant.

4. Résultats géométriques

• Encodage distribué : L'analyse de l'énergie de projection révèle que l'information retenue n'est pas concentrée dans un petit ensemble de directions principales dominantes. Au contraire, elle est distribuée dans des sous-espaces de haute dimension.
• Rotation de sous-plan : L'analyse de l'angle principal montre un angle moyen de 79° entre le sous-plan du point de contrôle et celui du modèle final (approchant l'orthogonalité). Malgré cette rotation géométrique sévère, la rétention de la sonde linéaire reste élevée, suggérant que la préservation représentationnelle est un phénomène de haute dimension non capturé par le chevauchement de sous-plans de faible rang.
• Résultat négatif : La récupération géométrique dans l'espace des paramètres (déplacement des poids vers un point de contrôle stocké) s'est avérée inefficace dans ces conditions expérimentales.

Signification et Revendications

L'article propose l'Hypothèse de l'effondrement de l'accessibilité, qui recadre l'oubli catastrophique non pas comme la destruction structurelle des représentations, mais comme une rupture localisée de l'accessibilité fonctionnelle concentrée au niveau de la couche de lecture finale.

• Changement de paradigme : Les auteurs soutiennent que le domaine devrait passer d'un paradigme axé sur la prévention (contraindre les mises à jour pour préserver les paramètres) à un paradigme axé sur la réparation (puisque les représentations persistent naturellement sous une forme distribuée et de haute dimension, les interventions devraient se concentrer sur des mécanismes de lecture adaptatifs et dépendants du contexte ou des têtes de routage légères spécifiques à la tâche plutôt que sur une régularisation rigide).
• Utilité diagnostique : L'introduction de l'Écart d'accessibilité et de l'Énergie de projection fournit des outils formels pour distinguer l'effacement représentationnel de l'échec d'accessibilité, offrant une vision plus nuancée de la persistance de la connaissance.
• Fondement empirique : En démontrant que 75,7 % de la performance de la tâche peut être récupérée simplement en réentraînant la tête linéaire, ce travail établit qu'une part substantielle de l'information pertinente pour la tâche survit à l'entraînement séquentiel, même en l'absence de mesures de sauvegarde de l'apprentissage continu.

L'article conclut que l'oubli catastrophique est principalement un échec d'alignement entre les représentations internes du réseau et sa voie de sortie, plutôt qu'une perte des représentations elles-mêmes.