🤖 machine learning

Catastrophic Forgetting is Low-Rank: A Function-Space Theory for Continual Adaptation

Cet article présente une théorie de l'espace des fonctions dans le régime NTK démontrant que l'oubli catastrophique dans l'adaptation continue est un phénomène de faible rang concentré dans des modes propres spécifiques, permettant la dérivation de prédicteurs exacts pour les vecteurs d'oubli et motivant des régulariseurs spectraux ciblés.

Auteurs originaux : Ido Nitzan Hidekel, Dan Raviv

Publié 2026-06-17

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ido Nitzan Hidekel, Dan Raviv

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : le cerveau qui « écrase » les données

Imaginez que vous avez un étudiant brillant qui est excellent en mathématiques (Tâche A). Vous lui apprenez ensuite à jouer aux échecs (Tâche B). Malheureusement, alors qu'il apprend les échecs, il commence à oublier comment faire des mathématiques. Dans le monde de l'IA, c'est ce qu'on appelle l'oubli catastrophique (Catastrophic Forgetting).

Pendant des années, les chercheurs ont essayé de résoudre ce problème en disant à l'IA : « Ne change pas trop ton cerveau ». Ils ont tenté de verrouiller les paramètres internes de l'IA ou de lui faire mémoriser d'anciens exemples (relecture/replay). Mais l'article soutient que ces méthodes reviennent à essayer d'arrêter une inondation en bouchant des trous au hasard dans un barrage : elles ne savent pas où l'eau fuit réellement.

La nouvelle découverte : la « fuite » est minuscule et spécifique

Les auteurs de cet article ont découvert que lorsqu'une IA oublie, elle n'oublie pas tout d'un coup. Au lieu de cela, l'oubli se produit dans une direction très spécifique et très petite.

L'analogie : Le piano et la partition
Imaginez que la connaissance de l'IA sur l'ancienne tâche (les Mathématiques) est comme une chanson jouée sur un piano.

L'ancienne vision : Les chercheurs pensaient qu'apprendre une nouvelle chanson (les Échecs) pourrait dérégler tout le piano, perturbant chaque touche.
La nouvelle vision : L'article montre que l'apprentissage de la nouvelle chanson ne dérègle qu'une ou deux touches spécifiques (ou peut-être un petit accord). Le reste du piano reste parfaitement intact.

Les auteurs appellent cela la nature « Low-Rank » (de faible rang) de l'oubli. « Low-rank » est une façon mathématique élégante de dire que cela est « concentré dans un espace très restreint ». Au lieu que toute la chanson change, seules quelques notes se désaccordent.

Comment ils l'ont trouvé : La formule de la « boule de cristal »

Les chercheurs ont développé une formule mathématique (un « prédicteur ») qui peut vous dire exactement quelles notes seront désaccordées avant même que l'IA ne commence à apprendre la nouvelle chanson.

Comment ça marche : Ils observent le « cerveau » actuel de l'IA et la nouvelle tâche qu'elle s'apprête à apprendre. En utilisant un outil appelé le Kernel de Tangente Neurale (NTK) (imaginez cela comme une carte de la façon dont le cerveau de l'IA réagit aux changements), ils peuvent calculer la direction exacte vers laquelle les connaissances anciennes vont dériver.
Le résultat : Cette formule est incroyablement précise. Dans leurs tests, la « dérive » prédite correspondait presque parfaitement à la dérive réelle (similitude de plus de 99 %). C'est comme être capable de prédire exactement quelle page d'un livre sera mouillée avant même que vous ne renversiez l'eau.

Pourquoi les anciennes solutions ont échoué

L'article explique pourquoi les méthodes populaires comme l'EWC (qui tente de protéger les paramètres internes de l'IA) échouent souvent sur des tâches partagées.

L'analogie : Le sac à dos lourd

L'ancienne méthode (EWC) : Imaginez que l'IA porte un sac à dos lourd rempli de pierres. Les pierres représentent les « paramètres importants » qui ne devraient pas changer. L'idée est que le sac à dos est si lourd que l'IA ne peut pas bouger ses bras pour apprendre la nouvelle tâche.
Le problème : L'oubli ne se produit pas parce que l'IA déplace tout son corps (le sac à dos). Il se produit parce que l'IA tord son poignet d'une manière très spécifique. Le sac à dos lourd n'empêche pas la torsion du poignet. Les « pierres » sont mal placées pour arrêter cette fuite spécifique.

L'article montre que la « fuite » se produit dans l'espace de sortie (la réponse finale donnée par l'IA), et non profondément dans l'espace des paramètres (les poids internes). Protéger les poids internes revient à essayer d'empêcher une torsion du poignet en verrouillant les genoux.

La solution : Le « bouclier ciblé »

Puisque nous savons maintenant que l'oubli se produit dans une zone minuscule et spécifique (le « sous-espace vulnérable »), les auteurs proposent une nouvelle correction : la Régularisation Spectrale.

L'analogie : Le casque à réduction de bruit
Au lieu d'essayer de faire taire toute la pièce (ce que font les anciennes méthodes), cette nouvelle méthode place un bouclier de « réduction de bruit » uniquement sur les fréquences spécifiques où l'oubli se produit.

Elle idente les 1 à 6 « notes » (modes propres) qui sont à risque.
Elle place une garde forte sur ces notes seulement.
Elle laisse le reste du piano libre de bouger et d'apprendre la nouvelle chanson.

Les résultats :
Dans leurs expériences, cette approche ciblée a bien mieux fonctionné que les anciennes méthodes.

Sur un test appelé Split-MNIST, la nouvelle méthode a réduit l'oubli de manière massive (un ratio de protection de 75 pour 1 par rapport aux autres méthodes).
Elle a prouvé qu'il n'est pas nécessaire de geler tout le cerveau ; il suffit de protéger les quelques directions spécifiques qui sont vulnérables.

Résumé

L'oubli n'est pas aléatoire : Il se produit dans une zone minuscule et concentrée (low-rank), et non partout.
Nous pouvons le prédire : Une nouvelle formule peut nous dire exactement quelle partie des connaissances de l'IA va dériver avant que cela n'arrive.
Les anciennes corrections passent à côté : Les méthodes qui tentent de verrouiller tout le cerveau sont comme utiliser une masse pour réparer une montre ; elles sont trop larges.
La nouvelle correction est précise : En construisant un bouclier qui ne protège que les « notes » spécifiques à risque, nous pouvons apprendre de nouvelles choses sans perdre les anciennes.

L'article conclut que pour empêcher l'IA d'oublier, nous devons arrêter de regarder l'ensemble du cerveau et commencer à regarder les « directions » spécifiques où la connaissance est fragile.

Résumé Technique : L'oubli catastrophique est de faible rang

Énoncé du Problème

L'adaptation continue — l'ajustement fin de grands modèles pré-entraînés sur de nouvelles tâches tout en maintenant les performances sur les anciennes — est entravée par l'oubli catastrophique. Bien que les stratégies de mitigation existantes couvrent la régularisation des paramètres (EWC, SI), le replay, la distillation et la projection de gradient, le domaine manque d'un compte rendu mécaniste de quelles directions de l'espace de sortie sont vulnérables à la dérive. Les travaux théoriques antérieurs (par exemple, Doan et al., 2021 ; Bennani et al., 2020) ont établi des bornes scalaires sur l'ampleur de l'oubli basées sur l'alignement des tâches, mais n'ont pas réussi à identifier la structure de l'espace propre spécifique du vecteur d'oubli, ni à expliquer pourquoi certaines directions de sortie dérivent tandis que d'autres restent stables.

Méthodologie : Théorie de l'espace de fonction dans le régime NTK

L'article recadre l'oubli catastrophique comme une interférence de faible rang dans l'espace des fonctions au sein du régime du Noyau Tangent Neural (NTK). Le cadre théorique central repose sur l'analyse du décalage des prédictions pour une tâche précédente (Tâche A) induit par l'entraînement sur une nouvelle tâche (Tâche B).

1. Le prédicteur d'oubli

Les auteurs dérivent un prédicteur en forme close pour le vecteur d'oubli $\Delta f_A$ (le décalage des prédictions de la Tâche A) avant qu'une étape de gradient de la nouvelle tâche ne soit effectuée. Sous une linéarisation NTK autour des paramètres $\theta_A$ de l'ancienne tâche, et en supposant que l'entraînement de la Tâche B converge vers un minimiseur d'une perte MSE régularisée, le vecteur d'oubli est donné par :

$\Delta f_A = -K_{AB} (K_{BB} + \lambda I)^{-1} r_B$

Où :

$K_{AB} = J_A J_B^\top$ est le noyau inter-tâches (interaction entre les Jacobiens de la Tâche A et de la Tâche B).
$K_{BB} = J_B J_B^\top$ est le noyau de la Tâche B.
$r_B = f_B(\theta_A) - y_B$ est le résidu de la Tâche B au début de l'entraînement.
Le prédicteur est exact (à précision numérique près) dans le régime d'un backbone gelé avec une tête linéaire entraînable (linéaire en paramètres). Pour les adaptateurs non linéaires ou le fine-tuning complet, il sert d'approximation NTK locale.

2. Caractérisation structurelle

Le prédicteur révèle que l'oubli n'est pas uniforme mais se concentre dans un sous-espace de faible rang de l'espace de sortie :

Concentration de faible rang : Le vecteur d'oubli réside dans l'image du Jacobien de la Tâche A ( $Im(J_A)$ ). Lorsqu'il est développé dans la base propre du noyau de la Tâche A ( $K_{AA}$ ), l'énergie du vecteur d'oubli se concentre dans un petit nombre de modes propres supérieurs (1 à 6 modes portent 50 à 90 % de l'énergie sur les benchmarks standards).
Règle d'échelle de Kronecker : Pour une carte de caractéristiques figée $\phi(x)$ et une tête linéaire entraînable $W \in \mathbb{R}^{C \times F}$ , le noyau $K_{AA}$ admet une factorisation de Kronecker exacte $K_{AA} = I_C \otimes G$ , où $G$ est la matrice de Gram des caractéristiques. Cela implique que la dimension du sous-espace vulnérable suit la règle d'échelle :
$k^\star \approx C \cdot k_G$
où $C$ est le nombre de classes de sortie et $k_G$ est le rang effectif de la matrice de Gram des caractéristiques.

3. Solution proposée : Régularisation Spectrale

Sur la base de la théorie selon laquelle l'oubli est concentré dans un sous-espace de faible dimension spécifique, les auteurs proposent la Régularisation Spectrale. Au lieu de pénaliser la dérive à travers tous les paramètres ou toutes les directions de sortie (comme dans EWC ou LwF), cette méthode pénalise explicitement la dérive uniquement le long des $k$ vecteurs propres supérieurs du noyau de l'ancienne tâche $K_{AA}$ . Cela accorde une pleine plasticité au sous-espace complémentaire tout en protégeant les directions vulnérables.

Contributions Clés

Prédicteur d'oubli en forme close : Une formule (Proposition 1) qui prédit la direction et l'ampleur du vecteur d'oubli en utilisant uniquement des quantités de pré-entraînement. La validation empirique montre une similitude cosinus > 0,99 avec les décalages réalisés sur des backbones Transformer et ResNet sous adaptation de tête gelée.
Caractérisation structurelle de la vulnérabilité : L'identification du fait que l'oubli se concentre dans un petit nombre de modes propres NTK. L'article fournit une factorisation de Kronecker exacte pour les têtes linéaires à backbone gelé, établissant une règle d'échelle ( $k^\star \approx C \cdot k_G$ ) qui lie le nombre de sorties et le rang des caractéristiques à la dimension du sous-espace vulnérable.
Lent de diagnostic pour la conception de méthodes : La théorie explique pourquoi les régulariseurs dans l'espace des paramètres (comme EWC) échouent sur les benchmarks à tête partagée : ils contraignent la dérive des paramètres mais ne s'alignent pas avec les modes propres spécifiques de l'espace de sortie où l'interférence se produit. Inversement, elle explique pourquoi les méthodes larges dans l'espace de fonction (comme LwF) réussissent mais peuvent être inefficaces, car elles pénalisent des directions non vulnérables.

Résultats Expérimentaux

L'article évalue la théorie et la proposition de Régularisation Spectrale sur Split-MNIST, Split-CIFAR-10 et Split-CIFAR-100 (régime de tête linéaire à backbone gelé).

Échec des méthodes dans l'espace des paramètres : Sur les benchmarks à tête partagée, les méthodes de l'espace des paramètres (EWC, SI) ne performent pas mieux qu'une absence de régularisation, confirmant que la vulnérabilité réside dans l'espace de sortie, et non dans l'espace des paramètres.
Protection ciblée vs protection large :
- Split-MNIST : La régularisation spectrale atteint un ratio de dérive (Autre/Vulnérable) de 75:1, ce qui signifie qu'elle supprime presque entièrement la dérive vulnérable tout en laissant l'autre dérive sans contrainte. En revanche, les bases comme EWC et LwF montrent des ratios proches de 0,5:1 à 0,8:1, indiquant une suppression uniforme ou un manque de ciblage.
- Split-CIFAR-100 : Lorsque le nombre de sorties $C$ est grand (100), la dimension du sous-espace vulnérable $k^\star$ augmente. Dans ces conditions, la pénalité "large" de LwF chevauche naturellement de manière significative le sous-espace vulnérable, faisant converger la performance de la Régularisation Spectrale et de LwF (environ 40 % de précision).
Précision : Le prédicteur atteint une précision de précision machine ( $1 - \cos \text{sim} \approx 10^{-6}$ ) sur les backbones ViT et DINOv2 avec des têtes linéaires gelées.

Signification et Revendications

L'article affirme fournir un compte rendu mécaniste de l'oubli catastrophique, allant au-delà des bornes scalaires pour proposer une compréhension structurelle du vecteur d'oubli.

Recadrage : L'oubli est identifié comme une interférence de faible rang dans l'espace des fonctions, pilotée par le noyau inter-tâches agissant sur le résidu de la nouvelle tâche.
Explication de l'échec : Ce travail clarifie pourquoi les régulariseurs de l'espace des paramètres (EWC) échouent sur les tâches à tête partagée : ils ne peuvent pas protéger sélectivement les modes propres spécifiques de l'espace de sortie où l'interférence se concentre.
Heuristique de conception : La règle d'échelle dérivée ( $k^\star \approx C \cdot k_G$ ) offre un moyen fondé pour ajuster les régulariseurs spectraux. Elle explique la convergence des méthodes ciblées et larges à mesure que la dimension de sortie augmente.
Portée : Les auteurs sont modestes quant à l'applicabilité, notant que le prédicteur est exact pour les têtes linéaires sur des backbones gelés et une approximation locale pour les adaptateurs non linéaires. Ils reconnaissent les limites concernant le fine-tuning complet de backbones profonds, les pertes de cross-entropy (qui brisent le découplage strict par blocs) et les longues séquences de tâches où l'erreur se cumule.

L'article conclut que, bien qu'il ne propose pas une nouvelle architecture PEFT, il offre un fondement théorique et un outil de diagnostic (Régularisation Spectrale) qui aligne la régularisation avec la géométrie réelle de l'oubli.