Representation Finetuning for Continual Learning

Ce papier présente CoRe, un cadre novateur qui améliore l'apprentissage continu en déplaçant le paradigme de l'ajustement fin de l'espace des poids vers l'espace des représentations via des interventions dans un sous-espace linéaire de rang faible, garantissant ainsi une meilleure stabilité et plasticité que les méthodes existantes.

L'essentiel

Imaginez que vous apprenez à conduire. D'abord, vous apprenez à conduire une voiture de ville (TIL). Ensuite, vous devez apprendre à conduire un camion (DIL), puis un avion (CIL). Le problème, c'est que votre cerveau a tendance à oublier comment conduire la voiture de ville dès que vous apprenez à piloter l'avion. C'est ce qu'on appelle en intelligence artificielle l'"oubli catastrophique".

Les modèles d'IA actuels, comme les grands cerveaux numériques (les modèles pré-entraînés), sont excellents, mais ils sont rigides. Pour les adapter à de nouvelles tâches, on doit les "ajuster" (finetuning). Les méthodes actuelles sont comme si on essayait de réparer une voiture en démontant et en changeant des milliers de pièces mécaniques (les poids du modèle) au hasard. C'est lent, inefficace, et on risque de casser ce qui fonctionnait déjà.

Voici comment l'article CoRe (Continual Representation Learning) propose de résoudre ce problème, expliqué simplement :

1. Le Problème : Changer les pièces vs. Changer la vision

Les méthodes traditionnelles (comme Adapter ou Prompt) agissent comme des mécaniciens qui changent les vis et les engrenages du moteur (les poids du modèle) pour l'adapter à une nouvelle tâche.

• Le souci : C'est comme si vous deviez réécrire tout le manuel d'instruction de la voiture à chaque fois que vous changez de véhicule. C'est lourd, et souvent, en écrivant le nouveau manuel, vous effacez accidentellement les pages du précédent.

2. La Solution CoRe : Changer la "Vision" dans un miroir spécial

Au lieu de toucher aux engrenages du moteur, CoRe change la façon dont la voiture voit la route.

• L'analogie du miroir magique : Imaginez que votre voiture a un pare-brise (les représentations cachées). Au lieu de changer le moteur, CoRe place un miroir spécial devant le pare-brise.
• Ce miroir n'est pas n'importe lequel. Il est très fin et simple (un sous-espace de rang faible). C'est comme un filtre de réalité augmentée léger.
• Quand la voiture voit un camion, ce miroir déforme légèrement l'image pour que le cerveau de la voiture comprenne : "Ah, c'est un camion, pas une voiture".
• Le génie : Ce miroir est si léger qu'il ne prend presque pas de place (efficacité des paramètres). Et surtout, comme on ne touche pas au moteur, la voiture garde parfaitement en tête comment conduire la voiture de ville (pas d'oubli catastrophique).

3. Comment ça marche ? (La recette)

L'article propose trois idées clés :

1. Intervention directe : On ne touche pas aux poids du modèle (le moteur). On intervient directement sur ce que le modèle "pense" (les représentations). C'est comme corriger une erreur de raisonnement plutôt que de changer la structure du cerveau.
2. Un espace restreint (Rang faible) : On force le miroir à être simple. Imaginez que vous ne pouvez dessiner que sur une petite feuille de papier carrée, pas sur tout un mur. Cela force le modèle à être très efficace et à ne pas "surapprendre" (ce qui cause l'oubli).
3. Objectif clair : Contrairement aux méthodes actuelles qui sont des "boîtes noires" (on ajuste et on espère que ça marche), CoRe a un but précis : "Rends cette image de Samoyède (un chien) aussi claire pour le modèle que celle d'un chien tacheté, mais sans effacer la mémoire des autres chiens".

4. Les Résultats : Pourquoi c'est génial ?

Les auteurs ont testé leur méthode sur de nombreux défis (reconnaissance d'images, changement de domaines, etc.) :

• Mieux que la concurrence : CoRe bat toutes les autres méthodes, même les plus avancées.
• Économique : Il utilise beaucoup moins de mémoire et de puissance de calcul. C'est comme passer d'un camion de déménagement à un scooter électrique pour faire le même trajet.
• Robuste : Même si les données sont déséquilibrées (beaucoup de photos de chats, très peu de photos de chiens), CoRe s'adapte bien sans oublier les chiens.

En résumé

Imaginez que vous apprenez toute votre vie.

• L'ancienne méthode : À chaque nouvelle compétence, vous réécrivez votre cerveau entier. Vous oubliez vite ce que vous saviez avant.
• La méthode CoRe : Vous gardez votre cerveau intact, mais vous apprenez à utiliser de nouveaux lunettes pour voir le monde différemment selon la situation. Ces lunettes sont légères, faciles à mettre, et ne vous font jamais oublier comment vous voyiez le monde hier.

C'est une nouvelle façon de faire apprendre aux machines de manière continue, efficace et intelligente, sans les surcharger ni les faire oublier leur passé.

Résumé technique

1. Problématique

L'apprentissage continu (Continual Learning - CL) vise à permettre aux modèles d'IA d'acquérir des connaissances de manière incrémentale sur des flux de données dynamiques sans oublier les tâches précédentes (phénomène de l'oubli catastrophique).

Bien que les modèles pré-entraînés (comme ViT) offrent de puissantes capacités d'extraction de caractéristiques, ils nécessitent un finetuning pour s'adapter aux tâches en aval. Les méthodes actuelles d'ajustement fin efficace en paramètres (PEFT), telles que les Adapters, les Prompts ou le Scaling/Shift (SSF), présentent plusieurs limites :

• Optimisation en boîte noire : Elles opèrent au niveau des poids du modèle via une optimisation implicite, manquant de contrôle explicite sur l'évolution des représentations.
• Dérive des représentations : L'absence de contrôle sur la dérive des représentations (representation drift) rend les modèles sensibles aux décalages de domaine et à l'oubli catastrophique.
• Efficacité des paramètres : Certaines méthodes nécessitent encore un nombre relativement élevé de paramètres à mettre à jour.

2. Méthodologie : CoRe (Continual Representation Learning)

Les auteurs proposent CoRe, le premier cadre intégrant le finetuning de représentation (ReFT) à l'apprentissage continu. Au lieu de modifier les poids du réseau, CoRe intervient directement sur les représentations cachées (features) du modèle.

Principes clés :

• Intervention dans un sous-espace de rang faible : CoRe projette les représentations cachées dans un sous-espace linéaire de faible rang défini par une matrice de projection $R$.
• Formulation mathématique : Pour une représentation de base $e_b$, la représentation ajustée $g_\theta(e_b)$ est calculée comme suit :
  $$g_\theta(e_b) = e_b + R^\top(W e_b + b - R e_b)$$
  Où $W$ et $b$ sont des paramètres appris pour calibrer la représentation vers une cible idéale, et $R$ définit le sous-espace d'intervention.
• Objectif explicite : Contrairement aux méthodes PEFT classiques, CoRe utilise un objectif d'optimisation explicite pour aligner les représentations calibrées avec les représentations idéales de la tâche, tout en imposant une contrainte d'orthogonalité ($R^\top R = I$) pour garantir la stabilité géométrique du sous-espace.
• Théorème de stabilité : Les auteurs démontrent théoriquement que la magnitude des changements de représentation est bornée par la géométrie du sous-espace d'intervention (valeur singulière maximale de $R^\top$), ce qui limite la dérive indésirable et préserve les connaissances antérieures.

3. Contributions Clés

1. Nouveau Paradigme : Introduction du finetuning de représentation dans le contexte de l'apprentissage continu, comblant le fossé entre les interventions au niveau des représentations et l'adaptation incrémentale.
2. Efficacité et Stabilité : Utilisation d'interventions dans des sous-espaces de rang faible pour une efficacité paramétrique exceptionnelle, tout en assurant la stabilité des tâches passées grâce à des objectifs explicites.
3. Performance Supérieure : Démonstration que CoRe surpasse les méthodes PEFT de l'état de l'art (Adapter, Prompt, SSF) sur plusieurs benchmarks, tout en utilisant moins de paramètres entraînables.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles ViT (Vision Transformer) pré-entraînés (ViT-B/16) dans trois scénarios d'apprentissage continu :

• Apprentissage incrémental de tâches (TIL) : CoRe obtient les meilleures performances moyennes sur des ensembles de données variés (Aircraft, OxfordPet, SUN397, etc.), surpassant les méthodes de référence.
• Apprentissage incrémental de domaine (DIL) : Sur des benchmarks comme DomainNet et OfficeHome, CoRe démontre une capacité supérieure à apprendre des représentations invariantes au domaine tout en modélisant les spécificités de chaque domaine, réduisant l'oubli catastrophique.
• Apprentissage incrémental de classes (CIL) : C'est le scénario le plus difficile (pas d'identifiant de tâche disponible). CoRe maintient une précision supérieure sur des tâches complexes (ImageNet-R, CUB, OmniBenchmark), prouvant sa capacité à équilibrer stabilité et plasticité.

Analyses supplémentaires :

• Efficacité paramétrique : CoRe atteint la meilleure précision moyenne avec le nombre le plus faible de paramètres entraînables (voir Fig. 2).
• Robustesse : Les résultats sont stables sous différentes initialisations aléatoires et ordres de tâches.
• Déséquilibre de classes : CoRe reste robuste face à des déséquilibres de classes sévères (facteur $\alpha$ allant de 1 à 0.01), surpassant les autres méthodes.
• Ablation : Un rang de 8 pour le sous-espace et l'insertion de modules ReFT dans toutes les couches du bloc transformer (12 couches) ont été identifiés comme les configurations optimales.

5. Signification et Impact

Ce travail marque un tournant dans l'apprentissage continu en passant d'une optimisation aveugle des poids à une optimisation explicite et contrôlée des représentations.

• Interprétabilité : Le processus d'apprentissage devient plus transparent grâce à des objectifs clairs et une intervention ciblée.
• Applications Réelles : La méthode est particulièrement adaptée aux systèmes autonomes, à la robotique et aux assistants IA personnalisés, où l'apprentissage à vie efficace et la capacité à s'adapter à des environnements dynamiques sans oublier les compétences acquises sont critiques.
• Futur de la recherche : CoRe ouvre la voie à de nouvelles recherches sur l'adaptation au niveau des représentations pour les grands modèles pré-entraînés, offrant une alternative scalable aux méthodes basées sur les poids.