🤖 machine learning

Gradient-Free Continual Learning

Le papier présente EvoCL, une méthode d'apprentissage continu sans gradient qui utilise des algorithmes évolutionnaires et un module adaptateur léger pour prévenir efficacement l'oubli catastrophique sans nécessiter de données passées stockées ni de calculs de gradient.

Auteurs originaux : Grzegorz Rypeść

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Grzegorz Rypeść

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un étudiant qui est incroyablement intelligent mais qui possède un problème de mémoire très étrange : dès qu'il apprend un nouveau sujet, il oublie instantanément tout ce qu'il savait sur l'ancien. S'il étudie pour un examen d'histoire, il pourrait oublier comment résoudre des équations mathématiques. S'il apprend à jouer de la guitare, il pourrait oublier comment parler sa langue maternelle. Ce n'est pas seulement une particularité de la biologie humaine ; c'est un casse-tête majeur pour les systèmes d'intelligence artificielle (IA) que nous construisons aujourd'hui. Dans le monde de l'apprentissage automatique, ce phénomène est appelé « oubli catastrophique ».

Habituellement, lorsque nous enseignons une nouvelle tâche à une IA, nous lui montrons des exemples de ses leçons passées pour lui rappeler ce qu'elle sait déjà. Mais et si nous ne pouvions pas le faire ? Imaginez si les lois sur la confidentialité ou des limites de mémoire strictes interdisaient à l'IA d'enregistrer toute ancienne photo, document ou donnée de ses leçons précédentes. Elle devrait apprendre de nouvelles choses à la volée tout en gardant ses anciennes compétences vivantes, mais sans aucun matériel de référence pour y revenir. C'est le défi « sans exemplaire » (exemplar-free). La plupart des méthodes d'IA actuelles tentent de résoudre cela en utilisant des mathématiques complexes pour se souvenir de la façon dont leur cerveau a changé par le passé, mais cela nécessite un type spécifique de signal mathématique (appelé « gradient ») qui n'existe tout simplement pas lorsque vous n'avez plus les anciennes données.

Voici une nouvelle approche appelée EvoCL, qui tente de résoudre ce puzzle en jetant le manuel de règles par la fenêtre. Au lieu d'essayer de calculer le chemin mathématique parfait vers l'avant en utilisant des gradients, EvoCL utilise une méthode inspirée de la nature : l'évolution. Pensez à un jeu de « deviner la solution » où l'IA crée toute une population de versions légèrement différentes d'elle-même, les teste toutes, garde les meilleures et les mélange pour créer une génération suivante encore meilleure. C'est une façon d'apprendre qui n'a pas besoin de regarder en arrière vers les anciennes données ou d'utiliser les signaux mathématiques standards qui échouent généralement dans ces situations.

Le Problème : L'amnésie de l'IA

Dans le monde des réseaux de neurones (les structures semblables à un cerveau derrière l'IA moderne), il existe une crainte persistante : lorsque vous enseignez quelque chose de nouveau à un réseau, il a tendance à écraser ses connaissances anciennes. C'est comme écrire un nouveau chapitre dans un cahier, mais l'encre est si forte qu'elle traverse les pages et efface les précédentes. Pour empêcher cela, la plupart des scientifiques utilisent une technique appelée « rétropropagation » (backpropagation), qui est essentiellement une façon sophistiquée de calculer comment ajuster les paramètres du réseau pour se souvenir à la fois des anciennes et des nouvelles informations.

Cependant, cette méthode se heurte à un mur dans les scénarios « sans exemplaire ». Il s'agit d'un contexte où l'IA n'est pas autorisée à stocker de données brutes des tâches passées en raison de préoccupations relatives à la confidentialité ou de limites de mémoire. Sans les anciennes données, l'IA ne peut pas calculer les signaux mathématiques (gradients) nécessaires pour les tâches passées. C'est comme essayer de réparer un moteur de voiture sans jamais avoir vu les plans des anciennes pièces. Le résultat est que l'IA s'éloigne de ses anciennes compétences, les oubliant rapidement.

La Solution : L'Évolution plutôt que les Équations

Les auteurs de cet article, dirigés par Grzegorz Rypeść, proposent un changement radical. Au lieu de forcer l'IA à calculer des gradients qu'elle ne peut pas trouver, ils suggèrent d'utiliser une Stratégie d'Évolution (ES).

Imaginez que vous essayiez de trouver le meilleur itinéraire à travers une forêt dense et brumeuse pour atteindre un trésor caché.

L'ancienne méthode (Descente de Gradient) : Vous essayez de calculer la pente exacte du sol sous vos pieds pour savoir dans quelle direction se trouve la « descente » vers le trésor. Mais dans le brouillard (sans les anciennes données), vous ne voyez pas le sol, donc vos calculs sont faux et vous vous perdez.
La méthode EvoCL (Stratégie Évolutive) : Au lieu de calculer, vous envoyez toute une équipe d'explorateurs (une population de modèles d'IA). Chaque explorateur prend un chemin légèrement différent. Vous vérifiez qui a trouvé le plus de trésors (la meilleure performance). Ensuite, vous prenez les deux meilleurs explorateurs, mélangez leurs chemins (croisement/crossover), et ajoutez un peu de dérive aléatoire (mutation) pour créer une nouvelle équipe d'explorateurs améliorée. Vous répétez ce processus jusqu'à ce que vous trouviez le chemin parfait.

Cette méthode n'a pas besoin de connaître la « pente » du passé ; elle a seulement besoin de savoir quelles solutions fonctionnent mieux que d'autres.

Comment fonctionne EvoCL : Le Réseau Adaptateur Magique

Il y a une partie délicate : comment l'IA sait-elle si un nouveau chemin est bon pour les tâches passées si elle n'a pas les anciennes données ?

EvoCL utilise une astuce ingénieuse impliquant un Tampon Latent (Latent Buffer) et un Réseau Adaptateur (Adapter Network).

La banque de mémoire : Après avoir terminé une tâche, l'IA n'enregistre pas les images ou les textes bruts. À la place, elle enregistre un résumé compressé de ce qu'elle a appris (appelé « caractéristiques latentes »). C'est comme enregistrer un croquis d'une peinture plutôt que la peinture elle-même. Cela prend très peu de place et protège la confidentialité.
Le traducteur (Adaptateur) : À mesure que l'IA apprend de nouvelles tâches, son « langage » interne change. Les croquis des anciens jours pourraient ne plus avoir de sens dans le nouveau contexte. Ainsi, EvoCL entraîne un petit traducteur temporaire (le réseau adaptateur) pour convertir ces anciens croquis dans le nouveau langage.
La simulation : L'IA prend ces croquis traduits et fait comme s'il s'agissait des vraies anciennes données. Elle calcule une perte « fictive » (une mesure d'erreur) basée sur ces croquis. Cela permet à l'algorithme évolutif de tester si un nouvel ensemble de paramètres aide à la fois avec la tâche actuelle et avec les tâches passées « simulées ».

Ce que les expériences ont montré

Les chercheurs ont testé EvoCL sur plusieurs ensembles de données standards, allant de simples chiffres manuscrits (MNIST) à des images d'avions complexes (FGVCAircraft) et différents domaines (DomainNet). Ils l'ont comparé aux meilleures méthodes existantes qui tentent de résoudre ce problème sans stocker d'anciennes données.

Les résultats étaient prometteurs. EvoCL a systématiquement surpassé ses concurrents.

Sur l'ensemble de données MNIST (chiffres manuscrits), EvoCL a atteint une précision finale de 92,3 % en apprenant 3 tâches à la fois, battant la méthode suivante de manière significative.
Sur le plus difficile FashionMNIST (images de vêtements), il a atteint 77,2 % de précision, menant également la marche.
Même sur l'ensemble de données complexe CIFAR100 (100 classes d'objets différentes), EvoCL a réussi à rester en tête, atteignant 24,8 % de précision, ce qui constitue une amélioration claire par rapport aux autres méthodes.

L'article a également effectué un test spécifique pour voir si la méthode évolutive était réellement meilleure que la méthode mathématique standard (SGD) lorsque les gradients manquent. Ils ont découvert que la méthode standard échouait lamentablement, provoquant l'oubli de presque tout (la précision chutait à environ 14 % dans certains cas), tandis qu'EvoCL maintenait une performance solide. Cela suggère que lorsque vous ne pouvez pas calculer les gradients, l'évolution est effectivement une stratégie supérieure.

Le compromis : Vitesse vs Intelligence

Il y a cependant un bémol. Bien qu'EvoCL soit plus intelligent pour se souvenir des choses sans les anciennes données, il est plus lent. Parce qu'il doit tester de nombreuses versions différentes de l'IA à la fois (la population), l'entraînement est beaucoup plus long.

Sur l'ensemble de données CIFAR100, alors que les autres méthodes prenaient environ 3 à 20 minutes pour s'entraîner, EvoCL a pris près de 985 minutes (plus de 16 heures).
Les auteurs notent qu'il s'agit d'un compromis : vous payez avec du temps pour acquérir la capacité d'apprendre sans stocker de données.

Limites et étapes futures

L'article souligne avec prudence que ce n'est pas encore un remède miracle pour tous les problèmes.

Échelle : La méthode fonctionne bien sur des ensembles de données de petite à moyenne taille. Les auteurs admettent qu'ils n'ont pas encore testé cela sur des ensembles de données massifs comme ImageNet-1k car le processus d'« évolution » nécessiterait trop de puissance de calcul pour de tels modèles géants.
Approximation : La méthode repose sur la perte « fictive » calculée à partir des croquis traduits. Si le traducteur (l'adaptateur) n'est pas très bon, l'IA pourrait apprendre les mauvaises choses.
Mémoire : Bien qu'elle économise de l'espace en ne stockant pas d'images brutes, elle doit tout de même stocker ces croquis compressés et le réseau adaptateur.

L'essentiel

Cet article suggère que lorsque les systèmes d'IA sont contraints d'oublier leurs données passées en raison de la confidentialité ou de limites de mémoire, nous ne devrions pas essayer de les forcer à utiliser les mêmes mathématiques que d'habitude. Au lieu de cela, nous pouvons les laisser évoluer. En utilisant une approche basée sur la population et un traducteur ingénieux pour simuler le passé, EvoCL montre que l'IA peut apprendre de nouvelles compétences sans perdre les anciennes, même lorsqu'elle n'est pas autorisée à consulter ses anciens devoirs. C'est une façon d'apprendre plus lente et plus coûteuse en calcul, mais elle ouvre une nouvelle porte à l'IA dans les situations où la confidentialité des données est primordiale.

Résumé Technique : EvoCL - Apprentissage Continu Sans Gradient

Problématique

L'apprentissage continu (CL - Continual Learning) est confronté au défi fondamental de l'« oubli catastrophique », où les réseaux de neurones perdent les compétences acquises précédemment lors de l'entraînement sur de nouvelles tâches séquentielles. Alors que les approches standard reposent sur la rétropropagation et la descente de gradient stochastique (SGD) pour mettre à jour les paramètres du modèle, ces méthodes échouent dans les contextes d'Apprentissage de Classe Incrémental sans Exemplaire (EFCIL - Exemplar-Free Class-Incremental Learning). En EFCIL, les données des tâches précédentes ne peuvent pas être stockées en raison de contraintes de mémoire ou de confidentialité. Par conséquent, les gradients des tâches passées sont indisponibles, ce qui entraîne une dérive incontrôlée des paramètres et un oubli rapide. Les solutions existantes qui tentent d'atténuer ce phénomène via la régularisation ou la distillation de connaissances dépendent toujours de la circulation du gradient à travers le modèle, limitant leur capacité à optimiser les tâches passées une fois que leurs gradients deviennent inaccessibles.

Méthodologie : EvoCL

Les auteurs proposent EvoCL, une approche sans gradient qui reformule l'apprentissage continu comme un problème d'optimisation sous contrainte d'indisponibilité de gradient. Au lieu de s'appuyer sur la rétropropagation, EvoCL utilise une Stratégie d'Évolution (ES - Evolution Strategy) pour optimiser les paramètres du réseau.

Composants Clés

Optimisation sans Gradient via une Stratégie d'Évolution :
- EvoCL remplace la SGD par une stratégie d'évolution $(\mu + \lambda)$ basée sur une population.
- La méthode maintient une population de modèles parents. À chaque itération, des descendants sont générés via une croisement par interpolation et une mutation gaussienne.
- Les individus sont évalués sur la base d'une fonction de perte combinée et les $\mu$ meilleurs performeurs sont sélectionnés pour la génération suivante.
- Cette approche permet la minimisation directe d'une fonction objectif même lorsque les gradients pour les tâches passées sont inexistants ou non différentiables.
Tampon Latent et Mémorisation de Caractéristiques :
- Au lieu de stocker des échantillons d'entrée bruts (exemplaires), EvoCL stocke un tampon compact de caractéristiques latentes (embeddings intermédiaires) extraites de l'extracteur de caractéristiques après l'entraînement de chaque tâche.
- Cette conception garantit une faible utilisation de la mémoire et le respect des contraintes de confidentialité tout en conservant les informations pertinentes à la tâche.
Réseau Adaptateur pour l'Approximation de la Perte :
- Pour calculer une perte pour les tâches passées sans données brutes, EvoCL emploie un réseau adaptateur auxiliaire ( $\psi_{t-1 \to t}$ ), typiquement un perceptron multicouche (MLP) léger.
- Cet adaptateur transforme dynamiquement les caractéristiques mémorisées des tâches précédentes (dans l'espace latent de $F_{t-1}$ ) vers l'espace latent de la tâche actuelle ( $F_t$ ).
- L'adaptateur est entraîné pour minimiser l'erreur quadratique moyenne (MSE) entre les caractéristiques transformées et les caractéristiques actuelles, garantissant que les embeddings transformés restent valides pour le modèle actuel.
Objectif d'Entraînement Conjoint :
- La fonction de fitness de l'optimiseur évolutif combine trois termes :
  $L_{EvoCL} = L_t + \hat{L}_{<t} + \alpha \cdot L_{MSE}$
  - $L_t$ : Perte d'entropie croisée de la tâche actuelle.
  - $\hat{L}_{<t}$ : Perte d'entropie croisée approximée pour les tâches passées, calculée à l'aide des caractéristiques latentes transformées issues du tampon.
  - $L_{MSE}$ : Perte de reconstruction assurant que l'adaptateur mappe avec précision les caractéristiques passées.
  - $\alpha$ : Un hyperparamètre équilibrant la performance de classification et la qualité de reconstruction de l'adaptateur.
Transformation de Caractéristiques de Tâche à Tâche :
- Après l'entraînement sur la tâche $t$ , toutes les caractéristiques stockées dans le tampon passent par l'adaptateur pour s'aligner avec le nouvel espace latent. Cette transformation cumulative garantit que le tampon reste valide pour les tâches futures.

Principales Contributions

Le papier expose trois contributions majeures :

Changement de Focalisation de la Recherche : Les auteurs proposent de déplacer le focus fondamental de la recherche en CL, passant de la résolution du manque de données passées à la résolution du manque de gradients passés.
Nouvelle Méthode Sans Gradient : EvoCL est introduit comme une méthode qui remplace la rétropropagation par une stratégie d'évolution pour les tâches suivantes, permettant une optimisation efficace même lorsque les gradients des tâches passées sont indisponibles.
Architecture d'Entraînement Conjoint : Il s'agit de la première approche d'apprentissage continu sans exemplaire qui entraîne conjointement l'extracteur de caractéristiques et un réseau d'adaptation de caractéristiques, plutôt que de maintenir le backbone fixe ou de les entraîner séparément.

Résultats Expérimentaux

EvoCL a été évalué sur cinq ensembles de données de référence (MNIST, FashionMNIST, CIFAR100, FGVCAircraft, DomainNet) sous des protocoles EFCIL stricts (pas d'exemplaires, ID de tâche inconnus lors de l'inférence).

Performance : EvoCL égale ou dépasse systématiquement les bases de référence de l'état de l'art (incluant LwF, EWC, FeTrIL, FeCAM et DS-AL) sur tous les jeux de données et configurations de tâches.
- Sur MNIST, EvoCL atteint une précision finale de 92,3 % ( $T=3$ ) et 81,8 % ( $T=5$ ), surpassant nettement les concurrents comme DS-AL et FeCAM.
- Sur FashionMNIST, il domine avec 77,2 % ( $T=3$ ) et 72,0 % ( $T=5$ ) de précision finale.
- Sur DomainNet et FGVCAircraft (scénarios à grains fins utilisant un ViT pré-entraîné), EvoCL maintient une performance supérieure à travers diverses tâches, démontant sa robustesse aux changements de domaine.
Comparaison avec la SGD : Une étude comparative sur FashionMNIST a montré que remplacer la Stratégie d'Évolution par la SGD (même avec un réglage intensif des hyperparamètres) entraînait un oubli sévère. La SGD n'a pas réussi à minimiser efficacement la véritable perte des tâches passées ( $L_{<t}$ ) car elle ne pouvait pas mettre à jour l'extracteur de caractéristiques sans gradients, tandis que l'ES a réussi à réduire à la fois la perte de substitution et la véritable perte des tâches passées.
Validation de la Corrélation : Les expériences ont confirmé une forte corrélation linéaire (coefficients de Pearson de 0,953 et 0,995) entre la perte approximée ( $\hat{L}_{<t}$ ) et la perte réelle ( $L_{<t}$ ), validant la stratégie d'approximation de la perte.
Études d'Ablation : Le retrait de la composante d'approximation de la perte a provoqué un effondrement catastrophique des performances (la précision est tombée à 6,9 %), soulignant sa nécessité. Remplacer l'optimiseur ES par la SGD réduisait considérablement la précision et la plasticité.
Efficacité : Bien qu'EvoCL ait démontré une excellente efficacité de paramètre (performant avec seulement 5k paramètres), il a engendré un coût computationnel plus élevé pendant l'entraînement (environ 984 minutes sur CIFAR100 contre ~3-20 minutes pour les bases de référence) en raison de l'évaluation de la population requise par l'ES.

Signification et Limites

Le papier affirme qu'EvoCL offre une nouvelle direction simple et flexible pour l'apprentissage continu, prouvant que l'optimisation sans gradient est une alternative robuste pour naviguer dans les contraintes rigides des environnements sans exemplaire. En découplant l'optimisation de la rétropropagation, il répond à la limitation fondamentale des méthodes actuelles dans les scénarios sensibles à la confidentialité ou à la mémoire.

Cependant, les auteurs sont modestes quant à la portée actuelle de la méthode :

Scalabilité : La méthode est actuellement vérifiée sur des benchmarks de petite à moyenne échelle et des sous-réseaux à grain fin. Des évaluations à grande échelle sur des jeux de données complets comme ImageNet-1k à partir de zéro ne sont pas encore disponibles en raison de la complexité accrue de la mutation et de la population dans les espaces de paramètres de haute dimension.
Coût Computationnel : L'optimiseur ES est coûteux en calcul et peu efficace en termes d'échantillonnage par rapport aux alternatives basées sur le gradient, ce qui impacte le temps d'entraînement.
Dépendance à l'Approximation : Le succès de la méthode repose fortement sur la qualité de la fonction de perte approximée ; des inexactitudes dans l'estimation de l'adaptateur peuvent dégrader les performances.

Des travaux futurs sont suggérés pour explorer des mises à jour ES localisées ou par blocs afin de mettre la méthodologie à l'échelle de plus grandes architectures.