🤖 machine learning

Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting

Cet article introduit le Decoupled Continual Distillation Learning (D-CDL), un nouveau cadre pour l'apprentissage incrémentiel de classes sans réitération qui améliore le transfert de connaissances des Vision Transformers plus grands vers les plus petits en découplant explicitement l'adaptation spécifique à la tâche de la distillation grâce à des invites de distillation de connaissances globales et persistantes.

Auteurs originaux : Qifan Zhang, Yunhui Guo, Yu Xiang

Publié 2026-08-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qifan Zhang, Yunhui Guo, Yu Xiang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à reconnaître des animaux. Vous commencez par les chats, puis les chiens, puis les oiseaux. La partie délicate est qu'au fur et à mesure que le robot apprend les oiseaux, il a tendance à oublier à quoi ressemble un chat. C'est un problème célèbre dans le monde de l'intelligence artificielle appelé « oubli catastrophique ». Pour y remédier, les scientifiques ont développé une astuce ingénieuse appelée « apprentissage basé sur les prompts » (prompt-based learning). Au lieu de réentraîner tout le cerveau du robot (qui est énorme et coûteux), ils lui donnent un minuscule post-it — un « prompt » — qui lui indique comment réfléchir à la tâche actuelle. De cette façon, le robot garde son cerveau d'origine gelé et en sécurité, ne changeant que les post-its pour s'adapter aux nouveaux animaux.

Cependant, il y a un piège : les gros cerveaux sont généralement meilleurs pour reconnaître les choses. Un cerveau de robot géant (un grand modèle) est bien plus intelligent qu'un petit cerveau efficace. Mais les cerveaux géants sont lents et consomment trop d'énergie pour les gadgets du quotidien. Le rêve est de prendre le savoir du cerveau géant et de le compresser dans le petit cerveau rapide, afin que le petit devienne tout aussi intelligent sans le poids excessif. Ce processus est appelé « distillation de connaissances » (knowledge distillation). Habituellement, on peut faire cela facilement si l'on dispose d'une grande pile d'anciennes photos à étudier. Mais dans le monde réel de l'apprentissage continu, vous ne disposez pas de vieilles photos ; vous recevez seulement les nouvelles images d'animaux au fur et à mesure qu'elles arrivent, une par une. Cela crée un casse-tête unique : comment enseigner à un petit robot à apprendre d'un grand, étape par étape, sans que le petit robot n'oublie les leçons du grand à chaque fois qu'un nouvel animal se présente ?

C'est exactement le casse-tête abordé dans un nouvel article de chercheurs de l'Université du Texas à Dallas. Ils ont découvert que les méthodes standards consistant à extraire le savoir d'un gros cerveau vers un petit échouent dans ce scénario spécifique de « étape par étape ». Ils ont constaté que le petit robot oublie constamment les leçons de l'enseignant parce que les « notes » qu'il utilise pour apprendre sont constamment remplacées par de nouvelles. Pour résoudre cela, ils ont inventé une nouvelle méthode appelée KDP (Knowledge Distillation based on Prompts). Au lieu de compter sur l'échange de notes, ils ont ajouté une « note maîtresse » spéciale et permanente qui reste avec le robot pour toujours, agissant comme un pont dédié au savoir de l'enseignant. Leurs expériences montrent que cette nouvelle méthode aide le petit robot à beaucoup mieux apprendre et à beaucoup moins oublier que les tentatives précédentes, lui permettant de fonctionner aussi intelligemment que le cerveau géant mais avec la vitesse d'un petit.

Le Problème : Le bug du « changement de post-it »

Pour comprendre pourquoi c'est difficile, regardons comment fonctionnent ces robots « basés sur les prompts ». Imaginez que le robot possède une bibliothèque de post-its (prompts). Lorsqu'il voit un chat, il choisit une « note chat ». Lorsqu'il voit un chien, il choisit une « note chien ». C'est excellent pour apprendre de nouvelles choses sans oublier les anciennes, car le robot se contente de changer de note.

Mais c'est ici que la « distillation » (l'enseignement provenant d'un gros cerveau) échoue. Les chercheurs ont découvert que lorsqu'ils tentaient d'enseigner au petit robot en utilisant le gros, le petit robot choisissait une « note chat » pour apprendre de l'enseignant géant. Puis, lorsqu'une nouvelle tâche (comme les oiseaux) arrivait, il jetait la « note chat » et choisissait une « note oiseau ». Le problème ? Les leçons que le grand enseignant avait données sur les chats étaient coincées à l'intérieur de cette « note chat ». Une fois la note remplacée, le petit robot oubliait tout ce que l'enseignant lui avait appris sur les chats. Les chercheurs appellent cela l'« oubli d'information de distillation ». C'est comme essayer d'apprendre une langue avec un professeur, mais chaque fois que vous passez à un nouveau chapitre, vous jetez le cahier où le professeur a écrit vos devoirs.

Les chercheurs ont testé les astuces habituelles, comme regarder les réponses finales de l'enseignant (logits) ou ses pensées intermédiaires (features), mais cela ne fonctionnait pas bien car le mécanisme de « changement de note » effaçait systématiquement la table rase. Ils ont même testé le dégel d'une partie du cerveau du robot pour lui permettre d'apprendre de manière permanente, mais cela a fait que le robot oubliait ses anciennes tâches encore plus vite, contredisant tout l'intérêt de la démarche.

La Solution : Le « Pont Éternel »

Pour corriger cela, l'équipe a introduit un nouveau type de post-it appelé Prompt KD (Knowledge Distillation Prompt). Contrairement aux notes régulières qui sont changées pour chaque nouvel animal, ces prompts KD sont spéciaux. Ils sont globalement accessibles, ce qui signifie qu'ils restent avec le robot, peu importe la tâche qu'il accomplit.

Voyez cela de cette façon :

Prompts réguliers : Ce sont comme des fiches de révision temporaires. Vous utilisez une « Fiche Chat » pour les chats, puis vous la jetez et prenez une « Fiche Chien » pour les chiens.
Prompts KD : Ce sont comme un tableau blanc permanent et ineffaçable fixé au mur du robot. Peu importe l'animal que vous regardez, le robot peut toujours écrire les leçons de l'enseignant sur ce tableau.

En insérant ces prompts KD permanents dans le cerveau du robot, le petit modèle dispose d'un espace dédié pour stocker la sagesse du grand enseignant, un espace qui n'est jamais jeté. Ils ont également ajouté un « classificateur KD » spécial (un second cerveau pour l'évaluation) qui vérifie spécifiquement si le robot copie correctement l'enseignant, séparément de la tâche principale du robot qui est de reconnaître les animaux.

Ce qu'ils ont trouvé

Les chercheurs ont testé cette idée sur deux ensembles de données d'images célèbres : CIFAR-100 (100 types de petites images) et ImageNet-R (100 types de représentations artistiques d'objets). Ils ont mis en place un scénario où le robot devait apprendre 10 tâches différentes, l'une après l'autre, avec 10 classes dans chacune.

Ils ont comparé leur nouvelle méthode KDP aux méthodes plus anciennes, comme la distillation de connaissances standard et la distillation de caractéristiques. Les résultats sont clairs :

Anciennes méthodes : En utilisant la distillation standard, la précision du petit robot n'augmentait que très peu, et il oubliait en réalité les tâches précédentes plus qu'il ne le faisait sans aucune aide. Par exemple, sur le jeu de données ImageNet-R, une méthode standard appelée « KD » obtenait une précision moyenne de 69,91 % avec un taux d'oubli de 7,64 %.
La nouvelle méthode (KDP) : Avec leur approche de « Pont Éternel », le petit robot est devenu nettement plus intelligent et oublie beaucoup moins. En utilisant le même jeu de données, la méthode KDP a fait grimper la précision moyenne à 71,92 % et a réduit le taux d'oubli à seulement 5,61 %.

Lorsqu'ils ont testé cela avec un enseignant encore plus grand (un modèle « ViT-Large ») enseignant à un élève de taille moyenne (« ViT-Base »), l'écart s'est creusé davantage. La méthode KDP a atteint une précision moyenne de 78,62 % avec un taux d'oubli de 3,46 %, surpassant toutes les autres méthodes testées.

Pourquoi c'est important

L'article suggère qu'il ne s'agit pas d'une simple petite amélioration, mais d'une correction fondamentale pour un type spécifique de problème d'apprentissage. En séparant les notes pour « apprendre de nouvelles tâches » des notes pour « apprendre de l'enseignant », ils ont résolu le problème d'oubli qui entravait les tentatives précédentes.

Les chercheurs notent que cela comporte un coût : vous devez entraîner à la fois le grand enseignant et le petit élève en même temps, ce qui prend plus de temps et de mémoire informatique. Cependant, une fois l'entraînement terminé, le petit modèle élève est prêt à l'emploi. Il peut fonctionner sur des appareils qui ont besoin d'être rapides et efficaces, tout en portant l'intelligence d'un modèle beaucoup plus grand.

En résumé, l'article démontre que si vous voulez qu'une IA petite et rapide apprenne de manière continue sans oublier, vous ne pouvez pas simplement faire un copier-coller du cerveau de l'enseignant. Vous devez donner à l'élève un espace permanent et dédié pour garder les leçons de l'enseignant en sécurité, peu importe les nouvelles choses qu'il rencontrera ensuite.

Résumé Technique : Apprentissage par Distillation Continue (CDL)

1. Définition du Problème : Apprentissage par Distillation Continue (CDL)

Le papier introduit un nouveau problème de recherche nommé Apprentissage par Distillation Continue (Continual Distillation Learning - CDL). Ce problème traite du défi de l'amélioration de l'efficacité de l'inférence des modèles d'apprentissage continu (CL) basés sur les prompts sans sacrifier la performance.

Contexte : Dans le CL basé sur les prompts (ex: L2P, DualPrompt, COFA-Prompt), un backbone Vision Transformer (ViT) pré-entraîné est maintenu gelé, et l'apprentissage est déplacé vers l'optimisation d'un ensemble de « prompts ». Les observations empiriques montrent que des backbones ViT plus larges (ex: ViT-Large) produisent de meilleures performances que des plus petits (ex: ViT-Small) dans ces contextes de CL.
Le Défi : Bien que les grands modèles soient plus performants, ils engendrent des coûts de calcul élevés lors de l'inférence. Le but du CDL est de distiller la connaissance d'un ViT « Enseignant » (Teacher) large vers un ViT « Étudiant » (Student) plus petit dans un cadre d'apprentissage incrémental de tâches sans réhersal (rehearsal-free).
Distinction par rapport à la KD traditionnelle : Contrairement à la Distillation de Connaissance (KD) traditionnelle qui utilise un ensemble de données hors ligne pour entraîner un enseignant puis distiller vers un étudiant, le CDL opère de manière séquentielle. Le modèle enseignant est mis à jour tâche par tâche, et l'étudiant doit apprendre de l'enseignant en utilisant uniquement les données de la tâche actuelle, sans accès aux données passées.

2. Observation Clé : Oubli de l'Information de Distillation

Les auteurs ont constaté empiriquement que les méthodes de KD existantes (Distillation de Logits et Distillation de Caractéristiques) ne parviennent pas à améliorer efficacement les modèles étudiants dans la configuration CDL. Ils identifient la cause profonde comme étant l'Oubli de l'Information de Distillation (Distillation Information Forgetting) :

Mécanisme : Dans le CL basé sur les prompts, différentes tâches sélectionnent différents sous-ensembles de prompts à partir d'un pool de prompts via un mécanisme requête-clé (query-key).
L'Échec : La connaissance distillée de l'enseignant est intégrée dans les prompts spécifiques sélectionnés pour une tâche donnée. Lorsqu'une nouvelle tâche arrive, l'étudiant sélectionne un différent ensemble de prompts. Comme le backbone est gelé, la connaissance transférée dans les prompts de la tâche précédente est effectivement écartée pour la nouvelle tâche. L'étudiant doit réapprendre la connaissance de l'enseignant à partir de zéro pour chaque nouvelle tâche, ce qui conduit à un faible transfert de connaissances inter-tâches.
Alternatives Échouées : Le papier note que le dégel partiel du backbone ViT pour permettre des mises à jour n'est pas une solution viable, car cela conduit à un oubli catastrophique des tâches précédentes, violant le principe fondamental du CL basé sur les prompts.

3. Méthodologie : Distillation de Connaissance basée sur les Prompts (KDP)

Pour remédier à l'Oubli de l'Information de Distillation, les auteurs proposent la Distillation de Connaissance basée sur les Prompts (Knowledge Distillation based on Prompts - KDP).

Composantes Clés

Prompts de KD :
- Un nouveau type de prompt est introduit spécifiquement pour la distillation de connaissance.
- Contra-irement aux prompts de CL standards qui sont spécifiques à une tâche et sélectionnés via un mécanisme requête-clé, les Prompts de KD sont globalement accessibles et partagés entre toutes les tâches.
- Ils ne dépendent pas du mécanisme de sélection ; ils sont insérés dans le backbone ViT gelé du modèle étudiant pour chaque tâche.
- Ils sont insérés en utilisant le Prefix-Tuning, en divisant le prompt en composantes Clé ( $P_K$ ) et Valeur ( $P_V$ ) et en les ajoutant aux couches MSA du ViT.
Token de KD et Classificateur :
- Un Token de Distillation (KD Token) dédié est inséré à la fin de la première couche du backbone ViT.
- Ce token se propage à travers le réseau et se connecte à un Classificateur de KD distinct.
- Le Classificateur de KD est entraîné pour minimiser la divergence entre la sortie de l'étudiant et la sortie de l'enseignant (soft labels) en utilisant une perte de distillation de logits standard (divergence KL avec température $\tau$ ).
Objectif d'Entraînement :
La fonction de perte totale du modèle étudiant ( $L_S$ ) combine trois termes :
- Perte de Classification de l'Étudiant : Perte d'entropie croisée standard pour la tâche actuelle en utilisant le classificateur principal de l'étudiant.
- Perte de Distillation de Connaissance : La perte entre le classificateur de KD de l'étudiant et celui de l'enseignant.
- Perte du Pool de Prompts : La perte associée à la sélection/optimisation des prompts de CL originaux (spécifique à la méthode de CL sous-jacente, ex: L2P ou CODA-Prompt).

4. Résultats Expérimentaux

Les auteurs ont évalué KDP sur les jeux de données CIFAR-100 et ImageNet-R dans un cadre d'incrémentation de classes (10 tâches, 10 classes chacune). Ils ont testé trois backbones de CL basés sur les prompts : L2P, DualPrompt et CODA-Prompt.

Paires Enseignant-Étudiant : Les expériences ont été menées avec ViT-Large $\to$ ViT-Base et ViT-Base $\to$ ViT-Small.
Performance :
- Les méthodes de KD existantes (KD, DKD, FitNets, ReviewKD) ont montré des améliorations négligeables ou même une augmentation des taux d'oubli par rapport à l'étudiant de base.
- KDP a systématiquement surpassé toutes les bases de comparaison. Par exemple, sur ImageNet-R avec CODA-Prompt (ViT-Base $\to$ ViT-Small), KDP a atteint une précision moyenne de 71,92 % avec 5,61 % d'oubli, contre 67,44 % et 8,52 % pour la base sans distillation.
- La combinaison de CODA-Prompt et KDP a atteint des performances de pointe (SOTA), approchant la précision des modèles plus larges tout en maintenant l'efficacité des modèles plus petits.
Études d'Ablation :
- Prompts de KD vs Classificateur de KD : Les deux composantes sont nécessaires pour une performance optimale.
- Dégel du Backbone : Le dégel de la dernière couche du ViT a entraîné un oubli sévère (la précision est tombée à environ 30 %), confirmant la nécessité de maintenir le backbone gelé.
- Position du Prompt : L'ajout simple de plus de prompts entraînables au pool de prompts de CL standard (sans le mécanisme de prompt de KD global) n'a pas produit les mêmes bénéfices, prounant que la nature globale et inter-tâches des prompts de KD est le facteur clé.

5. Signification et Contributions

Le papier revendique les contributions suivantes :

Formulation du Problème : Il introduit le problème CDL, définissant le défi spécifique de la distillation de connaissance de modèles larges vers des modèles petits dans les contraintes d'un apprentissage continu basé sur les prompts sans réhersal.
Découverte d'une Limitation : Il est le premier à identifier et analyser l'Oubli de l'Information de Distillation, expliquant pourquoi les méthodes de KD standard échouent dans le CL basé sur les prompts en raison de la nature spécifique aux tâches de la sélection de prompts.
Méthode Novatrice (KDP) : Il propose KDP, une méthode qui utilise des prompts partagés globalement et un token de distillation dédié pour faciliter le transfert de connaissances continu inter-tâches sans dégel du backbone.
Validation Empirique : La méthode démontre des améliorations significatives de la précision et des réductions de l'oubli à travers plusieurs frameworks de CL basés sur les prompts et des jeux de données, établissant une nouvelle base pour l'apprentissage continu efficace.

Les auteurs concluent que KDP comble efficacement l'écart entre la haute performance des grands modèles et les exigences d'efficacité des petits modèles dans les scénarios d'apprentissage continu.