🤖 machine learning

Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting

Dit artikel introduceert Decoupled Continual Distillation Learning (D-CDL), een nieuw raamwerk voor rehearsal-vrij class-incremental leren dat de kennisoverdracht van grotere naar kleinere Vision Transformers verbetert door taakspecifieke adaptatie expliciet te ontkoppelen van distillatie via persistente, globale Knowledge-Distillation prompts.

Oorspronkelijke auteurs: Qifan Zhang, Yunhui Guo, Yu Xiang

Gepubliceerd 2026-08-14

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qifan Zhang, Yunhui Guo, Yu Xiang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om dieren te herkennen. Je begint met katten, dan honden, en dan vogels. Het lastige deel is dat naarmate de robot over vogels leert, hij de neiging heeft om te vergeten hoe een kat eruitziet. Dit is een beroemd hoofdpijndossier in de wereld van kunstmatige intelligentie, genaamd "catastrofale vergetelheid" (catastrophic forgetting). Om dit op te lossen, hebben wetenschappers een slimme truc ontwikkeld die "prompt-gebaseerd leren" wordt genoemd. In plaats van het hele brein van de robot opnieuw te trainen (wat enorm en duur is), geven ze hem een klein briefje, een "prompt", die hem vertelt hoe hij over de huidige taak moet denken. Op deze manier houdt de robot zijn oorspronkelijke brein bevroren en veilig, en verandert alleen de briefjes om zich aan te passen aan nieuwe dieren.

Maar er is een addertje onder het gras: grotere breinen zijn over het algemeen beter in het herkennen van dingen. Een gigantische robotbrein (een groot model) is veel slimmer dan een klein, efficiënt model. Maar gigantische breinen zijn traag en verbruiken te veel energie voor alledaagse apparaten. De droom is om de kennis van het gigantische brein te nemen en in het kleine, snelle brein te persen, zodat het kleine brein net zo slim wordt zonder het zware gewicht. Dit proces wordt "knowledge distillation" genoemd. Normaal gesproken kun je dit gemakkelijk doen als je een grote stapel oude foto's hebt om van te studeren. Maar in de echte wereld van continu leren krijg je echter geen oude foto's; je krijgt alleen de nieuwe dierfoto's naarmate ze binnenkomen, één voor één. Dit creëert een unieke puzzel: hoe leer je een kleine robot stap voor stap van een grote, zonder dat de kleine robot de lessen van de grote vergeet telkens wanneer er een nieuw dier verschijnt?

Dit is exact de puzzel waar onderzoekers aan de University of Texas at Dallas een nieuw artikel over hebben aangepakt. Ze ontdekten dat de standaard manieren om kennis van een groot brein naar een klein brein te persen, eigenlijk falen in dit specifieke "stap-voor-stap" scenario. Ze ontdekten dat de kleine robot de lessen van de grote vergeet omdat de "sticky notes" (briefjes) die hij gebruikt om te leren, constant worden vervangen door nieuwe. Om dit op te lossen, hebben ze een nieuwe methode uitgevonden genaamd Knowledge Distillation based on Prompts (KDP). In plaats van te vertrouwen op de wisselende briefjes, voegden ze een speciale, permanente "master note" toe die voor altijd bij de robot blijft, die fungeert als een toegewijde brug naar de kennis van de leraar. Hun experimenten laten zien dat deze nieuwe methode de kleine robot veel beter laat leren en veel minder laat vergeten, waardoor hij effectief net zo slim kan draaien als het gigantische brein, maar met de snelheid van een klein model.

Het Probleen: De "Swapping Sticky Note" Glitch

Om te begrijpen waarom dit moeilijk is, laten we kijken naar hoe deze "prompt-gebaseerde" robots werken. Stel je voor dat de robot een bibliotheek heeft van briefjes (prompts). Wanneer hij een kat ziet, kiest hij een "kat-briefje". Wanneer hij een hond ziet, kiest hij een "hond-briefje". Dit is geweldig voor het leren van nieuwe dingen zonder oude dingen te vergeten, omdat de robot simpelweg het briefje wisselt.

Maar hier is waar de "distillatie" (leren van een groot brein) misgaat. De onderzoekers ontdekten dat wanneer ze probeerden de kleine robot te onderwijzen met behulp van de grote, de kleine robot een "kat-briefje" zou kiezen om van de grote leraar te leren. Vervolgens, wanneer een nieuwe taak (zoals vogels) arriveerde, zou hij het "kat-briefje" weggooien en een "vogel-briefje" pakken. Het probleem? De lessen die de grote leraar over katten had geleerd, zaten vast in dat "kat-briefje". Zodra het briefje werd gewisseld, vergat de kleine robot alles wat de leraar hem over katten had geleerd. De onderzoekers noemen dit "distillation information forgetting". Het is alsof je een taal probeert te leren van een leraar, maar elke keer als je naar een nieuw hoofdstuk gaat, gooi je het schrift weg waar de leraar je huiswerk in heeft geschreven.

De onderzoekers probeerden de gebruikelijke trucs, zoals kijken naar de uiteindelijke antwoorden (logits) van de leraar of de tussenliggende gedachten (features) van de leraar, maar deze werkten niet goed omdat het "wisselmechanisme" van de briefjes telkens het hele bord schoonveegde. Ze testten zelfs het deels "ontdooien" (unfreezing) van een deel van het brein van de robot om het permanent te laten leren, maar dat zorgde ervoor dat de robot zijn oude taken nog sneller vergat, wat het hele doel tenietdeed.

De Oplossing: De "Forever Bridge"

Om dit op te lossen, introduceerde het team een nieuw soort briefje genaamd een KD Prompt (Knowledge Distillation Prompt). In tegen tegenstelling tot de gewone briefjes die voor elk nieuw dier worden gewisseld, zijn deze KD Prompts speciaal. Ze zijn globaal toegankelijk, wat betekent dat ze bij de robot blijven, ongeacht welke taak hij uitvoert.

Denk er als volgt over:

Reguliere Prompts: Dit zijn als tijdelijke flashcards. Je gebruikt een "Kat Flashcard" voor katten, dan gooi je hem weg en pak je een "Hond Flashcard" voor honden.
KD Promps: Dit zijn als een permanent, onuitwisbaar whiteboard dat aan de muur van de robot is bevestigd. Ongeacht welk dier je bekijkt, de robot kan altijd de lessen van de leraar op dit whiteboard schrijven.

Door deze permanente KD Prompts in het brein van de robot te plaatsen, heeft het kleine model een toegewezen ruimte om de wijsheid van de grote leraar op te slaan die nooit wordt weggegooid. Ze voegden ook een speciale "KD Classifier" toe (een tweede brein voor het nakijken) die specifiek controleert of de robot de leraar correct kopieert, los van de hoofdtaken van de robot om dieren te herkennen.

Wat ze vonden

De onderzoekers testten dit idee op twee beroemde datasets met afbeeldingen: CIFAR-100 (100 soorten kleine afbeeldingen) en ImageNet-R (100 soorten artistieke weergaven van objecten). Ze stelden een scenario op waarbij de robot 10 verschillende taken moest leren, één na de andere, met 10 klassen per taak.

Ze vergeleken hun nieuwe KDP-methode met oudere methoden zoals standaard knowledge distillation en feature distillation. De resultaten waren duidelijk:

Oude Methoden: Bij het gebruik van standaard distillatie steeg de nauwkeurigheid van de kleine robot slechts een klein beetje, en hij vergat feitelijk eerdere taken meer dan zonder enige hulp. Bijvoorbeeld, op de ImageNet-R dataset behaalde een standaard methode genaamd "KD" een gemiddelde nauwkeurigheid van 69,91% met een vergetelheidspercentage van 7,64%.
De Nieuwe Methode (KDP): Met hun nieuwe "Forever Bridge"-aanpak werd de kleine robot aanzienlijk slimmer en vergat hij veel minder. Met dezelfde dataset verhoogde de KDP-methode de gemiddelde nauwkeurigheid naar 71,92% en verlaagde het vergetelheidspercentage naar slechts 5,61%.

Toen ze dit testten met een nog grotere leraar (een "ViT-Large" model) die een middelgrote student ("ViT-Base") onderwees, werd het gat nog groter. De KDP-methode behaalde een gemiddelde nauwkeurigheid van 78,62% met een vergetelheidspercentage van 3,46%, waarmee zij elke andere methode die ze probeerden versloeg.

Waarom het ertoe doet

Het artikel suggereert dat dit niet zomaar een kleine aanpassing is; het is een fundamentele oplossing voor een specif kind van een leermprobleem. Door de "nieuwe taken leren"-briefjes te scheiden van de "leren van de leraar"-briefjes, losten ze het vergetelheidsprobleem op dat eerdere pogingen dwarsboomde.

De onderzoekers merken op dat dit wel een prijs heeft: je moet zowel de grote leraar als de kleine student tegelijkertijd trainen, wat meer tijd en computergeheugen kost. Echter, zodra de training is voltooid, is het kleine student-model klaar voor gebruik. Het kan draaien op apparaten die snel en efficiënt moeten zijn, maar het draagt de intelligentie van een veel groter model met zich mee.

Kortom, het artikel laat zien dat als je wilt dat een kleine, snelle AI continu leert zonder te vergeten, je niet simpelweg het brein van de leraar kunt kopiëren en plakken. Je moet de student een permanente, toegewezen ruimte geven om de lessen van de leraar veilig te bewaren, ongeacht wat hij daarna nog meer tegenkomt.

Technische Samenvatting: Continual Distillation Learning (CDL)

1. Probleemdefinitie: Continual Distillation Learning (CDL)

Het paper introduceert een nieuw onderzoeksveld genaamd Continual Distillation Learning (CDL). Dit probleem adresseert de uitdaging om de inferentie-efficiëntie van prompt-gebaseerde Continual Learning (CL) modellen te verbeteren zonder het prestatievermogen op te offeren.

Context: In prompt-gebaseerde CL (bijv. L2P, DualPrompt, CODA-Prompt) blijft een voorgetrainde Vision Transformer (ViT) backbone bevroren, waarbij het leren verschuift naar het optimaliseren van een pool van "prompts". Empirische observaties tonen aan dat grotere ViT-backbones (bijv. ViT-Large) betere prestaties leveren dan kleinere (bijv. ViT-Small) in deze CL-settings.
De Uitdaging: Hoewel grote modellen beter presteren, brengen ze hoge computationele kosten met zich mee tijdens de inferentie. Het doel van CDL is om kennis te distilleren van een grote "Teacher" ViT naar een kleinere "Student" ViT binnen een rehearsal-free, task-incremental learning setting.
Onderscheid van Traditionele KD: In tegenstelling tot traditionele Knowledge Distillation (KD), die een offline dataset gebruikt om een teacher te trainen en vervolgens te distilleren naar een student, werkt CDL sequentieel. Het teacher-model wordt taak-voor-taak bijgewerkt, en de student moet leren van de teacher met behulp van enkel de data van de huidige taak, zonder toegang tot data uit het verleden.

2. Kernobservatie: Distillation Information Forgetting

De auteurs hebben empirisch vastgesteld dat bestaande KD-methoden (Logit Distillation en Feature Distillation) er niet in slagen om student-modellen effectief te verbeteren in de CDL-opstelling. Zij identificeren de oorzaak als Distillation Information Forgetting:

Mechanisme: In prompt-gebaseerde CL selecteren verschillende taken verschillende subsets van prompts uit een prompt-pool via een query-key mechanisme.
Het Falen: De gekristalliseerde kennis van de teacher wordt ingebed in de specifieke prompts die voor een gegeven taak zijn geselecteerd. Wanneer een nieuwe taak arriveert, selecteert de student een andere set prompts. Omdat de backbone bevroren is, wordt de kennis die in de prompts van de vorige taak is overgedragen, effectief weggegooid voor de nieuwe taak. De student moet de kennis van de teacher voor elke nieuwe taak opnieuw leren vanaf nul, wat leidt tot slechte cross-task kennisoverdracht.
Gefaalide Alternatieven: Het paper merkt op dat het ontdooien (unfreezing) van delen van de ViT-backbone om updates mogelijk te maken geen levensvatbare oplossing is, omdat dit leidt tot catastrofale vergetelheid (catastrophic forgetting) van vorige taken, wat het kernprincipe van prompt-gebaseerde CL schendt.

3. Methodologie: Knowledge Distillation based on Prompts (KDP)

Om Distillation Information Forgetting aan te pakken, stellen de auteurs Knowledge Distillation based on Prompts (KDP) voor.

Kerncomponenten

KD Prompts:
- Een nieuw type prompt wordt specifiek geïntroduceerd voor kennisdistillatie.
- In tegenstelling tot standaard CL-prompts die taakspecifiek zijn en worden geselecteerd via een query-key mechanisme, zijn KD Prompts globaal toegankelijk en gedeeld over alle taken.
- Ze vertrouwen niet op het selectiemechanisme; ze worden in de bevroren ViT-backbone van het student-model ingevoegd voor elke taak.
- Ze worden ingevoegd met behulp van Prefix-Tuning, waarbij de prompt wordt opgesplitst in een Key-component ( $P_K$ ) en een Value-component ( $P_V$ ), en vervolgens worden toegevoegd aan de MSA-lagen van de ViT.
KD Token en Classifier:
- Een speciale Distillation Token (KD Token) wordt ingevoegd aan het einde van de eerste laag van de ViT-backbone.
- Deze token propageert door het netwerk en is verbonden met een aparte KD Classifier.
- De KD Classifier wordt getraind om de divergentie tussen de output van de student en de output van de teacher (soft labels) te minimaliseren met behulp van een standaard logit distillation loss (KL-divergentie met temperatuur $\tau$ ).
Trainingsdoelstelling:
De totale loss-functie van het student-model ( $L_S$ ) combineert drie termen:
- Student Classification Loss: Standaard cross-entropy loss voor de huidige taak met behulp van de hoofdclassifier van de student.
- Knowledge Distillation Loss: De loss tussen de KD-classifier van de student en de classifier van de teacher.
- Prompt Pool Loss: De loss geassocieerd met het selecteren/optimaliseren van de originele CL-prompts (specifiek voor de onderliggende CL-methode, zoals L2P of CODA-Prompt).

4. Experimentele Resultaten

De auteurs hebben KDP geëvalueerd op de CIFAR-100 en ImageNet-R datasets in een class-incremental setting (10 taken, 10 klassen per taak). Ze testten drie prompt-gebaseerde CL-backbones: L2P, DualPrompt, en CODA-Prompt.

Teacher-Student Paren: Experimenten werden uitgevoerd met ViT-Large $\to$ ViT-Base en ViT-Base $\to$ ViT-Small.
Prestaties:
- Bestaande KD-methoden (KD, DKD, FitNets, ReviewKD) vertoonden verwaarloosbare verbeteringen of zelfs verhoogde vergetelheidscijfers vergeleken met de baseline student.
- KDP presteerde consistent beter dan alle baselines. Bijvoorbeeld, op ImageNet-R met CODA-Prompt (ViT-Base $\to$ ViT-Small), behaalde KDP een gemiddelde nauwkeurigheid van 71,92% met 5,61% vergetelheid, vergeleken met 67,44% en 8,52% voor de baseline zonder distillatie.
- De combinatie van CODA-Prompt en KDP bereikte State-of-the-Art (SOTA) prestaties, waarbij de nauwkeurigheid van grotere modellen benadert terwijl de efficiëntie van kleinere modellen behouden blijft.
Ablatie-studies:
- KD Prompts vs. KD Classifier: Beide componenten zijn noodzakelijk voor optimale prestaties.
- Ontdooien van de Backbone: Het ontdooien van de laatste laag van de ViT resulteerde in ernstige vergetelheid (nauwkeurigheid daalde naar ~30%), wat de noodzaak bevestigt om de backbone bevroren te houden.
- Prompt Positie: Het simpelweg toevoegen van meer trainbare prompts aan de standaard CL-prompt-pool (zonder het globale KD-prompt-mechanisme) leverde niet dezelfde voordelen op, wat bewijst dat de globale, cross-task aard van de KD-prompts de cruciale factor is.

5. Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

Probleemformulering: Het introduceert het CDL-probleem, waarbij de specifieke uitdaging wordt gedefinieerd om kennis te distilleren van grote naar kleine modellen binnen de beperkingen van rehearsal-free, prompt-gebaseerde continual learning.
Ontdekking van een Beperking: Het is de eerste die Distillation Information Forgetting identificeert en analyseert, en uitlegt waarom standaard KD-methoden falen in prompt-gebaseerde CL vanwege de taakspecifieke aard van de prompt-selectie.
Nieuwe Methodologie (KDP): Het stelt KDP voor, een methode die gebruikmaakt van globaal gedeelde prompts en een speciale distillatie-token om continue cross-task kennisoverdracht te faciliteren zonder de backbone te ontdooien.
Empirische Validatie: De methode vertoont significante verbeteringen in nauwkeurigheid en reducties in vergetelheid over meerdere prompt-gebaseerde CL-frameworks en datasets, waarmee een nieuwe baseline wordt gevestigd voor efficiënte continual learning.

De auteurs concluderen dat KDP effectief het gat overbrugt tussen de hoge prestaties van grote modellen en de efficiëntievereisten van kleine modellen in continual learning scenario's.