💻 computer science

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

Dit paper introduceert LDEPrompt, een nieuwe methode voor klassen-incrementeel leren die een dubbele uitbreidbare prompt-pool gebruikt met laag-gestuurde selectie om bestaande beperkingen zoals vaste pools en handmatige selectie te overwinnen en zo state-of-the-art resultaten te behalen.

Oorspronkelijke auteurs: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

Gepubliceerd 2026-04-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, al opgeleide kunstenaar hebt (zoals een AI die miljoenen plaatjes heeft gezien). Deze kunstenaar is al een meester in het herkennen van dieren, auto's en bloemen. Nu wil je hem echter nieuwe dingen leren, zoals het herkennen van specifieke soorten vogels of nieuwe soorten auto's, zonder dat hij zijn oude kennis vergeet.

Het probleem is dat als je een kunstenaar dwingt om nieuwe dingen te leren, hij vaak zijn oude kennis "overschrijft" of verwart. Dit noemen we in de AI-wereld catastrophic forgetting (catastrofale vergetelheid).

Dit artikel introduceert een slimme oplossing genaamd LDEPrompt. Laten we dit uitleggen met een paar creatieve vergelijkingen:

1. Het Probleem: De Vaste Werkbank

Tot nu toe hadden andere methoden een vaste werkbank met een beperkt aantal gereedschappen (de "prompts").

Het oude probleem: Als je een nieuwe taak krijgt, moet je een gereedschap kiezen dat het beste past. Maar als je dat gereedschap gebruikt voor een nieuwe taak, wordt het vaak "overschreven" of beschadigd, waardoor je de oude taak niet meer goed kunt uitvoeren.
De beperking: De werkbank was statisch. Je kon geen nieuwe gereedschappen toevoegen als de oude vol zaten, en je kon niet kiezen waar op de werkbank je het beste kon werken.

2. De Oplossing: LDEPrompt (De Slimme, Groeiende Werkplaats)

LDEPrompt lost dit op met twee hoofdidées: Slimme Plaatsing en Dubbele Opslag.

Idee A: De "Lichtmeter" (Layer Importance)

Stel je voor dat de kunstenaar een gebouw heeft met 12 verdiepingen (dit zijn de lagen van het AI-model).

Oude methode: Je zette altijd gereedschappen op dezelfde verdieping, ongeacht of het daar wel nodig was.
LDEPrompt: Voordat de kunstenaar aan een nieuwe taak begint, kijkt hij eerst met een lichtmeter (een berekening) naar elke verdieping. Hij vraagt zich af: "Op welke verdieping leert mijn brein het meeste nieuwe informatie over deze specifieke vogelsoort?"
Het resultaat: Hij plaatst zijn nieuwe gereedschappen alleen op de verdiepingen waar het echt nuttig is. Dit bespaart energie en voorkomt rommel op de verkeerde plekken.

Idee B: De Twee Opbergkasten (Dual Expandable Prompt Pool)

Dit is het meest creatieve deel. In plaats van één grote kast, heeft de kunstenaar nu twee kasten:

De "Museumkast" (Global Pool):
- Hier staan alle gereedschappen die de kunstenaar ooit heeft gemaakt voor oude taken.
- Belangrijk: Deze kast is bevroren. Niemand mag hier aan sleutelen. Dit zorgt ervoor dat de oude kennis veilig blijft en nooit wordt overschreven. Het is als een museum waar de schilderijen onder glas staan.
De "Werkkast" (Training Pool):
- Dit is een kleinere, flexibele kast voor de huidige taak.
- Als de kunstenaar een nieuwe taak krijgt, pakt hij de beste gereedschappen uit de Museumkast (omdat die al goed werken) en voegt hij daar nieuwe, aanpasbare gereedschappen aan toe.
- Zodra de nieuwe taak is geleerd, worden deze nieuwe gereedschappen veilig opgeslagen in de Museumkast, en de Werkkast wordt leeggemaakt voor de volgende taak.

Waarom is dit slim?

Geen vergetelheid: Omdat de oude kennis (Museumkast) nooit wordt aangepakt, vergeet de kunstenaar zijn oude vaardigheden niet.
Groei: De Museumkast kan blijven groeien. Er is geen limiet aan hoeveel nieuwe taken je kunt leren; je maakt gewoon meer ruimte in de kast.
Delen: Als twee taken (bijvoorbeeld "rode auto's" en "blauwe auto's") vergelijkbaar zijn, kunnen ze dezelfde gereedschappen uit de Museumkast delen, wat het leren sneller maakt.

3. De Resultaten: De Winnaar

De auteurs hebben hun methode getest op bekende puzzels (datasets zoals CIFAR100 en CUB).

Het resultaat? LDEPrompt was de beste van allemaal.
Het deed het beter dan de vorige recordhouders, zowel op het totale resultaat als op het resultaat van de allerlaatste taak.
Het bewijst dat door slim te kiezen waar je leert (de juiste verdieping) en door je kennis veilig te bewaren (de dubbele kasten), je een AI kunt maken die echt "leert" zonder te vergeten.

Samenvatting in één zin

LDEPrompt is als een slimme leermeester die eerst meet waar je het beste kunt leren, en daarna een onuitwisbaar archief (Museum) en een tijdelijk werkblad (Werkkast) gebruikt, zodat je nooit je oude vaardigheden vergeet terwijl je nieuwe vaardigheden aanleert.

Probleemstelling

Het paper adresseert uitdagingen binnen Class-Incremental Learning (CIL), waarbij een model nieuwe taken (klassen) moet leren zonder de kennis van eerder geleerde taken te vergeten (het fenomeen van catastrophic forgetting). Specifiek richt het zich op prompt-based CIL binnen het paradigma van voorgeöefende modellen (Pre-trained Models, PTM).

Bestaande prompt-gebaseerde methoden hebben drie belangrijke beperkingen:

Vaste Prompt Pools: De grootte van de pool met trainbare prompts is statisch, wat de capaciteit beperkt om nieuwe taken te accommoderen.
Overwriting: Prompts die herhaaldelijk voor verschillende taken worden geselecteerd, lopen het risico overschreven te worden, wat leidt tot verlies van eerdere kennis.
Sterke afhankelijkheid van de backbone: De selectie van prompts is volledig afhankelijk van embeddings van een bevroren voorgeöefend model, wat vaak ontbreekt aan taakspecifieke informatie en de prestaties beperkt.

Methodologie: LDEPrompt

De auteurs stellen LDEPrompt (Layer-importance guided Dual Expandable Prompt Pool) voor, een framework dat adaptieve laagselectie en dynamische expansie van de prompt-pool mogelijk maakt. De kerncomponenten zijn:

1. Evaluatie van Laagbelang (Layer Importance Evaluation)

Voordat een nieuwe taak wordt getraind, voert het model meerdere forward-passes uit op de voorgeöefende backbone.

Er wordt informatiewinst (Information Gain - IG) berekend voor elke laag $l$ als het verschil in wederzijdse informatie (mutual information) tussen de input en output van die laag.
De lagen worden genormaliseerd met een softmax-functie.
Alleen de lagen met een belangsscore boven het gemiddelde worden geselecteerd om prompts in te voegen. Dit voorkomt parameterredundantie en zorgt voor een efficiënte allocatie.

2. Dual Expandable Prompt Pools

Om overwriting te voorkomen en schaalbaarheid te garanderen, wordt een dubbele pool-architectuur gebruikt:

Global Prompt Pool ( $P_g$ ): Bevat prompts van alle vorige taken. Deze prompts worden bevroren (frozen) na training om kennis te behouden.
Training Prompt Pool ( $P_c$ ): Bevat alleen taakspecifieke prompts met een vaste capaciteit $S$ $S$ .
- Voor een nieuwe taak worden de $s$ meest vergelijkbare prompts (op basis van cosine similarity met de [CLS]-token features) uit de globale pool gehaald en bevroren.
- De resterende $S-s$ prompts worden willekeurig geïnitieerd en zijn trainbaar.
- Na training worden de nieuw geleerde prompts toegevoegd aan de globale pool, waardoor deze dynamisch groeit zonder bestaande kennis te overschrijven.

3. Optimisatie

De prompts in de trainingspool worden geoptimaliseerd samen met de classifier using standaard cross-entropy loss over alle eerder geziene klassen. De backbone van het model blijft volledig bevroren.

Belangrijkste Bijdragen

Adaptieve Laagselectie: In plaats van prompts in alle lagen of willekeurige lagen te plaatsen, selecteert LDEPrompt dynamisch de meest informatieve lagen op basis van informatie-winst voor de specifieke taak.
Dynamische Expansie zonder Overwriting: De "Dual Pool" architectuur (Global vs. Training) zorgt ervoor dat oude kennis wordt bewaard (door bevriezing) terwijl de ruimte voor nieuwe taken groeit (door expansie van de globale pool).
State-of-the-Art Prestaties: Het framework presteert consistent beter dan bestaande methoden op meerdere benchmarks, wat de effectiviteit van de combinatie van laag-gespecialiseerde allocatie en expansie bevestigt.

Resultaten

Het framework is geëvalueerd op drie veelgebruikte benchmarks: CIFAR100, CUB (Caltech-UCSD Birds), en VTAB. De resultaten tonen aan dat LDEPrompt de beste prestaties levert in vergelijking met SOTA-methoden zoals L2P, DualPrompt, CODA-Prompt en Evoprompt.

Gemiddelde Nauwkeurigheid (Avg): LDEPrompt verbetert de prestaties met 0,50% (CIFAR100), 2,91% (CUB) en 1,37% (VTAB) ten opzichte van de tweede beste methode.
Laatste Fase Nauwkeurigheid (Last): Het model behoudt ook sterkere prestaties op de meest recente taak, wat aantoont dat het vergeten van eerdere taken effectief wordt onderdrukt.
Ablatiestudies: Experimenten bevestigen dat zowel het bevriezen van oude prompts als het dynamisch uitbreiden van de pool essentieel zijn. Het plaatsen van prompts in alle lagen (in plaats van geselecteerde lagen) leidt tot suboptimale prestaties door parameterredundantie.

Betekenis en Impact

LDEPrompt biedt een robuust en schaalbaar oplossing voor prompt-based continual learning. Het paper benadrukt dat:

Laag-specifieke toewijzing cruciaal is voor het maximaliseren van de leerkracht van prompts zonder de modelgrootte onnodig te vergroten.
Een expandeerbare architectuur noodzakelijk is om de beperkingen van statische prompt-pools te overwinnen.
De methode een veelbelovende richting biedt voor toekomstig onderzoek in het integreren van nieuwe kennis in grote voorgeöefende modellen zonder de onderliggende backbone aan te passen.

De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling van deze aanpak faciliteert.