🤖 machine learning

Gradient-Free Continual Learning

Het artikel introduceert EvoCL, een gradiëntvrije continual learning-methode die evolutionaire algoritmen en een lichtgewicht adaptermodule gebruikt om catastrofaal vergeten effectief te voorkomen zonder dat hiervoor opgeslagen gegevens uit het verleden of gradiëntberekeningen nodig zijn.

Oorspronkelijke auteurs: Grzegorz Rypeść

Gepubliceerd 2026-07-28

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Grzegorz Rypeść

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een student voor die ongelooflijk slim is, maar een heel vreemd geheugenprobleem heeft: op het moment dat hij een nieuw onderwerp leert, vergeet hij direct alles wat hij over het oude onderwerp wist. Als hij studeert voor een geschiedenisexamen, kan hij bijvoorbeeld vergeten hoe hij wiskundige vergelijkingen oplost. Als hij leert gitaar spelen, kan hij vergeten hoe hij zijn moedertaal spreekt. Dit is niet alleen een eigenaardigheid van de menselijke biologie; het is een groot hoofdpijndossier voor de kunstmatige intelligentie (AI)-systemen die we vandaag de dag bouwen. In de wereld van machine learning wordt dit fenomeen "catastrofale vergetelheid" genoemd.

Normaal gesproken, wanneer we een AI een nieuwe taak leren, laten we haar voorbeelden zien uit haar vorige lessen om haar eraan te herinneren wat ze al weet. Maar wat als we dat niet kunnen doen? Stel je voor dat privacywetten of strikte geheugenlimieten betekenen dat de AI verboden is om oude foto's, documenten of gegevens van haar vorige lessen op te slaan. Ze zou nieuwe dingen on the fly moeten leren terwijl ze haar oude vaardigheden levend houdt, maar zonder enig referentiemateriaal om naar terug te kijken. Dit is de "exemplar-free" uitdaging. De meeste huidige AI-methoden proberen dit op te lossen door complexe wiskunde te gebruiken om te onthouden hoe hun brein in het verleden veranderde, maar dit vereist een specifiek type wiskundig signaal (een "gradiënt") dat simpelweg niet bestaat wanneer je niet over de oude data beschikt.

Maak kennis met een nieuwe aanpak genaamd EvoCL, die probeert dit puzzelstukje op te lossen door het regelboek volledig weg te gooien. In plaats van te proberen de perfecte wiskundige route vooruit te berekenen met gradiënten, gebruikt EvoCL een methode die geïnspireerd is door de natuur: evolutie. Denk aan een spel van "de oplossing raden" waarbij de AI een hele populatie van licht verschillende versies van zichzelf creëert, ze allemaal test, de beste versies behoudt en ze samenvoegt om een nog betere volgende generatie te creëren. Het is een manier van leren die geen oude data nodig heeft om terug te kijken of standaard wiskundige signalen die gewoon falen in deze situaties.

Het Probleem: De AI-amnesie

In de wereld van neurale netwerken (de hersenachtige structuren achter moderne AI), bestaat er een hardnekkige angst: wanneer je het netwerk iets nieuws leert, heeft het de neiging om zijn oude kennis te overschrijven. Het is alsof je een nieuw hoofdstuk in een schrift schrijft, maar de inkt is zo sterk dat het door de pagina's heen bloedt en de vorige pagina's uitwist. Om dit te stoppen, gebruiken de meeste wetenschappers een techniek genaamd "backpropagation", wat in essentie een geavanceerde manier is om te berekenen hoe de instellingen van het netwerk aangepast moeten worden om zowel de oude als de nieuwe informatie te onthouden.

Deze methode loopt echter tegen een muur aan in "exemplar-free" scenario's. Dit is een setting waarin de AI niet is toegestaan om ruwe data van eerdere taken op te slaan vanwege privacyzorgen of geheugenbeperkingen. Zonder de oude data kan de AI de noodzakelijke wiskundige signalen (gradiënten) voor de oude taken niet berekenen. Het is alsof je een automotor probeert te repareren zonder ooit de blauwdrukken van de oude onderdelen te hebben gezien. Het resultaat is dat de AI afdwaalt van haar oude vaardigheden en deze snel vergeet.

De Oplossing: Evolutie in plaats van Vergelijkingen

De auteurs van dit artikel, onder leiding van Grzegorz Rypeść, stellen een radicale verschuiving voor. In plaats van te proberen de AI te dwingen gradiënten te berekenen die ze niet kan vinden, stellen ze het gebruik van een Evolution Strategy (ES) voor.

Stel je voor dat je de beste route probeert te vinden door een dicht mistig bos om een verborgen schat te bereiken.

De Oude Manier (Gradient Descent): Je probeert de exacte helling van de grond onder je voeten te berekenen om uit te zoeken welke kant "naar beneden" gaat richting de schat. Maar in de mist (zonder oude data) kun je de grond niet zien, dus zijn je berekeningen fout en raak je verdwaald.
De EvoCL-manier (Evolutionary Strategy): In plaats van te berekenen, stuur je een heel team van ontdekkingsreizigers uit (een populatie van AI-modellen). Elke ontdekkingsreiziger neemt een iets ander pad. Je controleert wie de meeste schatten heeft gevonden (de beste prestatie). Vervolgens neem je de twee beste ontdekkingsreizigers, meng hun paden samen (crossover) en voegt een beetje willekeurig dwalen toe (mutatie) om een nieuw, verbeterd team van ontdekkingsreizigers te creëren. Je herhaalt dit proces totdat je de perfecte route hebt gevonden.

Deze methode heeft niet de kennis nodig van de "helling" uit het verleden; ze hoeft alleen te weten welke oplossingen beter werken dan andere.

Hoe EvoCL werkt: De Magische Adapter

Er is één lastig deel: Hoe weet de AI of een nieuw pad goed is voor oude taken als ze de oude data niet heeft?

EvoCL gebruikt een slimme truc met een Latent Buffer en een Adapter Network.

De Geheugenbank: Na het voltooien van een taak slaat de AI niet de ruwe afbeeldingen of tekst op. In plaats daarvan slaat ze een kleine, gecomprimeerde samenvatting op van wat ze heeft geleerd (genaamd "latent features"). Dit is als het opslaan van een schets van een schilderij in plaats van het schilderij zelf. Het neemt zeer weinig ruimte in beslag en beschermt de privacy.
De Vertaler (Adapter): Terwijl de AI nieuwe taken leert, verandert haar interne "taal". De schetsen uit de oude dagen begrijpen misschien niet meer de nieuwe context. Daarom traint EvoCL een kleine, tijdelijke vertaler (het adapter netwerk) om die oude schetsen om te zetten naar de nieuwe taal.
De Simulatie: De AI neemt deze vertaalde schetsen en doet alsof het de echte oude data zijn. Ze berekent een "nep" verlies (een maatstaf voor fouten) op basis van deze schetsen. Dit stelt de evolutionaire algoritme in staat om te testen of een nieuwe set instellingen helpt bij zowel de huidige taak als de "gesimuleerde" oude taken.

Wat de Experimenten Lieten Zien

De onderzoekers testten EvoCL op verschillende standaard datasets, variërend van eenvoudige handgeschreven cijfers (MNIST) tot complexe vliegtuigfoto's (FGVCAircraft) en verschillende domeinen (DomainNet). Ze vergeleken het met de beste bestaande methoden die proberen dit probleem op te lossen zonder oude data op te slaan.

De resultaten waren veelbelovend. EvoCL presteerde consequent beter dan haar concurrenten.

Op de MNIST-dataset (handgeschreven cijfers) behaalde EvoCL een uiteindelijke nauwkeurigheid van 92,3% bij het leren van 3 taken tegelijk, waarmee het de op één na beste methode met een aanzienlijke marge versloeg.
Op de moeilijkere FashionMNIST (kledingafbeeldingen) bereikte het een nauwkeurigheid van 77,2%, waarmee het opnieuw de koploper was.
Zelfs op de complexe CIFAR100-dataset (100 verschillende objectklassen) slaagde EvoCL erin voorop te blijven met een nauwkeurigheid van 24,8%, wat een duidelijke verbetering is ten opzichte van andere methoden.

De paper voerde ook een specifieke test uit om te zien of de evolutionaire methode daadwerkelijk beter was dan de standaard wiskundige methode (SGD) wanneer gradiënten ontbraken. Ze ontdekten dat de standaardmethode hopeloos faalde, waardoor de AI bijna alles vergat (de nauwkeurigheid daalde in sommige gevallen tot rond de 14%), terwijl EvoCL een sterke prestatie behield. Dit suggereert dat wanneer je de gradiënten niet kunt berekenen, evolutie inderdaad een superieure strategie is.

De Trade-off: Snelheid versus Slimheid

Er is echter een addertje onder het gras. Hoewel EvoCL slimmer is in het onthouden van dingen zonder oude data, is het ook langzamer. Omdat het veel verschillende versies van de AI tegelijkertijd moet testen (de populatie), duurt het trainen veel langer.

Op de CIFAR100-dataset duurde het trainen van andere methoden ongeveer 3 tot 20 minuten, terwijl EvoCL bijna 985 minuten (meer dan 16 uur) in beslag nam.
De auteurs merken op dat dit een afweging is: je betaalt met tijd om de mogelijkheid te krijgen om te leren zonder data op te slaan.

Beperkingen en Toekomstige Stappen

Het artikel merkt terecht op dat dit nog geen wondermiddel is voor elk probleem.

Schaal: De methode werkt goed op kleine tot middelgrote datasets. De auteurs geven toe dat ze het nog niet op enorme datasets zoals ImageNet-1k hebben getest, omdat het "evolutieproces" te veel rekenkracht zou vereisen voor zulke grote modellen.
Benadering: De methode vertrouwt op het "nep" verlies dat wordt berekend vanuit de vertaalde schetsen. Als de vertaler (de adapter) niet erg goed is, leert de AI misschien de verkeerde dingen.
Geheugen: Hoewel het ruimte bespaart door geen ruwe afbeeldingen op te slaan, moet het nog steeds die gecomprimeerde schetsen en het adapter netwerk opslaan.

De Kernboodschap

Dit artikel suggereert dat wanneer AI-systemen gedwongen worden hun oude data te vergeten vanwege privacy of geheugenbeperkingen, we niet moeten proberen hen te dwingen dezelfde wiskunde te gebruiken als altijd. In plaats daarvan kunnen we ze laten evolueren. Door een populatie-gebaseerde aanpak te gebruiken en een slimme vertaler om het verleden te simuleren, laat EvoCL zien dat AI nieuwe vaardigheden kan leren zonder haar oude te verliezen, zelfs wanneer ze niet wordt toegestaan om naar haar oude huiswerk te kijken. Het is een tragere, computationeel duurdere manier van leren, maar het opent een nieuwe deur voor AI in situaties waarin dataprivacy van cruciaal belang is.

Technische Samenvatting: EvoCL - Gradiëntvrij Continual Learning

Probleemstelling

Continual Learning (CL) staat voor de fundamentele uitdaging van "catastrofale vergetelheid" (catastrophic forgetting), waarbij neurale netwerken eerder verworven vaardigheden verliezen wanneer ze worden getraind op nieuwe sequentiële taken. Hoewel standaardbenaderingen vertrouwen op backpropagation en stochastic gradient descent (SGD) om modelparameters bij te werken, schieten deze methoden tekort in Exemplar-Free Class-Incremental Learning (EFCIL) scenario's. In EFCIL kunnen gegevens van eerdere taken niet worden opgeslagen vanwege geheugen- of privacybeperkingen. Als gevolg hiervan zijn gradiënten van eerdere taken niet beschikbaar, wat leidt tot ongecontroleerde parameterdrift en snelle vergetelheid. Bestaande oplossingen die dit proberen te mitigeren via regularisatie of kennisdistillatie, zijn nog steeds afhankelijk van gradiëntdoorstroming door het model, wat hun vermogen om te optimaliseren voor het verleden beperkt zodra hun gradiënten ontoegankelijk zijn.

Methodologie: EvoCL

De auteurs stellen EvoCL voor, een gradiëntvrije benadering die continual learning herformuleert als een optimalisatieprobleem onder de conditie van gradiënt-onbeschikbaarheid. In plaats van te vertrouwen op backpropagation, gebruikt EvoCL een Evolution Strategy (ES) om netwerkparameters te optimaliseren.

Kerncomponenten

Gradiëntvrije Optimalisatie via Evolution Strategy:
- EvoCL vervangt SGD door een populatiegebaseerde $(\mu + \lambda)$ Evolution Strategy (ES).
- De methode onderhoudt een populatie van ouder-modellen. In elke iteratie worden nakomelingen gegenereerd via interpolatie-gebaseerde crossover en Gaussische mutatie.
- Individuen worden geëvalueerd op basis van een gecombineerde verliesfunctie en de top $\mu$ presteerders worden geselecteerd voor de volgende generatie.
- Deze aanpak maakt directe minimalisatie van een objectieffunctie mogelijk, zelfs wanneer gradiënten voor eerdere taken niet bestaan of niet differentieerbaar zijn.
Latent Buffer en Feature Memorization:
- In plaats van ruwe inputmonsters (exemplars) op te slaan, slaat EvoCL een compacte buffer van latente features (intermediaire embeddings) op, geëxtraheerd uit de feature extractor na de training op elke taak.
- Dit ontwerp zorgt voor een laag geheugengebruik en voldoet aan privacybeperkingen terwijl relevante taakinformatie behouden blijft.
Adapter Netwerk voor Verliesbenadering:
- Om een verlies voor eerdere taken te berekenen zonder ruwe data, gebruikt EvoCL een hulp-adapter netwerk ( $\psi_{t-1 \to t}$ ), doorgaans een lichtgewicht Multi-Layer Perceptron (MLP).
- Deze adapter transformeert dynamisch gememoriseerde features van eerdere taken (in de latente ruimte van $F_{t-1}$ ) naar de huidige taak-latente ruimte ( $F_t$ ).
- De adapter wordt getraind om de Mean Squared Error (MSE) te minimaliseren tussen de getransformeerde features en de huidige features, waardoor de getransformeerde embeddings geldig blijven voor het huidige model.
Joint Training Objective:
- De fitnessfunctie voor de evolutionaire optimizer combineert drie termen:
  $L_{EvoCL} = L_t + \hat{L}_{<t} + \alpha \cdot L_{MSE}$
  - $L_t$ : Cross-entropy verlies van de huidige taak.
  - $\hat{L}_{<t}$ : Benaderde cross-entropy verlies voor eerdere taken, berekend met behulp van de getransformeerde latente features uit de buffer.
  - $L_{MSE}$ : Reconstructieverlies dat garandeert dat de adapter de features nauwkeurig naar de huidige ruimte mapt.
  - $\alpha$ : Een hyperparameter die de balans bewaakt tussen classificatieprestaties en de kwaliteit van de adapter-reconstructie.
Taak-naar-taak Feature Transformatie:
- Na de training op taak $t$ worden alle opgeslagen features in de buffer door de adapter geleid om ze uit te lijnen met de nieuwe latente ruimte. Deze cumulatieve transformatie zorgt ervoor dat de buffer geldig blijft voor toekomstige taken.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Verschuiving van Onderzoeksfocus: De auteurs stellen voor om de fundamentele onderzoeksfocus in CL te verschuiven van het overwinnen van het gebrek aan eerdere data naar het overwinnen van het gebrek aan eerdere gradiënten.
Nieuwe Gradiëntvrije Methode: EvoCL wordt geïntroduceerd als een methode die backpropagation vervangt door een evolutionaire strategie voor opeenvolgende taken, wat effectieve optimalisatie mogelijk maakt zelfs wanneer gradiënten van eerdere taken niet beschikbaar zijn.
Joint Training Architectuur: Dit wordt gepresenteerd als de eerste exemplar-free continual learning benadering die zowel de feature extractor als een feature adaptatie netwerk gezamenlijk traint, in plaats van de backbone vast te houden of ze apart te trainen.

Experimentele Resultaten

EvoCL werd geëvalueerd op vijf benchmark-datasets (MNIST, FashionMNIST, CIFAR100, FGVCAircraft, DomainNet) onder strikte EFCIL-protocollen (geen exemplars, onbekende taak-ID's tijdens inferentie).

Prestaties: EvoCL kwam consequent overeen met of overtrof de state-of-the-art baselines (inclus kind LwF, EWC, FeTrIL, FeCAM en DS-AL) over alle datasets en taakconfiguraties.
- Op MNIST bereikte EvoCL een eindaccuratesse van 92,3% ( $T=3$ ) en 81,8% ( $T=5$ ), waarmee het concurrenten zoals DS-AL en FeCAM aanzienlijk versloeg.
- Op FashionMNIST leidde het met 77,2% ( $T=3$ ) en 72,0% ( $T=5$ ) eindaccuratesse.
- Op DomainNet en FGVCAircraft (fine-grained scenario's met een pre-trained ViT), behield EvoCL superieure prestaties over variërende aantallen taken, wat robuustheid tegen domeinverschuivingen demonstreert.
Vergelijking met SGD: Een vergelijkende studie op FashionMNIST toonde aan dat het vervangen van de Evolution Strategy door SGD (zelfs met uitgebreide hyperparameter-tuning) resulteerde in ernstige vergetelheid. SGD faalde in het effectief minimaliseren van de ware verliesfunctie van eerdere taken ( $L_{<t}$ ) omdat het de feature extractor niet kon bijwerken zonder gradiënten, terwijl ES erin slaagde zowel de gesimuleerde als de ware verliesfunctie van eerdere taken te reduceren.
Validatie van Correlatie: Experimenten bevestigden een sterke lineaire correlatie (Pearson-coëfficiënten van 0,953 en 0,995) tussen de benaderde verliesfunctie ( $\hat{L}_{<t}$ ) en de ware verliesfunctie ( $L_{<t}$ ), wat de strategie van verliesbenadering valideert.
Ablatie-studies: Het verwijderen van de verliesbenaderingscomponent veroorzaakte een catastrofale prestatie-instorting (accuratesse daalde naar 6,9%), wat de noodzaak ervan benadrukt. Het vervangen van de ES-optimizer door SGD verminderde de accuratesse en plasticiteit aanzienlijk.
Efficiëntie: Hoewel EvoCL een superieure parameter-efficiëntie demonstreerde (goed presterend met slechts 5K parameters), bracht het een hogere computationele kosten met zich mee tijdens de training (ongeveer 984 minuten op CIFAR100 versus ~3-20 minuten voor baselines) vanwege de populatiegebaseerde evaluatie die vereist is door ES.

Betekenis en Beperkingen

Het artikel beweert dat EvoCL een eenvoudige en flexibele nieuwe richting biedt voor continual learning, en bewijst dat gradiëntvrije optimalisatie een robuust alternatief is voor het navigeren door de rigide beperkingen van exemplar-free omgevingen. Door optimalisatie los te koppelen van backpropagation, adresseert het de kernbeperking van huidige methoden in privacygevoelige of geheugenbeperkte scenario's.

De auteurs zijn echter bescheiden over de huidige reikwijdte van de methode:

Schaalbaarheid: De methode is momenteel geverifieerd op kleine tot middelgrote benchmarks en fine-grained sub-netwerken. Grootschalige evaluaties op volledige datasets zoals ImageNet-1k vanaf nul zijn nog niet beschikbaar vanwege de verhoogde computationele en mutatiecomplexiteit van populatiegebaseerde strategieën in hoog-dimensionale parameterruimten.
Computationele Kosten: De ES-optimizer is computationeel duur en sample-inefficiënt vergeleken met gradiëntgebaseerde alternatieven, wat de trainingstijd beïnvloedt.
Afhankelijkheid van Benadering: Het succes van de methode hangt sterk af van de kwaliteit van de benaderde verliesfunctie; onnauwkeurigheden in de schatting van de adapter kunnen de prestaties verslechteren.

Toekomstig werk suggereert het onderzoeken van gelokaliseerde of blokwijze ES-updates om de methodologie te schalen naar grotere architecturen.