🤖 machine learning

Natural Gradient Descent for Online Continual Learning

Deze paper introduceert een nieuwe aanpak voor online continu leren die Natural Gradient Descent met KFAC gebruikt om catastrofaal vergeten te voorkomen en snellere convergentie te bereiken op diverse beeldclassificatiedatasets.

Oorspronkelijke auteurs: Joe Khawand, David Colliaux

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joe Khawand, David Colliaux

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe taal leert, maar je hebt geen woordenboek, geen herhalingstijd en je mag de vorige lessen nooit meer bekijken. Je krijgt elke dag een nieuwe set woorden, en zodra je die leert, moet je direct doorgaan met de volgende set, zonder ooit terug te keren naar het begin.

Dit is precies wat Online Continual Learning (OCL) is voor kunstmatige intelligentie (AI). Het is een AI die moet leren terwijl het werkt, zonder ooit te stoppen om te oefenen. Het grootste probleem hierbij is "catastrophical forgetting" (catastrofaal vergeten): zodra de AI iets nieuws leert, vergeet het vaak alles wat het eerder wist.

In dit paper introduceren de auteurs een nieuwe manier om deze AI te trainen, genaamd Natural Gradient Descent met KFAC. Laten we dit uitleggen met een paar simpele vergelijkingen.

1. Het Probleem: De "Blinde" Klimmer

Stel je voor dat je een berg wilt beklimmen (het vinden van de beste oplossing voor het probleem).

De oude methode (Standaard Gradient Descent): Je bent een klimmer die alleen naar zijn eigen voeten kijkt. Hij voelt welke kant omlaag gaat en zet daar een stap. Het probleem is dat hij niet ziet hoe de berg eruitziet. Als de grond zacht is (een "zachte" helling), maakt hij misschien te grote stappen en struikelt hij. Als de grond hard is, maakt hij te kleine stappen en komt hij er nooit. Hij loopt vaak in rondjes of stopt te vroeg.
Het nieuwe idee (Natural Gradient Descent): Deze klimmer heeft een kaart van de hele berg in zijn hoofd. Hij weet niet alleen welke kant omlaag gaat, maar ook hoe de vorm van de berg is. Hij past zijn stappen aan op basis van de vorm van het terrein. Als de helling zacht is, maakt hij een lange, veilige stap. Als het steil is, maakt hij een korte, precieze stap. Hij klimt veel sneller en efficiënter naar de top.

2. De Uitdaging: De Kaart is te Groot

Het probleem met de "slimme klimmer" (Natural Gradient Descent) is dat de kaart van de berg (de wiskundige berekening) gigantisch groot is. Voor moderne AI-modellen met miljoenen parameters is het berekenen van deze kaart te zwaar voor de computer; het zou te lang duren en te veel geheugen kosten.

3. De Oplossing: KFAC (De Slimme Samenvatting)

Hier komt KFAC (Kronecker Factored Approximate Curvature) om de hoek kijken.

De Analogie: In plaats van een kaart van elke steen op de hele berg te tekenen (wat onmogelijk is), tekent KFAC een slimme, vereenvoudigde schets. Hij kijkt naar de belangrijkste richtingen en groepeert de informatie op een slimme manier.
Het Resultaat: De AI krijgt bijna dezelfde voordelen als de "slimme klimmer" (hij weet hoe hij het beste moet bewegen), maar dan zonder dat zijn computer vastloopt. Het is alsof je een GPS hebt die je de kortste route geeft, zonder dat je de hele wereldkaart hoeft te downloaden.

4. Wat hebben ze ontdekt?

De auteurs hebben deze methode getest op verschillende "trainingsscenario's" (zoals het herkennen van dieren op foto's die steeds veranderen).

Sneller leren: De AI leerde nieuwe dingen veel sneller dan met de oude methoden.
Minder vergeten: Omdat de AI de nieuwe informatie zo efficiënt leert, hoeft hij niet zo hard te "duwen" om het nieuwe te onthouden, waardoor hij minder snel vergeet wat hij al wist.
Werkt met alles: Ze ontdekten dat deze nieuwe klimmethode (KFAC) werkt als je hem combineert met andere slimme trucs die AI-onderzoekers al gebruiken. Het maakt die bestaande trucs nog beter.

Samenvattend

Stel je voor dat je een student bent die elke dag een nieuw vak moet leren, maar je mag je oude boeken niet meer openen.

De oude manier is alsof je blindelings probeert te raden wat je moet onthouden. Je leert traag en vergeet snel.
De nieuwe manier (Natural Gradient Descent + KFAC) is alsof je een superleraar hebt die je precies vertelt hoe je moet leren. Hij zegt: "Je hebt al veel van dit vak geleerd, dus we hoeven niet zo hard te duwen. Laten we deze nieuwe stof op een manier opnemen die past bij wat je al weet."

Dit onderzoek laat zien dat door de "wiskundige kaart" van de AI te gebruiken (maar slim te vereenvoudigen), we AI-systemen kunnen maken die sneller leren, minder vergeten en beter presteren in de echte wereld, waar data nooit statisch is.

Probleemstelling: Online Continu Leren (OCL)

Het paper richt zich op Online Continu Leren (OCL) voor beeldclassificatie. Dit is een uitdagende subcategorie van Continu Leren waarbij modellen een stroom van data moeten verwerken zonder de aanname van onafhankelijke en identiek verdeelde (i.i.d.) data.

De Kernuitdaging: Het voorkomen van catastrofaal vergeten (catastrophic forgetting). Hierbij presteert het model slechter op eerder geleerde taken naarmate het nieuwe taken leert.
Beperkingen: In tegenstelling tot traditioneel continu leren, waar modellen meerdere keren over data kunnen itereren en grote batches kunnen gebruiken, vereist OCL dat het model slechts één keer door de huidige taak gaat (single-pass) en geen toegang heeft tot eerdere taken. Dit maakt het zeer moeilijk om snel te convergeren en stabiel te blijven, vooral met zeer kleine batchgroottes.
Huidige Status: Er bestaat een grote prestatiekloof tussen modellen die offline zijn getraind en die welke in een online setting worden getraind. Bestaande methoden (zoals Experience Replay) kampen vaak met trage convergentie en suboptimale nauwkeurigheid.

Methodologie: NGD-KFAC

De auteurs introduceren een nieuwe optimalisatiestrategie die Natural Gradient Descent (NGD) combineert met Kronecker Factored Approximate Curvature (KFAC).

Natural Gradient Descent (NGD):
- In plaats van de standaard Stochastic Gradient Descent (SGD), die de Euclidische metriek gebruikt, gebruikt NGD de Fisher Information Matrix (FIM).
- NGD neemt de geometrie van de parameterverdeling in overweging. De update-regel is: $\theta_{t+1} = \theta_t - \alpha \cdot F^{-1}(\theta_t) \cdot \nabla L(\theta_t)$ .
- Dit zorgt voor een update die de "kromming" van de verdelingsruimte respecteert, wat leidt tot efficiëntere paden en snellere convergentie, wat cruciaal is in de niet-stationaire OCL-setting.
KFAC (Kronecker Factored Approximate Curvature):
- Het exacte inverteren van de FIM is computationeel onmogelijk voor grote neurale netwerken (omdat de matrix $n_\theta \times n_\theta$ groot is).
- De auteurs gebruiken KFAC om de FIM te benaderen als het Kronecker-product van twee kleinere matrices ( $A \otimes B$ ), wat de opslag en berekening drastisch reduceert.
- Regularisatie: Om numerieke stabiliteit te garanderen (vooral belangrijk in de initiële "exploratiefase" van OCL), wordt Tikhonov-regularisatie toegepast met een dempingsparameter ( $\lambda$ ). De auteurs vonden dat een hoge demping van 1.0 de beste resultaten opleverde.
Experimenteel Opzet:
- Modellen: ResNet18.
- Datasets: Split CIFAR-100, Split MiniImageNet, NonStationary-MiniImageNet (ruis, vervaging, occlusie), en CORe50.
- Scenario's: Online Class Incremental (OCI - nieuwe klassen) en Online Domain Incremental (ODI - veranderingen in data-distributie zonder nieuwe klassen).
- Vergelijking: De methode wordt getest in combinatie met bestaande OCL-technieken zoals Experience Replay (ER), A-GEM, MIR, GSS, en diverse "tricks" (zoals Labels Trick, Nearest Class Mean, Separated Softmax).

Belangrijkste Bijdragen

Nieuwe Toepassing: Dit is de eerste toepassing van NGD-KFAC specifiek voor Online Continual Learning in beeldclassificatie.
Prestatieverbetering: De methode verbetert de prestaties van vrijwel alle bestaande OCL-methoden en -tricks, vaak met slechts een minimale wijziging in de optimizer.
Snellere Convergentie: Door de tweede-orde optimalisatie (NGD) kunnen modellen sneller leren van de huidige data-stroom, wat essentieel is in een single-pass omgeving.

Resultaten

De experimenten tonen significante verbeteringen op alle geteste benchmarks:

Algemene Verbetering: Over het geheel genomen steeg de gemiddelde eindnauwkeurigheid van 19,58% (zonder NGD-KFAC) naar 22,20% (met NGD-KFAC).
Invloed van Geheugengrootte: De voordelen van NGD-KFAC nemen toe met de grootte van het herinneringsbuffer (memory buffer). Bij een buffer van 10.000 samples steeg de nauwkeurigheid van 22,22% naar 25,80%.
Combinatie met Tricks:
- Nearest Class Mean (NCM): Toonde de grootste winst, met een stijging van 20,89% naar 25,31% nauwkeurigheid.
- Labels Trick & Separated Softmax: Ook hier werden aanzienlijke verbeteringen geboekt.
- Review Trick: Hield een hoge baseline, maar de nauwkeurigheid bleef stabiel rond de 25%.
Vergeetgedrag (Forgetting): Hoewel de nauwkeurigheid stijgt, merkten de auteurs op dat het vergeten soms licht toeneemt (bijv. van 18,05% naar 24,58% gemiddeld). Ze verklaren dit doordat NGD-KFAC sneller convergeert op de nieuwe taak, wat leidt tot een grotere initiële daling in prestaties op oude taken, maar de totale prestatie over de tijd blijft beter.
ODI (Domain Incremental): Ook bij domein-incrementeel leren (bijv. toenemende ruis of vervaging) toonde NGD-KFAC duidelijke verbeteringen, bijvoorbeeld bij MiniImageNet met ruis (van 24,3% naar 26,7% met grote buffer).

Betekenis en Conclusie

Dit paper is significant omdat het aantoont dat tweede-orde optimalisatiemethoden (zoals Natural Gradient Descent) zeer waardevol kunnen zijn voor Online Continual Learning, een domein dat traditioneel werd gedomineerd door eerste-orde methoden (SGD) vanwege rekenkosten.

Efficiëntie: Door KFAC te gebruiken, wordt de berekeningslast van NGD beheersbaar gemaakt voor diepe neurale netwerken.
Robuustheid: De methode helpt modellen beter om te gaan met niet-stationaire data en taakschommelingen.
Toekomstperspectief: De auteurs concluderen dat NGD-KFAC de prestatiekloof tussen offline en online leren kan verkleinen. Hoewel er een trade-off lijkt te zijn tussen snelle convergentie en vergeten, is de netto-winst in nauwkeurigheid over de gehele leertrajecten positief. Dit opent de weg voor robuustere on-device AI-systemen die continu kunnen leren zonder grote hoeveelheden opslag of rekenkracht voor hertraining.