Why Do Neural Networks Forget: A Study of Collapse in Continual Learning

Deze studie onderzoekt de sterke correlatie tussen catastrofisch vergeten en structurele ineenstorting in continu leren door het meten van de effectieve rang (eRank) van gewichten en activaties, en toont aan dat verschillende trainingsstrategieën modellen op uiteenlopende manieren helpen hun capaciteit en prestaties te behouden.

De kern

Waarom Vergeten Neuronale Netwerken? Een Simpele Uitleg

Stel je voor dat je hersenen een enorme bibliotheek zijn. Elke keer als je iets nieuws leert (zoals een nieuwe taal of een instrument), leg je een nieuw boek in die bibliotheek. Het probleem bij kunstmatige intelligentie (AI) is dat deze bibliotheken vaak heel slecht zijn georganiseerd. Als je een nieuw boek probeert toe te voegen, duwt de AI soms per ongeluk de oude boeken weg of maakt ze onleesbaar. Dit fenomeen noemen wetenschappers "catastrophisch vergeten".

In dit onderzoek kijken twee onderzoekers van de Universiteit van Alberta (Yunqin Zhu en Jun Jin) naar waarom dit gebeurt. Ze ontdekken dat het niet alleen gaat om wat er op het scherm staat, maar om wat er binnenin de computer gebeurt.

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. Het Probleem: De "Instortende Bibliotheek"

Wanneer een AI een nieuwe taak leert, moet het zijn interne structuur aanpassen. Het probleem is dat deze structuur vaak instort.

• De Metafoor: Stel je voor dat je bibliotheek eerst een enorme, open ruimte heeft met duizenden planken. Je kunt overal boeken neerzetten. Maar naarmate je meer nieuwe boeken toevoegt, beginnen de planken in te klappen. Uiteindelijk heb je maar één smalle gang over waar je alle boeken op moet proppen.
• De Gevolgen: Omdat alle boeken nu op één smalle plek staan, raken ze door elkaar heen. Je kunt je oude kennis niet meer vinden. De AI is "stug" geworden en kan geen nieuwe dingen meer leren zonder de oude te vergeten.

De onderzoekers gebruiken een meetlat genaamd eRank (effectieve rang) om te zien hoe "breed" of "instortend" deze bibliotheek is.

• Hoge eRank: De bibliotheek is groot, ruim en georganiseerd. De AI kan veel dingen onthouden.
• Lage eRank: De bibliotheek is ingestort tot een smalle gang. De AI is vergeten hoe het moet denken.

2. De Experimenten: Vier Verschillende Bouwstijlen

De onderzoekers testten vier verschillende soorten AI-modellen om te zien welke het beste tegen deze instorting kan:

1. MLP (De Simpele Bouwer): Dit is de basisversie. Geen speciale trucs. Het is als een bibliotheek zonder muren of deuren. Het instort heel snel.
2. ConvGRU (De Tijd-Reiziger): Dit model heeft een soort "korte-termijngeheugen" dat informatie in de tijd bewaart. Het is als een bibliotheek waar je de boeken in een rolband legt. Het helpt om oude boeken niet direct weg te duwen, maar het maakt de gangen soms wel te smal.
3. ResNet-18 (De Stevige Toren): Dit model heeft "schuine bruggen" (skip connections) die helpen om informatie door te geven. Het is als een bibliotheek met sterke steunpilaren. Het houdt de structuur langer overeind, maar op den duur klapt het toch in als er te veel nieuwe boeken bijkomen.
4. Bi-ConvGRU (De Twee-Weg Reiziger): Dit is een geavanceerde versie van de tijd-reiziger die in twee richtingen kijkt (verleden en toekomst). Het is slimmer, maar heeft ook last van de instorting als het te veel moet onthouden.

3. De Oplossingen: Drie Manieren om te Leren

Ze testten drie manieren om deze AI's te trainen om te zien welke de bibliotheek het beste in stand houdt:

• SGD (De "Zomaar Leren" Methode): De AI leert gewoon door nieuwe boeken toe te voegen zonder op de oude te letten.
  • Resultaat: De bibliotheek stort direct in. Alles wordt vergeten.
• LwF (De "Herinnering" Methode): De AI probeert te doen alsof hij de oude boeken nog kent, door naar een oude versie van zichzelf te kijken.
  • Resultaat: Het helpt een beetje. De boeken lijken nog op hun plek te staan, maar de planken (de interne structuur) zijn toch ingestort. De AI kan op de korte termijn goed doen, maar op de lange termijn verliest hij zijn flexibiliteit.
• ER (De "Oude Boeken Terughalen" Methode): Dit is de winnaar. De AI houdt een klein doosje met voorbeelden van oude taken bij. Elke keer als hij iets nieuws leert, pakt hij een paar oude boeken uit dat doosje en leest ze opnieuw samen met de nieuwe boeken.
  • Resultaat: Dit houdt de bibliotheek breed en gezond! De AI blijft zowel oude als nieuwe boeken kunnen vinden. De "instorting" wordt vertraagd of voorkomen.

4. Het Grote Inzicht

De belangrijkste conclusie van dit papier is: Vergeten is geen toeval, het is een geometrisch probleem.

Wanneer een AI vergeet, is het niet omdat de "knoppen" verkeerd staan, maar omdat de ruimte waar de kennis in zit, is verdwenen. De AI heeft geen ruimte meer om nieuwe ideeën te vormen.

• De Les: Om een AI slim te houden, moeten we niet alleen zorgen dat hij de juiste antwoorden geeft (zoals bij de "Herinnering"-methode), maar moeten we ook zorgen dat zijn interne "bibliotheek" groot en breed blijft.
• De Beste Strategie: Het herhalen van oude voorbeelden (Experience Replay) is de beste manier om de bibliotheek open te houden.

Kortom: Als je een AI wilt laten leren zonder dat hij vergeten raakt, moet je hem niet alleen nieuwe dingen laten doen, maar hem ook regelmatig laten "oefenen" met de oude dingen, zodat zijn interne wereld niet instort tot een smalle, verstopte gang.

Technische samenvatting

Titel: Waarom Vergeten Neuronale Netwerken: Een Studie naar Collapse in Continuïlerend Leren

Auteurs: Yunqin Zhu en Jun Jin (Universiteit van Alberta)

---

1. Het Probleem: Catastrofaal Vergeten en Verlies van Plasticiteit

Continuïlerend leren (Continual Learning - CL) richt zich op het trainen van modellen op een sequentie van taken terwijl kennis van eerdere taken behouden blijft. Het grootste obstakel hierbij is catastrofaal vergeten: de prestaties op oude taken deterioreren drastisch wanneer het model nieuwe taken leert.

Traditionele verklaringen voor dit fenomeen zijn conflicterende gradiënten of drift in de classifier-laag. Dit paper stelt echter dat catastrofale vergetelheid fundamenteel een geometrisch falen is, veroorzaakt door representatieve en structurele collapse.

• Representatieve Collapse: De interne kenmerkruimte (feature space) van het netwerk krimpt naar een laag-dimensionale deelruimte. Hierdoor verliest het netwerk de mogelijkheid om nieuwe informatie in nieuwe richtingen te coderen zonder oude representaties te overschrijven.
• Verlies van Plasticiteit: Het model verliest zijn vermogen om zich aan te passen en nieuwe dimensies te creëren voor nieuwe kennis.

De auteurs stellen dat bestaande evaluatiemethoden (zoals taak-accuraatheid) te beperkt zijn omdat ze de interne structuur van het model negeren.

2. Methodologie

De studie onderzoekt de correlatie tussen vergeten en collapse door het gebruik van de Effective Rank (eRank) als kwantitatieve maatstaf.

A. De Metriek: Effective Rank (eRank)

eRank meet de complexiteit en diversiteit van een matrix (gewichtsmatrices of activaties) op basis van de entropie van de singuliere waarden.

• Hoge eRank: De informatie is verspreid over veel richtingen (rijke, niet-redundante representatie).
• Lage eRank: De informatie is gecomprimeerd in weinig richtingen (redundante, lage-dimensionale representatie).
• Toepassing: De auteurs meten zowel Weight eRank (structurele collapse in de gewichten) als Activation eRank (representatieve collapse in de verborgen lagen).

B. Experimentele Opstelling

• Datasets:
  • Split MNIST: 5 taken (Task-Incremental Learning), eenvoudige cijferclassificatie.
  • Split CIFAR-100: 20 taken (Class-Incremental Learning), complexe beeldclassificatie.
• Architecturen (4 modellen):
  1. MLP: Een basis feed-forward netwerk (geen convolutie of skip-connections), zeer gevoelig voor collapse.
  2. ConvGRU: Een recurrente architectuur met poorten, gebruikt voor MNIST.
  3. ResNet-18: Een diep convolutioneel netwerk met skip-connections, gebruikt voor CIFAR-100.
  4. Bi-ConvGRU: Een bidirectionele recurrente architectuur, gebruikt voor CIFAR-100.
• Trainingsstrategieën:
  1. SGD (Stochastic Gradient Descent): Baseline zonder preventie van vergeten.
  2. Learning without Forgetting (LwF): Functional regularisatie die de output van het oude model (docent) probeert te behouden via distillatie.
  3. Experience Replay (ER): Gebruikt een replay-buffer met voorbeelden uit oude taken tijdens het trainen van nieuwe taken.

3. Belangrijkste Resultaten

A. Correlatie tussen eRank en Vergeten

Er is een sterke, directe correlatie gevonden tussen het verlies van eRank en catastrofale vergetelheid.

• Bij SGD (zonder preventie) daalt zowel de activatie- als gewicht-eRank drastisch naarmate taken worden toegevoegd. Dit gaat gepaard met een scherpe daling in accurate en een toename in vergeten.
• Wanneer de eRank crasht (naar een lage waarde), heeft het netwerk geen "ruimte" meer om nieuwe kenmerken te leren zonder oude te vernietigen.

B. Effectiviteit van Strategieën

• Experience Replay (ER): Blijkt de meest effectieve strategie.
  • ER behoudt een hoge eRank voor zowel gewichten als activaties.
  • Het model behoudt een rijke, diverse kenmerkruimte, wat leidt tot hoge accurate en minimaal vergeten.
  • ER vertraagt de structurele compressie aanzienlijk.
• Learning without Forgetting (LwF): Toont beperkte verbetering.
  • LwF stabiliseert de activatie-eRank (de output blijft stabiel), maar faalt om de gewicht-eRank te behouden.
  • Dit betekent dat hoewel het model de oude output kan reproduceren, de interne structuur (de gewichten) toch collapseert. Het model verliest zijn plasticiteit en vermogen tot langdurig leren, wat uiteindelijk leidt tot vergeten in latere taken.
• SGD: Leidt tot snelle en ernstige collapse in alle lagen.

C. Invloed van Architectuur

• MLP: Ondergaat de snelste en ernstigste collapse vanwege het ontbreken van structurele bescherming (zoals skip-connections of poorten).
• ResNet-18: Skip-connections vertragen de collapse in de vroege fasen, maar kunnen de permanente verlies van plasticiteit bij ophoping van taken niet voorkomen.
• Recurrente Netwerken (ConvGRU/Bi-ConvGRU): Gebruiken poorten om gradiëntinterferentie te verminderen en de collapse te vertragen. Echter, deze poorten comprimeren representaties agressief in een klein subspace, wat de totale leercapaciteit en rijkdom van de representaties beperkt (trade-off tussen stabiliteit en capaciteit).

4. Bijdragen en Conclusies

Kernbijdragen:

1. Geometrisch Inzicht: Het paper identificeert catastrofale vergetelheid primair als een structurele en representatieve collapse (verlies van eRank) in plaats van alleen een probleem van conflicterende gradiënten.
2. eRank als Diagnose: Het introduceert het gebruik van eRank (voor zowel gewichten als activaties) als een robuuste metriek om het verlies van plasticiteit en de interne gezondheid van een CL-model te monitoren.
3. Strategie Vergelijking: Het toont aan dat strategieën die alleen de output stabiliseren (zoals LwF) onvoldoende zijn omdat ze de interne capaciteit (gewicht-structuur) niet beschermen. Alleen Experience Replay slaagt erin zowel de output als de interne structuur te behouden.

Significantie:
De studie verandert het perspectief op continuïlerend leren: het doel is niet alleen het behouden van accurate, maar het behouden van de dimensionale rijkdom en plasticiteit van het model. Als een model zijn eRank verliest, verliest het zijn vermogen om nieuwe kennis te integreren. Dit impliceert dat toekomstige CL-methoden zich moeten richten op het behoud van de interne structuur (bijv. via replay of andere methoden die de gewichtsruimte divers houden) in plaats van alleen het beperken van gewichtsupdates.

Beperkingen en Toekomst:
De auteurs merken op dat de datasets relatief eenvoudig zijn en dat de bevindingen verder moeten worden getest op complexere domeinen (zoals video of niet-stationaire omgevingen) en andere architecturen (zoals Transformers). Ook wordt voorgesteld om self-supervised learning te onderzoeken in deze context.