Barriers for Learning in an Evolving World: Mathematical Understanding of Loss of Plasticity

Dit onderzoek verklaart het verlies van plasticiteit in diepe leermodellen als een dynamisch systeemprobleem waarbij stabiele manifolds, veroorzaakt door activatiesaturatie en representatieve redundantie, het toekomstige leren belemmeren, en stelt dat eigenschappen die gunstig zijn voor generalisatie in statische omgevingen juist bijdragen aan dit probleem in voortdurende leercontexten.

De kern

De Verloren Plastischeheid: Waarom AI-Modellen Ophouden met Leren

Stel je voor dat je een supersterke student bent die alles in één keer kan leren. Je bent slim, snel en past je aan elke nieuwe situatie aan. Maar naarmate je langer studeert, merk je iets vreemds: je kunt nieuwe dingen niet meer zo goed leren als toen je net begon. Je hersenen lijken "vast te zitten" in oude patronen. Dit is precies wat er gebeurt met kunstmatige intelligentie (AI) in een veranderende wereld.

Een nieuw onderzoek van wetenschappers van ETH Zürich en Apple, gepubliceerd in 2026, legt uit waarom dit gebeurt en hoe we het kunnen oplossen. Ze noemen dit fenomeen "Loss of Plasticity" (het verlies van plastischeheid).

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen.

1. Het Probleem: De "Vaste" Weg

Normaal gesproken is AI heel goed in het leren van statische taken (zoals het herkennen van katten op foto's). Maar als de wereld verandert (bijvoorbeeld: je moet nu ook honden herkennen, en morgen paarden), begint de AI te struikelen.

De onderzoekers zeggen dat AI-modellen vaak vast komen te zitten in een topografische valkuil.

• De Analogie: Stel je voor dat je een berg beklimt (het leren van een taak). Normaal gesproken kun je overal naartoe lopen om de beste route te vinden. Maar na verloop van tijd beland je in een diepe, smalle vallei. Zodra je daar bent, kun je er niet meer uit. Elke stap die je zet, brengt je alleen maar dieper in die vallei, zelfs als je probeert omhoog te klimmen. De AI is "gevangen" in een klein deel van zijn denkvermogen en kan geen nieuwe routes meer ontdekken.

2. Waarom gebeurt dit? Twee Diefen in de Nacht

De paper identificeert twee hoofdoorzaken waarom deze valkuilen ontstaan:

A. De "Bevroren" Neuronen (Frozen Units)

• Wat gebeurt er: Sommige onderdelen van het AI-brein (neuronen) worden zo extreem gebruikt dat ze "doodgaan". Ze reageren niet meer op nieuwe informatie.
• De Vergelijking: Denk aan een muzikant die jarenlang alleen maar één noot speelt. Uiteindelijk is zijn gehoor zo gespecialiseerd op die ene noot dat hij geen andere tonen meer kan horen. In de AI worden deze neuronen "bevroren" door activatie-saturatie. Ze zijn er nog, maar ze doen niets meer.

B. De "Klonen" (Cloned Units)

• Wat gebeurt er: De AI begint verschillende onderdelen van zijn brein exact hetzelfde te laten doen. In plaats van dat elke neuron een unieke rol heeft, gaan er groepen van neuronen precies hetzelfde denken.
• De Vergelijking: Stel je voor dat je een orkest hebt met 100 violisten. In het begin spelen ze allemaal verschillende melodieën. Maar na verloop van tijd besluiten ze allemaal om exact hetzelfde stuk te spelen, op exact hetzelfde moment. Je hebt nu 100 violisten, maar je hoort slechts één geluid. Je hebt veel mensen, maar geen extra creativiteit. Dit heet "redundantie".

3. Het Paradox: Succes is de Vijand

Het meest verrassende deel van het onderzoek is dat succes de oorzaak is van dit probleem.

• De Vergelijking: Stel je voor dat je een kamer opruimt. Om de kamer zo efficiënt mogelijk te maken, gooi je alle overbodige spullen weg en stapel je alles perfect op elkaar. De kamer is nu super-georganiseerd en werkt perfect voor huidige taken. Maar als je morgen een heel nieuw type meubels moet opbergen, past ze niet meer in die strakke stapels.
• De Leer: AI-modellen worden getraind om zo efficiënt mogelijk te zijn (lage "rank" of eenvoudige structuren). Dit is geweldig voor het huidige werk, maar het creëert precies die "valkuil" waaruit ze niet meer kunnen ontsnappen als de taak verandert. De zoektocht naar perfectie voor nu, maakt ze blind voor morgen.

4. De Oplossing: De "Schok" en de "Regel"

Hoe breken we deze valkuil? De onderzoekers hebben twee strategieën gevonden:

A. De "Regel" (Normalisatie)

• Hoe het werkt: Door speciale lagen toe te voegen aan het AI-model (zoals Batch Normalization), zorg je dat de signalen binnen het model niet te extreem worden.
• De Vergelijking: Het is alsof je een thermostaat instelt. In plaats van dat de temperatuur (de activiteit van de neuron) naar 100 graden gaat (waardoor hij "dood" gaat), houdt de thermostaat het op een gezonde, actieve temperatuur. Dit voorkomt dat neuronem bevroren.

B. De "Schok" (Ruis en Dropout)

• Hoe het werkt: Als de AI al vastzit, moet je hem een duw geven. Dit doe je door tijdens het trainen willekeurige ruis toe te voegen of door soms willekeurig onderdelen van het model uit te schakelen (Dropout).
• De Vergelijking: Stel je voor dat je vastzit in een modderpoel. Als je alleen maar probeert te stappen, zak je dieper. Maar als iemand een emmer water over je heen gooit of je een beetje schudt, kun je misschien loskomen. Die "ruis" breekt de perfecte symmetrie van de klonen en dwingt de AI om weer nieuwe, unieke paden te zoeken.

Conclusie

Deze paper leert ons dat voor AI om echt "levenslang" te kunnen leren (net als mensen), we niet alleen moeten kijken naar hoe goed ze een taak uitvoeren, maar ook naar hoe flexibel ze blijven.

Als we AI te veel laten "optimaliseren" voor de huidige situatie, verliezen ze hun vermogen om zich aan te passen aan de toekomst. De oplossing is om bewust een beetje chaos (ruis) en balans (normalisatie) in het systeem te houden, zodat ze nooit volledig vastlopen in hun eigen succes.

Kortom: Om altijd nieuw te kunnen leren, moet je soms je oude, perfecte ordening durven verstoren.

Technische samenvatting

Probleemstelling: Verlies van Plasticiteit (LoP)

Diepe leermodellen presteren uitstekend in stationaire omgevingen, maar lijden onder Verlies van Plasticiteit (Loss of Plasticity - LoP) in niet-stationaire omgevingen, zoals bij continu leren (lifelong learning).

• Definitie: LoP treedt op wanneer een netwerk, na een periode van training, niet meer in staat is om nieuwe informatie effectief te leren, terwijl een nieuw geïnitieerd model van dezelfde architectuur dit wel kan.
• Afwijking van Catastrophic Forgetting: LoP verschilt van catastrofisch vergeten. Bij vergeten gaat kennis van oude taken verloren; bij LoP gaat het vermogen om nieuwe taken te leren verloren, terwijl de prestaties op oude taken vaak intact blijven.
• Symptomen: Bestaande literatuur beschrijft symptomen zoals het exploderen van gewichtsnormen, het ontstaan van "dode" eenheden (die niet meer reageren) en een ineenstorting van de effectieve rang (rank collapse) van representaties. Echter, er ontbreekt een mechanistische verklaring voor waarom gradient descent niet uit deze staten kan ontsnappen.

Methodologie: Dynamische Systemen en Meetkunde

De auteurs benaderen LoP niet als een statistische degradatie, maar als een topologische val binnen de parameter ruimte van het netwerk, geanalyseerd via de theorie van dynamische systemen.

1. Definitie van LoP-variëteiten (Manifolds):
   De kern van de theorie is dat LoP optreedt wanneer de optimalisatietrajecten (gradient flow) vast komen te zitten in een invariante sub-variëteit $\mathcal{M}$ van de parameter ruimte $\Theta$.

   • Formeel: Een variëteit $\mathcal{M}$ induceert LoP als de gradiënt van de verliesfunctie $\nabla_\theta L(\theta)$ op elk punt op de variëteit raakt aan de variëteit zelf ($\nabla_\theta L(\theta) \in T_\theta \mathcal{M}$).
   • Gevolg: Zodra het netwerk deze variëteit binnenkomt, blijven de updates binnen deze beperkte deelruimte, waardoor het onmogelijk wordt om de volledige vrijheidsgraden van het model te benutten voor nieuwe taken.

2. Identificatie van Valmechanismen:
   De paper identificeert twee primaire mechanismen die deze variëteiten creëren:

   • Frozen-Unit Variëteit ($\mathcal{M}_F$): Ontstaat door activatiesaturatie. Als een eenheid permanent verzadigd is (bijv. ReLU met een sterk negatieve bias of tanh in het vlakke gebied), is de afgeleide $f'(z) \approx 0$. De gradiënten voor de invoerparameters van deze eenheid verdwijnen, waardoor ze "bevroren" raken en de updates tangentiëel blijven aan de variëteit.
   • Cloned-Unit Variëteit ($\mathcal{M}_C$): Ontstaat door representatieve redundantie. Als eenheden binnen een blok identieke voorwaartse signalen en achterwaartse foutsignalen delen (door symmetrie in gewichten), worden de gradiënten voor verbindingen binnen dat blok constant. Zelfs als de individuele gewichten niet exact gelijk zijn, maar de sommen van de rijen en kolommen gelijk blijven (equitable partitions), blijft het systeem op deze variëteit.

3. De Rang-Plasticiteit Spanning (Rank-Plasticity Tension):
   De auteurs tonen een fundamenteel conflict aan:

   • Mechanismen die generalisatie in statische omgevingen bevorderen (zoals Neural Collapse en het comprimeren van features naar een laag-rang subruimte), werken als een aantrekkingskracht naar LoP-variëteiten.
   • Theoretisch wordt bewezen dat het maximaliseren van decorrelatie (wat de rang verhoogt) vaak vereist dat eenheden in verzadigde gebieden terechtkomen, wat leidt tot "dode" eenheden.
   • De dynamiek die de prestaties op de huidige taak maximaliseert, bouwt onbedoeld de barrière op voor aanpassing aan toekomstige taken.

Kernbijdragen

1. Formele Definitie: Een wiskundige definitie van LoP als een topologische val in de parameter ruimte, gebaseerd op de tangentiële eigenschap van gradiënten.
2. Theoretische Karakterisering: Bewijzen dat standaard gradient-based optimalisatie (SGD, Adam, etc.) niet kan ontsnappen aan Frozen-Unit en Cloned-Unit variëteiten zodra deze zijn bereikt.
3. Mechanisme van Ontstaan: Het aantonen dat de neiging tot laag-rang structuren (generalisatie) de drijvende kracht is achter het vastlopen in LoP.
4. Empirische Validatie en Mitigatie: Uitgebreide experimenten die laten zien hoe architecturale ingrepen en perturbaties de stabiliteit van deze variëteiten beïnvloeden.

Resultaten en Experimentele Validatie

De theorie werd getest op diverse architecturen (MLP, CNN, ResNet, ViT) met continu leren op Tiny ImageNet en specifieke "cloning" experimenten.

• Validatie van Variëteiten:

  • In experimenten waarbij een model werd "gecloned" (uitgebreid met eenheden die exact dezelfde activaties hebben als een basismodel), bleek dat het geclonde model vastbleef in de subruimte van het basismodel. De effectieve rang daalde en de training bleef beperkt tot de dynamiek van het kleinere model.
  • Optimizer-onafhankelijkheid: Het vastlopen treedt op bij zowel SGD als Adam, wat bevestigt dat het een fundamenteel probleem van de gradiëntdynamiek is, niet alleen van de optimizer.

• Ontsnapping en Herstel:

  • Perturbaties: De variëteiten blijken vaak instabiel of zadelpunt-achtig. Het introduceren van symmetriebrekende perturbaties kan het model helpen ontsnappen:
    • Dropout: Door willekeurig activaties te verzwakken, wordt de symmetrie van geclonde eenheden gebroken, waardoor ze divergeren.
    • Noisy SGD: Het toevoegen van ruis aan de gradiënten helpt het model uit de variëteit te duwen.
  • Normalisatie: Batch Normalization (BN) en Layer Normalization (LN) helpen preventief door activaties binnen een dynamisch, niet-lineair bereik te houden, waardoor saturatie (en dus frozen units) wordt voorkomen.
  • Continual Backpropagation (CBP): In experimenten met een "bit-flipping" taak (een niet-stationaire regressie taak) bleek dat het wisselen van SGD naar CBP (dat neuronale vervanging toepast) de plasticiteit kon herstellen en de effectieve rang kon verhogen, zelfs nadat LoP symptomen waren opgetreden.

Betekenis en Conclusie

Deze studie biedt een fundamenteel inzicht in waarom diepe netwerken falen in continu lerende omgevingen.

• Paradigmaverschuiving: LoP is niet slechts een symptoom van slechte initialisatie of overfitting, maar een inherente eigenschap van de optimalisatiedynamiek in overparameteriseerde netwerken die neigen naar laag-rang oplossingen.
• Spanning tussen Statiek en Dynamiek: Er is een inherent conflict tussen het leren van efficiënte, laag-rang representaties (goed voor statische generalisatie) en het behoud van plasticiteit (nodig voor adaptatie).
• Toekomstige Richtingen: De paper suggereert dat toekomstige architecturen en algoritmen actief mechanismen moeten bevatten om representatieve diversiteit te behouden of te regenereren (bijv. via gerichte perturbaties of dynamische architectuurveranderingen) om "ware" lifelong learning mogelijk te maken.

Kortom, de auteurs hebben de "zwarte doos" van plasticiteitsverlies opengebroken door het te modelleren als een meetkundige valstrik, en bieden zowel theoretische als praktische richtlijnen om deze val te voorkomen of te overwinnen.