Activation Function Design Sustains Plasticity in Continual Learning

Each language version is independently generated for its own context, not a direct translation.

Titel: Waarom je neurale netwerk "verouderd" raakt en hoe je het jong houdt

Stel je een groot kantoor voor met duizenden werknemers (dit zijn de neuronen in een kunstmatige intelligentie). Hun baan is om patronen te leren en taken uit te voeren.

In de normale wereld (waar data altijd hetzelfde blijft, zoals het herkennen van katten op foto's) werken deze werknemers prima. Maar in de echte wereld verandert alles voortdurend. Vandaag moet je een kat herkennen, morgen een hond, en overmorgen een auto. Dit noemen we Continue Learning (voortdurend leren).

Het probleem? Na een tijdje raken deze werknemers vastgeroest. Ze kunnen hun oude taken nog wel, maar ze vergeten hoe ze nieuwe taken moeten aanpakken. Ze verliezen hun plastische vermogen (hun flexibiliteit). Ze worden als een oude computer die te traag is om nieuwe software te draaien.

De auteurs van dit paper ontdekten dat de schuldige niet de geheugenruimte of de processor is, maar de activatiefunctie.

Wat is een "activatiefunctie"? (De Deurwachter)

Stel je voor dat elke werknemer een deurwachter heeft. Als er een bericht binnenkomt (data), moet de deurwachter beslissen: "Ga ik dit doorgeven aan de volgende werknemer?"

Als het bericht positief is, zegt hij: "Ja, ga door!"
Als het bericht negatief is, zegt hij: "Nee, stop."

De activatiefunctie is deze deurwachter. De meeste standaard-deurwachters (zoals de beroemde ReLU) zijn heel streng. Als het bericht negatief is, sluit hij de deur volledig en zegt hij: "Geen enkel signaal mag door."

Het probleem:
In een veranderende wereld (Continue Learning) zijn er vaak negatieve signalen die belangrijk zijn. Als je deurwachter de deur altijd dicht houdt bij negatieve signalen, stopt de stroom van informatie. De werknemers worden "dood" (ze leren niets meer) en het hele systeem verouderd.

De Oplossing: De "Gouden Zone"

De onderzoekers ontdekten dat je de deurwachter niet te streng, maar ook niet te losjes moet maken. Ze noemen dit de "Gouden Zone" (Goldilocks Zone):

Te streng: De deur gaat dicht bij elk negatief signaal. Geen leren mogelijk.
Te los: De deur staat altijd open, maar dan wordt het kantoor een chaos en verliest de werknemer zijn focus.
De Gouden Zone: De deurwachter moet de deur een klein beetje open laten staan, zelfs bij negatieve signalen. Zeggen: "Oké, het is negatief, maar stuur het toch maar een klein beetje door."

Dit kleine beetje "lek" zorgt ervoor dat de stroom van informatie nooit helemaal stopt, waardoor het systeem flexibel blijft.

De Nieuwe Deurwachters: Smooth-Leaky en Randomized Smooth-Leaky

De auteurs hebben twee nieuwe soorten deurwachters ontworpen die perfect in deze Gouden Zone passen:

Smooth-Leaky (De Gladde Lekke Deur):
In plaats van een harde klap (de deur gaat plots dicht), is deze deurwachter glad. Als een negatief signaal komt, glijdt de deur zachtjes een klein stukje open. Er loopt altijd een klein beetje water (informatie) door, zelfs als het regent. Dit voorkomt dat de werknemers verstijven.
Randomized Smooth-Leaky (De Variabele Deur):
Dit is nog slimmer. Deze deurwachter is niet altijd precies hetzelfde. Soms staat hij iets meer open, soms iets minder, willekeurig. Dit zorgt voor een beetje "speelruimte" en voorkomt dat het systeem in een vaste, stijve routine terechtkomt. Het is alsof je werknemers af en toe een nieuwe, verrassende opdracht geeft om ze scherp te houden.

Waarom is dit zo belangrijk?

De onderzoekers hebben dit getest in twee situaties:

Schoolvoorbeeld: Een student die steeds nieuwe vakken moet leren zonder de oude te vergeten.
Robot in de wildernis: Een robot die leert lopen, dan springen, dan rennen, en waarbij de ondergrond voortdurend verandert (van gras naar modder naar ijs).

In beide gevallen bleek dat hun nieuwe deurwachters (Smooth-Leaky) veel beter presteerden dan de oude, standaard modellen. De robot kon sneller aanpassen aan de modder zonder te vallen, en de student leerde nieuwe vakken sneller zonder de oude te vergeten.

De Grote Les

Je hoeft geen nieuwe, enorme computer te bouwen om slimme AI te maken die meegaat met de tijd. Je hoeft alleen maar de deurwachters (de activatiefuncties) slimmer te maken.

Door ervoor te zorgen dat er altijd een klein beetje stroom blijft lopen, zelfs bij moeilijke of negatieve momenten, houd je je kunstmatige intelligentie plastisch (flexibel) en jong. Het is een simpele, maar krachtige truc: laat de deur nooit helemaal dicht.

Each language version is independently generated for its own context, not a direct translation.

Titel: Activatiefunctie-ontwerp behoudt plasticiteit in continu leren

Auteurs: Lute Lillo & Nick Cheney (University of Vermont)
Publicatie: ICLR 2026

1. Het Probleem: Verlies van Plasticiteit

In traditionele, onafhankelijk en identiek verdeelde (i.i.d.) trainingsregimes zijn verschillen tussen activatiefuncties vaak minimaal zodra modelgrootte en optimalisatie zijn afgestemd. In continu leren (Continual Learning - CL) is dit echter anders. Naast het bekende probleem van catastrophic forgetting (het vergeten van eerder geleerde taken), treedt er een ander fenomeen op: het verlies van plasticiteit.

Definitie: Netwerken behouden hun eerdere vaardigheden, maar verliezen geleidelijk het vermogen om zich aan te passen aan nieuwe taken of veranderende data-distributies.
Oorzaak: In RL-omgevingen verandert het beleid van de agent de data-distributie, wat het moeilijk maakt om leerkracht te scheiden van blootstelling aan de omgeving. Factoren zoals afnemende gradiëntmagnitudes, toenemende parameternormen en een afname van de representatiediversiteit dragen hieraan bij.
De Gaten: Bestaande oplossingen richten zich vaak op architecturale vernieuwing (bijv. het vervangen van eenheden) of regularisatie. De rol van de niet-lineariteit (activatiefunctie) als fundamentele "knop" om plasticiteit te behouden, is onderbelicht.

2. Methodologie en Analyse

De auteurs voeren een grondige analyse uit van de eigenschappen van activatiefuncties en hun impact op plasticiteit onder niet-stationaire omstandigheden.

A. Case Study 1: De 'Goldilocks Zone' voor negatieve hellingen

De auteurs onderzoeken hoe het gedrag van de activatiefunctie aan de negatieve kant (waar de input $x < 0$ ) plasticiteit beïnvloedt.

Observatie: Er bestaat een optimaal bereik voor de helling aan de negatieve kant, de zogenaamde 'Goldilocks zone'.
Resultaat: Een matige, niet-nul helling (ongeveer $0.6 \lesssim \bar{s} \lesssim 0.9$ $0.6 ≲ \overset{s}{ˉ} ≲ 0.9$ ) presteert het beste.
- Te lage helling ( $\bar{s} \to 0$ ): Leidt tot "dode eenheden" (dead units) waar gradiënten verdwijnen.
- Te hoge helling ( $\bar{s} \to 1$ ): Leidt tot optimalisatie-instabiliteit en stijfheid in het landschap (hoge kromming), wat adaptie belemmert.
Aanpassing: Adaptieve methoden (zoals PReLU met per-neuron leerbare hellingen) slagen er vaak niet in om binnen deze zone te blijven zonder extra begeleiding; ze drijven vaak weg naar suboptimale waarden.

B. Case Study 2: Desaturatie-dynamiek onder schokken

De auteurs testen hoe snel netwerken kunnen herstellen na "schokken" (scaling shocks) die pre-activaties diep in saturatiegebieden duwen.

Regel voor de afgeleide-vloer (Derivative-floor rule): Activatiefuncties met een strikt niet-nul afgeleide aan de negatieve kant (zoals Leaky-ReLU, RReLU, PReLU) herstellen het snelst en hebben de laagste "non-recovery" rates.
Vloer vs. Gladheid: Functies met een "zero-floor" (zoals ReLU, Sigmoid, Tanh) sufferen van langdurige saturatie en falen vaak in herstel.
Dode-band breedte (Dead-Band Width - DBW): Er is een sterke correlatie tussen de analytische breedte van het gebied waar de afgeleide bijna nul is, en het falen van het herstel. Een bredere dode-band maakt het netwerk gevoeliger voor saturatie.
Eenzijdig vs. Tweezijdig: Tweezijdige saturatie (zoals bij Sigmoid/Tanh) is schadelijker dan eenzijdige saturatie.

3. Belangrijkste Bijdragen: Nieuwe Activatiefuncties

Gebaseerd op de bevindingen (niet-nul vloer, matige helling, en bij voorkeur een gladde $C_1$ overgang), stellen de auteurs twee nieuwe "drop-in" vervangers voor Leaky-ReLU voor:

Smooth-Leaky:
- Een $C_1$ -continu (gladde eerste afgeleide) vervanger voor Leaky-ReLU.
- Behoudt de lineaire identiteit aan de positieve kant en een lineaire "leak" aan de negatieve kant, maar verwijdert de knik (kink) bij $x=0$ door een gladde overgang.
- Formule: $f(x) = \alpha x + (1 - \alpha) x \cdot \sigma(\frac{cx}{p})$ .
Randomized Smooth-Leaky:
- Een variant waarbij de negatieve helling $\alpha$ niet vast is, maar tijdens de forward pass wordt getrokken uit een uniforme verdeling $U(l, u)$ .
- Bij inferentie wordt de gemiddelde waarde gebruikt.
- Dit introduceert lichtgewicht exploratie rond de "Goldilocks zone" en verhoogt de robuustheid.

4. Resultaten

De nieuwe functies werden getest in twee complementaire settings:

A. Supervised Continual Learning (Beeldclassificatie)

Benchmarks: Permuted MNIST, Random Label MN/CIFAR, CIFAR 5+1, Continual ImageNet.
Resultaat: De voorgestelde functies (vooral Randomized Smooth-Leaky) presteerden consistent beter dan bestaande opties zoals ReLU, Leaky-ReLU, Swish en GeLU.
Statistiek: Op de moeilijkste taken (zoals CIFAR 5+1) verbeterde Randomized Smooth-Leaky de nauwkeurigheid van ReLU (4.76%) naar 57.01%. Het behaalde de hoogste totale gemiddelde online nauwkeurigheid over alle benchmarks.

B. Continual Reinforcement Learning (RL)

Setup: PPO-agent op een cyclische reeks MuJoCo-locomotietaken (HalfCheetah, Hopper, Walker2d, Ant).
Metingen:
- Plasticity Score: Hoe goed past de agent zich aan aan de verzamelde data?
- Generalization Gap: Hoe goed transferreert het beleid naar verstoorde testomstandigheden?
Resultaat: Randomized Smooth-Leaky behaalde de hoogste Plasticity Score (0.388), wat aangeeft dat het netwerk beter blijft leren onder niet-stationaire omstandigheden. Het combineerde hoge plasticiteit met een goede generalisatie in stabiele omgevingen, hoewel het in zeer onstabiele omgevingen (Humanoid) soms divergeerde (een risico van het ontbreken van een harde bovengrens).

5. Betekenis en Conclusie

Fundamentele Inzicht: Het ontwerp van de activatiefunctie is een cruciale, architectuur-onafhankelijke hefboom om plasticiteit te behouden. Het is geen kwestie van meer capaciteit, maar van de juiste niet-lineariteit.
Design Principes: Om plasticiteit te behouden moet een activatiefunctie:
1. Een niet-nul afgeleide-vloer hebben (geen dode eenheden).
2. Een matige helling aan de negatieve kant hebben (de 'Goldilocks zone').
3. Bij voorkeur een gladde ( $C_1$ ) overgang hebben om de stabiliteit te verbeteren, mits de eerste twee voorwaarden worden behouden.
Toekomstperspectief: De auteurs pleiten voor een verschuiving van het "assumeren" van standaardactivaties (zoals ReLU) naar het "ontwerpen" van activaties specifiek voor continu leren. Toekomstig werk zal zich richten op het koppelen van deze principes aan andere CL-methoden (zoals replay buffers) en het ontwikkelen van adaptieve, per-neuron zelf-tunende mechanismen.

Kortom, dit paper toont aan dat een doordacht ontwerp van de activatiefunctie een lichtgewicht, domein-generieke oplossing biedt om het verlies van plasticiteit in continu lerende systemen te mitigeren, zonder extra rekenkracht of taak-specifieke tuning.