🤖 machine learning

NORACL: Neurogenesis for Oracle-free Resource-Adaptive Continual Learning

NORACL adresseert het stabiliteit-plasticiteitsdilemma in continu leren door de architectuur van een neurale netwerk dynamisch te laten groeien op basis verzadigingssignalen, waarbij prestaties worden bereikt die vergelijkbaar zijn met of beter dan die van oracle-grootte statische modellen, terwijl minder parameters worden gebruikt en interpreteerbare groeipatronen worden geboden.

Oorspronkelijke auteurs: Karthik Charan Raghunathan, Christian Metzner, Laura Kriener, Melika Payvand

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Karthik Charan Raghunathan, Christian Metzner, Laura Kriener, Melika Payvand

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student een reeks nieuwe vakken probeert aan te leren, één voor één. Je hebt een notitieboek (het AI-model) waarin ze opschrijven wat ze leren.

Het Probleem: Het Dilemma van het "Vaste Notitieboek"
Bij traditioneel AI-leren heeft het notitieboek een vast aantal pagina's.

Als het notitieboek te klein is, raakt de student de ruimte op. Om over een nieuw vak te schrijven (Taak 2), moet ze de oude notities (Taak 1) wissen. Dit heet "catastrophic forgetting" (catastrofaal vergeten).
Als het notitieboek te groot is, is het verspillend. De student besteedt pagina's aan een vak dat ze slechts één dag nodig heeft, waardoor de rest van het boek leeg en ongebruikt blijft.
Het lastige deel is dat je van tevoren niet weet hoeveel vakken de student moet leren of hoe vergelijkbaar die vakken zijn. Je kunt niet zomaar gokken op de perfecte grootte van het notitieboek.

De meeste huidige AI-methoden proberen dit op te lossen door de belangrijke pagina's te "bevriezen". Ze plakken een post-it op de oude notities met de tekst: "Niet aanraken!" Dit helpt om het verleden te onthouden, maar betekent ook dat de student minder blanco pagina's overhoudt om nieuwe dingen te leren. Uiteindelijk wordt het notitieboek zo vol met "Niet aanraken"-notities dat de student helemaal niets nieuws meer kan leren.

De Oplossing: NORACL (Het "Groeiende Notitieboek")
De auteurs van dit paper stellen een nieuwe methode voor die NORACL heet. In plaats van een vast notitieboek, stel je een notitieboek voor dat magisch nieuwe pagina's kan toevoegen alleen wanneer het er absoluut behoefte aan heeft.

Ze noemen dit Neurogenese, geïnspireerd op hoe het menselijk brein soms nieuwe hersencellen laat groeien terwijl we gedurende ons leven nieuwe dingen leren.

Hoe Het Werkt: De Twee Sensoren
NORACL groeit niet zomaar willekeurig. Het gebruikt twee "sensoren" om precies te beslissen wanneer en waar een nieuwe pagina (neuron) moet worden toegevoegd:

De "Volheid"-Sensor (Representational Saturation): Deze controleert of de huidige pagina's al hun maximale werk doen. Worden alle bestaande notities gebruikt om het nieuwe vak te beschrijven? Als de pagina's volledig vol zitten met unieke informatie, is het tijd om meer ruimte toe te voegen.
De "Post-it"-Sensor (Plasticity Saturation): Deze controleert of de bestaande pagina's "bevroren" zijn. Zijn de oude notities zo belangrijk dat we niet eens één woord kunnen veranderen zonder ons geheugen van het verleden te verstoren? Als de pagina's te plakkerig zijn om op te schrijven, hebben we frisse, blanco pagina's nodig.

De Magische Truc: Pagina's Toevoegen Zonder Wissen
Wanneer NORACL besluit te groeien, voegt het nieuwe neuronen (pagina's) toe op een zeer specifieke manier:

De "Nul"-Start: De nieuwe pagina's zijn verbonden met de rest van het boek met nul inkt. Dit betekent dat ze op het moment dat ze worden toegevoegd, niet één woord van de oude notities veranderen. Het geheugen van de student van het verleden blijft perfect intact.
De "Frisse"-Start: Deze nieuwe pagina's zijn volledig blanco en vrij van enige "Niet aanraken"-post-it. Ze zijn direct klaar om beschreven te worden voor het nieuwe vak.

Wat Er Gebeurt in de Experimenten?
De onderzoekers testten dit op verschillende soorten leerausdagingen:

Willekeurige Puzzels (Permuted MNIST): Wanneer de nieuwe taken totaal verschillend waren van de oude (zoals het door elkaar schudden van de pixels van een getal), liet de AI nieuwe pagina's groeien aan het begin van het leerproces. Het besefte: "Ik heb nieuwe manieren nodig om de ruwe data te zien."
Vergelijkbare Puzzels (Binary Split MNIST): Wanneer de nieuwe taken zeer vergelijkbaar waren met de oude (zoals het simpelweg splitsen van getallen in twee groepen), had de AI geen nieuwe manieren nodig om de data te zien. In plaats daarvan liet het nieuwe pagina's groeien aan het einde van het proces, waar de uiteindelijke beslissing wordt genomen. Het besefte: "Ik weet al hoe ik de getallen moet zien; ik heb alleen een nieuwe manier nodig om ze te sorteren."

De Resultaten

Slimmer, Niet Groter: NORACL behaalde dezelfde (of betere) scores als de "Oracle"-modellen (die de perfecte, vooraf op maat gemaakte modellen zijn die de toekomst kennen).
Efficiëntie: Het gebruikte 10–20% minder parameters (pagina's) dan de vaste modellen, omdat het geen ruimte verspilde aan dingen die het niet nodig had.
Langetermijnleren: Bij een stress-test waarbij de AI 50 taken achter elkaar moest leren, faalden de vaste notitieboeken jammerlijk omdat ze de ruimte op gebruikten of vastliepen. NORACL bleef net genoeg groeien om flexibel te blijven, behoudend zijn vermogen om nieuwe dingen te leren zonder de oude te vergeten.

Samenvattend
NORACL lost het "Stabiliteit-Plasticiteit Dilemma" op door toe te geven dat we de toekomst niet kennen. In plaats van te gokken op een vaste grootte, begint het klein en groeit het op aanvraag. Het gebruikt slimme sensoren om precies te weten wanneer nieuwe capaciteit moet worden toegevoegd, zodat oude herinneringen veilig blijven terwijl nieuwe worden geleerd op frisse, onbeperkte grond. Het is alsof je een notitieboek hebt dat precies weet wanneer je moet ombladeren, in plaats van te proberen alles op één vel papier te proppen.

1. Probleemstelling: Het Dilemma van de Oracle-architectuur

Continu Leren (CL) staat voor het stabiliteit-plasticiteitsdilemma: een model moet stabiel genoeg zijn om eerdere kennis te behouden, terwijl het tegelijkertijd plastisch genoeg moet blijven om nieuwe taken te leren. De auteurs stellen dat dit dilemma een architecturale wortel heeft.

De Kernkwestie: In standaard CL hangt de vereiste netwerkcapaciteit af van twee onbekende toekomstige eigenschappen: het aantal taken (taakcount) en de gelijkenis/overlap van taken in de kenmerkenruimte (taakgeometrie).
Het Oracle-probleem: Bestaande methoden (zoals EWC, SI, MAS) werken op architecturen met vaste capaciteit. Ze vertrouwen impliciet op een "oracle" die de toekomstige taakstroom kent om het netwerk correct te dimensioneren.
- Als het netwerk te klein is voor een lange stroom van dissimulaire taken, raken de plastische middelen op, wat leidt tot catastrofaal vergeten of gestagneerd leren.
- Als het netwerk te groot is voor een korte stroom van gelijkaardige taken, is het overgedimensioneerd en inefficiënt.
Beperkingen van Huidige Oplossingen:
- Op regularisatie gebaseerde methoden beschermen belangrijke parameters maar bevriezen ze, waardoor de plasticiteit in de loop van de tijd afneemt.
- Op uitbreiding gebaseerde methoden (bijv. Progressive Neural Networks) vereisen vaak kennis van de taakidentiteit tijdens de inferentie of vertrouwen op heuristische triggers (zoals verliesplateaus) die optimalisatieschwierigheden verwarren met echte capaciteitslimieten.

2. Methodologie: NORACL Framework

NORACL (Neurogenesis for Oracle-free Resource-Adaptive Continual Learning) adresseert dit door biologische adulte neurogenese na te bootsen. Het begint met een compact netwerk en laat neuronen op aanvraag groeien, zonder voorafgaande kennis van de taakstroom.

A. Groeitriggermechanisme

NORACL bewaakt twee complementaire signalen om te bepalen wanneer en waar er gegroeid moet worden. Groei vindt alleen plaats wanneer beide signalen verzadiging aangeven:

Representatieve Verzadiging (Effectieve Dimensie - ED):
- Maatstaf: Meet het fractie van neuronen die lineair onafhankelijke activatiepatronen produceren in een laag, met behulp van Singular Value Decomposition (SVD) van activaties.
- Trigger: Als de genormaliseerde ED ( $\phi_l$ ) een afgeprijsde drempel van de ED van de vorige taak overschrijdt ( $\gamma \cdot \phi^{(0)}_l$ ), wordt de laag representatief verzadigd geacht.
- Doel: Detecteert of de laag zijn vermogen om nieuwe kenmerken te coderen heeft uitgeput.
Plasticiteitsverzadiging (Fisher Informatie):
- Maatstaf: Gebruikt de diagonaal van de Fisher Informatie Matrix (FIM) om de belangrijkheid van parameters te schatten.
- Trigger: Als het percentiel van de FIM-waarden van de huidige taak een historische basislijn (exponentiële bewegende gemiddelde) overschrijdt, worden de parameters van de laag te belangrijk geacht om te worden overschreven.
- Doel: Bevestigt dat de bestaande parameters door eerdere taken "bevroren" zijn en geen nieuwe informatie kunnen opnemen zonder schade.

Gecombineerde Logica: Een laag groeit alleen als deze zowel representatief verzadigd is (meer capaciteit nodig) als plasticiteitsverzadigd is (bestaande parameters kunnen niet worden hergebruikt). Dit voorkomt onterechte groei door batchruis of optimalisatieproblemen.

B. Neurogenese (Hoe Neuronen Toe te Voegen)

Wanneer een groeievent wordt getriggerd voor laag $l$ :

Functiebehoud: Nieuwe neuronen worden toegevoegd met fan-out gewichten die op nul worden geïnitieerd. Dit zorgt ervoor dat de uitvoerfunctie van het netwerk direct na uitbreiding onveranderd blijft ( $f(x; \theta') = f(x; \theta)$ ), waardoor stabiliteit voor eerdere taken behouden blijft.
Orthogonale Initialisatie: Nieuwe fan-in gewichten worden geïnitieerd via QR-decompositie van een willekeurige matrix. Dit zorgt ervoor dat nieuwe neuronen beginnen met diverse, niet-redundante invoerrichtingen, waardoor hun potentieel om snel te specialiseren wordt gemaximaliseerd.
Onbeperkte Plasticiteit: De Fisher Informatie en EWC-ankerparameters voor nieuwe neuronen worden op nul geïnitieerd. Dit betekent dat nieuwe neuronen geen straf krijgen voor verandering, waardoor ze volledig plastisch zijn om de nieuwe taak direct te leren.
Cool-down: Een cool-downperiode voorkomt directe her-triggering, zodat het netwerk de nieuwe neuronen kan integreren.

C. Regularisatie Ruggegraat

NORACL gebruikt Online EWC (Elastic Weight Consolidation) als ruggegraat om bestaande parameters te beschermen. Het groeimechanisme is agnostisch ten opzichte van de specifieke regularisator, maar vertrouwt op de Fisher-diagonaal die door EWC wordt geleverd voor het plasticiteitssignaal.

3. Theoretische Analyse

De auteurs leveren een theoretisch bewijs met behulp van een willekeurige patroonassociatietaken:

Statische Netwerken (EWC): Toont aan dat in netwerken met vaste capaciteit het aandeel nieuwe informatie dat kan worden opgeslagen afneemt als een machtsfunctie ( $t^{-1}$ ) naarmate taken zich ophopen. Het netwerk verliest onvermijdelijk plasticiteit.
NORACL: Bewijst dat door de verborgen laag lineair uit te breiden met het aantal taken ( $M(t) \approx M(0) + (1-\gamma)t$ ), NORACL strikt parameters voor oude taken behoudt terwijl het al nieuw leren doorstuurt naar verse, onbeperkte parameters. Dit omzeilt de stabiliteit-plasticiteitsafweging zonder een oracle nodig te hebben.

4. Belangrijkste Bijdragen

Oracle-vrij Framework: Stelt NORACL voor, de eerste CL-methode die het stabiliteit-plasticiteitsdilemma oplost via op aanvraag groei zonder voorafgaande kennis van taakcount of geometrie.
Dual-Signaal Trigger: Introduceert een principiële groeitrigger die Effectieve Dimensie (capaciteit) en Fisher Verzadiging (plasticiteit) combineert om heuristische triggers zoals verliesplateaus te vermijden.
Theoretische Garantie: Demonstreert theoretisch dat NORACL de machtsfunctie-plasticiteitsafname vermeden die inherent is aan netwerken met vaste capaciteit en regularisatie.
Interpreteerbare Groei: Toont aan dat de architectuur zich intelligent aanpast aan de taakgeometrie (zie Resultaten).

5. Empirische Resultaten

Geevalueerd op Permuted MNIST (zwak gerelateerd), Rotated MNIST (matig gerelateerd) en Binary Split MNIST (sterk gerelateerd).

Prestaties vs. Efficiëntie: NORACL bereikt een nauwkeurigheid op gelijke hoogte met of beter dan "Oracle-voorzien" statische baselines (netwerken perfect gedimensioneerd voor de volledige taakstroom), terwijl het 10–20% minder parameters gebruikt.
Adaptieve Capaciteit:
- Op Permuted MNIST (orthogonale taken) groeit NORACL significant in de eerste laag (kenmerkextractie), omdat laaggelegen kenmerken niet kunnen worden gedeeld.
- Op Binary Split MNIST (gedeelde kenmerken) verschuift de groei naar de tweede laag (kenmerkcombinatie), omdat laaggelegen kenmerken herbruikbaar zijn.
- Dit demonstreert dat NORACL autonoom de optimale architecturale structuur ontdekt op basis van taakgeometrie.
Stress Test op Lange Horizont (50-Taken Permuted MNIST):
- NORACL (beginnend klein) presteerde beter dan een statisch netwerk dat vooraf was voorzien met exact dezelfde uiteindelijke capaciteit als de maximale grootte van NORACL.
- Dit bewijst dat wanneer en hoe groei plaatsvindt kritischer is dan simpelweg een groot statisch netwerk hebben. NORACL behoudt een hoger aanbod van "effectieve plastische parameters" gedurende het leerproces.

6. Betekenis en Conclusie

Verschuiving van de Pareto-grens: NORACL duwt de nauwkeurigheid-capaciteit-grens van continu leren door middelen dynamisch toe te wijzen alleen wanneer nodig.
Biologische Plausibiliteit: De methode biedt een computationeel model van adulte neurogenese, waarbij nieuwe neuronen worden toegevoegd om met nieuwheid om te gaan, terwijl rijpe neuronen gevestigde herinneringen behouden.
Praktische Impact: Het elimineert de behoefte aan "oracle"-kennis in real-world implementatiescenario's waar het aantal en de aard van toekomstige taken onbekend zijn.
Toekomstig Werk: De auteurs merken de huidige beperking tot MLP's op en suggereren het uitbreiden van de ED- en Fisher-signalen naar Convolutional Neural Networks (CNN's) en Transformers (toevoegen van filters/heads) als volgende stap.

Kortom, NORACL lost de fundamentele architecturale bottleneck van continu leren op door het netwerk te transformeren van een statische container naar een groeiend, adaptief organisme dat zijn capaciteit precies uitbreidt wanneer en waar de leertaak dit vereist.