Technische Samenvatting: NeuroSynth – Een Biologisch Geïnspireerde Architectuur voor Continual Reinforcement Learning

Probleemstelling

Artificiële Intelligentie-systemen, met name binnen reinforcement learning (RL), lijden frequent aan catastrofale vergetelheid (catastrophic forgetting). Dit fenomeen treedt op wanneer een neuraal netwerk dat sequentieel op nieuwe taken wordt getraind, de parameters die cruciaal zijn voor eerder geleerde gedragingen overschrijft, wat leidt tot een snelle degradatie van eerdere kennis. Hoewel biologische leersystemen deze interferentie beperken door middel van complementaire geheugenprocessen — specifiek de interactie tussen snelle hippocampale codering en tragere corticale consolidatie — missen de meeste artificiële RL-architecturen een expliciete scheiding van geheugensystemen. Bestaande oplossingen vertrouwen vaak op een enkele adaptieve representatieruimte, waardoor ze kwetsbaar zijn voor gradiëntupdates die prioriteit geven aan nieuwe taken ten koste van oude taken.

Methodologie

Experimenteel Kader

De studie evalueert NeuroSynth, een brein-geïnspireerde architectuur, tegenover twee standaard continual learning baselines:

1. Proximal Policy Optimization (PPO): Een standaard actor-critic methode zonder specifieke continual learning mechanismen, dienend als referentie voor catastrofale vergetelheid.
2. Elastic Weight Consolidation (EWC): Een op regularisatie gebaseerde benadering die updates van parameters bestraft die als belangrijk voor eerdere taken worden ingeschat met behulp van Fisher Informatie-matrices.

De evaluatie vindt plaats in NeuroMaze-CL, een aangepaste continual RL-omgeving gebouwd op het Gymnasium-framework. De omgeving is een 8×8 grid-wereld waar agenten naar specifieke doellocaties navigeren met behulp van gedeeltelijk observeerbare, egocentrische 7×7 RGB-observaties. Het experiment bestaat uit drie sequentiële taken (Taak A → Taak B → Taak C) met veranderende doellocaties. Cruciaal is dat de setting non-revisitation is: zodra een taakfase eindigt, traint de agent nooit meer op deze; dit dwingt het model om te vertrouwen op interne retentiemechanismen.

NeuroSynth Architectuur

NeuroSynth vertaalt de Complementary Learning Systems (CLS) theorie naar een functioneel algoritmisch kader door de snelle acquisitie te scheiden van de langetermijnconsolidatie via een dual-pathway mechanisme:

1. Hippocampaal-geïnspireerd "Plan" Pad:

   • Verwerft snel representaties voor de initiële taak (Taak A) via temporal-difference learning.
   • Zodra de training van Taak A voltooid is, worden alle planningsparameters bevroren om vroege representaties te behouden.
   • Een Exponential Moving Average (EMA) kopie van dit bevroren netwerk fungeert als een "leraar" voor opeenvolgende fasen.

2. Corticaal-geïnspireerd "Habit" Pad:

   • Blijft plastisch tijdens Taken B en C, waardoor de agent nieuwe doelstellingen kan leren.
   • Voorkomt vergetelheid van Taak A door twee mechanismen:
     • Replay: Een reservoir sampling buffer slaat historische Taak A staten op. Tijdens nieuwe training wordt het habit-pad blootgesteld aan een mix van huidige taakervaringen en gereplaye ervaringen van de vorige taak.
     • Policy Distillation: Het habit-pad (student) wordt uitgelijnd met het bevroren plan-pad (leraar) met behulp van Kullback–Leibler (KL) divergentie verliezen op de gereplaye Taak A staten. Dit stabiliseert het beleid (policy) geassocieerd met eerdere staten zonder de bevroren planner te hertrainen.

Trainingsprotocol

• Seeds: Zes onafhankelijke random seeds werden gebruikt voor statistische betrouwbaarheid.
• Stappen: Taak A (100k stappen), Taak B (100k stappen), Taak C (200k stappen). Taak C werd verlengd om representatieve interferentie te vergroten.
• Evaluatie: Deterministische schema's met 50 episodes per taak post-training. Het succespercentage wordt gedefinieerd als het percentage episodes dat het doel bereikt.

Belangrijkste Resultaten

De studie rapporteert prestaties over de drie taken na sequentiële training, waarbij de focus ligt op de retentie van eerdere taken en de acquisitie van de laatste taak.

• Taak A Retentie (Post-Taak C):

  • PPO: Lijd onder bijna totale vergetelheid, met een succespercentage van 0,33%.
  • NeuroSynth: Bereikte een succespercentage van 18,00%.
  • Significantie: Het verschil is statistisch significant ($p = 0,014929$) met een grote effectgrootte (Cohen's $d = 1,49$).

• Taak B Retentie (Post-Taak C):

  • PPO: Bereikte een succespercentage van 0,00%.
  • NeuroSynth: Bereikte een succespercentage van 35,33%.
  • Significantie: Het verschil is zeer significant ($p = 0,002376$) met een zeer grote effectgrootte (Cohen's $d = 2,31$).

• Taak C Acquisitie (Finale Prestatie):

  • EWC: Bereikte een succespercentage van 2,00%, wat aangeeft dat parameterbeperkingen de adaptiviteit naar nieuwe taken beperkten.
  • NeuroSynth: Bereikte een succespercentage van 9,00%.
  • Significantie: Hoewel NeuroSynth EWC overtrof, was het verschil niet statistisch significant ($p = 0,226643$), hoewel het een matige effectgrootte vertoonde (Cohen's $d = 0,56$).

Belangrijkste Bijdragen

1. Architecturale Scheiding: NeuroSynth introduceert een dual-pathway ontwerp dat de snelle acquisitie (Plan) expliciet scheidt van de tragere consolidatie (Habit), wat de biologische hippocampale-corticale interacties nabootst.
2. Hybride Stabilisatie: De architectuur combineert replay (data rehearsal) met policy distillation (gedragsafstemming) om representaties te stabiliseren zonder uitsluitend te vertrouwen op statische parameterregularisatie.
3. Empirische Validatie: De studie demonstreert dat deze biologisch geïnspireerde benadering standaard PPO aanzienlijk overtreft in het behouden van eerdere kennis en een matige verbetering biedt ten opzien van EWC in het balanceren van stabiliteit met plasticiteit.

Betekenis en Claims

Het artikel claimt dat NeuroSynth er succesvol in slaagt de stabiliteit-plasticiteit tradeoff aan te pakken in continual reinforcement learning. Door de mechanismen voor het leren van nieuwe taken en het behouden van oude taken te ontkoppelen, voorkomt de architectuur dat de gradiëntupdates van nieuwe taken de cruciale parameters van vorige taken overschrijven.

De auteur concludeert dat biologisch geïnspireerde consolidatiemechanismen — specifiek de scheiding van geheugensystemen en het gebruik van replay-gestuurde distillatie — een veelbelovende richting bieden voor het ontwikkelen van stabiele lifelong learning systemen. De resultaten suggereren dat dergelijke architecturen eerder verworven gedragingen kunnen behouden terwijl ze blijven adapteren aan nieuwe omgevingen, een capaciteit waar standaard gradiëntgebaseerde methoden (PPO) en rigide regularisatiemethoden (EWC) tegelijkertijd moeite mee hebben.

Beperkingen en Toekomstige Richtingen

Het artikel erkent bescheiden enkele beperkingen:

• Omgevingscomplexiteit: Experimenten werden uitgevoerd in laag-dimensionale, discrete grid-werelden, die de complexiteit van hoog-dimensionale sensorische inputs of continue controle niet volledig vatten.
• Taakomvang: Er werden slechts drie sequentiële taken gebruikt; de schaalbaarheid naar grotere, lifelong learning benchmarks blijft ongetest.
• Baseline Vergelijking: Vergelijkingen waren beperkt tot PPO en EWC; bredere vergelijkingen met hybride of transformer-gebaseerde geheugensystemen zijn nodig.
• Biologische Getrouwheid: Het model is "biologisch geïnspireerd" in plaats van "biologisch realistisch", waarbij complexe processen zoals slaap-afhankelijke replay en synaptische modulatie worden vereenvoudigd.

Toekomstig werk voorgesteld door de auteur omvat het testen van NeuroSynth in robotica en continuous-control omgevingen, het onderzoeken van sparse-reward scenario's, en het verkennen van adaptieve consolidatiemechanismen (bijv. dynamische pathway freezing) in plaats van statische freezing om de langetermijnflexibiliteit te verbeteren.