Technische Samenvatting: NeuMoSync: End-to-End Neuromodulatoire Controle voor Plasticiteit en Adaptiviteit in Continual Learning

Probleemstelling

Continual learning (CL) vereist dat diepe neurale netwerken sequentieel kennis vergaren terwijl ze informatie uit het verleden behouden. Echter, standaard diepe netwerken lijden vaak aan een verlies van plasticiteit in de loop van de tijd, waarbij hun vermogen om nieuwe taken te leren degradeert, en ze vertonen slechte kennisoverdracht, wat langdurige adaptiviteit belemmert. Terwijl biologische agenten uitblinken in het balanceren van geheugenbehoud en snelle adaptatie door middel van lokale plasticiteit en globale neuromodulatoire systemen, vertrouwen kunstmatige neurale netwerken (ANN's) doorgaans op lokale, feedforward berekeningen en gradiëntgebaseerde updates, die het ontbreken hebben van de contextafhankelijke, systeembrede feedback die in biologische hersenen wordt gevonden. Bestaande benaderingen vertrouwen vaak op dure meta-learning of specifieke regularisatietechnieken die mogelijk niet volledig de dynamische coördinatie adresseren die nodig is voor robuust continual learning.

Methodologie: NeuMoSync Architectuur

De auteurs introduceren NeuMoSync, een architectuur die dynamische, neuron-specifieke modulatie integreert in diepe neurale netwerken, geïnspireerd door globale neuromodulatoire mechanismen in de hersenen. Het systeem bestaat uit drie primaire componenten:

1. MainNetwork ($\theta$): Een standaard neuraal netwerk dat snel adapteert aan de huidige datastroom en taakspecifieke kennis verwerft.
2. ConsolidatedNetwork ($\phi$): Een traag bewegend gemiddelde van het MainNetwork, bijgewerkt via een Exponential Moving Average (EMA) met een consolidatiesnelheid $\beta$. Dit dient als een langetermijngeheugen dat algemene kennis consolideert over taken heen.
3. NeuroSync Module: Een gecentraliseerde globale controller (geïmplementeerd als een encoder-only Transformer of 1D CNN) die neuron-specifieke modulatiesignalen genereert op basis van:
   • Het huidige invoersample.
   • Een set feature vectoren voor elk neuron in het MainNetwork (bestaande uit leerbare attributen, positionele informatie en een EMA van statistieken van eerdere activaties).

De NeuroSync module genereert vier leerbare coëfficiënten ($\alpha$) voor elk neuron $i$, die de InferenceNetwork (het effectieve netwerk dat wordt gebruikt voor voorspelling) dynamisch reguleren:

• Synaptic Weight Modulation ($\alpha_{SM}$) & Weight Consolidation ($\alpha_{WC}$): Deze coëfficiënten combineren dynamisch de gewichten van het MainNetwork ($\theta_i$) en het ConsolidatedNetwork ($\phi_i$) om de effectieve synaptische gewichten ($w_i$) voor de InferenceNetwork te vormen:
  $$w_i = \alpha_{SM}^i \theta_i + \alpha_{WC}^i \phi_i$$
  Dit stelt het netwerk in staat om de bijdragen van de snelle leerder of het trage geheugen te versterken of te onderdrukken op basis van de context.
• Adaptive Linearity ($\alpha_{AL}$): Deze coëfficiënt stelt dynamisch de negatieve helling in van een Parametric ReLU (PReLU) activatiefunctie voor elk neuron, wat de lineariteit van de activatie controleert en de gradiëntstroom verbetert.
• Additive Regulation Modulation ($\alpha_{ARM}$): Deze zorgt voor een directe additieve offset aan de neuron-activatieoutput, wat contextafhankelijke bias-verschuivingen mogelijk maakt.

Het gehele systeem, inclusief het MainNetwork, het ConsolidatedNetwork en de NeuroSync module, wordt end-to-end getraind met behulp van standaard gradiëntafdaling, zonder dat er expliciete meta-learning doelstellingen of taakgrenzen vereist zijn.

Belangrijkste Bijdragen

1. Nieuwe Architectuur: De introductie van NeuMoSync, die standaard netwerken aanvult met een globale controller die gewichten, activatiefuncties en biases op het niveau van individuele neuronen moduleert op basis van zowel input als de interne netwerkstatus.
2. Dual-Memory Mechanisme: De integratie van een snel lerend MainNetwork en een traag lerend ConsolidatedNetwork, die dynamisch worden gefuseerd via geleerde modulatiecoëfficiënten om plasticiteit en stabiliteit te balanceren.
3. End-to-End Training: In tegen tegenstelling tot veel meta-learning benaderingen leert NeuMoSync overdraagbare inductieve biases voor modulatie direct door standaard backpropagation, waardoor de computationele overhead van meta-training wordt vermeden.
4. Schaalbaarheid: De auteurs stellen een sparse, encoder-decoder variant van de controller voor die een kleine subset van neuronen samplet, waardoor de methode kan schalen naar grotere architecturen (bijv. ResNets, Transformers) met minimale parameter overhead.

Experimentele Resultaten

De auteurs evalueerden NeuMoSync op een diverse set benchmarks, waaronder:

• Memorization: Random Label CIFAR-10, Random Label MNIST.
• Concept Drift: Shuffle CIFAR-10, Shuffle Mini-ImageNet.
• Class-Incremental: Class Split T-ImageNet, Class Split CIFAR-100.
• Domain-Incremental: Permuted MNIST.

Belangrijkste Bevindingen:

• Preservering van Plasticiteit: NeuMoSync demonstreerde een superieure retentie van plasticiteit vergeleken met baselines (bijv. CBP, ReDo, EWC, CReLU), met name op memorisatie-taken waar het aanzienlijk hogere absolute prestaties behaalde.
• Snelle Adaptatie: De methode blonk uit in zowel forward adaptatie (leren van nieuwe taken) als backward adaptatie (het opnieuw leren van oude taken). De decompositie van adaptatiesnelheid onthulde dat het voordeel van NeuMoSync primair voortkomt uit superieure kennisoverdracht in plaats van een inherent snellere intrinsieke leersnelheid.
• Ablatie Studies: Het verwijderen van de globale controller of specifieke modulatiemechanismen (vooral de synaptische modulatie $\alpha_{SM}$) leidde tot significante prestatiedegradatie, wat de noodzaak van gecoördineerde, contextbewuste signalen bevestigt.
• Inductieve Bias: Experimenten toonden aan dat parameter sharing in de controller (bijv. het gebruik van een gedeelde Transformer of 1D CNN) de cruciale inductieve bias is voor effectieve globale modulatie, in plaats van de specifieke architectuur (bijv. attention versus convolutie).
• Schaalbaarheid: De sparse controller variant schaalde succesvol naar ResNet-18 en ResNet-50 backbones, waarbij het baselines overtrof met verwaarloosbare parameter overhead (bijv. ~0,002% van de totale parameters).
• Stabiliteit: Wanneer gecombineerd met Experience Replay (ER), behaalde NeuMoSync competitieve of superieure forgetting-prestaties vergeleken met methoden die expliciet zijn ontworpen voor stabiliteit (bijv. A-GEM, EWC), terwijl het een hoge plasticiteit behield.

Betekenis en Claims

Het artikel claimt dat NeuMoSync de potentie onderstreept van het integreren van globale coördinatiemechanismen in diepe leersystemen om robuust, adaptief continual learning te bevorderen. Door continual learning te herformuleren als een probleem van adaptieve globale controle, demonstreert het werk dat:

• Modellen overdraagbare inductieve biases kunnen verwerven voor het controleren van plasticiteit en activiteit zonder expliciete meta-learning.
• Emergente gedragingen in de geleerde modulatiesignalen (zoals de taakverdeling tussen neuronen voor stabiliteit versus plasticiteit) de principes van biologische neuromodulatie en geheugenconsolidatie weerspiegelen.
• De aanpak een principiële manier biedt om zowel de adaptiviteit als de robuustheid van diepe neurale netwerken in niet-stationaire omgevingen te verbeteren.

De auteurs positioneren hun werk als een stap richting biologisch geïnspireerde continual learning systemen, waarbij zij opmerken dat hoewel het ontwerp losjes is geïnspireerd door neurowetenschap, het een engineering-oplossing is gericht op functionele prestaties in plaats van biologische plausibiliteit. De code is publiekelijk beschikbaar.