Emergent E-I Structure in Performance-Evolved Reservoir Networks of Neuronal Population Dynamics

Technische Samenvatting: Emergente E-I-structuur in Prestatie-geëvolueerde Reservoirnetwerken van Neurale Populatiedynamica

Probleemstelling
Een centrale uitdaging in de computationele neurowetenschap en netwerkfysiologie is het begrijpen van hoe netwerkstructuur ontstaat uit functionele eisen. Hoewel deep learning-modellen complexe fysiologische ritmes kunnen benaderen, fungeren ze vaak als "black boxes", die weliswaar een hoge voorspellende kracht bieden, maar weinig inzicht geven in de onderliggende mechanistische organisatie (bijv. excitatieve-inhibitoire koppeling). Bestaande benaderingen, zoals Recurrent Neural Networks (RNN's) en Neural Ordinary Differential Equations, vereisen doorgaans grote parameterruimtes en missen structurele interpreteerbaarheid. Daartegenover staat standaard Reservoir Computing (RC), dat computationele efficiëntie biedt maar steunt op vaste, willekeurige topologieën die geen inherente relatie hebben met het biologische systeem dat wordt gemodelleerd. De kernvraag die wordt geadresseerd is of een compact, leerbaar dynamisch systeem de interne structuur-functiekoppeling van neurale systemen kan herstellen—specifiek de excitatieve-inhibitoire (E-I) organisatie—uitsluitend op basis van dynamica en prestatie-eisen, zonder expliciete anatomische supervisie.

Methodologie
De auteur past het Performance-Dependent Network Evolution (PDNE)-raamwerk toe om het Wilson-Cowan (WC)-systeem te modelleren, een canoniek twee-populatie model dat de gemiddelde activiteiten beschrijft van excitatieve ($E$) en inhibitoire ($I$) neuronale populaties.

1. Implementatie van Reservoir Computing (RC): Het model maakt gebruik van een discrete-tijd RC-architectuur waarbij de reservoirtoestand evolueert via een niet-lineaire activatiefunctie ($G = \tanh$) en een recurrente adjacency-matrix. Alleen de lineaire readout-gewichten worden getraind via ridge regressie.
2. PDNE-algoritme: In tegenstelling tot standaard RC is de reservoirtopologie niet vast. Het algoritme laat de netwerkstructuur iteratief evolueren via twee fasen, gedreven door voorspellingsprestaties (gemeten aan de hand van de genormaliseerde gemiddelde kwadratische fout, NMSE):
   • Node Toevoeging (A): Kandidaat-nodes met willekeurige verbindingen en gewichten worden voorgesteld. Toevoeging wordt alleen geaccepteerd als dit de test-NMSE over alle kanalen strikt verlaagt.
   • Node Verwijdering (D): Zodra prestatiedrempels zijn bereikt, worden redundante nodes verwijderd. Verwijdering wordt geaccepteerd als dit de NMSE niet verhoogt.
3. Trainingsprotocol: Het systeem wordt getraind op pulsstimuli van variërende amplitudes die zowel excitatieve als oscillerende regimes beslaan. Het doel is om zowel de $E(t)$ als de $I(t)$ populatieactiviteiten te voorspellen op basis van uitsluitend de externe stimulus $s(t)$, zonder $I(t)$ als input terug te koppelen.

Belangrijkste Resultaten

• Voorspellende Prestaties en Generalisatie: De geëvolueerde reservoirs voorspellen accuraat zowel de excitatieve als de inhibitoire populatieactiviteiten over ongeziene stimulusamplitudes heen. Cruciaal is dat de modellen zero-shot generalisatie vertonen: netwerken die uitsluitend getraind zijn op twee-puls sequenties, voorspellen succesvol reacties op nieuwe configuraties, inclusen single-pulse en multi-pulse stimuli met variërende temporele posities en amplitudes, zonder hertraining. Dit geeft aan dat de modellen de reactieve dynamica van het WC-systeem hebben geïnternaliseerd in plaats van specifieke stimulus-respons kaarten te memoriseren.
• Dynamische Transitie: Principal Component Analysis (PCA) onthult een fundamentele verschuiving in het gedrag van het reservoir. Initiële seed-netwerken zijn beperkt tot geconstrueerde, laagdimensionale dynamica (waarbij slechts ~2 hoofdcomponenten nodig zijn voor 99% variantie) en falen in het voorspellen van de doel-dynamica. In contrast hiermee ondergaan PDNE-geëvolueerde netwerken een transitie naar georganiseerde hogere-dimensie attractor exploratie (waarbij ~3 hoofdcomponenten nodig zijn, maar met een significant verbeterde compressieratio). Deze expansie maakt het netwerk in staat om toegang te krijgen tot de representatieve capaciteit die nodig is om gekoppelde E-I dynamica te modelleren.
• Emergente Structurele Organisatie: Structurele analyse toont aan dat de geëvolueerde netwerken spontaan reorganiseren in gespecialiseerde functionele populaties. Nodes worden geclassificeerd op basis van hun readout-gewichten in E-specifieke, I-specifieke, gedeelde (Shared) en perifere categorieën.
  • De netwerktopologie herstelt het correcte excitatieve-inhibitoire tekenpatroon voor drie van de vier interactietypes (E-E, E-I, I-E, I-I) op populatieniveau, ondanks dat deze structuur niet door ontwerp is opgelegd.
  • De uiteindelijke netwerken convergeren naar compacte groottes (ongeveer 60–100 nodes) ongeacht de initiële seed-grootte, wat suggereert dat het systeem taakspecifieke structurele regimes ontdekt in plaats van willekeurige groei.
  • De distributies van de randgewichten (edge weights) evolueren van waarden nabij nul naar een brede, symmetrische distributie, terwijl de node-gain parameters heterogeen worden, wat de dynamica van het reservoir verrijkt.

Betekenis en Claims
Het artikel claimt dat prestatiegestuurde netwerkevolutie modellen kan produceren die niet alleen accuraat, maar ook structureel interpreteerbaar zijn. Door een netwerk uitsluitend te evolueren om de voorspellingsfout te minimaliseren, herstelt het systeem spontaan de E-I connectiviteitsstructuur die inherent is aan het Wilson-Cowan model.

De auteur stelt dat deze resultaten principes van netwerkfysiologie op de schaal van neuronale subsystemen concretiseren, en aantonen dat fysiologische systemen kunnen organiseren volgens fundamentele optimalisatieprincipes die overal schaalbaar zijn. Het werk suggereert een pad naar het creëren van compacte, mechanistisch gefundeerde en data-efficiënte digitale tweelingen van neuronale systemen, waarbij de geleerde architectuur informatie bevat over de mechanistische organisatie van het doelsysteem zonder dat hiervoor anatomische supervisie nodig is. De studie benadrukt dat taakgeoptimaliseerde evolutie structurele motieven kan opleveren die functioneel betekenisvol zijn, waarmee de kloof tussen voorspellende kracht en mechanistische transparantie in de computationele neurowetenschap wordt overbrugd.