💻 computer science

HERO-SNN: A Homeostatic Eligibility-based Reward- Optimised Spiking Neural Network for Spatiotemporal Brain Representation: An EEG Case Study

Dit artikel stelt HERO-SNN voor, een homeostatisch en beloningsgeoptimaliseerd spiking neural network-framework dat taakspecifieke feedback integreert met lokaal spike-gebaseerd leren om de classificatienauwkeurigheid en interpreteerbaarheid van spatiotemporele EEG-data te verbeteren, waarbij het zowel standaard STDP als state-of-the-art deep learning-modellen overtreft in een studie naar een Havening-gebaseerd aanraakprotocol.

Oorspronkelijke auteurs: Maryam Doborjeh, Zohreh Doborjeh, Nikola Kasabov, Alexander Sumich, Nadja Heym, Tony Burgess

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maryam Doborjeh, Zohreh Doborjeh, Nikola Kasabov, Alexander Sumich, Nadja Heym, Tony Burgess

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je je brein voor als een enorme, bruisende stad waar miljarden kleine boodschappers (neuronen) constant rondrennen en briefjes naar elkaar doorgeven. Deze briefjes worden verzonden in de vorm van elektrische vonken, of "spikes".

Al een lange tijd proberen wetenschappers computerprogramma's te bouwen die dit soort steden nabootsen. Ze creëerden een systeem genaamd HERO-SNN. Zie dit als een digitale tweeling van een brein die leert door te kijken naar hoe deze boodschappers met elkaar interageren.

Hier is hoe het papier dit systeem uitlegt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: De "Autopiloot" versus het "Doel"

De onderzoekers begonnen met een standaard manier om deze digitale breinen te onderwijzen, genaamd STDP.

De Analogie: Stel je een groep leerlingen voor in een klaslokaal. De leraar (STDP) zegt: "Als je je hand opsteekt vlak nadat je buurman dat deed, krijg je een gouden ster." De leerlingen leren om hun handen op te steken in specifieke patronen op basis van timing.
Het Probleem: De leerlingen zijn erg goed in het herkennen van patronen, maar ze weten niet wat ze precies moeten oplossen. Ze leren op "autopiloot". Ze kunnen een patroon vormen dat er cool uitziet, maar het helpt hen niet om de specifieke vraag te beantwoorden die de leraar stelt (zoals: "Is dit een blij gezicht of een verdrietig gezicht?"). Ze zijn efficiënt, maar niet noodzakelijkerwijs nuttig voor de specifieke taak.

2. De Oplossing: Het "HERO"-systeem

De auteurs creëerden HERO-SNN om dit op te lossen. Ze voegden een "coach" toe aan het klaslokaal die feedback geeft op basis van de vraag of de leerlingen het antwoord goed of fout hadden.

Het systeem werkt in drie fasen:

Fase 1: De Autopiloot (Unsupervised Learning)
Eerst kijkt het systeem naar hersendata (zoals EEG-scans, wat vergelijkbaar is met opnames van de elektrische activiteit in de stad). Het laat de neuronen op natuurlijke wijze zichzelf organiseren, net zoals de leerlingen die leren om hun handen in patronen op te steken. Dit bouwt een kaart op van hoe de hersenactiviteit stroomt.
Fase 2: De Test (Supervised Learning)
Vervolgens probeert het systeem te raden wat de data betekent (bijv. "Wordt er iemand aangeraakt of niet?"). Het gebruikt een apart deel van het systeem om een gok te doen op basis van de patronen die het in Fase 1 heeft geleerd.
Fase 3: De "HERO" Verfijning (De Nieuwe Magie)
Dit is de grote innovatie. Als het systeem het fout heeft, verandert de "coach" niet alleen het uiteindelijke antwoord; hij gaat terug naar de stad en vertelt de specifieke boodschappers: "Hé, het pad dat je nam om dat antwoord te krijgen, was een beetje afwijkend. Laten we de verbindingen tussen jullie een beetje aanpassen."
- Eligibility (Geschiktheid): Het systeem identificeert precies welke "boodschappers" (synapsen) actief waren tijdens de fout. Het is alsoast te zeggen: "Jullie drieën waren degenen die het verkeerde briefje doorstuurden."
- Reward (Beloning): Het gebruikt het vertrouwen van de gok om te beslissen hoeveel er aangepast moet worden. Als het systeem zeer zelfverzekerd was maar het fout had, wordt er een grotere verandering doorgevoerd.
- Homeostasis (Homeostase - De Thermostaat): Dit is een veiligheidsklep. Als het systeem te enthousiast wordt (te veel vonken die rondvliegen) of te stil wordt (niemand die praat), past het de "ontladingsdrempel" (de temperatuur) aan om alles in balans te houden. Het zorgt ervoor dat de stad niet doorbrandt of bevriest.

3. De Praktijktest: Het "Aanraking"-experiment

Om te zien of dit werkte, gebruikten de onderzoekers echte hersendata van een studie over Havening.

De Opzet: Deelnemers werden gescand terwijl ze ofwel zachtjes werden aangeraakt (H+) of simpelweg daar zaten zonder aanraking (H-).
Het Doel: Kon de computer het verschil zien tussen het "aangeraakte" brein en het "niet-aangeraakte" brein, enkel door naar de elektrische patronen te kijken?

4. De Resultaten

De Oude Manier (Standaard STDP): Het systeem had het ongeveer 85% van de tijd bij het rechte eind.
De HERO-Manier: Na het toevoegen van de "coach" en de verfijningsstappen, had het systeem het 91% van de tijd bij het rechte eind.
Vergelijking: Het versloeg ook andere populaire computermodellen (zoals CNN's en LSTM's) die normaal gesproken voor dit soort data worden gebruikt.

De Kernboodschap

Het artikel beweert dat door een "feedbackloop" toe te voegen waarmee de interne bedrading van het brein kan veranderen op basis van de vraag of het de taak goed of fout uitvoert, het systeem veel beter wordt in het begrijpen van complexe hersensignalen.

Het is alsof je een student die goed is in het onthouden van patronen, een bijlesgever geeft die hem helpt zich specif

Technische Samenvatting: HERO-SNN

Probleemstelling

Spatiotemporele hersendata, zoals elektro-encefalografie (EEG) en functionele Magnetische Resonantie Imaging (fMRI), vertonen complexe temporele dynamiek en gedistribueerde ruimtelijke activiteit die moeilijk te modelleren zijn. Hoewel Spiking Neural Networks (SNN's) een biologisch plausibel kader bieden voor het representeren van deze dynamiek via spike-gebaseerde verwerking, werken standaard ongesuperviseerde leermechanismen zoals Spike-Timing-Dependent Plasticity (STDP) puur op basis van lokale spike-timing. Bijgevolg zijn de door STDP geleerde interne representaties taak-agnostisch; ze leggen algemene signaalcorrelaties vast, maar stemmen niet expliciet af op classificatie-doelstellingen of gedragsrelevantie.

Wanneer door STDP getrainde SNN's worden gekoppeld aan gesuperviseerde readout-lagen (bijv. deSNN), blijft de interne connectiviteit statisch na de ongesuperviseerde training. Dit betekent dat het netwerk weliswaar dominante signaalkarakteristieken kan behouden, maar faalt in het vastleggen van subtiele, discriminerende patronen die essentieel zijn voor specifieke cognitieve of klinische toestanden. Bovendien heeft de classificatieuitkomst geen invloed op de interne synaptische structuur, waardoor er een kloof ontstaat tussen ongesuperviseerd spatiotemporeel representatie-leren en taakgestuurde optimalisatie. Bestaande gesuperviseerde of beloningsgebaseerde SNN-methoden offeren vaak biologische plausibiliteit (lokaliteit) op om prestaties te behalen, of ze falen in het verfijnen van interne representaties op basis van taakresultaten.

Methodologie: HERO-SNN

Om deze beperkingen aan te pakken, stellen de auteurs HERO-SNN (Homeostatic Eligibility-based Reward-Optimised Spiking Neural Network) voor. Dit framework breidt de bestaande NeuCube-architectuur uit door een derde leerfase te introduceren die de interne synaptische connectiviteit verfijnt op basis van taakprestaties, terwijl lokale spike-gebaseerde leerprocessen behouden blijven. De methodologie bestaat uit drie afzonderlijke fasen:

1. Ongesuperviseerd Spatiotemporeel Leren

Data-encodering: EEG-signalen worden omgezet in spike-treinen met behulp van een drempelgebaseerde temporele encoderingsmethode. Een spike wordt gegenereerd wanneer de verandering in signaalamplitude een vooraf ingestelde drempel ( $\theta$ ) overschrijdt.
Netwerkmapping: Inputkenmerken (EEG-kanalen) worden gemapt naar een 3D SNN-reservoir op basis van anatomische coördinaten (bijv. de Talairach-atlas). Het netwerk wordt geïnitialiseerd met "small-world" connectiviteit, wat biologische systemen nabootst met een mix van exciterende en inhiberende verbindingen.
STDP-leren: Synaptische gewichten worden bijgewerkt met behulp van ongesuperviseerde STDP-regels, waardoor het netwerk zichzelf kan organiseren volgens de temporele correlaties in de inputdata.

2. Gesuperviseerd Leren (deSNN)

Na de STDP-training worden de synaptische gewichten in het reservoir bevroren.
Een Dynamic Evolving Spiking Neural Network (deSNN) wordt getraind om de geleerde spatiotemporele patronen te associëren met klassenlabels. Prototype-neuronen worden gecreëerd voor elke klasse, en verbindingen worden geïnitialiseerd met behulp van Rank Order (RO) leren, waarbij eerdere spikes een grotere belangrijkheid dragen.

3. Taakbewuste Verfijning (HERO-SNN)

Deze nieuwe fase introduceert een feedbackloop waarbij de classificatie-betrouwbaarheid de interne synaptische updates moduleert. Het proces omvat:

Forward Propagation & Betrouwbaarheidsberekening: Trainingsmonsters worden opnieuw door de getrainde SNN geleid. Een tijdelijk output-neuron schat de klasse-betrouwbaarheidsvector ( $p_c(s)$ ) in door het huidige spike-patroon te vergelijken met de opgeslagen prototype-neuronen.
Optimalisatiesignaal: Een scalair optimalisatiesignaal ( $O$ ) wordt berekend als het verschil tussen de betrouwbaarheid van de ware klasse en de voorspelde klasse. Dit signaal geeft aan of de interne representatie de juiste taakuitkomst ondersteunt of ermee in conflict is.
Eligibility Traces: Om te identificeren welke synapsen hebben bijgedragen aan de huidige beslissing, wordt voor elke synaps een eligibility trace ( $e_{ij}$ ) bijgehouden. Deze trace registreert de geactiveerde synapsen tijdens de spike-propagatie van het hergespeelde monster.
Synaptische Verfijning: Synaptische gewichten worden bijgewerkt met behulp van het optimalisatiesignaal en de eligibility trace: $\Delta w_{ij} = \eta \cdot O(s) \cdot e_{ij}(t)$ . Dit versterkt of verzwakt selectief de synapsen die betrokken zijn bij taakrelevante paden.
Homeostatische Regulatie: Om instabiele netwerkdynamiek (bijv. excessieve vuring of stilvallen) te voorkomen als gevolg van herhaalde gewicht-updates, past een homeostatisch mechanisme de vurdrempel ( $V_{th}$ ) van elk neuron aan. Als een neuron boven een doelrate vuurt, neemt de drempel toe (minder prikkelbaarheid); als het onder een doelrate vuurt, neemt de drempel af. Dit zorgt voor een ijle, stabiele spike-activiteit terwijl adaptatie mogelijk blijft.

Belangrijkste Bijdragen

Taakbewuste Interne Verfijning: In tegen tegenstelling tot hybride benaderingen waarbij alleen de readout-laag gesuperviseerd is, stelt HERO-SNN de interne spatiotemporele representaties van de SNN in staat om te worden verfijnd op basis van taakfeedback.
Integratie van Lokale en Globale Signalen: Het framework slaagt erin de kloof te overbruggen tussen lokale biologische leerregels (STDP, eligibility traces) en globale taakdoelstellingen (classificatie-betrouwbaarheid) zonder de spike-gebaseerde lokaliteit op te geven.
Homeostatische Stabiliteit: De inclusie van homeostatische drempeladaptatie zorgt ervoor dat het netwerk een stabiele vurdynamiek behoudt tijdens het verfijningsproces, wat de instabiliteit voorkomt die vaak gepaard gaat met beloningsgemoduleerde plasticiteit.
Interpreteerbaarheid: Door specifieke paden te verfijnen op basis van taakrelevantie, verbetert het model de interpreteerbaarheid van de interne neurale representaties.

Experimentele Resultaten

Het framework werd gevalideerd met behulp van een benchmark EEG-dataset uit een Havening-interventiestudie, waarbij onderscheid werd gemaakt tussen een protocol met verzorgende aanraking (H+) en een protocol zonder aanraking (H−).

Dataset: 276 spatiotemporele EEG-monsters (64 kanalen, 512 tijdspunten) van 23 deelnemers, verdeeld in trainings- en testsets op deelnemersniveau om generaliseerbaarheid te waarborgen.
Prestaties:
- HERO-SNN behaalde een classificatie-nauwkeurigheid van 91,30% (F1-score: 0,91).
- De baseline STDP+deSNN (zonder verfijning) behaalde 84,62% nauwkeurigheid.
  Dit vertegenwoordigt een verbetering van 11% in nauwkeurigheid ten opzichte van de standaard ongesuperviseerde aanpak.
- HERO-SNN presteerde beter dan state-of-the-art deep learning modellen, inclusief CNN (83,64%) en LSTM (69,05%), onder dezelfde splitsing op deelnemersniveau.
Analyse: De resultaten gaven aan dat het verfijningsproces leidde tot gelokaliseerde veranderingen in de connectiviteit, waarbij taakrelevante synapsen selectief werden versterkt terwijl de algemene structuur die tijdens STDP is geleerd, behouden bleef.

Betekenis en Claims

Het artikel beweert dat het integreren van taakfeedback direct in de adaptatie van interne spatiotemporele neurale representaties zowel de classificatieprestaties als de interpreteerbaarheid van het model aanzienlijk verbetert. De auteurs stellen dat HERO-SNN aantoont dat SNN's verder kunnen gaan dan louter ongesuperviseerd structureel leren om taakspecifieke optimalisatie te bereiken, terwijl de biologische plausibiliteit behouden blijft door middel van lokale leerregels en homeostatische regulatie.

De studie suggereert dat deze aanpak bijzonder waardevol is voor hoogdimensionale, ruisgevoelige hersensignalen (zoals EEG), waarbij relevante informatie vaak zwak en gedistribueerd is. Door de interne connectiviteit te verfijnen om discriminatieve patronen beter te vangen, overwint het model de beperkingen van standaard STDP, dat vaak faalt in het afstemmen van interne representaties op specifieke cognitieve of klinische toestanden. De auteurs positioneren HERO-SNN als een robuust framework dat toepasbaar is op andere spatiotemporele datatypen, zoals fMRI-tijdreeksen, voor toepassingen binnen de mentale gezondheidszorg en neurologie.