Parallelized Hierarchical Connectome: A Spatiotemporal Recurrent Framework for Spiking State-Space Models

Dit paper introduceert de Parallelized Hierarchical Connectome (PHC), een innovatief raamwerk dat tijdsreeks-georiënteerde State-Space Models uitbreidt tot spatiotemporele recurrente netwerken door biologische principes te integreren, waardoor een efficiëntere en volledig paralleliseerbare training van spiking neurale netwerken mogelijk wordt.

De kern

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken (data) die je in recordtijd moet lezen en begrijpen.

Het oude probleem:
Tot nu toe hadden computers twee manieren om dit te doen, maar beide hadden een groot nadeel:

1. De snelle lezer (SSM's): Deze kon heel snel door de boeken bladeren, maar las ze allemaal als losse, onverbonden pagina's. Ze konden niet met elkaar praten terwijl ze werden gelezen. Het was alsof je een boek leest, maar de personages in het verhaal niet weten dat ze in dezelfde kamer zitten.
2. De slimme lezer (Neurale netwerken): Deze kon de personages laten praten en interageren (wat heel slim is), maar moest het boek één zin per zin lezen, wachten tot de vorige zin klaar was, en dan pas de volgende lezen. Dit was veel te langzaam voor moderne computers.

De oplossing: PHCSSM (De "Parallelle Hiërarchische Connectome")
De auteurs van dit paper hebben een nieuwe manier bedacht om deze twee werelden te verenigen. Ze noemen hun uitvinding PHCSSM.

Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De Steden en de Boodschappers (Neuronen en Synapsen)

In plaats van één lange rij boeken, heeft PHCSSM een stad gebouwd met verschillende wijken (dit noemen ze hierarchical regions).

• De Inwoners (Neuronen): Elke wijk heeft inwoners die hun eigen gedachten hebben. Ze zijn snel en kunnen tegelijkertijd denken (parallel).
• De Boodschappers (Synapsen): Tussen de wijken lopen boodschappers die berichten overbrengen.

2. Het Geheim: De "Multi-Transmission Loop" (De Ronde)

Het grote probleem in de oude systemen was: hoe laten de inwoners tegelijkertijd praten zonder dat het hele systeem vastloopt?

PHCSSM lost dit op met een slimme truc: De Ronde.
Stel je voor dat er een vergadering is. In plaats dat iedereen direct begint te praten (wat chaos veroorzaakt), doet de computer dit:

• Ronde 1: Iedereen schrijft zijn gedachte op een briefje en geeft het door.
• Ronde 2: Iedereen leest de briefjes die hij kreeg, denkt erover na, en schrijft een nieuw briefje.
• Ronde 3: Nog een keer rondjes lopen.

Dit gebeurt binnen één fractie van een seconde (binnen één tijdstip). De computer doet dit zo snel dat het lijkt alsof alles tegelijk gebeurt, maar in werkelijkheid is het een snelle cyclus van "schrijven, lezen, herschrijven". Hierdoor kunnen de inwoners (de data) met elkaar praten, terwijl de computer toch razendsnel blijft werken.

3. De Biologische Regels (De "Wetten van de Stad")

Wat dit model zo speciaal maakt, is dat het zich niet zomaar willekeurig gedraagt. Het volgt strikte regels die we uit de menselijke hersenen hebben overgenomen, zoals een goed georganiseerde stad:

• De Wet van Dale (De "Goede en Slechte Buren"): In de hersenen zijn er twee soorten cellen: die die prikkelen (excitatorisch) en die die kalmeren (inhibitorisch). PHCSSM zorgt ervoor dat een "inwoner" nooit beide rollen tegelijk speelt. Hij is óf een aanjager, óf een remmer. Dit voorkomt dat de stad in brand vliegt (chaos).
• Korte-termijn Plasticiteit (Het "Geheugen van de Boodschapper"): Stel je een boodschapper voor die een briefje brengt. Als hij het vaker moet brengen, wordt hij moe (de boodschap wordt zwakker) of juist enthousiaster (de boodschap wordt sterker). Dit helpt het systeem om te onthouden wat er net is gebeurd, zonder dat het hele systeem zwaar wordt.
• Beloning (De "Lootjes"): Als de stad een goede beslissing neemt (bijvoorbeeld een ziekte herkennen in medische data), krijgen de boodschappers die de juiste route namen een beloning. Ze leren daardoor voor de volgende keer.

Waarom is dit geweldig?

1. Het is extreem efficiënt: Oude systemen bouwden een toren van 100 verdiepingen om slim te zijn. PHCSSM bouwt één slimme stad met 2 wijken, maar laat die wijken 100 keer met elkaar praten in één seconde. Het kost veel minder ruimte (geheugen) en energie.
2. Het is snel: Omdat het de "ronde" binnen één moment doet, kan het nog steeds razendsnel werken, net als de snelle lezer.
3. Het werkt beter: Op tests met medische data (zoals hartslagen of hersenscans) bleek PHCSSM beter te presteren dan de beste bestaande systemen, terwijl het veel minder "brein" (parameters) nodig had.

Kortom:
De auteurs hebben een manier gevonden om computers te laten denken zoals onze hersenen: snel, parallel, en met slimme interacties tussen verschillende delen, maar dan zonder de trage, stap-voor-stap methode die ons nu beperkt. Ze hebben een "super-snel, biologisch getraind" systeem gebouwd dat minder energie verbruikt en slimmer is dan de huidige standaard.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Parallelized Hierarchical Connectome: A Spatiotemporal Recurrent Framework for Spiking State-Space Models" in het Nederlands.

1. Het Probleem

Bestaande State-Space Models (SSMs), zoals S4 en Mamba, hebben de sequentiemodellering revolutionair gemaakt door het gebruik van parallelle scans (associative scans) om een trainingscomplexiteit van $O(\log L)$ te bereiken. Dit lost het probleem van het verdwijnende gradiënt en de sequentiële afhankelijkheid op dat traditionele Recurrent Neural Networks (RNNs) en Backpropagation Through Time (BPTT) kampen.

Echter, deze modellen hebben twee fundamentele beperkingen:

1. Gebrek aan ruimtelijke interactie: Om parallelle efficiëntie te behouden, worden de staatsovergangsmatrices strikt diagonaal gehouden. Dit betekent dat neuren binnen dezelfde tijdstap volledig van elkaar gekoppeld zijn; er is geen laterale connectie (inhibitie of excitatie tussen neuren) of feedback binnen één stap.
2. Parameterinefficiëntie: Om diepte en expressiviteit toe te voegen, vertrouwen huidige SSMs op het stapelen van vele onafhankelijke lagen (stacking). Dit leidt tot een lineaire groei in het aantal parameters ($\Theta(D^2L)$), wat inefficiënt is en afwijkt van de biologische realiteit van hersenen, die diepte bereiken via herhaalde signalen door een vast, recurrente connectome in plaats van door het dupliceren van lagen.

Daarnaast missen bestaande "Spiking SSMs" vaak biologische realisme (zoals Dale's Wet of kortetermijnplasticiteit) of kunnen ze niet parallel getraind worden vanwege de inherente niet-lineariteit van spiking neuronen.

2. Methodologie: Het PHC Framework

De auteurs introduceren de Parallelized Hierarchical Connectome (PHC), een architecturaal kader dat tijds-only SSMs upgradet naar spatiotemporale recurrente netwerken. De kern van de methode is Intra-Step Spatiotemporal Decoupling (Spatio-temporele ontkoppeling binnen een stap).

Kerncomponenten:

• Neuron Layer (NL) & Synapse Layer (SL): In plaats van een enkele operator, splitst PHC het proces op in een NL (die intrinsieke neurale dynamica zoals membraanpotentiaal beheert) en een SL (die inter-neuronale communicatie regelt).
  • De NL is strikt diagonaal en gebruikt parallelle scans voor dynamica zoals Adaptive Leaky Integrate-and-Fire (ALIF).
  • De SL bevat een gedeelde "Synapse Layer" met een hiërarchische connectome-matrix die laterale verbindingen mogelijk maakt.
• Multi-Transmission Loop: Om de beperking van diagonale matrices te omzeilen zonder parallelisme te verliezen, introduceert PHC een lus binnen elke tijdstap. Signalen circuleren $M$ keer tussen de NL en de SL.
  • Dit creëert een ruimtelijke recurrentie (spatial recurrence) in plaats van alleen tijdsrecurrentie.
  • De lus convergeert naar een stabiel dynamisch aantrekker (fixed point) voordat de tijd vooruitgaat, wat diepe logische verwerking mogelijk maakt zonder het stapelen van lagen.
• Biologische Priors: Het framework integreert strikt biologische beperkingen die als inductieve biases fungeren:
  • ALIF: Adaptieve drempels voor spike-frequentie aanpassing.
  • Dale's Wet: Scheiding van excitatoire en inhibitoire neuronen (sign-constraints).
  • Kortetermijnplasticiteit (STP): Tsodyks-Markram modellen die synaptische gewichten dynamisch laten veranderen op basis van spike-timing.
  • Connectome Topologie: Hiërarchische regio's met specifieke feedforward en feedback paden.
  • R-STDP: Reward-Modulated Spike-Timing-Dependent Plasticity voor online leren.

Implementatie (PHCSSM):

Het model, PHCSSM, is de eerste implementatie die deze vijf biologische constraints combineert met een volledig paralleliseerbaar trainingsproces. Door de niet-lineaire biologische dynamica te herschrijven als affiene recurrenties, kunnen ze worden opgelost via log-domein parallelle prefix-sums (logcumsumexp), waardoor de $O(\log T)$ trainingscomplexiteit behouden blijft.

3. Belangrijkste Bijdragen

1. Eerste Paralleliseerbare SSM met Laterale Connecties: PHC lost de fundamentele afweging op tussen leerbare laterale ruimtelijke connecties en parallelle scan-efficiëntie. Het biedt gewogen spatiotemporale recurrentie binnen het SSM-raamwerk terwijl $O(\log L)$ trainings-efficiëntie behouden blijft.
2. Parameter-efficiëntie: Door het vervangen van sequentiële lagenstapeling door een gedeelde hiërarchische connectome met een Multi-Transmission Loop, daalt de parametercomplexiteit van $\Theta(D^2L)$ naar $\Theta(D^2)$. Dit resulteert in een model dat 10 tot 100 keer minder parameters heeft dan vergelijkbare presterende SSMs.
3. Parallelle Neuro-fysische Dynamica: Wiskundige formuleringen worden afgeleid die verzadigende STP en adaptieve membraandynamica vertalen naar parallelle scans, waardoor dynamische synaptische effectiviteit mogelijk is zonder schaalbaarheid te verliezen.
4. Native Online Learning: Een R-STDP module maakt gebruik van echte binaire spikes voor lokaal causaal leren, wat structureel onmogelijk is voor continue-waarde SSMs.

4. Resultaten

Het model is geëvalueerd op zes fysiologische benchmarks uit de UEA Multivariate Time-Series Classification Archive.

• Prestaties: PHCSSM behaalt state-of-the-art resultaten op de SCP2 dataset (59,3% nauwkeurigheid, een verbetering ten opzichte van LinOSS-IMEX) en overtreft Mamba op de MotorImagery taak met 6,0 procentpunten (53,7%).
• Efficiëntie: Het model bereikt deze prestaties met slechts 1.748 tot 9.485 parameters. Ter vergelijking: S5 en Mamba gebruiken vaak 67.000 tot 400.000 parameters voor vergelijkbare taken.
• Stabiliteit: De biologische constraints fungeren als structurele regularisatoren, wat resulteert in een lage variantie over verschillende random seeds, zelfs bij zeer lange sequenties (tot 17.984 tijdstappen).
• Ablatie-studie: Het verwijderen van individuele biologische constraints (zoals Dale's Wet of STP) leidt tot een significante daling in nauwkeurigheid en een toename in trainingsvariatie, wat bevestigt dat elke constraint een unieke en noodzakelijke rol speelt.

5. Betekenis en Conclusie

Deze studie toont aan dat strikte biologische beperkingen geen prestatie-remmende factor hoeven te zijn, maar juist krachtige inductieve biases kunnen zijn voor robuuste en parameter-efficiënte sequentiemodellering.

• Paradigmaverschuiving: Het bewijst dat het mogelijk is om de expressiviteit van recurrente netwerken (ruimtelijke interactie, biologische plasticiteit) te combineren met de trainings-snelheid van Transformers/SSMs.
• Toekomstperspectief: Het framework opent de weg voor het creëren van "digitale tweelingen" van neurale circuits op schaal van het connectoom, waarbij de parallelle training een groot voordeel biedt ten opzichte van traditionele sequentiële SNN-simulatoren.
• Algemene Toepasbaarheid: Het PHC-principe is niet beperkt tot spiking netwerken; het kan worden toegepast op elke diagonale SSM om deze te upgraden naar een spatiotemporale recurrente architectuur.

Kortom, PHCSSM biedt een nieuw, biologisch gefundeerd pad naar efficiënte en schaalbare deep learning voor tijdsreeksen, waarbij de structuur van de hersenen als blauwdruk dient voor het overwinnen van de beperkingen van huidige AI-architecturen.