Storing Infinite Dynamical Attractors in Nonreciprocal Associative Neural Networks

Het menselijk brein is een uitgestrekt netwerk van miljarden cellen die in complexe patronen vuren, wat alles creëert van een vluchtige herinnering tot een gestage hartslag. Decennialang hebben wetenschappers geprobeerd te begrijpen hoe deze netwerken informatie opslaan. Een klassiek idee suggereert dat het brein werkt als een bibliotheek, waar specifieke arrangementen van verbindingen statische beelden of feiten vasthouden, vergelijkbaar met een foto op een plank. De werkelijke hersenactiviteit is echter zelden stil. Het pulseert met ritmes, cycli en chaotische fluctuaties die informatie over de tijd dragen. Begrijpen hoe een netwerk deze bewegende, veranderende patronen kan vasthouden — in plaats van alleen bevroren plaatjes — is een moeilijke puzzel gebleven. Als het brein als een dynamische machine moet functioneren, moet het niet alleen kunnen opslaan wat dingen zijn, maar ook hoe ze veranderen.

Een team van onderzoekers heeft nu een nieuw wiskundig kader ontwikkeld om uit te leggen hoe een netwerk van eenvoudige eenheden een groot aantal van deze bewegende patronen tegelijkertijd kan opslaan. Ze richtten zich op een type netwerk waarbij de verbindingen tussen eenheden niet perfect in evenwicht zijn; het signaal dat van de ene eenheid naar de andere wordt gestuurd, is niet noodzakelijkerwijs met dezelfde sterkte teruggegeven. Dit gebrek aan symmetrie is gebruikelijk in biologische systemen en maakt de creatie van cycli en ritmes mogelijk. De onderzoekers stelden een fundamentele vraag: hoeveel verschillende bewegende patronen kan zo'n netwerk vasthouden voordat het te verward raakt om zich nog iets te kunnen herinneren? Hun antwoord onthult dat de sleutel tot het opslaan van meer informatie niet ligt in de complexiteit van de patronen zelf, maar in de diversiteit van hun interne ritmes.

Om dit te verkennen, bouwden de wetenschappers een theoretisch model van een netwerk bestaande uit binaire eenheden die tussen twee toestanden schakelen. Ze programmeerden dit netwerk om specifieke sequenties van activiteit op te slaan, waarvan sommige zich in lussen herhaalden en andere zich chaotisch en onvoorspelbaar gedroegen. Met behulp van geavanceerde statistische methoden berekenden ze de grenzen van het geheugen van dit netwerk. Ze ontdekten dat het vermogen van het netwerk om deze patronen op te roepen sterk afhangt van de wiskundige eigenschappen van de verbindingen die ze coderen. Specifiek keken de onderzoekers naar de "eigenfases" van deze verbindingen, wat kan worden beschouwd als de specifieke timing of frequentie waarmee elk opgeslagen patroon wil oscilleren.

Wanneer de onderzoekers het netwerk zo programmeerden dat alle opgeslagen patronen exact dezelfde timing deelden, waren de resultaten teleurstellend. Het netwerk kon slechts een zeer klein aantal van deze bewegende herinneringen vasthouden voordat de signalen met elkaar begonnen te interfereren. In dit scenario werkten de interne feedbackloops van het netwerk tegen zichzelf, waardoor er een soort ruis ontstond die de herinneringen overstemde. Dit was vooral het geval bij patronen die in cycli bewogen; het netwerk had moeite om ze uit elkaar te houden, en de capaciteit om ze op te slaan stortte ver onder wat mogelijk was voor statische beelden.

De situatie veranderde echter drastisch toen de onderzoekers variatie introduceerden. Wanneer zij het netwerk zo programmeerden dat elk opgeslagen patroon een iets andere, willekeurige timing had, verbeterde de prestatie van het netwerk aanzienlijk. Door de frequenties van de opgeslagen patronen te spreiden, verdween de destructieve interferentie die het uniforme systeem te had geplaagd. De verschillende ritmes elimineerden in feite de ruis die het geheugen gewoonlijk verstoort, waardoor het netwerk kon functioneren alsof het een veel eenvoudiger systeem was. In deze simulaties kon het netwerk een aantal bewegende patronen opslaan dat ongeveer het dubbele was van de capaciteit van de klassieke statische geheugenmodellen. Hoe diverser de timings van de opgeslagen patronen waren, hoe meer informatie het netwerk kon vasthouden.

De onderzoekers testten deze ideeën door gedetailleerde computersimulaties van het netwerk uit te voeren, waarbij ze de wiskundige voorspellingen vergeleken met het werkelijke gedrag van het gesimuleerde systeem. Ze onderzochten patronen die in eenvoudige lussen bewogen evenals patronen die chaotische, vreemde paden volgden. In elk geval kwam de theorie exact overeen met de simulatie. Ze bevestigden dat wanneer de patronen verschillende timings hadden, het netwerk de herinneringen met hoge nauwkeurigheid kon ophalen, zelfs wanneer het aantal opgeslagen patronen zeer groot was. Omgekeerd, wanneer de timings te vergelijkbaar waren, faalde het netwerk om de herinneringen op te roepen. De studie suggereert dat het vermogen van het brein om meerdere ritmes tegelijkertijd te verwerken — zoals de verschillende golven van activiteit die te zien zijn in de hippocampus en de cortex — een kenmerk is, en geen fout. In plaats van chaos te veroorzaken, zorgt het hebben van veel verschillende frequenties ervoor dat het brein meer informatie in dezelfde ruimte kan verpakken door te voorkomen dat de signalen op elkaars tenen staan.

Dit werk daagt de intuïtie uit dat complexiteit altijd leidt tot instabiliteit. In veel systemen maakt het toevoegen van meer bewegende onderdelen de kans groter dat het geheel kapot gaat. Hier is het tegendeel waar: het toevoegen van diversiteit aan de ritmes van de opgeslagen patronen stabiliseert het systeem en vergroot de capaciteit. De bevindingen bieden een nieuw perspectief op hoe biologische circuits erin slagen om tegelijkertijd meerdere oscillerende modi te handhaven. Het suggereert dat de spreiding van frequenties over verschillende neurale circuits niet slechts een bijproduct is van hun activiteit, maar een cruciaal mechanisme dat het brein in staat stelt een uitgebreide bibliotheek van dynamische herinneringen op te slaan. Het onderzoek biedt een heldere, wiskundige verklaring voor waarom een netwerk van eenvoudige, ruizige eenheden een krachtig, hoogcapacitief geheugensysteem kan worden, simpelweg door ervoor te zorgen dat de opgeslagen patronen niet allemaal naar hetzelfde ritme marcheren.