Assembling Neural Latching Switch Circuits for temporally structured behavior

Dit artikel toont aan dat neurale schakelcircuits als bouwstenen kunnen worden gebruikt om neurale architecturen te creëren die elk procedurale gedrag met complexe tijdsstructuren kunnen implementeren, en biedt voorspellingen voor het identificeren van vergelijkbare structuren in de zoogdierhersenen.

De kern

Hoe ons brein complexe plannen maakt: De "Neurale Latching Switch" uitgelegd

Stel je voor dat je brein niet één grote, rommelige computer is, maar een enorm lego-blokje. Dit artikel van Alexis Dubreuil laat zien hoe we die blokkjes kunnen samenvoegen om te begrijpen hoe dieren (en mensen) complexe gedragingen plannen, zoals zingen, jagen of zelfs een taal spreken.

Hier is de kern van het verhaal, vertaald naar alledaags taalgebruik:

1. Het probleem: Waarom is "nu" niet genoeg?

Onze hersenen zijn goed in dingen die direct gebeuren. Als je een bal ziet, grijp je hem. Dat is simpel. Maar wat als je een plan moet maken? Bijvoorbeeld: "Eerst ga ik naar de winkel, dan koop ik brood, en als het regent, ga ik naar huis."

Dit vereist tijd. Je moet iets in je hoofd onthouden (de winkel) terwijl je iets anders doet (de regen checken). Wetenschappers wisten al lang dat groepjes neuronen (zogenoemde cell assemblies) samenwerken om dit te doen, maar niemand wist precies hoe ze die complexe tijdsplanning regelen. Bestaande modellen waren vaak te statisch; ze konden een idee vasthouden, maar niet makkelijk veranderen naar een nieuw idee op het juiste moment.

2. De oplossing: De "Neurale Latching Switch" (NLSC)

De auteur introduceert een nieuw concept: de Neurale Latching Switch Circuit.

De Analogie: De Trein en de Schakelaar
Stel je een trein voor die op een spoor ligt.

• De Dictionary (Woordenboek): Dit is het spoor zelf. Het heeft verschillende stations (zoals "Start", "Middag", "Einde"). De trein kan hier rustig staan. Dit is een stabiele staat.
• De Gate Neurons (De Schakelaars): Dit zijn de machinisten of de wissels. Zolang ze stil zijn, blijft de trein op het station staan. Maar als er een signaal komt (bijvoorbeeld: "Het is tijd om te vertrekken"), schakelt de machinist de trein naar het volgende station.

Het slimme aan deze schakelaars is dat ze gevoelig zijn voor context. Ze weten niet alleen dat de trein moet vertrekken, maar ook waarheen afhankelijk van wat er eerder is gebeurd.

3. Hoe bouw je complexe gedragingen? (De Lego-blokjes)

Het artikel laat zien dat je deze schakelaars kunt stapelen en combineren, net als Lego. Hier zijn drie voorbeelden uit het papier:

A. Langeafstands-afhankelijkheid (Het "Vergeetachtige" Brein)

Stel je een zin voor: "De koe eet het gras, maar de kip..."
Je moet onthouden dat het onderwerp "koe" was, terwijl je halverwege de zin bent.

• Hoe werkt het in het brein? Je hebt een hoofd-circuit (de trein) en een extra geheugen (een notitieblok). Als je begint met de zin, schrijf je "koe" op het notitieblok. Als je later bij het werkwoord komt, kijkt de schakelaar op het notitieblok en zegt: "Ah, het was een koe, dus het werkwoord moet 'eet' zijn."
• De les: Om lange zinnen te begrijpen, heb je een extra geheugen nodig dat de trein bestuurt.

B. Blokken (Chunks) (Het "Recept" van het Brein)

Denk aan het dansen of typen. Je doet niet elke beweging afzonderlijk; je doet een "pas" (een blokje) en dan de volgende.

• Hoe werkt het? Je hebt een laag niveau (de vingers die typen) en een hoog niveau (het woord dat je wilt typen).
• De Analogie: Stel je een chef-kok voor. De chef (hoog niveau) zegt: "Bak een ei." De kok (laag niveau) voert de hele reeks bewegingen uit (ei breken, in pan, bakken, omdraaien). Zodra het ei klaar is, geeft de kok een signaal terug naar de chef: "Ei klaar!" De chef schakelt dan naar het volgende blokje: "Bak bacon."
• De les: Het brein werkt hiërarchisch. Grote plannen worden opgesplitst in kleine, automatische blokken.

C. Algebraïsche Patronen (Het "Vul-in" Spel)

Soms moeten we patronen herkennen, zoals "X-Y-X". Bijvoorbeeld: "De man loopt, de vrouw loopt, de man loopt."

• Hoe werkt het? Je hebt een "hoofd" dat door een lijst van opties loopt. Het leest eerst wat er bij "X" staat (man), slaat dat op, leest "Y" (vrouw), slaat dat op, en leest dan weer "X" en haalt het opgeslagen woord "man" weer op.
• De les: Het brein kan fungeren als een leeskop die door een externe geheugenbank beweegt om patronen te volgen.

4. De ultieme machine: De Neurale Turing Machine

Als je al deze Lego-blokjes (schakelaars, geheugen, leeskoppen) combineert, krijg je een Neurale Turing Machine.

Dit is een krachtig concept. Het betekent dat ons brein, hoewel het uit biologische cellen bestaat, in staat is om elk mogelijk algoritme of elk gedrag uit te voeren dat we kunnen bedenken. Het is alsof het brein een computer is die zichzelf kan herschrijven terwijl het werkt.

• Voorbeeld: Een dier dat foerageert (voedsel zoekt). Het plant een route in zijn hoofd ("Als ik links ga, is er brood"), loopt die route, eet, en update zijn mentale kaart. Dit is precies wat een computer doet met een programma, maar dan met neuronen.

Waarom is dit belangrijk?

1. Het verbindt biologie met logica: Het laat zien dat de complexe logica van computers (automata) eigenlijk op dezelfde manier werkt als onze biologische neuronen.
2. Het voorspelt hoe het brein eruitziet: De auteur suggereert dat we in de hersenen specifieke groepen neuronen moeten zoeken die als "schakelaars" werken. Misschien zitten deze in de cortex (de buitenste laag van de hersenen) en communiceren ze met elkaar via specifieke verbindingen.
3. Het verklaart complexiteit: Het geeft een antwoord op de vraag: "Hoe kunnen we van simpele neuronen complexe gedachten maken?" Het antwoord: Door ze te bouwen als een reeks van schakelaars die op elkaar ingespeeld zijn.

Samenvattend:
Onze hersenen zijn geen statische foto's van herinneringen, maar een dynamisch systeem van schakelaars en geheugenblokken. Door deze blokken slim te combineren, kunnen we plannen maken, zinnen bouwen en complexe taken uitvoeren. Het brein is dus eigenlijk een biologische computer die gebouwd is uit de meest efficiënte Lego-blokjes die de natuur kan bedenken.

Technische samenvatting

Probleemstelling

Hoogwaardige cognitieve processen, zoals planning, taal en redeneren, worden gekenmerkt door complexe, temporair gestructureerde gedragssequenties. Hoewel het concept van "cell assemblies" (groepen neuronen die samenwerken) fundamenteel is voor lagere cognitieve processen (zoals werkgeheugen en ruimtelijke navigatie), blijft het een open vraag of er een universeel circuitmotief bestaat dat deze complexe, tijdsafhankelijke gedragingen kan ondersteunen. Bestaande modellen, zoals attractor-netwerken, zijn uitstekend voor het vasthouden van staten (bijv. een locatie), maar lijken minder geschikt om de dynamische overgangen en hiërarchische structuren te verklaren die nodig zijn voor complexe sequenties. De uitdaging is tweeledig:

1. Het definiëren van relevante temporale structuren die gedrag modelleren.
2. Het relateren van deze structuren aan de anatomische en fysiologische eigenschappen van neurale circuits.

Methodologie

De auteur introduceert en ontwikkelt het concept van Neural Latching Switch Circuits (NLSC) als een fundamenteel bouwblok. Een NLSC bestaat uit:

• Een attractor-neuraal netwerk (een "woordenboek") dat stabiele toestanden (cell assemblies) vertegenwoordigt.
• Poortneuronen (gate neurons) die niet-lineaire, gemengde selectiviteit vertonen. Deze neuronen laten overgangen tussen stabiele toestanden toe in reactie op externe inputs (zoals een "go"-signaal) of contextuele informatie.

De methode combineert theoretische tools uit de statistische fysica, de theorie van attractor-netwerken en de informatica (automata-theorie).

• Modellering: De auteurs gebruiken modellen van binaire neuronen om de efficiëntie van verschillende architecturen te analyseren. Ze berekenen het minimale aantal neuronen ($N_{min}$) dat nodig is om specifieke taken uit te voeren, gebaseerd op opslagcapaciteitsberekeningen voor perceptrons met binaire synapsen.
• Training: Kunstmatige neurale netwerken (ANN) worden getraind om taken uit te voeren die verschillende vormen van temporale structuur vereisen.
• Automata-interpretatie: Neuronale architecturen worden geïnterpreteerd als rekenmachines (automata). Cell assemblies worden gezien als toestanden van een automaat, en de interacties tussen circuits corresponderen met het lezen, schrijven en bewegen op een extern geheugen.

Belangrijkste Bijdragen en Resultaten

De paper demonstreert hoe NLSC's als "legoblokken" kunnen worden samengesteld om vier niveaus van temporale complexiteit te modelleren:

1. Langere-afstand afhankelijkheden (External Memory):

   • Probleem: Sequences waarbij een beslissing later in de tijd afhangt van een initiële cue (bijv. onderwerp-werkwoord overeenkomst in taal).
   • Oplossing: Een NLSC wordt aangevuld met een extern geheugen (een apart attractor-netwerk) dat de context bewaart. Dit geheugen moduleren de poortneuronen van de hoofd-NLSC, waardoor de juiste overgang wordt geselecteerd wanneer de sequentie divergeert.
   • Resultaat: Deze architectuur is efficiënter dan het uitbreiden van het woordenboek zelf. Het functioneert als een eindige-toestandsautomat (FSA) met een extern geheugen.

2. Gestructureerde "Chunks" (Hiërarchische organisatie):

   • Probleem: Gedrag dat hiërarchisch is opgebouwd, zoals bewegingen die bestaan uit sub-sequenties (chunks).
   • Oplossing: Twee NLSC's worden aan elkaar gekoppeld. Een laag-niveau NLSC produceert de elementaire symbolen, terwijl een hoog-niveau NLSC de volgorde van de chunks regelt. Een specifieke "stop-toestand" in de laag-niveau NLSC triggert een overgang in het externe geheugen van de hoog-niveau NLSC.
   • Resultaat: Dit model toont aan dat het gebruik van een stop-toestand het aantal benodigde neuronen drastisch vermindert bij het produceren van lange, hiërarchische sequenties (bijv. zinnen van woorden). Dit spiegelt de interactie tussen motorische gebieden in de hersenen (laag-niveau effectors vs. hoog-niveau planningsgebieden).

3. Algebraïsche Patronen (Attentional Focus):

   • Probleem: Het produceren van patronen zoals $XYX$, waarbij $X$ en $Y$ rollen zijn die kunnen worden ingevuld met verschillende symbolen.
   • Oplossing: Een architectuur met twee externe geheugencellen (voor $X$ en $Y$) en een "head"-circuit (een NLSC) dat fungeert als een lees-kop. De head schakelt tussen de geheugencellen en stuurt de output-neuronen aan.
   • Resultaat: Dit model imiteert de werking van een lees-kop die door een extern geheugen beweegt. Het toont aan dat gescheiden netwerken voor verschillende rollen efficiënter zijn dan één groot netwerk met meerdere items.

4. Neurale Turing Machines (Behavioral Programs):

   • Probleem: Het uitvoeren van volledige, vooraf gedefinieerde gedragsprogramma's (algoritmen).
   • Oplossing: Door de bovenstaande componenten te combineren (Machine, Head, Extern Geheugen), kunnen de auteurs Neurale Turing Machines assembleren. De machine leest en schrijft op een tape (extern geheugen bestaande uit meerdere NLSC's) en beweegt de kop.
   • Resultaat: Een voorbeeld van een foerageer-taak (plannen, bewegen, eten, hunger-level updaten) wordt succesvol geïmplementeerd. De auteurs tonen aan dat compositional representaties (het opsplitsen van variabelen in meerdere circuits) de benodigde neurale resources verlagen bij gestructureerde taken.

Significantie en Implicaties

• Brug tussen Neurale Dynamica en Symbolische Berekening: De paper biedt een mechanistische verklaring voor hoe neurale netwerken symbolische manipulaties (zoals in Turing machines) kunnen uitvoeren zonder dat ze expliciet geprogrammeerd zijn in een digitale zin. Het verbindt de continuïteit van neurale dynamica met de discretie van computationele toestanden.
• Anatomische Voorspellingen: De auteurs stellen dat corticale kolommen de fysieke implementatie van een NLSC kunnen zijn.
  • L2/3 neuronen zouden kunnen fungeren als poortneuronen voor overgangen (transition gates).
  • L5/6 neuronen zouden kunnen fungeren als output-poorten die communicatie tussen kolommen regelen.
  • Interacties tussen verschillende hersengebieden (bijv. prefrontale cortex, pariëtale cortex, orbitofrontale cortex) kunnen worden gezien als interacties tussen verschillende NLSC's (Head, Machine, Extern Geheugen).
• Beperkingen van Generatieve Grammatica: De studie suggereert dat de hiërarchie van Chomsky (generatieve grammatica) niet de beste manier is om neurale circuits te modelleren. In plaats daarvan sluiten de gevonden temporale structuren (chunks, algebraïsche patronen) beter aan bij de computationele capaciteiten van neurale netwerken (schrijven op geheugen, bewegen door geheugen).
• Quantitatieve Voorspellingen: Door het minimaliseren van het aantal neuronen ($N_{min}$) te berekenen, biedt de theorie kwantitatieve voorspellingen die direct getoetst kunnen worden aan experimentele data (bijv. over de dichtheid van neuronen, connectiviteitsstatistieken en coderingsniveaus in de cortex).

Kortom, deze paper presenteert een unificerend theoretisch raamwerk waarin complexe, temporair gestructureerd gedrag wordt verklaard door de assemblage van eenvoudige, attractor-gebaseerde schakelcircuits, wat een nieuwe kijk biedt op de computationele architectuur van de hersenen.