🧬 biology

Quantifying information stored in synaptic connections rather than in firing activities of neural networks

Dit artikel introduceert een theoretisch raamwerk dat de informatie kwantificeert die is opgeslagen in synaptische connectiedistributies in plaats van in neurale vuuractiviteiten, en dat analytische benaderingen voor wederzijdse informatie afleidt die synergetische interacties tussen synapsen en de dualiteit tussen connectiviteit en populatieactiviteit bij leren en geheugen onthullen.

Oorspronkelijke auteurs: Xinhao Fan, Shreesh P Mysore

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinhao Fan, Shreesh P Mysore

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het Grote Idee: De Bibliotheek versus De Bibliothecaris

Stel je een enorme bibliotheek voor. Lange tijd hebben wetenschappers die bestuderen hoe hersenen (en computerhersenen) werken, zich gericht op de bibliothecaris. Ze keken hoe de bibliothecaris schreeuwde, fluisterde of rondliep (dit is vergelijkbaar met neuronen die "vuren" of signalen sturen). Ze ontdekten dat de acties van de bibliothecaris ons vertellen wat de bibliotheek op dit moment doet.

Maar dit artikel stelt een andere vraag: Wat met de boeken op de planken?

De auteurs betogen dat het echte "geheugen" niet zit in het schreeuwen van de bibliothecaris; het zit in de rangschikking van de boeken (de synaptische verbindingen). Als je de boeken herschikt, verander je wat de bibliotheek weet, zelfs als niemand ze op dat moment leest.

Tot nu toe hadden we geen goed wiskundig hulpmiddel om precies te meten hoeveel informatie er in die rangschikking van boeken is opgeslagen. Dit artikel bouwt dat hulpmiddel.

Het Experiment: Het "Hebbiaanse" Netwerk

Om hun idee te testen, creëerden de auteurs een vereenvoudigd model van een brein genaamd een Hebbiaans netwerk.

De Analogie: Denk aan een enorm web van draden dat duizenden stippen (neuronen) met elkaar verbindt.
De Regel: Wanneer twee stippen tegelijk actief zijn, wordt de draad ertussen strakker of losser. Dit is de "Hebbiaanse" regel: "Cellen die samen vuren, verbinden zich samen."
De Data: Ze stelden zich voor dat de bibliotheek verschillende "verhalen" (datapatronen) ontvangt. Elk verhaal verandert de strakheid van de draden iets.

Het doel was om te berekenen: Als we kijken naar de strakheid van deze draden, hoeveel van het oorspronkelijke verhaal kunnen we dan terugvinden?

Belangrijkste Bevindingen

1. Het "Overvolle Kamer"-Effect (Gedistribueerde Coding)

De Bevinding: Naarmate je meer en meer verhalen aan de bibliotheek toevoegt, neemt de hoeveelheid informatie die elke enkele draad bevat over een specifiek verhaal af.
De Analogie: Stel je voor dat je probeert het gezicht van een specifieke vriend te onthouden in een overvolle kamer.

Als er maar 2 mensen in de kamer zijn, kun je makkelijk zeggen: "Die draad is verbonden met jouw gezicht."
Als er 100 mensen zijn, is diezelfde draad nu onderdeel van een rommelige knoop die met iedereen verbonden is. Het kan geen duidelijk beeld van slechts één persoon meer vasthouden.
De Conclusie: Het brein gebruikt geen systeem van "één draad, één geheugen". In plaats daarvan bevat elke enkele draad een klein, wazig stukje van elk geheugen. De informatie is gedistribueerd over het hele netwerk.

2. De Kracht van de Groep (Synergie)

De Bevinding: Dit is het meest verrassende deel. Als je naar een groep draden samen kijkt, vertellen ze je meer dan alleen de som van hun individuele onderdelen.
De Analogie: Stel je een groep mensen voor die probeert een film te beschrijven.

Persoon A zegt: "Het was donker."
Persoon B zegt: "Het was luid."
Als je die gewoon optelt, krijg je "Donker en Luid".
Maar als je ze samen luistert, besef je dat ze een horrorfilm beschrijven. De combinatie creëert een nieuwe betekenis die geen van beide personen alleen had.
De Conclusie: Synapsen werken als een team. De "synergie" betekent dat het hele netwerk slimmer is dan de som van zijn individuele draden. De auteurs ontdekten dat dit teamwork-effect waar blijft, zelfs bij het bekijken van grote groepen verbindingen (tot wel 20 in hun simulatie).

3. Hoeveel Kunnen We Opslaan?

De Bevinding: Het artikel berekent hoeveel "verhalen" (geheugens) een netwerk kan opslaan op basis van zijn grootte.
De Analogie: Als je de grootte van je bibliotheek verdubbelt (meer planken toevoegt), verdubbel je niet alleen het aantal boeken dat je kunt opslaan. Omdat de boeken met elkaar interageren en ruimte delen, kun je eigenlijk meer dan het dubbele opslaan.

De wiskunde toont aan dat als je het netwerk groter maakt, de opslagcapaciteit iets sneller groeit dan de grootte van het netwerk zelf.

Waarom Dit Belangrijk Is (Volgens Het Artikel)

Het Is Een Nieuwe Lens: Het geeft wetenschappers een manier om geheugen te meten op basis van de structuur (de draden) in plaats van alleen de activiteit (het vuren).
Het Is Niet Alleen "Één Draad": Het bewijst dat je niet naar één enkele verbinding kunt kijken om een geheugen te begrijpen. Je moet kijken naar het ensemble (de groep).
Het Verklaart "Synergie": Het biedt een wiskundig bewijs dat groepen van verbindingen samenwerken om informatie te creëren die in geen enkele enkele verbinding alleen bestaat.

Wat Ze Niet Beweren

Het artikel is een theoretische wiskundestudie.

Ze hebben dit niet getest op echte menselijke hersenen of patiënten.
Ze hebben niet beweerd dat dit Alzheimer direct zal genezen of vandaag een betere AI-robot zal bouwen.
Ze hebben niet gezegd dat dit van toepassing is op elk type hersennetwerk (ze gebruikten een specifiek, vereenvoudigd model genaamd een "dicht Hebbiaans netwerk").

Samenvatting

Denk aan het brein niet als een radio die alleen muziek afspeelt als de schakelaar aan staat (vuren), maar als een gigantisch, complex beeldhouwwerk. De vorm van het beeldhouwwerk (de verbindingen) bevat het geheugen. Dit artikel heeft een nieuwe liniaal uitgevonden om te meten hoeveel "verhaal" er verborgen zit in de vorm van dat beeldhouwwerk, en ontdekt dat het beeldhouwwerk veel collaboratiever en efficiënter is dan we dachten.

1. Probleemstelling

Hoewel informatietheorie al lang wordt gebruikt om informatie te kwantificeren die is gecodeerd in de vuuractiviteiten van neuronen (zowel biologisch als kunstmatig), bestaat er een aanzienlijke theoretische kloof met betrekking tot de kwantificering van informatie die direct is opgeslagen in de verdeling van synaptische verbindingen (gewichten).

Huidige Beperkingen: Bestaande benaderingen bieden ofwel losse bovengrenzen (bijvoorbeeld via ruisinjectie in machine learning) of vertrouwen op het indirect afleiden van synaptische codering via neurale vuurpatronen (bijvoorbeeld door de totale opslagcapaciteit te delen door het aantal synapsen in Hopfield-netwerken).
De Kernuitdaging: In tegenstelling tot neurale vuuractiviteit, die een expliciete mapping naar data heeft, ontstaan synaptische gewichten impliciet uit het leerproces. Dit maakt het afleiden van een gesloten vorm-expressie voor de wederzijdse informatie tussen datapatronen en gewichtsverdelingen wiskundig ondoorzichtig.
Doel: Een theoretisch kader ontwikkelen dat de Shannon-wederzijdse informatie (MI) tussen datapatronen en ensemble's van synaptische verbindingen analytisch kwantificeert, en zo verder gaat dan het perspectief van "vuuractiviteit" naar een "connectiviteit"-perspectief.

2. Methodologie

De auteurs stellen een kader voor op basis van dicht verbonden Hebbiaanse netwerken die auto-associatieve geheugentaken uitvoeren.

Modelopzet:
- Data: $N$ onafhankelijke, $d$ -dimensionale datapatronen $\{x_1, ..., x_N\}$ worden gemodelleerd als multivariate log-normale verdelingen. Deze keuze weerspiegelt de zwaarstaartige statistieken die worden waargenomen in biologische neurale populaties.
- Netwerk: Een volledig verbonden netwerk waarbij synaptische gewichten $w_{ij}$ worden bepaald door de Hebbiaanse leerregel:
  $w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$
- Doel: De wederzijdse informatie $MI(w; x_l)$ berekenen tussen een set synaptische gewichten $w$ en een specifiek datapatroon $x_l$ .
Analytische Afleiding:
- Benadering: Aangezien de som van log-normale variabelen geen gesloten vorm-verdeling heeft, maken de auteurs gebruik van de Fenton-Wilkinson-benadering. Deze methode benadert de som van onafhankelijke log-normale variabelen als een enkele log-normale variabele door de eerste twee momenten (gemiddelde en variantie) aan te passen.
- Enkele Verbinding: Zij leiden de kansverdeling $p(w_{ij})$ en de conditionele verdeling $p(w_{ij}|x_l)$ af (wat een verschoven versie is van de som, exclusief patroon $l$ ).
- Ensemble's: Het kader wordt uitgebreid van enkele verbindingen naar paren en willekeurige $n$ -tupels van verbindingen. De gezamenlijke verdeling van de logaritme van de gewichten wordt benaderd als een multivariate Gaussische verdeling.
- Formules: De auteurs leiden gesloten vorm analytische expressies af voor de wederzijdse informatie voor:
  1. Enkele verbindingen ( $MI(w_{ij}; x_l)$ ).
  2. Paren van verbindingen ( $MI((w_{ij}, w_{mn}); x_l)$ ).
  3. Willekeurige ensemble's van grootte $n$ ( $MI(w; x_l)$ ).
- Kerninzicht: De MI hangt uitsluitend af van de statistische parameters (gemiddelden en covarianties) van de datapatronen die betrokken zijn bij het specifieke synaptische ensemble, waardoor het resultaat context-invariant is met betrekking tot de totale netwerkgrootte.

3. Belangrijkste Bijdragen

Eerste Analytisch Kader voor Synaptische Informatie: Het artikel biedt de eerste gesloten vorm analytische benaderingen voor de Shannon-wederzijdse informatie tussen data en ensemble's van synaptische gewichten, waarbij de noodzaak om neurale dynamica te simuleren wordt omzeild.
Validatie van Gedistribueerde Codering: De resultaten bevestigen wiskundig dat informatie over het netwerk is verdeeld; naarmate het aantal opgeslagen patronen toeneemt, neemt de informatie die in een enkele verbinding is opgeslagen af.
Ontdekking van Synergie: Het kader onthult dat synaptische verbindingen synergetische interacties vertonen. De informatie die door een ensemble van synapsen wordt gecodeerd, is groter dan de som van de informatie die door individuele synapsen wordt gecodeerd ( $E[MI_{ensemble}] > n \times E[MI_{single}]$ ).
Nieuwe Schaalwetten voor Capaciteit: Door de relatie te analyseren tussen netwerkgrootte, ensemble-grootte en opgeslagen patronen, leiden de auteurs een nieuwe schaalwet af voor de capaciteit van Hebbiaanse netwerken die verschilt van traditionele Hopfield-netwerkgrenzen.

4. Belangrijkste Resultaten

De auteurs hebben hun theorie gevalideerd via drie sets simulaties met variërende covariantiestructuren (uitwisselbaar, stochastisch en willekeurig).

Effect van Aantal Datapatronen ( $N$ ):
- De informatie die door een enkele verbinding (of een ensemble) wordt gecodeerd over een specifiek patroon neemt af naarmate het totale aantal opgeslagen patronen ( $N$ ) toeneemt.
- Schaling: $MI \sim N^{-1.0 \text{ tot } -1.2}$ . Dit bevestigt dat nieuwe patronen de informatiecapaciteit van bestaande verbindingen verdunnen, wat het principe van gedistribueerde codering ondersteunt.
Effect van Ensemble-grootte ( $n$ ):
- De totale informatie die door een ensemble van $n$ verbindingen wordt gecodeerd neemt toe naarmate $n$ toeneemt.
- Schaling: $MI \sim n^{1.1}$ .
- Synergie: Cruciaal is dat de gemiddelde informatie per verbinding ($MI/n$) toeneemt naarmate de ensemble-grootte groeit. Dit geeft aan dat verbindingen synergetisch samenwerken; het geheel is groter dan de som der delen. Deze synergie werd waargenomen tot ten minste de 20e orde van interactie.
Netwerkcapaciteit Schaling:
- Door de ensemble-grootte $n$ te relateren aan de netwerkdimensie $d$ (waarbij $n \approx d^2/2$ ) en uitgaande van lineaire informatievereisten per patrooncomponent, leiden de auteurs de totale opslagcapaciteit $P$ (aantal patronen) af ten opzichte van de netwerkgrootte $d$ :
  $P \sim d^{1.2}$
- Dit suggereert een superlineaire opslagcapaciteit voor dichte Hebbiaanse netwerken, wat hoger is dan de lineaire ( $P \sim d$ ) of sublineaire ( $P \sim 0.14d$ ) grenzen die vaak worden aangehaald voor Hopfield-netwerken gebaseerd op ophaaldynamica. De auteurs betogen dat dit de opslagcapaciteit (bovengrens) vertegenwoordigt, terwijl de ophaalcapaciteit lager is vanwege informatieverlies tijdens de uitleesfase.

5. Betekenis en Implicaties

Theoretische Verschuiving: De studie verschuift het paradigma van het analyseren van neurale codering via "spikes" naar het analyseren via "gewichten", en biedt een complementair perspectief op hoe leren en geheugen fysiek worden gerealiseerd.
Biologische Relevantie: De bevindingen ondersteunen het biologische principe dat geheugen niet is gelokaliseerd tot specifieke "grootmoedercellen" of synapsen, maar gedistribueerd en synergetisch is over neurale ensemble's.
Toepassingen in Machine Learning:
- Pruning: Het suggereert dat het snoeien van neurale netwerken uitsluitend op basis van de geïsoleerde informatie-inhoud van een enkel gewicht misleidend is, aangezien de bijdrage van het gewicht context-afhankelijk en synergetisch is.
- Interpreteerbaarheid: Het kader biedt een hulpmiddel om informatieopslag in specifieke circuitmotieven te kwantificeren, wat potentieel "black box" deep learning-modellen interpreteerbaarder maakt.
- Architectuurontwerp: Het impliceert dat de structurele rangschikking van verbindingen (motieven) een cruciale rol speelt in de efficiëntie van informatieopslag.
Robuustheid: De auteurs tonen aan dat hun conclusies (gedistribueerde codering, synergie, capaciteitsschaling) robuust zijn voor de benaderingsfouten geïntroduceerd door de Fenton-Wilkinson-methode, aangezien ze vertrouwen op kwalitatieve trends in plaats van precieze numerieke waarden.

Kortom, dit artikel vestigt een rigoureuze wiskundige basis voor het begrijpen van informatieopslag in synaptische connectiviteit, en onthult dat neurale netwerken informatie efficiënter opslaan door synergetische, gedistribueerde interacties dan tot nu toe werd begrepen door alleen door de lens van vuursnelheden te kijken.