🧬 biology

Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

Dit paper introduceert Correlative Information Maximization als een biologisch plausibel alternatief voor backpropagation dat het probleem van gewichtssymmetrie oplost door het gebruik van twee equivalente vormen van een correlatief wederzijdse informatie-doelwit voor het trainen van diepe neurale netwerken.

Oorspronkelijke auteurs: Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

De Hersenen vs. De Computer: Een Nieuwe Manier om te Leren

Stel je voor dat je een heel slim computerprogramma wilt bouwen dat net zo goed leert als een menselijk kind. Tot nu toe gebruiken we een methode genaamd Backpropagation (terugwaartse voortplanting). Dit werkt geweldig voor computers, maar biologische wetenschappers zeggen: "Dit kan niet echt in de hersenen werken."

Waarom? Omdat Backpropagation vereist dat de computer twee keer dezelfde weg aflegt: een keer om informatie naar voren te sturen (zien, denken) en een keer om de fouten terug te sturen (leren). En het ergste is: de 'weg' terug moet exact hetzelfde zijn als de weg naar voren, tot op de kleinste detail.

De Vergelijking:
Stel je voor dat je een brief naar iemand stuurt. Om te leren of je de brief goed hebt geschreven, moet die persoon een antwoord terugsturen via exact dezelfde postbus en dezelfde envelop die je hebt gebruikt om de brief te sturen. In de echte wereld (en in de hersenen) is dat onmogelijk. Je hersenen hebben geen "spiegelende" wegen. Ze hebben losse, onafhankelijke paden.

De Oplossing: CorInfoMax (Correlatieve Informatie-Maximalisatie)

De auteurs van dit paper, Bariscan Bozkurt en zijn team, hebben een nieuwe manier bedacht die veel meer op de natuur lijkt. Ze noemen het CorInfoMax.

In plaats van te zeggen: "Stuur de fout terug over dezelfde weg," zeggen ze: "Laten we zorgen dat de informatie tussen twee groepen cellen zo goed mogelijk op elkaar aansluit."

De Metafoor: Het Orkest en de Dirigent

Stel je een orkest voor (de neurale netwerken).

De oude methode (Backprop): De dirigent (de computer) luistert naar het orkest, loopt naar elke muzikant, en fluistert in hun oor: "Jij speelde te hard, jij te zacht." Maar hij moet dit doen via een magische telefoonlijn die exact dezelfde bedrading gebruikt als de muziek die ze spelen. Dat is onrealistisch.
De nieuwe methode (CorInfoMax): De dirigent heeft twee verschillende rollen.
1. De Vooruitkijker: Hij kijkt naar wat de muzikant nu doet en probeert te voorspellen wat de volgende muzikant gaat doen.
2. De Achteruitkijker: Hij kijkt naar wat de volgende muzikant doet en probeert te voorspellen wat de huidige muzikant zou moeten hebben gedaan.

Door deze twee voorspellingen te vergelijken, kunnen de muzikanten (neuronen) zichzelf corrigeren zonder dat ze een magische, gespiegelde telefoonlijn nodig hebben. Ze leren gewoon door te kijken naar de samenhang tussen de groepen.

Hoe werkt dit in de hersenen? (De Drie-Kamer Neuronen)

Het mooie van deze nieuwe methode is dat het niet alleen een wiskundig trucje is, maar dat het leidt tot een structuur die lijkt op echte hersencellen.

Stel je een typische hersencel voor als een huis met drie kamers:

De Keuken (Soma): Hier gebeurt het hoofdwerk, hier wordt de 'beslissing' genomen.
De Voordeur (Basale Dendrieten): Hier komen signalen binnen van de vorige kamer (voeding van onderop).
Het Zolderkamer (Apicale Dendrieten): Hier komen signalen binnen van de volgende kamer of van bovenaf (feedback).

In het nieuwe systeem:

De Keuken vergelijkt wat er binnenkomt via de Voordeur met wat er binnenkomt via het Zolderkamer.
Als ze niet overeenkomen, past de cel zich aan.
Er zijn ook Nachtwakers (Interneuronen) die zorgen dat de kamer niet te druk wordt (ze remmen de activiteit, net als in de echte hersenen).

Dit betekent dat het netwerk niet alleen leert, maar ook drukt (compressie) en selecteert (wat is belangrijk?), precies zoals de hersenen dat doen.

Waarom is dit belangrijk?

Geen "Spiegelbeeld" meer: Het grootste probleem van de oude methode (dat de terugweg exact hetzelfde moet zijn als de vooruitweg) is opgelost. De weg naar voren en de weg terug zijn nu verschillend, net zoals in de echte natuur.
Biologisch geloofwaardig: Het model gebruikt cellen met meerdere kamers en interneuronen, wat veel meer lijkt op hoe onze hersenen echt zijn opgebouwd.
Het werkt: De auteurs hebben getoond dat dit systeem net zo goed (of zelfs beter) presteert als de oude methoden op taken zoals het herkennen van handschrift (MNIST) of kleding (Fashion-MNIST) en auto's (CIFAR10).

Samenvatting in één zin

In plaats van te proberen de hersenen te laten werken met een onmogelijke "spiegelende" terugweg, gebruiken deze onderzoekers een slimme methode waarbij elke laag van het netwerk zowel naar voren als naar achteren voorspelt wat er gebeurt, waardoor het leert op een manier die natuurgetrouw, efficiënt en biologisch mogelijk is.

Het is alsof je stopt met proberen een brief terug te sturen via dezelfde envelop, en begint met een gesprek waarbij beide partijen actief luisteren en hun verwachtingen aanpassen aan de ander.

Probleemstelling

Het trainen van kunstmatige neurale netwerken (ANN's) wordt momenteel gedomineerd door het backpropagation-algoritme. Hoewel dit algoritme uitzonderlijk succesvol is, wordt zijn biologische plausibiliteit sterk bekritiseerd. De belangrijkste bezwaren zijn:

Het probleem van gewichtssymmetrie (Weight Symmetry): Backpropagation vereist dat de synaptische gewichten in het terugwaartse pad (voor het doorgeven van fouten) exact de getransponeerde zijn van de gewichten in het voorwaartse pad (voor inferentie). In biologische neurale systemen is het onwaarschijnlijk dat neurale circuits deze strikte symmetrie kunnen handhaven of dat er een mechanisme bestaat voor het "transporteren" van gewichtsinformatie van de output naar de input.
Vereenvoudigde neuronmodellen: Traditionele ANN's gebruiken vaak punt-neuronen, terwijl biologische neuronen (zoals piramidecellen) complexe, meervoudige compartimenten hebben (soma, basale en distale apicale dendrieten) die verschillende soorten input verwerken.
Credit Assignment: Het is een open vraag hoe het brein op een biologisch plausibele manier verantwoordelijkheid toekent aan synapsen in diepe netwerken voor supervisie.

Methodologie: Correlative Information Maximization (CorInfoMax)

De auteurs stellen een nieuw normatief raamwerk voor genaamd Correlative Information Maximization (CorInfoMax). In plaats van het minimaliseren van een verliesfunctie via backpropagation, maximaliseren ze de lineaire afhankelijkheid tussen de activaties van opeenvolgende lagen in een netwerk.

Kernconcepten:

Correlatieve wederzijdse informatie (CMI): De doelstelling is om de CMI tussen twee opeenvolgende lagen $r^{(k)}$ en $r^{(k+1)}$ te maximaliseren. CMI is gebaseerd op tweede-orde statistieken (correlatiematrix) en is makkelijker te optimaliseren dan Shannon-wederzijdse informatie.
Twee equivalente vormen: Een cruciaal inzicht is dat CMI op twee manieren kan worden uitgedrukt:
1. Voorwaartse voorspelling: Het maximaliseren van de informatie van $r^{(k)}$ over $r^{(k+1)}$ (minimaliseren van de voorspellingsfout van laag $k+1$ op basis van $k$ ).
2. Terugwaartse voorspelling: Het maximaliseren van de informatie van $r^{(k+1)}$ over $r^{(k)}$ (minimaliseren van de voorspellingsfout van laag $k$ op basis van $k+1$ ).
Oplossing voor gewichtssymmetrie: Door beide vormen van CMI te gebruiken, ontstaan er twee aparte voorspellingsnetwerken: een voorwaarts voorspellend netwerk en een terugwaarts voorspellend netwerk. Deze hebben asymmetrische gewichten ( $W_{ff} \neq W_{fb}^T$ ), wat het probleem van gewichtstransport oplost zonder dat er een expliciete symmetrische structuur nodig is.
Meervoudige compartimenten en neurale dynamica: De optimalisatie van de CMI-doelstelling leidt natuurlijk tot een netwerkarchitectuur die bestaat uit drie-compartiment piramidecellen:
- Soma: Verwerkt de som van input.
- Basale dendrieten: Ontvangen voorwaartse input ( $W_{ff}$ ).
- Distale apicale dendrieten: Ontvangen terugwaartse input ( $W_{fb}$ ) en laterale input.
- Interneuronen: Laterale inhiberende verbindingen (SST-interneuronen) worden geïntroduceerd om de entropie van de laag te maximaliseren en redundantie te verminderen.
Leringsdynamica: Het netwerk gebruikt Equilibrium Propagation (EP). Het leren gebeurt in twee fasen:
1. Vrije fase: Het netwerk convergeert naar een evenwichtstoestand zonder externe correctiesignaal.
2. Gestoten fase (Nudged phase): Een klein correctiesignaal (gerelateerd aan de labelfout) wordt toegevoegd.
  De synaptische updates worden berekend op basis van het verschil in neuronale activiteit tussen deze twee fasen, wat lokale leerregels mogelijk maakt.

Belangrijkste Bijdragen

Oplossing voor het gewichtssymmetrie-probleem: Het paper biedt een principieel bewijs dat het maximaliseren van correlatieve wederzijdse informatie leidt tot asymmetrische voorwaartse en terugwaartse paden, waardoor de biologisch onwaarschijnlijke vereiste van getransporteerde gewichten wordt verwijderd.
Normatieve afleiding van biologische structuren: De auteurs tonen aan dat complexe biologische structuren (meervoudige compartimenten, laterale inhibities, autapsen) niet a priori worden opgelegd, maar natuurlijk voortvloeien uit de optimalisatie van de informatie-theoretische doelstelling.
Biologisch plausibele supervisie: Het framework combineert supervisie (via een MSE-verlies op de output) met een biologisch plausibele leermechanisme dat geen backpropagation vereist.
Compressie en sparse representaties: Door polytope beperkingen (zoals niet-negativiteit en $\ell_1$ -norm ballen) op de activaties toe te passen, wordt informatiecompressie en het vormen van sparse representaties geforceerd, wat overeenkomt met waarnemingen in het cortex.

Resultaten

De auteurs hebben hun methode getest op beeldclassificatietaken met de datasets MNIST, Fashion-MNIST en CIFAR10.

Prestaties: CorInfoMax-netwerken behalen prestaties die vergelijkbaar zijn met of zelfs beter zijn dan andere biologisch plausibele methoden zoals Equilibrium Propagation (EP), Contrastive Similarity Matching (CSM) en Predictive Coding (PC).
- Op MNIST bereikten ze ~97.6% nauwkeurigheid.
- Op CIFAR10 bereikten ze ~51.8% nauwkeurigheid (tegenover ~49% voor EP en ~53% voor standaard Backpropagation).
Asymmetrie: Numerieke metingen van de hoek tussen de voorwaartse gewichten en de getransponeerde terugwaartse gewichten tonen aan dat deze hoek significant afwijkt van 0 graden (perfecte symmetrie) en zelfs 90 graden (orthogonaliteit) nadert. Dit bevestigt dat de gewichten effectief asymmetrisch zijn.
Architectuur: De experimenten bevestigen dat het netwerk stabiel leert met zowel niet-negatieve beperkingen ( $B_{\infty,+}$ ) als sparsiteitsbeperkingen ( $B_{1,+}$ ), waarbij de laatste interneuronen vereist voor de $\ell_1$ -constraint introduceert.

Betekenis en Conclusie

Dit paper is een significante stap in de zoektocht naar een biologisch plausibel alternatief voor backpropagation. Het toont aan dat supervisie in diepe netwerken kan worden bereikt zonder de onrealistische aanname van gewichtssymmetrie.

Theoretisch: Het verbindt informatie-theoretische principes (maximalisatie van correlatie) direct met de structuur van neurale circuits (compartimentele neuronen, interneuronen).
Praktisch: Hoewel de huidige implementatie op digitale hardware trager is dan standaard backpropagation (vanwege de iteratieve dynamica), is het framework bij uitstek geschikt voor toekomstige neuromorfe hardware. Omdat de leerregels lokaal zijn en geen globale backpropagatie vereisen, kunnen ze efficiënt en energiezuinig worden geïmplementeerd in chips die het brein nabootsen.

Kortom, CorInfoMax biedt een robuust theoretisch fundament voor hoe het brein mogelijk leert door voorspelling en informatie-optimalisatie in plaats van door het transporteren van foutsignalen via symmetrische gewichten.