🧬 biology

Self-orthogonalizing attractor neural networks emerging from the free energy principle

Dit artikel toont aan dat zelf-orthogonaliserende attractor-neurale netwerken op natuurlijke wijze voortkomen uit het vrije-energieprincipe toegepast op willekeurige dynamische systemen, wat leidt tot biologisch plausibele, meerlagige Bayesiaanse actieve inferentiedynamica die voorspellende nauwkeurigheid en modelcomplexiteit optimaliseren zonder dat expliciet opgelegde leerregels vereist zijn.

Oorspronkelijke auteurs: Tamas Spisak, Karl Friston

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tamas Spisak, Karl Friston

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je je brein (of een slimme computer) voor als een enorme, drukke stad. In deze stad zijn er miljoenen kleine arbeiders (neuronen) die voortdurend met elkaar praten. Meestal denken we dat deze arbeiders een baas nodig hebben om te vertellen wat ze moeten doen, of een leraar om te laten zien hoe ze moeten leren. Maar dit artikel stelt iets anders voor: de stad organiseert zichzelf.

De auteurs, Tamas Spisak en Karl Friston, gebruiken een groot idee genaamd het Principe van Vrije Energie om uit te leggen hoe deze zelforganisatie plaatsvindt. Denk aan 'Vrije Energie' niet als een batterij, maar als een maatstaf voor verrassing. Als de stad voortdurend verrast wordt door wat er buiten gebeurt (zoals een plotselinge storm of een nieuw gebouw), bevindt het zich in een toestand van hoge 'vrije energie'. Om te overleven en stabiel te blijven, wil de stad deze verrassing minimaliseren.

Hieronder legt het artikel de magie van deze zelforganiserende stad uit, opgesplitst in eenvoudige concepten:

1. De 'Zelforganiserende' Stad

Stel je een zwerm vogels voor. Geen enkele vogel is de leider die de anderen vertelt waar ze moeten vliegen. In plaats daarvan volgt elke vogel gewoon eenvoudige lokale regels (blijf dicht bij buren, bots niet). Toch beweegt de hele zwerm als één mooi, gecoördineerd geheel.

Dit artikel stelt dat het brein op dezelfde manier werkt. Het heeft geen centrale programmeur nodig om zijn leerschema's in te stellen. In plaats daarvan probeert elk klein deel van het netwerk zijn eigen 'verrassing' te verminderen door te voorspellen wat zijn buren doen. Wanneer iedereen dit lokaal doet, ontstaat er een globaal patroon. Deze patronen worden Aantrekkingskrachten (Attractors) genoemd.

De Analogie: Denk aan een aantrekkingskracht als een vallei in een heuvelachtig landschap. Als je een bal (een gedachte of een herinnering) ergens op de heuvel laat rollen, zal deze van nature naar de dichtstbijzijnde vallei rollen en daar blijven. Het brein creëert deze 'valleien' voor dingen die het herkent, zoals een gezicht of een woord.

2. De Magische Truc: 'Zelf-Orthogonaliseren'

De meest opwindende ontdekking in dit artikel is hoe deze 'valleien' (aantrekkingskrachten) zich ordenen.

Meestal, als je een computer leert twee vergelijkbare dingen te herkennen (zoals de letters 'O' en 'Q'), kan het verward raken omdat de patronen te veel op elkaar lijken. Maar dit artikel toont aan dat het zelforganiserende systeem van het brein deze patronen van nature uit elkaar duwt totdat ze orthogonaal zijn.

De Analogie: Stel je een set zaklampen voor in een donkere kamer.

Slechte Organisatie: Je richt alle zaklampen op dezelfde plek. De stralen overlappen, en het is moeilijk te zeggen welke lichtbron welke is.
Orthogonale Organisatie: Het artikel stelt dat het brein de zaklampen automatisch zo kantelt dat ze in volledig verschillende richtingen wijzen (zoals de X-, Y- en Z-as). Ze overlappen niet.

Door dit te doen, creëert het brein een 'schoone' kaart van de wereld. Het leert herinneringen op te slaan op een manier waarop ze elkaar niet verstoren. Dit maakt het ongelooflijk goed in generaliseren: als je een lichtjes wazige 'O' ziet, weet het brein precies in welke 'vallei' het moet rollen, omdat de 'O'-vallei perfect onderscheiden is van de 'Q'-vallei.

3. Leren Zonder Leraar

Hoe leert de stad deze patronen? Het artikel beschrijft een eenvoudige, lokale regel die automatisch gebeurt:

Hebbiaans Leren (De 'Ja'-regel): Als twee arbeiders vaak met elkaar praten, komen ze dichter bij elkaar.
Anti-Hebbiaans Leren (De 'Nee'-regel): Als de arbeiders al uitleggen wat er gebeurt, stoppen ze met elkaar versterken om redundantie te voorkomen.

De Analogie: Stel je een groep vrienden voor die probeert een film te beschrijven.

Als twee vrienden hetzelfde zeggen, stoppen ze met herhalen (om energie te besparen).
Als een vriend iets nieuws zegt dat de anderen niet hadden voorspeld, besteden ze er aandacht aan.
Na verloop van tijd creëert de groep een perfecte, niet-redundante samenvatting van de film waarbij elke vriend een uniek stukje van de puzzel bijdraagt. Zo leert het netwerk om efficiënt te zijn en 'catastrofaal vergeten' te voorkomen (oude dingen vergeten bij het leren van nieuwe dingen), omdat de 'valleien' zo goed georganiseerd zijn dat ze niet met elkaar botsen.

4. Dromen en Sequenties

Het artikel toont ook wat er gebeurt als de data in een specifieke volgorde binnenkomt (zoals een verhaal of een reeks nummers).

Willekeurige Data: Het netwerk bouwt stabiele, statische 'valleien' (zoals het herkennen van een gezicht).
Sequentiële Data: Het netwerk bouwt paden tussen de valleien.

De Analogie: Als je het netwerk de reeks '1, 2, 3' leert, bouwt het niet gewoon drie aparte valleien. Het bouwt een glijbaan die van nature stroomt van de '1'-vallei naar de '2'-vallei, en dan naar de '3'-vallei. Zelfs als je het licht uitschakelt (de invoer verwijdert), kan het netwerk deze reeks 'dromen' of 'opnieuw afspelen', van 1 naar 2 naar 3 rollen, automatisch. Zo leert het brein misschien om te lopen, te spreken of een verhaal in de juiste volgorde te onthouden.

5. Waarom Dit Belangrijk Is voor AI en Breinen

Het artikel beweert dat dit niet zomaar een coole wiskundige truc is; het is een fundamentele manier waarop de natuur werkt.

Voor Breinen: Het legt uit hoe het brein zo robuust kan zijn. Zelfs als je ruisige, wazige invoer hebt (zoals een gezicht zien in de mist), zijn de 'valleien' van het brein zo goed georganiseerd dat het toch het juiste antwoord kan raden. Het legt ook uit waarom we oude herinneringen niet vergeten als we nieuwe leren: de 'valleien' zijn perfect gespreid.
Voor AI: Huidige AI heeft vaak enorme hoeveelheden data en specifieke instructies nodig om te leren. Dit artikel suggereert dat als we AI bouwen die deze zelforganiserende regels volgt, het efficiënter kan leren, beter met ruis om kan gaan en dingen langer kan onthouden zonder dat een mens het constant opnieuw moet trainen.

Samenvatting

Kortom, dit artikel stelt dat je geen brein of slimme AI hoeft te programmeren met complexe regels. Als je het gewoon een eenvoudig doel geeft – verrassing minimaliseren – zal het van nature zichzelf organiseren in een zeer efficiënt systeem. Het zal onderscheidende, niet-overlappende herinneringen creëren (orthogonale aantrekkingskrachten), sequenties leren als een verhaal, en zelfs 'dromen' om te versterken wat het heeft geleerd, allemaal vanzelf.

Technische Samenvatting: Zelf-orthogonaliserende Aantrekker-neurale Netwerken die Voortkomen uit het Principe van Vrije Energie

Probleemstelling
Aantrekkingsdynamica zijn fundamenteel voor complexe systemen, inclusief het brein, en fungeren als mechanismen voor geheugen, besluitvorming en motorische controle. Er bestaat echter een fundamentele kloof in het begrijpen hoe dergelijke zelforganiserende aantrekker-netwerken ontstaan uit eerste principes zonder expliciet opgelegde leer- of inferentieregels. Traditionele modellen vertrouwen vaak op ad hoc-leerregels (bijvoorbeeld Hebbiaans leren, contrastdivergentie) die ontberen een verenigde afleiding vanuit de thermodynamische of inferentiële beperkingen die biologische systemen beheersen. Het artikel adresseert de noodzaak om adaptieve zelforganisatie af te leiden uit het Principe van Vrije Energie (FEP), waarbij een netwerk niet alleen fungeert als een aantrekkersysteem, maar zich ook "zelf bouwt" via lokale interacties.

Methodologie
De auteurs formaliseren het ontstaan van aantrekker-netwerken door het Principe van Vrije Energie toe te passen op een "universele partitionering" van stochastische dynamische systemen, met name gebruikmakend van het concept van diepe particuliere partitioneringen.

Theoretisch Kader:
- Diepe Particuliere Partitioneringen: Het systeem wordt ontleed in een hiërarchie van "subdeeltjes" (microscopische eenheden), elk met interne toestanden ( $\sigma_i$ ), sensorische toestanden ( $s_{ij}$ ) en actieve toestanden ( $a_{ij}$ ). Deze subdeeltjes zijn gescheiden van externe toestanden door een Markov-deken, wat zorgt voor conditionele onafhankelijkheid ( $\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$ ).
- Generatief Model: De interne toestanden worden gemodelleerd als continue Bernoulli-variabelen (afgeknotte exponentiële verdelingen) met a priori-bias. De koppeling tussen subdeeltjes wordt gedefinieerd door een gewichtsmatrix $J$ .
- Minimalisatie van Variationale Vrije Energie (VFE): De kernafleiding veronderstelt dat het systeem, om te blijven bestaan, de variationele vrije energie moet minimaliseren. Deze minimalisatie wordt lokaal uitgevoerd bij elke knoop (subdeeltje) met betrekking tot zijn interne toestanden en koppelingen.
Afleiding van Dynamica:
- Inferentie: Het minimaliseren van VFE met betrekking tot interne toestanden levert een stochastische updateregel op. De verwachte waarde van de toestand volgt een Langevin-functie (een sigmoidale activatie), gedreven door de som van een a priori-bias en gewogen inputs van buren. Dit resulteert in het gedrag van een continue-stoetochastisch Hopfield-netwerk.
- Leren: Het minimaliseren van VFE met betrekking tot de koppelingen (gewichten) levert een lokale leerregel op. Deze regel neemt de vorm aan van een contrastupdate: $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$ . De eerste term is Hebbiaans (potentiatie op basis van correlatie) en de tweede is anti-Hebbiaans (depressie op basis van voorspellingsfout). Cruciaal is dat deze regel geen aparte "geklampde" en "vrijlopende" fasen vereist (in tegenstelling tot Contrastive Divergence), maar instantane correlaties gebruikt.
Simulatieprotocol:
- De auteurs hebben de afgeleide regels geïmplementeerd in Python en JAX.
- Simulaties 1–2: Getraind op gecorreleerde patronen (beelden van handgeschreven cijfers) om orthogonalisatie en generalisatie te testen onder variërende precisie (inverse temperatuur) en bewijskracht.
- Simulatie 3: Getraind op sequentiële data om het ontstaan van antisymmetrische koppelingen en sequentiedynamica te testen.
- Simulatie 4: Getest op weerstand tegen catastrofaal vergeten via "vrijlopende" (nul-bias) spontane activiteit.
- Simulatie 5: Geëvalueerd op schaalbaarheid en geheugencapaciteit tot 50.000 knopen.
- Simulatie 6: Toegepast op de Olivetti-gezichten dataset (4096 knopen) om prestaties te testen op naturalistische, hoogdimensionale data.

Belangrijkste Bijdragen

Afleiding van Zelforganiserende Regels: Het artikel toont aan dat aantrekker-netwerken, inclusief hun leer- en inferentiedynamica, natuurlijk voortkomen uit de toepassing van FEP op diepe particuliere partitioneringen, waardoor de noodzaak voor extern opgelegde leerregels overbodig wordt.
Ontstaande Zelf-orthogonalisatie: Een centrale bevinding is dat de afgeleide leerregel het netwerk inherent drijft naar ongeveer orthogonalen aantrekkerrepresentaties. Door modelcomplexiteit (redundantie) te minimaliseren naast voorspellende nauwkeurigheid, straft het netwerk overlappende aantrekkers af. Dit resulteert in een reeks aantrekkers die het input-deelruimte efficiënt beslaan, hetgeen doet denken aan "projector-neurale netwerken" (Kanter-Sompolinsky) die maximale geheugencapaciteit bieden.
Verenigde Inferentie en Leren: Het kader verenigt inferentie en leren als twee facetten van VFE-minimalisatie. Inferentie update toestanden om overeen te komen met bewijs, terwijl leren koppelingen update om toekomstige verrassing te minimaliseren; dit alles gebeurt gelijktijdig in een continu-leerregime.
Generalisatie van Boltzmann-machines: De afgeleide netwerken generaliseren conventionele Boltzmann-machines.
- Met willekeurige data convergeren ze naar symmetrische koppelingen (Boltzmann-achtig).
- Met sequentiële data ontwikkelen ze antisymmetrische koppelingen, wat niet-evenwichts-steady-state (NESS)-dynamica creëert met solenoïdale (rotatoire) stromen. Dit stelt het netwerk in staat om temporele sequenties (heterokliene cycli) te leren en op te halen zonder de stationaire verdeling van het onderliggende energielandschap te wijzigen.
Robuustheid tegen Catastrofaal Vergeten: De stochastische aard van de dynamica stelt het netwerk in staat om spontaan aantrekkers te "herhalen" tijdens vrijlopende fasen. Deze activiteit versterkt bestaande aantrekkers en voorkomt het verlies van geleerde representaties wanneer nieuwe data wordt geïntroduceerd, wat catastrofaal vergeten effectief mitigeert.

Resultaten

Vorming van Orthogonale Basis: Simulaties bevestigden dat wanneer getraind op gecorreleerde inputs, de aantrekkers van het netwerk ongeveer orthogonaal worden (bijvoorbeeld het verminderen van correlatie van $r=0.77$ naar $r=-0.19$ ). Deze orthogonalisatie was het meest effectief in een "balaanse regime" van intermediate precisie.
Generalisatie: De georthogonaliseerde aantrekkers stelden het netwerk in staat om te generaliseren naar ongezette data (een-op-een leren) door quasi-orthogonale basistoestanden te combineren, en presteerde beter dan standaard Hopfield-netwerken bij reconstructietaken vanuit ruisige inputs.
Sequentieleren: Wanneer geconfronteerd met sequentiële data, ontwikkelde de koppelingsmatrix een significant antisymmetrisch component. Dit stelde het netwerk in staat om spontaan de geleerde sequentie (1→2→3→...) te genereren bij afwezigheid van externe input, gedreven door waarschijnlijkheidsstromen langs iso-energiecontouren.
Schaalbaarheid en Capaciteit: Het netwerk toonde geheugencapaciteiten die aanzienlijk de klassieke Hopfield-grens ( $\sim 0.14N$ ) overtroffen, en benaderden de projector-netwerkgrens ( $K \approx N$ ) als gevolg van emergente orthogonalisatie. De schaalbaarheid van de runtime werd bevestigd als $O(N^2)$ , consistent met de analytische complexiteit.
Gezichtsherkenning: Op de Olivetti-gezichten dataset reconstrueerde het netwerk succesvol identiteiten uit zwaar gecorrumpeerde inputs door ruisige sensorische bewijsvoering te integreren met geleerde aantrekker-gebaseerde priors, wat robuuste Bayesiaanse inferentie demonstreerde.

Beteekenis en Claims

Het artikel claimt een verenigde theorie te bieden voor zelforganiserende aantrekker-netwerken die neurowetenschap en kunstmatige intelligentie overbrugt.

Voor Neurowetenschap: De bevindingen bieden een normatieve verklaring voor waarom biologische neurale netwerken Hebbiaanse/anti-Hebbiaanse plasticiteit, spontane activiteit en orthogonale representaties kunnen vertonen. Het suggereert dat het vermogen van het brein om actieve inferentie uit te voeren en stabiele geheugens te onderhouden zonder expliciete programmering, voortkomt uit het fundamentele imperatief om vrije energie te minimaliseren. Het ontstaan van orthogonale aantrekkers wordt voorgesteld als een signatuur van FEP-gedreven systemen, die potentieel detecteerbaar zijn in grootschalige hersendata (bijvoorbeeld rusttoestand-netwerken).
Voor Kunstmatige Intelligentie: Het kader biedt een principiële alternatief voor backpropagation en contrastdivergentie. Het maakt continu leren en weerstand tegen catastrofaal vergeten mogelijk door spontane dynamica. De afgeleide leerregel is computationeel efficiënt (geen vrijlopende fase) en ondersteunt op natuurlijke wijze sequentieleren en generalisatie.
Theoretische Implicaties: Het werk postuleert dat de scheiding van de koppelingsmatrix in symmetrische (perceptie/energieminimalisatie) en antisymmetrische (actie/planning/solenoïdale stroming) componenten mogelijk een diepere formele correspondentie weerspiegelt met de dubbele doelstellingen van het FEP.

De auteurs handhaven een bescheiden houding met betrekking tot beperkingen, en erkennen dat de $O(N^2)$ -geheugenfootprint prohibitief is voor zeer grote netwerken zonder schaarse benaderingen, en dat de huidige simulaties beperkt zijn tot enkel-laags architecturen. Zij suggereren dat toekomstig werk hiërarchische diepe partitioneringen moet verkennen en implementatie op thermodynamische of memristieve hardware, om gebruik te maken van het lokale, stochastische karakter van de updates.