🧬 biology

Toward a mechanistic understanding of inference in visual cortex and diffusion models

Dit artikel presenteert een minimaal, interpreteerbaar diffusiemodel gebaseerd op sparse coding met paarinteracties dat de horizontale verbindingen van V1 nabootst om hoogwaardige beeldruisonderdrukking te bereiken, terwijl het mechanistische inzichten biedt in zowel biologische perceptuele inferentie als de interne werking van black-box diffusiearchitecturen.

Oorspronkelijke auteurs: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Gepubliceerd 2026-07-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zeyu Yun, Alexander Belsten, Dasheng Bi, Zahra Kadkhodaie, Yubei Chen, Bruno A. Olshausen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Het detectivewerk van het brein en de AI-droommachine

Stel je voor dat je een mysterie probeert op te lossen, maar de aanwijzingen zijn verspreid, wazig en de helft ervan ontbreeft. Dit is precies wat er gebeurt elke keer dat je naar de wereld kijkt. Je ogen maken niet simpelweg een perfecte foto; ze ontvangen een rommelige bende van licht en schaduwen. Om hier betekenis aan te geven, moet je brein als een detective optreden, de gaten invullen en raden hoe het volledige plaatje eruitziet. Dit proces wordt "perceptuele inferentie" genoemd. Decennialang hebben wetenschappers zich afgevraagd hoe het brein dit zo moeiteloos doet. Ze weten dat neuronen in de visuele cortex (het deel van het brein dat ziet) op specifieke manieren met elkaar verbonden zijn, zoals een web van vrienden die met elkaar praten om overeenstemming te bereiken over wat ze zien.

Tegelijkertijd is er een nieuw soort kunstmatige intelligentie genaamd een "diffusiemodel" beroemd geworden door het creëren van prachtige afbeeldingen. Deze AI-systemen werken door te beginnen met pure statische ruis—zoals de sneeuw op een oude tv-scherm—en deze langzaam op te schonen totdat er een helder beeld verschijnt. Ze zijn ongelooflijk goed in dit proces, maar ze zijn ook "black boxes". We weten dat ze werken, maar we weten niet echt hoe de miljoenen kleine digitale neuronen binnenin beslissen hoe een hond of een gezicht eruit zou moeten zien. De grote vraag is: gebruiken het brein en deze AI-modellen dezelfde geheime trucs om het puzzelstukje van het zicht op te lossen? Als we de regels kunnen ontdekken die de AI volgt, begrijpen we misschien eindelijk hoe onze eigen hersenen werken.

Het grote idee van het paper: Een simpel model met een groot brein

Dit paper introduceert een nieuw, vereenvoudigd model dat probeert de kloof te overbruggen tussen hoe ons brein ziet en hoe AI afbeeldingen genereert. De auteurs, een team van onderzoekers van UC Berkeley en andere instellingen, bouwden een computerprogramma dat de primaire visuele cortex (V1) nabootst, de eerste halte voor visuele informatie in het brein. In plaats van een massaal, ingewikkeld deep learning-netwerk te gebruiken dat onmogelijk te lezen is, creëerden ze een "minimaal" model gebaseerd op een concept genaamd sparse coding (ijle codering).

Zie sparse coding als een puzzel waarbij je slechts een paar specifieke stukjes gebruikt om een plaatje te bouwen. In het brein betekent dit dat slechts een klein aantal neuronen op elk gegeven moment vuurt om een afbeelding te representeren. De auteurs namen dit idee en voegden er een draai aan toe: ze lieten de neuronen op een specifieke manier met elkaar communiceren. In standaardmodellen worden neuronen vaak behandeld als onafhankelijke werkers. Maar in dit nieuwe model gaven de auteurs de neuronen een "sociaal netwerk" (een interactiematrix) dat hen in staat stelt elkaar te beïnvloeden. Dit stelt het model in staat om te leren dat als één deel van een afbeelding een lijn omhoog heeft, het volgende deel waarschijnlijk die lijn voortzet, zelfs als de afbeelding ruizig of beschadigd is.

Wat ze vonden: Het "sociale netwerk" van het brein

Toen de onderzoekers dit model trainden op natuurlijke afbeeldingen (zoals foto's van landschappen en objecten), gebeurde er iets fascinerends. Het "sociale netwerk" dat het model leerde, leek exact op de fysieke verbindingen die in het echte menselijke brein worden gevonden. Specifiek ontwikkelde het model sterke verbindingen tussen neuronen die afgestemd waren op vergelijkbare hoeken en in een rij waren opgesteld. Dit staat bekend als collineaire facilitatie.

In de echte wereld is dit de reden waarom je gemakkelijk een slang ziet door het hoge gras slingeren, zelfs als delen van de slang verborgen zijn. Je brein verbindt de punten. Het paper laat zien dat dit model hetzelfde kan doen. Toen ze het een afbeelding lieten zien met een gebroken, verborgen contour (zoals een lijn die achter een wolk verdwijnt), gokte het model niet zoma van welk willekeurig patroon. Het gebruikte zijn geleerde verbindingen om de ontbrekende lijn "in te vullen", waardoor een vloeiende, continue curve ontstond. Deze prestatie was bijna net zo goed als die van de enorme, complexe AI-modellen, maar met een groot voordeel: omdat hun model simpel is, konden de onderzoekers er daadwerkelijk in kijken om te zien hoe het werkte.

Het geheime ingrediënt: Hoe de AI "denkt"

Een van de meest opwindende ontdekkingen in het paper is hoe het model het "invulproces" afhandelt. De auteurs braken de wiskunde af om aan te tonen dat het model niet simpelweg gokt, maar activiteit verspreidt als een rimpeling in een vijver. Wanneer een neuron een deel van een lijn detecteert, stuurt het een signaal naar zijn buren. Als die buren ook actief en uitgelijnd zijn, wordt het signaal sterker, wat het idee versterkt dat er daar een lijn bestaat. Als de buren niet uitgelijnd of inactief zijn, wordt het signaal afgebroken.

Het paper suggereert dat dit proces een "hiërarchie" creëert, ook al heeft het model slechts één laag. Ongeveer 30% van de neuronen in het model leerde zich volledig los te koppelen van de directe visuele input. Deze "losgekoppelde neuronen" fungeren als een tweede, verborgen laag die het model helpt het grote plaatje te begrijpen. Ze zien de pixels niet; in plaats daarvan helpen ze bij het handhaven van globale regels, zoals ervoor zorgen dat beide ogen op een gezicht op de juiste plek ten opzichte van elkaar staan. Dit verklaart hoe het model een heel nieuw gezicht kan genereren dat er realistisch uitziet, zelfs als het dat exacte gezicht nooit eerder heeft gezien. Het is geen geheugensteuntje; het is het begrijpen van de geometrie van een gezicht.

Waarom dit ertoe doet: Van AI naar biologie

Het paper suggereert dat het complexe, mysterieuze gedrag van moderne AI-diffusiemodellen in werkelijkheid gedreven kan worden door dezelfde simpele, biologische principes die in onze visuele cortex worden gevonden. De "black box" van deep learning is misschien gewoon een zeer ingewikkelde versie van de simpele, recurrente circuits die de auteurs bouwden.

Door te bewijzen dat een simpel, interpreteerbaar model de prestaties van gigantische AI-systemen kan evenaren, bieden de auteurs een nieuwe manier om het brein te bestuderen. Ze stellen voor dat het visuele systeem deze specifieke verbindingen gebruikt om ambiguïteit op te lossen, waardoor een ruisige, verwarrende wereld wordt omgezet in een helder, samenhangend beeld. Dit is niet alleen een theorie; de voorspellingen van het model over hoe neuronen moeten reageren op verschillende soorten ruis komen overeen met recente experimenten in echte biologische breinen.

Kortom, dit paper suggereert dat het geheim van zowel het zien als het creëren van kunst hetzelfde is: een eenvoudige set regels die lokale aanwijzingen in staat stellen om te verbinden en een globaal verhaal te vormen. Of het nu een neuron in jouw brein is of een digitale waarde in een AI, het doel is om het patroon in de chaos te vinden. En nu, dankzij dit model, hebben we een veel duidelijkere kaart van hoe dat patroon ontstaat.

Technische Samenvatting: Naar een mechanistisch begrip van inferentie in de visuele cortex en diffusiemodellen

Probleemstelling
Huidige diffusiemodellen bereiken een state-of-the-art generatieve prestatie, maar opereren als "black boxes", waardoor het moeilijk is om de specifieke neurale computationele mechanismen te begrijpen die hen in staat stellen een hoge waarschijnlijkheid toe te kennen aan natuurlijke afbeeldingen of te generaliseren vanuit eindige datasets. Daartegenover staat dat de neurowetenschap weliswaar anatomische structuren in de primaire visuele cortex (V1) heeft geïdentificeerd—met name horizontale verbindingen tussen neuronen met vergelijkbare oriëntatietuning—die waarschijnlijk ten grondslag liggen aan perceptuele groepering en contourvoltooiing, maar het blijft onduidelijk hoe dergelijke connectiviteit voortkomt uit een probabilistisch generatief model dat getraind is op natuurlijke afbeeldingen. De centrale uitdaging is om deze domeinen te overbruggen door een model te construeren dat zowel een minimaal diffusiemodel met interpreteerbare parameters is als een biologisch plausibel model van V1-inferentie, in staat om uit te leggen hoe recurrente dynamiek visuele ambiguïteit oplost.

Methodologie
De auteurs stellen een niet-factorieel spaar coderingsmodel (non-factorial sparse coding model) van V1 voor, waarvan zij aantonen dat het wiskundig equivalent is aan een minimaal diffusiemodel.

Modelarchitectuur:
- Het model breidt standaard spaar codering uit door een niet-factoriële prior over latente variabelen $z$ te introduceren in de vorm van een onbeperkte, paarwijze interactiematrix $M$ .
- De energiefunctie wordt gedefinieerd als $E_{\theta,\sigma}(x, z) = \frac{1}{2\sigma^2} \|x - \Phi z\|_2^2 + \gamma(\sigma)(\|\lambda \circ z\|_1 + \frac{1}{2}z^\top M z)$ , waarbij $\Phi$ een woordenboek is van beeldkenmerken, $\lambda$ de spaar parameters vertegenwoordigt, en $\gamma(\sigma)$ de data likelihood en de prior dynamisch balanceert op basis van het ruisniveau $\sigma$ .
- Inferentie wordt uitgevoerd via een recurrente dynamisch systeem afgeleid van de Maximum A Posteriori (MAP) schatting van $z$ . De update regel (Vergelijking 5) deelt zich op in een feedforward drive, een recurrente drive (met betrekking tot de Gram-matrix $\Phi^\top\Phi$ en de interactiematrix $M$ ), en een spaar bias.
Trainingsstrategie:
- In plaats van standaard Maximum Likelihood Estimation, wat onhandelbaar is voor hoogdimensionale integratie, wordt het model getraind met behulp van Denoising Score Matching (DSM).
- De score functie wordt benaderd via de MAP schatting $z^*$ , wat leidt tot een gewogen reconstructie objectief.
- Impliciete Differentiatie: Om het model efficiënt te trainen en te analyseren, maken de auteurs gebruik van de Implicit Function Theorem (IFT). Dit maakt het mogelijk om exacte analytische gradiënten te berekenen door de geconvergeerde fixed-point van de recurrente dynamiek, zonder de gehele traject te "unrollen" (wat de geheugenkosten van Backpropagation Through Time vermijdt).
Mechanistische Analyse:
- De auteurs voeren een Jacobiaan-decompositie uit van de denoising functie. Door de impliciete gradiënt uit te breiden, decomponeren zij de pixel-ruimte Jacobiaan $J(x)$ in een latente-ruimte Jacobiaan $J_z$ geprojecteerd door het woordenboek $\Phi$ .
- $J_z$ wordt verder uitgebreid naar een Neumann-reeks, wat het mechanisme van context-afhankelijke activiteitsverspreiding onthult: signalen verspreiden zich lateraal door $M$ , maar worden strikt gereguleerd door de huidige actieve spaar code ( $\Sigma$ ), wat ervoor zorgt dat alleen contextueel relevante (bijv. collinear) signalen overleven en worden versterkt.

Belangrijkste Resultaten

Emergentie van V1-achtige Connectiviteit: Wanneer getraind op natuurlijke afbeeldingen, ontwikkelt de geleerde interactiematrix $M$ sterke collineaire facilitatie. Het creëert excitatieve verbindingen tussen ruimtelijk verschoven neuronen met co-gealigneerde voorkeursoriëntaties, wat de "associatieveld" en horizontale verbindingen spiegelt die worden waargenomen in de superficiele V1-lagen.
Superieure Denoising Prestaties: Het niet-factoriële model presteert significant beter dan standaard factoriële spaar coderingsmodellen bij denoising taken. Waar factoriële modellen spookachtige randen hallucineren in ruisgevoelige regio's, gebruikt het niet-factoriële model $M$ om de continuïteit van ware structurele randen af te dwingen en ongecoördineerde ruis te onderdrukken.
Mechanistische Verklaring van Diffusie Priors: De analyse onthult dat de dominante eigenvectoren van de denoising Jacobiaan (die de hoog-waarschijnlijke richtingen voor het model definiëren) overeenkomen met oscillerende bases gekoppeld aan beeldcontouren. Het model laat zien dat deze eigenvectoren voortkomen uit de oneindige accumulatie van recurrente laterale verspreiding, beperkt door de actieve spaar code. Dit mechanisme stelt het model in staat om een hoge waarschijnlijkheid toe te kennen aan een continue familie van natuurlijke structurele deformaties.
Emergente Hiërarchie en "Losgekoppelde Neuronen": Op gestructureerde datasets (bijv. gezichten) leert het model dat ongeveer 30% van de latente variabelen een bijna nul-norm ontwikkelt, wat effectief betekent dat ze losgekoppeld zijn van directe visuele input. Deze "losgekoppelde neuronen" fungeren als een emergente tweede laag, die lang-afstands semantische afhankelijkheden bemiddelt en globale consistentie afdwingt (bijv. het synchroon verschuiven van gelaatstrekken) die een single-layer model anders niet zou kunnen bereiken.
Generatieve Pariteit: Ondanks de architecturale eenvoud en het gebrek aan diepe convolutionele lagen, bereikt het model generatieve pariteit met parameter-gematchte U-Net architecturen. Het produceert visueel ononderscheidbare reverse diffusion samples en vergelijkbare denoising PSNRs, wat bevestigt dat de kern van de structurele statistieken van complexe distributies gevangen kan worden door deze interpreteerbare, biologisch gefundeerde architectuur.
Hypothesen voor V1 Dynamiek: Het model voorspelt dat de invloed van surround excitatie in V1 toestandsafhankelijk is. Onder hoge visuele ambiguïteit (lage contrast/ruis), verhoogt het netwerk het gewicht van de interactiematrix $M$ , waardoor het overschakelt van likelihood-gedreven suppressie naar prior-gedreven facilitatie. Dit suggereert een mechanisme waarbij excitatieve signalen langs collinear paden worden gerouteerd wanneer de contextuele bewijslast dit ondersteunt, waardoor lage-niveau ambiguïteiten worden opgelost.

Betekenis en Claims
Het artikel claimt een concrete, toetsbare mechanistische link te bieden tussen neurowetenschap en machine learning:

Voor de Neurowetenschap: Het genereert specifieke hypothesen over functionele connectiviteit in recurrente neurale circuits, waarbij gesuggereerd wordt dat horizontale verbindingen in V1 natuurlijk ontstaan om co-occurrence statistieken voor contour-integratie te leren en dat "losgekoppelde" neurale populaties een hiërarchische rol kunnen spelen bij het afdwingen van globale consistentie.
Voor Machine Learning: Het verheldert de interne mechanismen van diffusiemodellen, door aan te tonen dat hun vermogen om nieuwe afbeeldingen te genereren en te generaliseren voortkomt uit recurrente dynamiek die context-afhankelijke contourvoltooiing en structurele deformatie uitvoert.
Unificatie: Het werk stelt dat de visuele cortex, diepe neurale netwerken en dit minimale spaar coderingsmodel allemaal dezelfde intrinsieke statistieken van natuurlijke afbeeldingen vastleggen. Het suggereert dat natuurlijke afbeeldingen fungeren als spaar signalen op een continue manifold, en dat de "black box" aard van deep learning de werkelijke essentie van een universeel principe van geleerde, iteratieve, recurrente computation kan verhullen.

De auteurs concluderen dat dit framework een nieuwe richting biedt voor mechanistische interpreteerbaarheid in deep learning, waarbij gesuggereerd wordt dat complexe generatieve gedragingen begrepen kunnen worden via simpelere, biologisch gefundeerde circuit-analyses.