🤖 AI

Bidirectional representational alignment between biological and artificial neural networks

Dit artikel toont aan dat het sturen van de spectrale geometrie van zelfgesuperviseerde visiemodellen tijdens de training systematisch de bidirectionele representationele uitlijning met biologische neurale netwerken kan moduleren en significant kan verbeteren, waarbij een relatieve verbetering van 55% in bidirectionele voorspelbaarheid wordt bereikt door de effectieve dimensionaliteit te verminderen en de gedeelde representationele subspace te reorganiseren.

Oorspronkelijke auteurs: Samuel Kostousov, Abhinn Kaushik, Brokoslaw Laschowski

Gepubliceerd 2026-08-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Samuel Kostousov, Abhinn Kaushik, Brokoslaw Laschowski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Om te begrijpen hoe intelligentie werkt, kijken wetenschappers vaak naar het brein, de biologische machine die denkt, en vergelijken zij dit met kunstmatige neurale netwerken, de computerprogramma's die ontworien zijn om het na te bootsen. Jarenlang hebben onderzoekers geprobeerd te zien of deze twee systemen op vergelijkbare manieren "denken" door hun interne kaarten van de wereld met elkaar te vergelijken. Wanneer een computer een foto van een kat ziet, creëert deze een specifiek patroon van activiteit; wanneer een aap dezelfde foto ziet, creëert diens brein een ander patroon. Wetenschappers meten hoe goed het patroon van de computer de hersenactiviteit van de aap voorspelt, een proces dat bekend staat als voorwaartse voorspelling (forward prediction). Onlangs ontstond er een nieuwe vraag: kunnen we ook het patroon van de computer voorspellen door enkel naar de hersenen van de aap te kijken? Het antwoord was verrassend eenzijdig. De interne kaarten van de computer waren uitstekend in het raden wat de hersenen zouden doen, maar de hersenactiviteit was een slechte gever van wat de computer zou doen. Deze onbalans suggereerde dat kunstmatige intelligentie weliswaar had geleerd om de output van het brein na te bootsen, maar nog niet had geleerd om de onderliggende structuur van het brein na te bootsen.

Een team van onderzoekers zette zich in om deze eenzijdige relatie te herstellen door de vorm van de interne kaarten van het kunstmatige netwerk tijdens de training te veranderen. Zij hypotheseerden dat de manier waarop informatie binnen de computer is georganiseerd — specifiek hoe de belangrijkheid van verschillende stukjes informatie is verdeeld — de ontbrekende sleutel zou kunnen zijn. Om dit te testen, bouwden zij een systeem dat de leerprocessen van de computer voorzichtig kon bijsturen om de informatie op een specifieke manier te organiseren, vergelijkbaar met hoe het brein informatie van nature organiseert. Ze gebruikten een standaard visiemodel, een type kunstmatige intelligentie dat getraind is om afbeeldingen te herkennen zonder menselijke labels, en pasten een nieuwe regel toe tijdens de leerfase. Deze regel moedigde het netwerk aan om zijn interne signalen zo te ordenen dat een paar signalen het grootste deel van het gewicht droegen, terwijl vele anderen heel weinig gewicht droegen, een patroon dat de natuurlijke afname van belang weerspiegelt die in biologische hersenen wordt gevonden.

De resultaten toonden aan dat deze eenvoudige aanpassing een diepgaand effect had. Toen de onderzoekers de interne geometrie van de computer stuurden om deze natuurlijke patronen te matchen, verbeterde het vermogen van de hersenactiviteit om het gedrag van de computer te voorspellen drastisch. Sterker nog, de interne kaarten van de computer werden veel beter voorspelbaar door de hersenen, waardoor de kloof die eerder bestond, werd gedicht. Hoewel het vermogen van de computer om de hersenactiviteit te voorspellen licht daalde, betekende de enorme winst in de omgekeerde richting dat de twee systemen veel meer in balans kwamen. De algehele afstemming tussen de biologische en kunstmatige netwerken verbeterde met vijftig-vijf procent ten opzichte van de oorspronkelijke opstelling. Deze verbetering was niet slechts een statistische toevalstreffer; het ging gepaard met een duidelijke verandering in de structuur van de computer. Het netwerk begon zich te vertrouwen op minder, efficiëntere dimensies om informatie op te slaan, en de delen van het netwerk die het meest leken op de hersenactiviteit, werden bijna perfect symmetrisch in hun relatie.

De studie suggereert dat de manier waarop informatie binnen een leersysteem is georganiseerd, even belangrijk is als de informatie zelf. Door simpelweg de regels te veranderen van hoe de computer zijn aandacht over verschillende signalen verdeelt, maakten de onderzoekers de interne wereld van het kunstmatige netwerk veel meer gelijk aan die van het biologische. Dit betekent niet dat de computer plotseling bewust is geworden of dat het het mysterie van het menselijk denken heeft opgelost. Het demonstreert echter dat de geometrie van geleerde representaties — de vorm van de interne kaarten — een eigenschap is die gecontroleerd kan worden om kunstmatige en biologische systemen dichter bij elkaar te brengen. De bevindingen wijzen erop dat de eerdere onbalans geen permanente fout in kunstmatige intelligentie was, maar een gevolg van de manier waarop deze netwerken werden toegestaan zichzelf te organiseren. Door die organisatie te sturen, kunnen wetenschappers modellen creëren die niet alleen beter zijn in het oplossen van taken, maar ook betere spiegels zijn van de biologische systemen die zij proberen te begrijpen.

Technische Samenvatting: Bidirectionele Representatieve Uitlijning tussen Biologische en Artificiële Neurale Netwerken

Probleemstelling
Recent onderzoek in de computationele neurowetenschap en machine learning heeft vastgesteld dat de representatieve uitlijning tussen biologische en artificiële neurale netwerken inherent asymmetrisch is. Specifiek voorspellen artificiële modelrepresentaties biologische neurale responsen (voorwaartse voorspelbaarheid) aanzienlijk beter dan biologische responsen modelrepresentaties voorspellen (achterwaartse voorspelbaarheid). Hoewel taakoptimalisatie fundamentele principes van neurale representatie kan herstellen, correleren verbeteringen in taakprestaties niet altijd met verbeterde uitlijning. Deze asymmetrie roept een kritische vraag op: draagt de representatieve geometrie van geleerde kenmerken bij aan deze bidirectionele mismatch? De auteurs hypothetiseren dat de spectrale geometrie van representaties systematisch gestuurd kan worden tijdens de training om deze uitlijning te moduleren.

Methodologie
Om deze hypothese te testen, ontwikkelden de auteurs een computationeel kader dat spectrale regularisatie integreert met bidirectionele voorspelbaarheidsanalyses.

Model en Dataset: Het kader werd geïmplementeerd met behulp van zelfgesuperviseerde contrastieve visiemodellen (SimCLR met een ResNet-50 encoder). De training maakte gebruik van een subset van ImageNet-1k, terwijl de evaluatie een benchmark van de macaque inferotemporale (IT) cortex omvatte, bestaande uit neurale responsen op 3.200 visuele stimuli.
Spectrale Sturing: De kerninnovatie betreft het toevoegen van een spectrale regularisatieterm aan de standaard InfoNCE contrastieve loss. Deze term straft afwijkingen af van een doel-spectrale vervalexponent ( $\hat{\alpha}$ $\overset{α}{^}$ ) in het eigenspectrum van de geleerde representaties.
- De regularisatie wordt toegepast op de activaties van encoder.layer4.0.bn1, een laag die bekend staat om sterke voorwaartse voorspelbaarheid.
- De spectrale exponent $\alpha$ wordt geschat via gewone kleinste kwadraten op het log-log spectrum van de genormaliseerde verklaarde variantie (hoofdcomponenten 5–15).
- De totale lossfunctie is $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$ , waarbij $\lambda$ de sterkte van de regularisatie controleert.
Evaluatiemetrieken:
- Voorwaartse Voorspelbaarheid (Forward Predictivity): Meet hoe goed modelactivaties neurale responsen voorspellen (ridge regressie van model naar neuron).
- Achterwaartse Voorspelbaarheid (Reverse Predictivity): Meet hoe goed neurale responsen modelactivaties voorspellen (ridge regressie van neuron naar model).
- Bidirectionele Voorspelbaarheid (BPI): Een samengestelde metriek ( $BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$ ) die uitlijning kwantificeert terwijl asymmetrie wordt bestraft.
- Effectieve Dimensionaliteit: Berekend via de participatieratio van het spectrum van de verklaarde variantie.
Experimenteel Ontwerp: De modellen werden getraind met variërende doel-spectrale exponenten ( $\hat{\alpha}$ ) en regularisatiestrengtes ( $\lambda$ ). De analyse werd uitgevoerd op basis van de gemeten spectrale exponent ( $\alpha$ ) in plaats van de doelwaarde, om rekening te houden met gevallen waarin de regularisatiestrengte niet exact de doelwaarde bereikte.

Belangrijkste Resultaten
De experimenten toonden aan dat het sturen van de representatieve geometrie de bidirectionele uitlijning systematisch beïnvloedt:

Controle van Spectrale Geometrie: Spectrale regularisatie slaagde erin de gemeten spectrale exponent van de geleerde representaties te sturen. Sterkere regularisatie ( $\lambda$ ) produceerde een nauwere overeenstemming tussen de gemeten en de doelstelling-exponenten.
Reductie van Asymmetrie:
- Achterwaartse Voorspelbaarheid: Het verhogen van de gemeten spectrale exponent ( $\alpha$ ) verhoogde de achterwaartse voorspelbaarheid aanzienlijk. Bij $\lambda=3$ steeg de achterwaartse verklaarde variantie van 12% (baseline) naar 29% in de hoogste $\alpha$ -bin.
- Voorwaartse Voorspelbaarheid: Voorwaartse voorspelbaarheid vertoonde een bescheiden afname onder spectrale regularisatie vergeleken met de baseline, maar bleef relatief stabiel over verschillende gemeten $\alpha$ -waarden bij een vaste regularisatiestrengte.
- Bidirectionele Voorspelbaarheid: Het netto effect was een significante verbetering in de bidirectionele voorspelbaarheid, die toenam van ongeveer 20% naar 31% (een relatieve verbetering van 55%). Dit duidt op een substantiële reductie van de voorwaarts-achterwaartse asymmetrie.
Mechanistische Inzichten:
- Gemeenschappelijke versus Unieke Units: De verbeteringen waren het meest uitgesproken in "gemeenschappelijke units" (de top 20% van de modelunits gerangschikt op achterwaartse voorspelbaarheid). In deze subset werden voorwaartse en achterwaartse voorspelbaarheid ongeveer symmetrisch bij intermediaire spectrale exponenten.
- Dimensionaliteit: Verhoogde spectrale exponenten gingen gepaard met een afname in effectieve dimensionaliteit, wat suggereert dat het sturen van de geometrie de representatieve variantie concentreert in minder effectieve dimensies.
- Subruimte Reorganisatie: De bevindingen suggereren dat spectrale regularisatie bij voorkeur de representatieve subruimte reorganiseert die gedeeld wordt tussen artificiële en biologische netwerken, wat de lineaire herstelbaarheid van neurale activiteit vanuit modelrepresentaties verbetert.

Betekenis en Claims
Dit artikel biedt een gecontroleerd kader dat aantoont dat representatieve geometrie een stuurbare eigenschap is die de bidirectionele representatieve uitlijning direct moduleert.

Uitdaging van Vaste Asymmetrie: De auteurs weerleggen het idee dat de voorwaarts-achterwaartse asymmetrie een vaste eigenschap is van taakgeoptimaliseerde modellen. In plaats daarvan laten zij zien dat deze systematisch gereduceerd kan worden door de spectrale geometrie tijdens het leren te wijzigen.
Geometrie als Causale Factor: De resultaten ondersteunen de hypothese dat representatieve geometrie bijdraagt aan de kwaliteit van de uitlijning. Specifiek verbetert het verhogen van de spectrale exponent de "achterwaartse" richting van de uitlijning zonder catastrofaal verlies in de "voorwaartse" richting.
Voorbij het Matchen van Exponenten: De studie merkt op dat de uitlijning bleef verbeteren zelfs voorbij de spectrale exponent ( $\alpha \approx 1$ ) die gewoonlijk in de visuele cortex wordt waargenomen, wat suggereert dat het simpelweg matchen van biologische spectrale statistieken niet voldoende is om de uitlijning te maximaliseren; eerder induceert het sturingsproces zelf gunstige reorganisaties.
Beperkingen en Reikwijdte: De auteurs kaderen hun bevindingen bescheiden als een eerste demonstratie met een specifieke architectuur (ResNet-50) en een enkele neurale benchmark. Zij erkennen dat de spectrale exponent slechts één karakterisering van geometrie is en dat andere geometrische eigenschappen ook een rol kunnen spelen. Toekomstig werk is nodig om deze bevindingen te generaliseren naar verschillende architecturen, leerdoelen en datasets.

Samenvattend stelt dit onderzoek een methode vast om de interne geometrie van artificiële netwerken te "sturen" om beter aan te sluiten bij biologische systemen, wat een nieuwe weg biedt voor mechanistische interpreteerbaarheid en de studie van de opkomst van intelligentie.

Technische Samenvatting: Bidirectionele Representatieve Uitlijning tussen Biologische en Artificiële Neurale Netwerken

Meer zoals dit