Neural Functional Alignment Space: Brain-Referenced Representation of Artificial Neural Networks

De auteurs presenteren de Neural Functional Alignment Space (NFAS), een raamwerk dat kunstmatige neurale netwerken analyseert door hun dynamische representaties te projecteren op een biologisch verankerd coördinatenstelsel, waardoor gestructureerde modale clustering en cross-modale convergentie in 45 modellen worden blootgelegd.

De kern

Stel je voor dat je twee heel verschillende soorten muziekinstrumenten hebt: een oude, houten viool en een moderne, digitale synthesizer. Ze klinken totaal anders, zijn gemaakt van ander materiaal en hebben verschillende knoppen. Maar als ze allebei hetzelfde stuk muziek spelen, kunnen we dan zeggen dat ze op een dieper niveau hetzelfde "doen"?

Dat is precies de vraag die deze wetenschappers zich stellen, maar dan met menselijke hersenen en kunstmatige intelligentie (AI).

Hier is een simpele uitleg van hun nieuwe ontdekking, de Neural Functional Alignment Space (NFAS), vertaald naar alledaags taalgebruik:

1. Het Probleem: De Verkeerde Vergelijking

Tot nu toe hebben onderzoekers AI-modellen vaak vergeleken met hersenen door te kijken naar één specifiek moment of één laag in het netwerk.

• De analogie: Het is alsof je de viool en de synthesizer vergelijkt door alleen naar één noot te kijken die ze op hetzelfde moment spelen. Dat zegt je niet veel over hoe ze de hele melodie maken.
• Het probleem: AI-modellen worden steeds complexer (van simpele netwerken tot enorme "grote taalmodellen"). Als je ze één voor één vergelijkt, krijg je een rommelig plaatje. Je mist het grote geheel.

2. De Oplossing: Kijken naar de "Reis" in plaats van de "Stop"

De auteurs van dit paper zeggen: "Kijk niet naar één laag, maar naar de reis die de informatie maakt door het hele netwerk."

• De analogie: Stel je voor dat een idee (bijvoorbeeld een foto van een hond) door een fabriek gaat. In elke kamer (laag) wordt het idee iets anders: eerst een lijn, dan een vorm, dan een vacht, dan "hond".
• In plaats van te kijken naar wat er in kamer 3 gebeurt, kijken ze naar de dynamiek: hoe verandert het idee terwijl het door de fabriek stroomt? Ze gebruiken een wiskundige truc (genaamd Dynamic Mode Decomposition) om de "stabiele kern" van die reis te vinden. Het is alsof ze de "ziel" van het proces extraheren, ongeacht of de fabriek uit hout of staal is gebouwd.

3. De Nieuwe Kaart: De "Hersen-Referentie Ruimte" (NFAS)

Nu ze die "reis" kunnen meten, hebben ze een nieuwe manier nodig om AI-modellen te vergelijken met echte hersenen.

• De analogie: Stel je een enorme, driedimensionale kaart voor. Op deze kaart zijn alle gebieden van het menselijke brein aangegeven (zoals het visuele centrum voor zien, of het auditieve centrum voor horen).
• De wetenschappers projecteren elke AI op deze kaart.
  • Een AI die goed is in het herkennen van gezichten, landt dicht bij het visuele gebied van het brein op de kaart.
  • Een AI die goed is in het begrijpen van taal, landt dichter bij de taalgebieden.
• Dit noemen ze de Neural Functional Alignment Space (NFAS). Het is een gemeenschappelijke taal waar je elke AI kunt plaatsen en direct kunt zien: "Hoe dichtbij zit deze machine bij de manier waarop een mens denkt?"

4. De "Ruis-Filter" (SNCI)

Soms is één AI-model heel raar of extreem goed, waardoor het de gemiddelde vergelijking verstoort.

• De analogie: Stel je een koor voor. Als één zanger heel hard zingt, klinkt het alsof het hele koor dat doet. De wetenschappers hebben een nieuwe maatstaf bedacht, de SNCI, die fungeert als een "ruisfilter".
• Deze maatstaf kijkt niet alleen naar hoe goed één model is, maar naar hoe consistent een hele groep modellen (bijvoorbeeld alle beeldherkennings-AI's) is in hun overeenkomst met het brein. Het filtert de "extremen" eruit en laat zien wat de echte, stabiele overeenkomsten zijn.

Wat hebben ze ontdekt?

Toen ze 45 verschillende AI-modellen (voor beeld, geluid en taal) op deze nieuwe kaart zetten, zagen ze iets fascinerends:

1. Groepering: De modellen groepeerden zich perfect. Alle beeld-AI's zaten bij elkaar, alle taal-AI's bij elkaar. Ze leken op elkaar te lijken binnen hun eigen "stam".
2. Overlapping: Maar waar het brein verschillende gebieden heeft die samenwerken (bijvoorbeeld om een verhaal te begrijpen dat geluid en beeld combineert), zagen ze dat de AI's daar ook naar toe "bewogen".
3. Conclusie: Het lijkt erop dat intelligentie, of die nu in een hersen of in een computerchip zit, dezelfde fundamentele regels volgt. Als je de "reis" van de informatie bekijkt, zie je dat AI en het menselijk brein op dezelfde manier werken, zelfs als ze er heel anders uitzien.

Kort samengevat:
Deze paper zegt: "Stop met het vergelijken van AI en hersenen als losse onderdelen. Kijk naar hoe informatie door het systeem stroomt. Als je dat doet, zie je dat er een gemeenschappelijke 'blauwdruk' is die zowel in biologische hersenen als in kunstmatige netwerken terugkomt. We hebben nu een nieuwe kaart (NFAS) om te zien waar elke AI op die blauwdruk staat."

Technische samenvatting

Titel: Neural Functional Alignment Space (NFAS): Een hersen-gerelateerde representatie van kunstmatige neurale netwerken

1. Het Probleem

Het fundamentele vraagstuk in de kruising van neurowetenschap en machine learning is of kunstmatige intelligentie (AI) de computationele principes van biologische intelligentie nabootst. Hoewel er correlaties zijn gevonden tussen diepe neurale netwerken (DNN's) en menselijke hersenactiviteit, zijn bestaande methoden voor "hersen-AI-alignement" gefragmenteerd en beperkt:

• Lagen-gebaseerde benaderingen: Traditionele methoden vergelijken vaak individuele lagen of taak-specifieke activaties. Dit negeert de dynamische evolutie van informatie door de diepte van het netwerk.
• Gebrek aan vergelijkbaarheid: Vergelijkingen zijn vaak niet direct overdraagbaar tussen verschillende modellen, modaliteiten (bijv. visueel vs. auditief) of trainingsdoelen.
• Geen gemeenschappelijk referentiekader: Er ontbreekt een principieel functioneel coördinatenstelsel om heterogene intelligente systemen op gelijke representatieve gronden te evalueren ten opzichte van biologische computationele principes.

2. Methodologie

De auteurs introduceren het Neural Functional Alignment Space (NFAS), een raamwerk dat kunstmatige netwerken positioneert in een ruimte die is verankerd in biologische hersenresponsen. De aanpak bestaat uit drie hoofdstappen:

A. Modellering van Netwerkdynamica (Depth-wise Dynamics)
In plaats van lagen als onafhankelijke eenheden te behandelen, modelleren de auteurs de feature-embeddings als een diepte-afhankelijke dynamische evolutie.

• Ze construeren "depth-shifted snapshot matrices" ($X_1$ en $X_2$) die de overgang van laag $\ell$ naar $\ell+1$ vastleggen.
• Gezien de residual connections in moderne architecturen (zoals ResNet en Transformers), benaderen ze deze niet-lineaire evolutie met een lineaire operator via de Koopman-operator theorie.
• Ze gebruiken Dynamic Mode Decomposition (DMD) om de operator te decomponeren in eigenwaarden ($\lambda$) en dynamische modi ($\phi$).
• Ze selecteren de stabiele modus (waarbij de magnitude van de eigenvalue $\approx 1$ is), wat de meest robuuste representatie van de stimulus door het netwerk vertegenwoordigt.
• De uiteindelijke stabiele dynamische representatie ($z$) wordt verkregen door de gemiddelde laag-representatie te projecteren op deze stabiele modus.

B. Constructie van de NFAS (Hersen-Referentie)
De dynamische representaties worden geprojecteerd naar een biologisch verankerde ruimte:

• De tijdsreeks $z(t)$ wordt geconvolueerd met een canonieke hemodynamische responsfunctie (HRF) om de BOLD-signalen te simuleren.
• Voor elk Region of Interest (ROI) in het brein (gebaseerd op de Schaefer-200 atlas) wordt een lineair encoding-model getraind om de voorspelde neurale respons te vergelijken met de daadwerkelijke fMRI-data.
• De alignement-score per ROI is de gekwadrateerde Pearson-correlatie.
• De collectie van scores over alle ROIs vormt een alignement-vector ($c_m$) voor elk model. Deze vectoren vullen de NFAS, een $R$-dimensionale ruimte waar elk punt een model voorstelt op basis van zijn functionele gelijkenis met het verspreide brein.

C. Signal-to-Noise Consistency Index (SNCI)
Om alignement op modality-niveau te kwantificeren en architectuur-specifieke uitbijters te minimaliseren, introduceren ze de SNCI:

• Voor elke ROI wordt het gemiddelde alignement ($\mu_r$) en de variabiliteit ($\sigma_r$) over alle modellen binnen een modaliteit berekend.
• De SNCI wordt berekend als een sigmoid-transformatie van de verhouding $\mu_r / \sigma_r$.
• Een hoge SNCI geeft aan dat modellen binnen een modaliteit consistent aligneren met specifieke hersengebieden, ongeacht hun architectuur.

3. Experimenten en Resultaten

Het framework werd geëvalueerd op 45 vooraf getrainde modellen (vision, audio, taal) tegen drie grote fMRI-benchmarks (Narratives, Algonauts 2021, The Little Prince).

• Geometrische Structuur van de NFAS:

  • PCA-projectie van de alignement-vectoren toonde duidelijke clustering op basis van modaliteit (visueel, auditief, taal).
  • Statistische tests (PERMANOVA) bevestigden dat de afstand tussen modaliteiten significant groter is dan binnen modaliteiten ($p < 0.001$).
  • Dit bewijst dat de NFAS systematische verschillen in corticale alignement-profielen vastlegt.

• Corticale Organisatie (SNCI Maps):

  • Visuele modellen toonden sterke alignement in het occipitale cortex (o.a. V6, V7).
  • Auditieve modellen aligneerden dominant in laterale temporale regio's (hogere auditieve verwerking).
  • Taalmodellen toonden piek-alignement in prefrontale controle-regio's (executieve en semantische integratie).
  • Dit bevestigt dat AI-modellen gespecialiseerde hersensystemen nabootsen die corresponderen met hun input-modaliteit.

• Functionele Netwerkvergelijking:

  • Geaggregeerd over de Yeo-7 functionele netwerken toonden resultaten aan dat Limbische netwerken (emotie/geheugen) over alle modaliteiten een verhoogde alignement vertonen, wat wijst op gedeelde computationele beperkingen.
  • Er was een significant interactie-effect tussen modaliteit en netwerk, wat aangeeft dat alignement niet uniform is, maar specifieke patronen volgt die overeenkomen met grote schaal hersensystemen.

4. Belangrijkste Bijdragen

1. NFAS Framework: Een nieuw, hersen-gerelateerd representatief raamwerk dat kunstmatige netwerken positioneert op basis van hun dynamische evolutie in plaats van statische lagen.
2. Dynamische Modellering: Het gebruik van DMD om de stabiele, diepte-afhankelijke dynamiek van neurale netwerken te extraheren, wat een principieelere basis biedt dan layer-wise correlaties.
3. SNCI Metric: Een nieuwe statistische maatstaf die cross-model consistentie kwantificeert terwijl architecturale variabiliteit wordt gecompenseerd.
4. Gecombineerde Analyse: Het inzicht dat hoewel modaliteiten gescheiden zijn in de NFAS, er convergentie optreedt in integratieve corticale systemen (zoals het limbische systeem), wat suggereert dat intelligentie fundamentele computationele organisatie deelt die verder gaat dan specifieke modaliteiten.

5. Significatie

De studie verschuift de focus van kwalitatieve overeenkomsten naar een meetbare, geometrische eigenschap van intelligente informatieverwerking. Door AI-modellen te evalueren in een gemeenschappelijke, biologisch verankerde ruimte, biedt NFAS een gestructureerde manier om te begrijpen hoe kunstmatige systemen zich verhouden tot de grote schaal organisatie van het menselijk brein. Het suggereert dat intelligentie niet afhankelijk is van specifieke architectuur, maar reflecteert een onderliggende computationele organisatie die transcendeert fysieke implementatie. Dit biedt een nieuwe basis voor het evalueren van AI in relatie tot biologische computationele principes.