Comparing and Integrating Different Notions of Representational Correspondence in Neural Systems

Dit onderzoek evalueert en integreert diverse maten voor representatieve overeenkomst in neurale systemen door Similarity Network Fusion toe te passen, wat leidt tot een scherpere scheiding van model families en een duidelijkere, anatomisch onderbouwde hiërarchie in het visuele systeem dan wanneer individuele maten worden gebruikt.

De kern

De Grote Vergelijking: Hoe We Hersenen en AI Meten met De Juiste Liniaal

Stel je voor dat je twee verschillende soorten kunstenaars wilt vergelijken: een menselijke schilder en een kunstmatige intelligentie (AI) die ook schilderijen maakt. Ze maken allebei prachtige landschappen. Maar hoe weet je of ze op dezelfde manier denken over een boom of een berg?

In de wereld van neurowetenschap en kunstmatige intelligentie proberen onderzoekers precies dit te doen. Ze willen weten: "Gebruiken deze twee systemen dezelfde interne 'blauwdrukken' om hun taken te doen?"

Het probleem is dat wetenschappers tot nu toe vaak maar één soort liniaal gebruikten om deze systemen te meten. Het is alsof je probeert te bepalen of twee auto's op elkaar lijken, maar je meet alleen hun lengte, en negeert of ze dezelfde motor of dezelfde kleur hebben. Soms zeggen deze linialen dat twee systemen heel erg op elkaar lijken, terwijl ze dat eigenlijk niet zijn, of andersom.

Deze paper (een wetenschappelijk artikel) zegt: "Wacht even, we hebben niet één liniaal nodig, maar een gereedschapskist vol verschillende linialen."

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Verschillende Linialen (De Meetmethoden)

De auteurs hebben gekeken naar verschillende manieren om te meten hoe systemen lijken op elkaar. Ze noemen ze "representational similarity metrics", maar laten we ze zien als verschillende manieren om een schilderij te analyseren:

• De "Vorm- en Vorm" Liniaal (RSA & CKA): Deze kijkt naar de structuur van de gedachten. Als de AI en het brein beide een boom en een auto op een bepaalde manier van elkaar onderscheiden (bijvoorbeeld: "boom is hoog, auto is breed"), dan vinden ze elkaar. Het maakt niet uit welke kleuren ze gebruiken, zolang de verhoudingen maar kloppen.
  • Resultaat: Deze liniaal werkt heel goed! Ze kunnen precies zien welke systemen op elkaar lijken.
• De "Detail" Liniaal (Soft Matching): Deze kijkt naar de individuele onderdelen. Het probeert te matchen: "Is dit specifieke neuron in het brein hetzelfde als die specifieke knop in de AI?"
  • Resultaat: Ook heel goed, maar soms iets minder flexibel.
• De "Losse Koppeling" Liniaal (Linear Predictivity): Deze probeert te voorspellen: "Als ik deze input zie, kan ik de output van het andere systeem voorspellen met een simpele formule?"
  • Resultaat: Deze werkt vaak slecht. Het is alsof je zegt: "Ze lijken op elkaar omdat ze beide een wiel hebben," terwijl ze verder totaal anders zijn. Deze liniaal is te makkelijk en mist de fijne details.

2. Het Grote Experiment: AI vs. Mensen

De onderzoekers hebben dit getest op twee gebieden:

1. AI-modellen: Ze namen 35 verschillende AI-modellen (sommige getraind met een leraar, sommige zonder; sommige met CNN's, sommige met Transformers). Ze wilden zien of de linialen konden zien welke modellen "familie" waren.
   • Wat ze zagen: De strenge linialen (Vorm- en Detail) konden perfect zien welke modellen op elkaar leken. De losse linialen zagen dit niet.
2. Menselijke Hersenen: Ze keken naar fMRI-scans van mensen die naar plaatjes keken. Ze wilden zien of de linialen konden zien welke delen van het brein (bijvoorbeeld V1, V2, V4) met elkaar samenwerken.
   • Wat ze zagen: Dezelfde regel gold. De strenge linialen konden de hiërarchie van het visuele systeem (van simpel naar complex) perfect zien. De losse linialen maakten een rommeltje.

3. De Oplossing: De "Super-Liaal" (Similarity Network Fusion)

Dit is het meest creatieve deel van het verhaal. De onderzoekers dachten: "Wat als we al deze linialen niet tegen elkaar laten vechten, maar ze laten samenwerken?"

Ze gebruikten een techniek die ze Similarity Network Fusion (SNF) noemen.

• De Analogie: Stel je voor dat je een groep vrienden wilt verdelen in teams.
  • Liniaal A zegt: "Ze lijken op elkaar omdat ze allemaal van pizza houden."
  • Liniaal B zegt: "Ze lijken op elkaar omdat ze allemaal van fietsen houden."
  • Liniaal C zegt: "Ze lijken op elkaar omdat ze allemaal blauwe schoenen dragen."
  • Als je alleen naar pizza kijkt, mis je de fietsers. Als je alleen naar fietsen kijkt, mis je de pizza-liefhebbers.
  • SNF is als een slimme teamleider die alle drie de lijsten combineert. Hij ziet dat de groep die van pizza én fietsen houdt, een heel sterke band heeft. Hij maakt een "super-team" dat veel duidelijker is dan welke lijst ook op zichzelf.

Het resultaat:
Deze "Super-Liaal" (SNF) was een enorme winnaar.

• Bij AI-modellen kon hij perfect zien welke modellen dezelfde "denkwijze" hadden, zelfs als ze er heel anders uitzagen.
• Bij menselijke hersenen kon hij de complexe hiërarchie van het visuele systeem (hoe het brein beelden stap voor stap verwerkt) veel scherper en duidelijker in kaart brengen dan welke enkele meting ook.

Conclusie: Waarom is dit belangrijk?

Vroeger dachten wetenschappers vaak: "Als twee systemen op elkaar lijken volgens deze ene meting, dan zijn ze hetzelfde."

Deze paper leert ons: Nee, dat is te simpel.

• Verschillende metingen vangen verschillende aspecten van intelligentie.
• Als je wilt weten hoe een brein of een AI echt werkt, moet je niet kiezen voor één meetlat, maar meerdere gebruiken en ze slim samenvoegen.

Het is alsof je een mens wilt begrijpen: je kunt niet zeggen "Hij is een goede vriend" alleen omdat hij aardig is. Je moet ook kijken of hij betrouwbaar is, of hij luistert, en of hij humor heeft. Alleen door al die eigenschappen samen te bekijken, krijg je een echt goed beeld van wie hij is.

Deze onderzoekers hebben dus een nieuwe manier gevonden om de "ziel" van zowel kunstmatige als biologische intelligentie beter te begrijpen, door te stoppen met het kiezen van één liniaal en te beginnen met het bouwen van een compleet meetinstrument.

Technische samenvatting

Probleemstelling

Een centrale uitdaging in zowel de neurowetenschap als het machine learning is het begrijpen in hoeverre verschillende biologische en kunstmatige neurale systemen vergelijkbare interne representaties gebruiken om gelijke taken uit te voeren. Tot nu toe hebben onderzoekers deze systemen doorgaans vergeleken met behulp van één enkel maatstaf voor representatieve gelijkenis (zoals RSA, CKA of lineaire voorspelbaarheid).

Het fundamentele probleem is dat deze maatstaven niet uitwisselbaar zijn. Elke maatstaf benadrukt een ander facet van representatieve correspondentie:

• Sommigen behouden de representatieve geometrie (de relatieve afstand tussen stimuli).
• Anderen richten zich op unit-level tuning (hoe individuele neuronen reageren).
• Weer anderen meten lineair toegankelijke informatie (hoe goed één systeem kan worden voorspeld door een ander).

Omdat elke maatstaf verschillende aannames doet over welke transformaties irrelevant zijn, kunnen ze tot kwalitatief verschillende conclusies leiden over welke systemen vergelijkbaar zijn. Er is dus behoefte aan een methode om te bepalen welke dimensies van correspondentie betekenisvolle structuren kunnen herstellen, en hoe deze complementaire aspecten geïntegreerd kunnen worden.

Methodologie

De auteurs evalueren een suite van representatieve gelijkenis-maatstaven in twee domeinen: kunstmatige visiemodellen en biologische neurale data.

1. Data en Modellen:

• Kunstmatige systemen: Een gecontroleerde populatie van 35 visiemodellen (o.a. CNNs, Transformers, ConvNeXt, Swin) die systematisch variëren in architectuur en trainingsparadigma (supervised vs. self-supervised). Alle modellen zijn getraind op ImageNet-1k.
• Biologische systemen: fMRI-data van het Natural Scenes Dataset (NSD), met responsen van 4 proefpersonen op 1.000 natuurlijke beelden, gedekt over 10 visuele hersengebieden.

2. Geëvalueerde Maatstaven:
De studie vergelijkt maatstaven met verschillende flexibiliteit in de toegestane transformaties:

• Geometrie-behoudend: Representational Similarity Analysis (RSA), Linear CKA.
• Tuning-behoudend: Soft Matching (SoftMatch).
• Lineaire mapping (flexibeler): Procrustes Alignment, Linear Predictivity.
• Lineaire toegankelijkheid (meest flexibel): SVCCA, PWCCA.

3. Evaluatiemetrics:
Om de prestaties te meten, gebruiken de auteurs drie criteria voor scheidbaarheid:

• Contrastive Ratio: Verhouding tussen intra-familie en inter-familie gelijkenis.
• D-Prime ($d'$): Een maat voor de scheiding tussen distributies, rekening houdend met variantie.
• Silhouette Score: Hoe goed een punt past bij zijn eigen cluster versus andere clusters.

4. Integratie-methode (SNF):
Om de beperkingen van individuele maatstaven te overwinnen, passen de auteurs Similarity Network Fusion (SNF) toe. Oorspronkelijk ontwikkeld voor multi-omics integratie, wordt deze techniek hier gebruikt om gelijkenisgrafen van meerdere maatstaven te combineren. SNF versterkt relaties die consistent worden ondersteund door alle maatstaven en onderdrukt ruis of maatstaf-specifieke artefacten, wat leidt tot een gefuseerde gelijkenismatrix.

Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide vergelijking van representatieve maatstaven op basis van principieel gedefinieerde criteria (procedurale overeenkomst in modellen en anatomisch-functionele organisatie in de hersenen).
2. Integratief Framework: De introductie van een SNF-gebaseerd framework dat complementaire dimensies van representatieve gelijkenis combineert, in plaats van ze te behandelen als concurrerende opties.
3. Datagedreven Typologieën: Het aantonen dat geïntegreerde gelijkenis leidt tot robuuste, datagedreven classificaties van zowel kunstmatige modellen als biologische hersengebieden, zonder voorafgaande aannames over architectuur of anatomie.

Resultaten

1. Prestaties van Individuele Maatstaven:

• Geometrie en Tuning: Maatstaven die de representatieve geometrie behouden (RSA, Linear CKA) of unit-level tuning vasthouden (SoftMatch), presteren het beste. Ze kunnen procedurally verschillende modelfamilies en verschillende corticale gebieden het meest betrouwbaar van elkaar scheiden.
• Flexibele Mapping: Maatstaven die meer flexibele transformaties toestaan (zoals Linear Predictivity en CCA-varianten) tonen aanzienlijk zwakkere discriminatie. Ze zijn minder gevoelig voor de specifieke "vingerafdrukken" van architectuur of trainingsdoelstellingen, omdat ze zich richten op gedeelde, lineair decodeerbare subruimtes die vaak universeel zijn.
• Conclusie: De geometrische structuur en de tuning van individuele eenheden bevatten meer specifieke informatie over de oorsprong van het systeem dan de lineaire toegankelijkheid van de informatie.

2. Superioriteit van Integratie (SNF):

• Modellen: De gefuseerde SNF-maatstaf bereikte een $d'$ van 12,42, bijna drie keer zo hoog als de beste individuele maatstaf. SNF herstelde niet alleen de verwachte groeperingen (bijv. supervised vs. self-supervised), maar onthulde ook dat trainingsparadigma (zelftoezicht) soms sterker is dan architecturale verschillen (bijv. zelftoezicht CNNs clusteren dichter bij zelftoezicht ViTs dan bij hun supervised tegenhangers).
• Hersenen: Bij toepassing op NSD-data bereikte SNF een gemiddelde $d'$ van 21,45 (bijna vijf keer hoger dan de beste individuele maatstaf). SNF herstelde een duidelijkere hiërarchische organisatie van de ventrale visuele stroom (van V1 naar hogere gebieden) die beter overeenkwam met bekende anatomische en functionele hiërarchieën dan enige enkele maatstaf.

3. Data-gedreven Typologieën:

• Modellen: Clustering op basis van SNF onthulde "soorten" visiemodellen die zijn gedefinieerd door hoe ze informatie verwerken, niet alleen door hun oppervlakkige architectuur. Bijvoorbeeld, hybride architecturen (ConvNeXt, Swin) clusterden met MAE-modellen, wat suggereert dat moderne architecturale innovaties en masked reconstruction leiden tot vergelijkbare computationele oplossingen.
• Hersenen: SNF onthulde een coherente, cross-subject structuur waarbij responsen uit hetzelfde corticale gebied compacte clusters vormden, met robuuste scheiding tussen verschillende gebieden.

Betekenis en Impact

Deze studie verandert de manier waarop representatieve vergelijking wordt benaderd. In plaats van te zoeken naar de "beste" enkele maatstaf, toont het aan dat representatieve gelijkenis multidimensionaal is.

• Complementariteit: Verschillende maatstaven vullen elkaar aan; geen enkele maatstaf biedt een volledig karakterisering.
• Robuustheid: Het integreren van deze dimensies via SNF levert een stabielere en informatieverre weergave van de onderliggende structuur op, zowel voor AI-modellen als voor biologische hersenen.
• Toekomstige Richting: De auteurs bepleiten dat representatieve gelijkenismaten niet als uitwisselbare proxies moeten worden gezien, maar moeten worden geïnterpreteerd in termen van welke specifieke structuren ze kunnen herstellen. Dit biedt een nieuwe weg voor het begrijpen van convergente evolutionaire oplossingen in zowel biologie als kunstmatige intelligentie.