Uncovering Semantic Selectivity of Latent Groups in Higher Visual Cortex with Mutual Information-Guided Diffusion

Dit paper introduceert MIG-Vis, een methode die variatie-automatische codering en mutual information-gestuurde diffusiemodellen combineert om te aantonen dat neurale populaties in de hogere visuele cortex van makaken georganiseerd zijn in semantisch selectieve subspaces die specifieke visuele eigenschappen coderen.

De kern

Stel je voor dat je brein een enorm, ingewikkeld fabriekspand is. In de hogere visuele gebieden van je brein (de "IT-cortex") werken miljoenen neuronen samen om te begrijpen wat je ziet. Maar hoe weten we precies welke groep neuronen verantwoordelijk is voor het zien van een rotatie van een object, en welke groep zorgt voor het herkennen van de soort object (bijvoorbeeld een auto versus een aardbei)?

Tot nu toe was dit een raadsel. Wetenschappers konden wel gissen naar de structuur, maar ze konden niet echt "kijken" hoe deze neuronen hun werk deden.

Deze paper introduceert een nieuwe methode genaamd MIG-Vis. Hier is een uitleg in gewone taal, met wat creatieve vergelijkingen:

1. Het Probleem: Een rommelige bibliotheek

Stel je de neuronen in je brein voor als een bibliotheek met duizenden boeken. Elke "neuron" is een boek. Als je naar een auto kijkt, worden er duizenden boeken tegelijk opengeslagen.

• Het oude probleem: Wetenschappers wisten welke boeken er openstonden, maar ze konden niet zeggen welk boek precies vertelde dat het een auto was en welk boek vertelde dat de auto naar links draaide. Alles was door elkaar heen gemengd.
• De uitdaging: Ze wilden de boeken sorteren in groepen (bijv. "groep voor rotatie", "groep voor soort"), maar de neuronen doen het niet zo simpel. Ze zijn "gemengd selectief": één neuron helpt soms bij rotatie, en soms bij het herkennen van de soort.

2. De Oplossing: MIG-Vis (De Slimme Vertaler)

De auteurs hebben een nieuwe tool bedacht, MIG-Vis, die werkt als een slimme vertaler en een magische schilder.

Stap 1: De Groepen Sorteren (De VAE)
Eerst gebruiken ze een slim algoritme (een Variational Autoencoder) om de duizenden neuronen in logische groepen te stoppen.

• Vergelijking: Het is alsof je een chaotische stapel losse puzzelstukken neemt en ze automatisch sorteert in dozen: "Doos Rotatie", "Doos Kleur", "Doos Soort".
• Ze gebruiken een beetje hulp van buitenaf (supervisie) om de "Rotatie-doos" en de "Soort-doos" te labelen, maar de andere dozen laten ze zelf ontdekken.

Stap 2: De Magische Schilder (Diffusie & Informatie)
Nu komt het spannende deel. Hoe weten we wat er in die dozen zit?

• De oude manier: Je zou een schilder kunnen vragen: "Teken een auto die ik denk dat in deze doos zit." Maar die schilder zou misschien een heel gemiddelde auto tekenen, waarbij de fijne details verdwijnen.
• De nieuwe manier (MIG-Vis): In plaats van een schilder, gebruiken ze een magische schilder die werkt met "Informatie".
  • Ze nemen een foto (bijv. een gezicht) en veranderen heel subtiel de inhoud van de "Rotatie-doos" in het brein (een beetje meer naar links, een beetje minder naar rechts).
  • Vervolgens vragen ze aan een AI-schilder (een Diffusiemodel): "Teken een plaatje dat perfect past bij deze veranderde doos."
  • De sleutel: Ze gebruiken een maatstaf genaamd Mutuele Informatie. Denk hierbij aan een strenge inspecteur die zegt: "Als je verandert in de 'Rotatie-doos', moet het schilderij ook echt roteren. Als je verandert in de 'Soort-doos', moet het schilderij veranderen van een auto naar een aardbei. Geen gemiddelde rommel!"

3. Wat Vonden Ze? (De Verassingen)

Toen ze deze tool gebruikten op data van apen (die naar objecten keken), zagen ze iets fascinerends:

• Groep 1 (Rotatie): Deze groep neuronen deed precies wat je verwachtte. Als je deze groep "aandrukte", draaide het object op het scherm. Of het nu een gezicht, een auto of een aardbei was: ze draaiden allemaal.
  • Vergelijking: Het is alsof je een draaiknop hebt die altijd "draai" doet, ongeacht welk object je voor je hebt.
• Groep 2 (Soort): Deze groep kon het ene object in het andere veranderen. Een gezicht werd een aardbei.
• De verrassing (De "Vormige" Dozen): De groepen die ze niet hadden gelabeld, bleken heel specifiek te zijn.
  • Een groep deed alleen iets met gezichten en aardbeien (bijv. de textuur of het licht), maar deed niets met auto's.
  • Een andere groep deed alleen iets met auto's en tafels.
  • Vergelijking: Het is alsof het brein geen één grote, rechte ladder heeft voor "alle objecten", maar een kromme, golvende berg. Op de ene helling van de berg (waar de auto's zitten) werkt een bepaalde knop anders dan op de andere helling (waar de gezichten zitten). De neuronen zijn dus niet universeel, maar lokaal gespecialiseerd.

4. Waarom is dit belangrijk?

Vroeger dachten we dat het brein misschien een heel strakke, lineaire lijst had van hoe het ziet. MIG-Vis laat zien dat het brein veel creatiever en complexer is. Het gebruikt lokale wegen in plaats van één grote snelweg.

Samenvattend:
MIG-Vis is als een ontgrendelingsset voor je brein. Het sorteert de rommelige neuronen in logische groepen en gebruikt een slimme AI om te laten zien wat die groepen doen. Het bewijst dat je brein niet alleen "wat" je ziet onthoudt, maar ook heel precies weet "hoe" het eruitziet, en dat deze kennis op een heel slimme, niet-lineaire manier is opgeslagen.

Het is een grote stap om te begrijpen hoe wij, als mensen (en apen), de wereld zien en hoe onze hersenen die wereld in kaart brengen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "UNCOVERING SEMANTIC SELECTIVITY OF LATENT GROUPS IN HIGHER VISUAL CORTEX WITH MUTUAL INFORMATION-GUIDED DIFFUSION", geschreven in het Nederlands.

Probleemstelling

Het begrijpen van hoe neurale populaties in de hogere visuele cortex (zoals de inferieure temporale cortex, IT) objectgerichte visuele informatie coderen, blijft een centrale uitdaging in de computationele neurowetenschap. Bestaande benaderingen hebben beperkingen:

• Indirecte inzichten: Onderzoek dat representatieve alignering tussen kunstmatige neurale netwerken (DNN's) en de visuele cortex vergelijkt, biedt indirecte inzichten en zegt weinig over de interne structuur van neurale populatiecodering.
• Beperkte interpretatie: Decodermethoden kunnen semantische kenmerken (zoals objectcategorie of gezichtshoek) uit neurale activiteit halen, maar onthullen niet hoe deze kenmerken georganiseerd zijn of of ze gestructureerde, semantisch betekenisvolle subruimtes vormen.
• Gemengde selectiviteit: Neuronen in de hogere visuele cortex vertonen vaak "gemengde selectiviteit" (mixed selectivity), waarbij ze reageren op meerdere visueel-semantische eigenschappen tegelijk (bijv. zowel rotatie als categorie). Er is nog geen studie die de organisatie van deze populaties direct koppelt aan distincte visuele attributen.

Methodologie: MIG-Vis

De auteurs stellen MIG-Vis (Mutual Information-Guided Diffusion) voor, een methode om interpreteerbare neurale latente subruimtes te identificeren en de semantische betekenis binnen deze subruimtes te visualiseren. De aanpak bestaat uit drie hoofdstappen:

1. Groepsweise Ontkoppelde Neurale Latente Representatie

Om de complexe structuur van neurale activiteit te ontrafelen, gebruiken de auteurs een Group-wise Disentangled Variational Autoencoder (VAE).

• In tegenstelling tot traditionele VAE's die aannemen dat elke semantische factor door één enkele latente dimensie wordt vertegenwoordigd, gaat MIG-Vis uit van groepen van dimensies die samen een specifiek type semantisch kenmerk coderen (bijv. één groep voor objectcategorie, een andere voor rotatie).
• Het model leert een latente vector $z$ op te splitsen in een supervised deel (geïnformeerd door labels zoals rotatiehoeken en categorie-ID's) en een unsupervised deel.
• Het trainingsdoel is een variatiegrens (ELBO) die neurale reconstructie, zwakke label-supervisie en een partial correlation (PC) penalty maximaliseert om statistische onafhankelijkheid tussen de verschillende latente groepen te garanderen.

2. Mutual Information (MI) Gids voor Diffusie

Om te begrijpen wat een specifieke latente groep $z_g$ encodeert, pertubeert het model deze groep en genereert het de corresponderende afbeeldingen.

• Het probleem met bestaande methoden: Traditionele decoders genereren vaak een "beste reconstructie" die subtiele variaties verwijdert. Diffusiemodellen die worden geleid door het maximaliseren van activatiegrootte of variantie (vaak gebruikt bij fMRI-data) werken niet goed voor neurale latente ruimtes waar zowel positieve als negatieve waarden betekenisvolle, maar verschillende semantiek dragen.
• De oplossing (MI-Guidance): MIG-Vis gebruikt Mutual Information (MI) om het diffusieproces te sturen. In plaats van alleen te kijken naar de activatiegrootte, maximaliseert het de statistische afhankelijkheid tussen de gegenereerde afbeelding $\tilde{y}$ en de pertubeerde latente groep $\tilde{z}_g$.
• Dit wordt bereikt door een classifier-geleide diffusie te gebruiken waarbij de conditionele score wordt geschat via een InfoNCE-verlies (een benadering van MI). Dit zorgt ervoor dat de gegenereerde afbeelding alle semantische veranderingen behoudt die door de pertubatie zijn geïntroduceerd, in plaats van ze te middelen.

3. Deterministische Semantische Afbeeldingsbewerking

Om de basisstructuur van de afbeelding (zoals lay-out en contouren) te behouden en alleen de semantische attributen te wijzigen, gebruikt MIG-Vis een twee-staps proces met DDIM (Denoising Diffusion Implicit Models):

1. DDIM Inversie: De originele afbeelding wordt deterministisch "verstoord" tot een tijdstip $t'$, waarbij de semantische attributen worden verwijderd maar de structuur behouden blijft.
2. MI-geleide Synthese: Het proces wordt omgekeerd van $t'$ naar $t=0$, waarbij de diffusie wordt geleid door de MI-maximalisatie met de pertubeerde latente groep. Dit resulteert in een nieuwe afbeelding die de structuur van het origineel behoudt, maar de semantische veranderingen van de neurale groep weerspiegelt.

Experimenten en Resultaten

De methode werd getest op multi-sessie neurale spiking-data van twee makaken (M1 en M2) in de IT-cortex tijdens een passieve objectherkenningsopdracht (8 objectcategorieën).

Kernbevindingen:

1. Groep 1 (Pose): Deze groep, die supervisie kreeg op rotatie, toonde duidelijke selectiviteit voor pose-veranderingen (rotatie van objecten). De objectcategorie bleef onveranderd, wat aantoont dat pose en semantiek gescheiden zijn.
2. Groep 2 (Inter-categorie): Hoewel deze groep alleen supervisie kreeg op categorie-ID, leerde het model om inter-categorie semantische attributen te controleren. Bijvoorbeeld: een gezicht werd omgezet in een aardbei. De sterkte van de activatie correleerde met de semantische afstand.
3. Groep 3 & 4 (Intra-categorie details): Deze onbewaakte groepen encodeerden intra-categorie variaties. Interessant genoeg was deze selectiviteit lokaal: Groep 3 beïnvloedde vooral gezichten en aardbeien, terwijl Groep 4 auto's en tafels beïnvloedde. Dit suggereert dat de neurale manifold niet globaal lineair is, maar anisotroop en gekromd, waarbij verschillende objectcategorieën verschillende richtingen in de ruimte volgen.

Vergelijking met Baselines:
MIG-Vis presteerde aanzienlijk beter dan:

• Standard Latent Traversal (SLT): Gebruikte een decoder en leverde minder schone veranderingen op.
• Activation Probing (AP-CFG): Gebruikte activatie-maximalisatie en was minder effectief voor complexe inter-categorie overgangen.
• MIG-Vis zonder MI: Gebruikte likelihood-geleiding, wat leidde tot inconsistente overgangen omdat het slechts vereiste dat de decoder de afbeelding herkende, niet dat de afbeelding de volledige semantiek van de latent weerspiegelde.

Reconstructiekwaliteit:
De neurale reconstructie (gemeten met $R^2$) bleef hoog (rond 76-83%), wat aantoont dat de toevoeging van supervisie en regularisatie de kwaliteit van de neurale representatie niet significant aantastte.

Bijdragen en Betekenis

1. Eerste directe visualisatie: Dit is het eerste werk dat semantische selectiviteit in de hogere visuele cortex direct visualiseert vanuit elektrofysiologische data (spiking), in plaats van indirecte correlaties met DNN's.
2. Nieuwe methode (MIG-Vis): Het introduceert een krachtige combinatie van groepsweise ontkoppelde VAE's en mutual information-geleide diffusie om neurale latenten te interpreteren.
3. Inzicht in neurale geometrie: De resultaten bieden direct bewijs dat neurale representaties gestructureerd zijn in semantisch betekenisvolle subruimtes. Het onthult dat sommige dimensies (zoals pose) een globaal consistente semantiek hebben (een torus-achtige structuur), terwijl andere (intra-categorie details) lokaal en object-afhankelijk zijn.
4. Toekomstperspectief: MIG-Vis dient als een intuïtief hulpmiddel om neurale manifolds te visualiseren en hypothesen te genereren over de geometrie van de visuele cortex, wat een belangrijke stap is naar het begrijpen van de compositionaliteit van visuele codering bij primaten.

De code is beschikbaar op GitHub: https://github.com/BRAINML-GT/MIG-Vis.