Interpreting V1 Population Activity via Image-Neural Latent Representation Alignment

Technische Samenvatting: Dual-Tower Image–Neural Alignment (DINA)

Probleemstelling
Het begrijpen van de neurale mechanismen die ten grondslag liggen aan visuele verwerking in de primaire visuele cortex (V1) blijft een centrale uitdaging. Hoewel recente op uitlijning gebaseerde benaderingen de nauwkeurigheid van het decoderen van visuele prikkels uit hersenactiviteit hebben verbeterd, behandelen ze het uitlijningsproces vaak als een "zwarte doos" die uitsluitend is geoptimaliseerd voor voorspellende prestaties. Bijgevolg bieden deze methoden beperkt inzicht in de specifieke neurale berekeningen en intermediaire feature-representaties die leiden tot succesvol decoderen. Bestaande encoderings- en decoderingsmodellen opereren doorgaans op het niveau van ruwe afbeeldingen en modelleren niet expliciet de intermediaire feature-kaarten die neurale populaties daadwerkelijk coderen. Er is behoefte aan een raamwerk dat niet alleen prikkels nauwkeurig decodes, maar ook interpreteerbare toegang biedt tot de latente feature-kaarten om computationele principes op populatieniveau te onderzoeken.

Methodologie: Dual-Tower Image–Neural Alignment (DINA)
Om dit aan te pakken, stellen de auteurs DINA voor, een interpreteerbaar contrastief raamwerk dat visuele prikkels en overeenkomstige V1-populatieresponsen uitlijnt in een gedeelde latente ruimte op het niveau van intermediaire feature-kaarten. De architectuur bestaat uit twee biologisch gemotiveerde torens die gezamenlijk worden getraind:

1. Image Tower: Ontworpen om corticale visuele verwerking te spiegelen, maakt deze toren gebruik van een dual-stream architectuur die is geïnspireerd op de parallelle verwerking van lokale en globale informatie.

   • Local Stream: Verwerkt hoogresolutie-invoer met behulp van diepte-convoluties om ruimtelijk gelokaliseerde patronen te extraheren.
   • Global Stream: Verwerkt laagresolutie-invoer met behulp van self-attention-mechanismen om lange-afstands contextuele afhankelijkheden te vangen.
   • Co-Attention: Een inter-schaal co-attention-mechanisme maakt bidirectionele informatie-uitwisseling mogelijk tussen de lokale en globale streams, waarbij fijne structuur wordt geïntegreerd met globale context.
   • Output: De torens produceert een compacte, single-channel feature-kaart (1×16×64) die de ruimtelijke structuur behoudt.

2. Neural Tower: Deze torens reconstrueert een latente representatie uit populatie-neurale responsen (bijvoorbeeld tweefoton-calciumbeeldvormingsdata) die overeenkomt met de dimensionaliteit van de output van de image tower.

   • Embedding: Individuele neuronen worden gemapt naar leerbare embedding-vectoren om neuron-specifieke respons eigenschappen te vangen.
   • Self-Attention: Een self-attention-module modelleert interacties binnen de neurale populatie, waardoor informatieve responsen kunnen worden geïntegreerd en versterkt.
   • Aggregation: Neuron-specifieke aggregatielagen projecteren de interactie-bewuste representaties naar scalair waarden, die vervolgens via een Multi-Layer Perceptron (MLP) worden geleid om de definitieve latente feature-kaart (16×64) te genereren.

3. Training Objective: De twee torens worden getraind met een contrastief doel (InfoNCE-verlies) over batches van afbeelding-neuraal paren. Dit bevordert de uitlijning van overeenkomende afbeelding-neuraal trials in de gedeelde latente ruimte, terwijl niet-overeenkomende paren worden gescheiden.

Belangrijkste Resultaten
Geëvalueerd op grootschalige tweefoton-calciumbeeldvormingsdata van muizen-V1 (met ~10.000 neuronen en 2.800 prikkels), toont DINA het volgende aan:

• Decoding Performance: DINA bereikt betrouwbare neurale decoding, met een gemiddelde top-1 retrieval-nauwkeurigheid van 36,8% en top-5 nauwkeurigheid van 60,5% over vier muizen. Het presteert beter dan baseline-modellen die standaard visuele encoders (VGG-16 en ViT) gebruiken, gekoppeld aan MLP-uitleesmechanismen.
• Aard van Uitgelijnde Representaties: Analyse van de uitgelijnde feature-kaarten onthult dat succesvol decoderen voornamelijk wordt ondersteund door grove, laag-niveau visuele structuur in plaats van semantische categorische informatie of fijne details. Dit wordt onderbouwd door:
  • Hoge structurele gelijkenis (SSIM) en lage perceptuele afstand (LPIPS) tussen afbeelding- en neurale feature-kaarten.
  • Variantiespectra die een snelle afname tonen in hogere-orde componenten, vergelijkbaar met natuurlijke afbeeldingen maar gedomineerd door laagfrequente structuur.
  • Gecontroleerde stimulusmanipulaties: De retrieval-nauwkeurigheid daalt scherp wanneer laag-dimensionale structuur wordt verwijderd (gewhite afbeeldingen), maar blijft hoog voor laag-dimensionale (8D) afbeeldingen die grove structuur behouden.
• Ruimtelijke Bijdragen: Interpretability-analyses van de image tower tonen aan dat uitgelijnde feature-kaarten voortkomen uit meerdere ruimtelijk verspreide regio's ("blobs") in plaats van uniforme integratie. Deze regio's vangen zowel vorm- als textuurkaders, waarbij gemengde representaties het meest voorkomen.
• Neurale Uitleesmechanismen: Ablatiestudies aan de neural tower onthullen dat de uitgelijnde feature-kaarten voornamelijk worden gereconstrueerd door spare subsets van sterk responsieve neuronen (ongeveer 12% van de populatie is voldoende om hoge gelijkenis te herstellen). Bovendien zijn functionele interacties (gemodelleerd via attention-scores) sterk scheef verdeeld, waarbij een klein deel van de verbindingen onevenredig grote gewichten draagt, wat consistent is met spaarzame en efficiënte corticale codering.

Belangrijkste Bijdragen

1. Analytisch Raamwerk: De auteurs formuleren contrastieve afbeelding-neurale uitlijning niet louter als een decoderingstool, maar als een algemeen analytisch raamwerk voor het onderzoeken van neurale berekening op populatieniveau.
2. Biologisch Onderbouwde Architectuur: Zij stellen een dual-tower model voor dat is geïnspireerd op corticale visuele verwerking (parallelle lokale/globale paden en populatie-interacties) en dat uitgelijnde feature-kaarten in V1 produceert terwijl betrouwbare decoding wordt bereikt.
3. Mechanistische Inzichten: Multi-level interpretability-analyses onthullen dat V1-populatiecodering wordt gedreven door laag-niveau visuele structuur, ruimtelijk verspreide stimulusbijdragen en spaarzame neurale uitleesmechanismen die sterk responsieve neuronen en niet-uniforme functionele interacties omvatten.

Betekenis en Aanspraken
Het artikel beweert dat DINA een principieel raamwerk biedt voor het onderzoeken van de computationele mechanismen die ten grondslag liggen aan visuele verwerking in V1. Door representaties uit te lijnen op het niveau van intermediaire feature-kaarten, gaat het raamwerk voorbij aan eenvoudige decoderingsnauwkeurigheid om te onthullen hoe visuele informatie wordt gerepresenteerd. De resultaten bevestigen dat V1-populatieactiviteit grove, laag-dimensionale structuren codeert en dat deze codering rust op spaarzame, verspreide neurale mechanismen. De auteurs positioneren dit werk als een tool voor mechanistisch onderzoek in de neurowetenschappen, die een weg biedt om dergelijke uitlijningsraamwerken uit te breiden naar andere hersengebieden om hiërarchische organisatie te onderzoeken, en niet als een directe tool voor real-world besluitvorming of brain-computer interfaces.