Technische Samenvatting: STSBENCH

Probleemstelling

Het visuele systeem van primaten is functioneel verdeeld in twee stromen: de ventrale stroom, gespecialiseerd in objectherkenning, en de dorsale stroom, gespecialiseerd in het coderen van ruimtelijke relaties en beweging. Convolutionele neurale netwerken (CNN's) die zijn voorgetraind op objectherkenning, zijn zeer effectief gebleken bij het voorspellen van neuronale responsen in de ventrale stroom (bijv. V4, IT-cortex), terwijl modellen voor de dorsale stroom nog onderontwikkeld zijn. Deze kloof wordt primair toegeschreven aan een gebrek aan grootschalige datasets die dorsale stroomgebieden omvatten. Bestaande datasets, zoals die met opnames van gebied MT, zijn orders van grootte kleiner (bijv. ~45 neuronen) vergeleken met ventrale stroomdatasets (duizenden neuronen), wat de ontwikkeling van deep learning-gebaseerde modellen voor dorsale stroomverwerking belemmert.

Methodologie

De auteurs introduceren STSBENCH, een grootschalige dataset en benchmark die is ontworpen om het tekort aan dorsale stroomdata aan te pakken.

Datasetverzameling:

• Subjecten: Twee mannelijke Rhesusapen.
• Opnametechnologie: Hoog-densiteit extracellulaire opnames met Neuropixels 1.0 NHP-probes gepositioneerd in de superieure temporale sulcus (STS), specifiek gericht op de middelste temporale (MT) en mediale superieure temporale (MST) gebieden.
• Stimuli: Apen bekeken ongeveer 4.500 unieke, 200ms natuurlijke videoclips uit de Ego4D-dataset terwijl ze een video-fixatietaak uitvoerden.
• Schaal: De dataset bevat opnames van 2.244 neuronen, wat een bijna 50-voudige toename betekent ten opzichte van bestaande dorsale stroomdatasets.
• Preprocessing: De neurale data werd spike-gesorteerd met behulp van Kilosort4. Neuronen werden gefilterd op gemiddelde vuursnelheden (> 2 Hz) en responsbetrouwbaarheid (> 0,5). Waveforms werden geclassificeerd in vermeende celtypen: regular-spiking (RS, exciterend), fast-spiking (FS, inhiberend) en axonal-spiking (AS).

Modelleringsaanpak:
De paper evalueert twee primaire modelleringstaken:

1. Encoding Modellen: Deze mappen visuele stimuli naar neuronale vuursnelheden. De auteurs testten een reeks feature extractors gevolgd door een gefactoriseerde readout-laag. De feature extractors omvatten:
   • Handmatig afgestemde 3D Gabor-filters.
   • Voorgetrainde 3D ResNets (getraind op Kinetics voor actieherkenning of zelfbeweging-schatting).
   • 3D CNN's die end-to-end zijn getraind (variërend in diepte van 1 tot 7 lagen).
   • De input voor de modellen was een 150×150 crop van de video.
2. Reconstructie Modellen: Deze mappen neuronale activiteit terug naar visuele stimuli. De auteurs maakten gebruik van een neurale-conditionele latente diffusiemodel.
   • Architectuur: Een vector-gekwantiseerde variational autoencoder (VQ-VAE) mapt afbeeldingen naar een latente ruimte, en een denoising U-Net genereert afbeeldingen geconditioneerd op neuronale activiteit.
   • Modificatie: De text-embedding input in standaard Stable Diffusion werd vervangen door een vector van vuursnelheden van de opgenomen neuronen.
   • Metrieken: Prestaties werden geëvalueerd met behulp van de Peak Signal-to-Noise Ratio (PSNR) en Learned Perceptual Image Patch Similarity (LPIPS), vergeleken met 'shuffled' en 'mean' null-modellen.

Belangrijkste Bijdragen

1. Release van STSBENCH: Een dataset van single-neuron opnames van 2.244 neuronen in de STS (MT/MST) in reactie op ~4.500 unieke natuurlijke video's.
2. Benchmarking van Encoding Modellen: Een uitgebreide evaluatie van encoding modellen voor dorsale stroomresponsen, waarbij wordt vastgesteld dat end-to-end getrainde 3D CNN's bestaande baselines (hand-tuned Gabor filters en voorgetrainde ResNets) overtreffen.
3. Neurale Reconstructie: Demonstratie van succesvolle reconstructie van visuele stimuli uit dorsale stroom neuronale activiteit met behulp van een conditioneel latent diffusiemodel, wat het nut van de dataset voor decodeertaken valideert.

Resultaten

Encoding Prestaties:

• Modeldiepte: 3D CNN's die end-to-end zijn getraind, presteerden beter dan alle baseline modellen. De prestaties namen toe met de netwerkdiepte en bereikten een plateau na vijf lagen, wat suggereert dat diepe niet-lineaire berekeningen cruciaal zijn voor het voorspellen van MT/MST responsen.
• Pretrained vs. End-to-End: Features uit de vroege lagen van voorgetrainde 3D ResNets (Kinetics) waren betere voorspellers dan latere lagen, wat aangeeft dat MT/MST neuronen meer selectief zijn voor laag-niveau visuele representaties dan voor hoog-niveau actiecategorieën.
• Celtype: Modellen presteerden significant beter voor regular-spiking (vermoedelijk exciterende) neuronen vergeleken met fast-spiking (vermoedelijk inhiberende) neuronen.
• Feature Analyse: Filters geleerd door een 1-laags end-to-end CNN bevatten drijvende Gabor-achtige patches (consistent met de MT-theorie) evenals complexe eigenschappen zoals 'on-off' responsen, rotaties en chromatische kenmerken die niet typisch worden benadrukt in standaard MT-modellen.

Reconstructie Prestaties:

• Dorsale Stroom (MT/MST): Reconstructies legden succesvol lage ruimtelijke frequentie luminantiecontouren en bewegingsstatistieken vast (bijv. randen van objecten), maar misten hoge ruimtelijke frequentie details en objectidentiteit (bijv. specifieke logo's of texturen). Dit komt overeen met de theoretische "waar"-functie van de dorsale stroom.
• Ventrale Stroom (V4) Vergelijking: Reconstructies van V4-data (TVSD) legden gedetailleerde vorm, kleur en objectidentiteit vast ("wat"-functie).
• Kwantitatieve Metrieken: Het conditionele diffusiemodel presteerde significant beter dan 'shuffled' en 'mean' null-modellen op zowel PSNR als LPIPS voor dorsale stroom data, wat bevestigt dat het model specifieke neuronale activiteit gebruikte om beeldgeneratie te conditioneren.

Betekenis en Claims

De auteurs positioneren STSBENCH als een fundamentele bron voor systeemneurowetenschap, specifiek voor de dorsale stroom. De paper claimt:

• Overbruggen van de Data Gap: STSBENCH biedt de noodzakelijke schaal om deep learning-modellen voor dorsale stroomverwerking te ontwikkelen en te benchmarken, een veld dat voorheen beperkt werd door kleine datasets.
• Model Verfijning: De resultaten laten zien dat eenvoudige 3D CNN's die end-to-end zijn getraind, huidige conceptuele modellen (Gabor banks, zelfbeweging-schatters) kunnen overtreffen, wat suggereert dat er behoefte is aan een verfijning van de theorieën over MT/MST-verwerking.
• Functionele Validatie: De reconstructieresultaten bieden kwalitatieve en kwantitatieve bewijzen dat dorsale stroom neuronen beweging en luminantiecontrast coderen, terwijl ze een gebrek aan objectidentiteit details vertonen, wat de functionele segregatie tussen de dorsale en ventrale stromen valideert op het niveau van enkelvoudige neuronen.
• Toekomstig Nut: De dataset en baselines dienen als een eerste stap naar een volledig begrip van dorsale stroomgebieden, wat toekomstige studies mogelijk maakt om interpretabiliteitsmethoden toe te passen op diepere modellen en niet-lineaire berekeningen in MT/MST te verkennen.

De paper blijft bescheiden over de reikwijdte en erkent dat de geteste modellen niet uitputtend waren en dat de dataset beperkingen heeft met betrekking tot potentiële "split" of "merge" fouten in spike-sorting en de inclusie van oppervlakkige neuronen uit aangrenzende gebieden. Er wordt niet beweerd dat het de dorsale stroom volledig oplost, maar dat het de infrastructuur biedt om dit te doen.