🧬 biology

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

Het artikel introduceert WiCAT, een multi-subject fundamenteel model voor widefield calcium imaging dat atlas-gealigneerde spatiotemporele tokenisatie en zelfgesuperviseerde pretraining gebruikt om een superieure prestatie te behalen ten opzichte van single-session baselines, terwijl het tegelijkertijd zero-shot gedragsdecodering en hersenregio-reconstructie op onbekende subjecten mogelijk maakt.

Oorspronkelijke auteurs: Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Gepubliceerd 2026-07-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je brein een enorme, bruisende stad is. Normaal gesproken, wanneer wetenschappers willen bestuderen hoe deze stad werkt, kijken ze naar slechts één buurt tegelijk, of bestuderen ze misschien de pendelreis van één specifieke persoon. Ze maken een kaart voor die persoon, op die dag, voor die specifieke taak. Maar wat als je een kaart wilt die voor iedereen in de stad werkt, direct, zonder dat je telkens opnieuw de straten hoeft te leren kennen als er een nieuwe persoon arriveert? Dat is de grote droom, en tot nu toe was het een beetje een puzzel.

Maak kennis met WiCAT, een nieuwe "breinvertaler" ontwikkeld door onderzoekers van USC. Denk aan WiCAT als een superintelligente gids die de blauwdrukken van de hele stad heeft bestudeerd (de anatomie van het brein), in plaats van alleen de gewoonten van individuele toeristen uit het hoofd te leren.

Het Probleem: Te veel ruis, te veel kaarten

Widefield calcium imaging is als een high-definition dronecamera die over het oppervlak van het brein vliegt. Het legt de gloeiende activiteit van miljoenen neuronen tegelijk vast, wat een enorme, kolkende video van het brein in actie creëert. Maar hier is het addertje onder het gras: deze video's zijn enorm, rommelig en vol "achtergrondruis"—zoals het gezoem van het brein zelf, of reacties op zaken die niets te maken hebben met de taak waar het om gaat.

Vanwege deze chaos moesten wetenschappers de data van één sessie meestal weggooien en de volgende keer weer bij nul beginnen. Ze konden gegevens van 38 verschillende muizen, 378 verschillende opnamesessies en twee verschillende soorten taken niet gemakkelijk combineren om één gigantisch, krachtig model te bouwen. Het was alsof je een taal probeert te leren door slechts één zin uit één boek te lezen, om het boek vervolgens weg te gooien en met een ander boek opnieuw te beginnen.

De Oplossing: De "Atlas"-truc

De onderzoekers realiseerden zich dat hoewel elke muis uniek is, hun hersen-"stadsplattegronden" eigenlijk gebouwd zijn op dezelfde blauwdruk. Om dit op te lossen, hebben ze een manier uitgevonden om de gegevens van elk afzonderlijk brein te dwingen in dezelfde standaardkaart te passen, de Allen Brain Atlas.

Denk aan het volgende: Stel je voor dat 38 verschillende mensen kaarten van hun eigen huizen tekenen. De een gebruikt een raster van 10x10 vierkantjes, een ander 20x20, en ze hebben al hun keukens op net iets andere plekken getekend. WiCAT neemt al deze rommelige tekeningen en klikt ze vast op één enkel, perfect vooraf getekend raster. Plotseling ligt de "keuken" van Muis A precies op één lijn met de "keuken" van Muis B.

Zodra alles is uitgelijnd, hakt WiCAT de hersenvideo in kleine puzzelstukjes (tokens) en voert deze in een gigantisch AI-brein (een Transformer) dat leert voorspellen hoe de ontbrekende stukjes eruitzien. Het is als een spel waarbij je 90% van een hersenvideo afdekt en de AI vraagt te raden wat eronder verborgen ligt. Om te winnen, moet de AI de regels leren van hoe het brein beweegt en denkt, en niet alleen de specifieke gezichten van de muizen die hij eerder heeft gezien memoriseren.

De Magie: Zero-Shot Superkrachten

De echte magie gebeurt wanneer ze WiCAT testen op een muis die ze nog nooit hebben gezien.

In het verleden, als je een oud model een nieuwe muis liet zien, raakte het model in de war en faalde het. Maar WiCAT is anders. Omdat het de "universele regels" van de stadsplattegrond van het brein heeft geleerd tijdens de training, kan het naar een gloednieuwe muis kijken en direct het gedrag decoderen.

Zero-Shot Gedragsdecodering: Het model kan een nieuwe muis observeren en raden wat hij doet (zoals reiken naar een hendel of zijn kop draaien) met een verrassende nauwkeurigheid, zonder eerst oefendata van die specifieke muis nodig te hebben. Het is alsof je een vreemde ontmoet en direct weet hoe hij loopt, simpelweg omdat je de blauwdruk van menselijke benen hebt bestudeerd.
Het invullen van de gaten: Het model kan zelfs raden wat er gebeurt in een deel van het brein dat het niet kan "zien" (een regio die gemaskeerd is), enkel door te kijken naar de activiteit in de rest van het brein. Het is als het kunnen horen van een gesprek in een kamer die je niet kunt zien, door alleen naar de gedempte geluiden in de gang te luitslaan.

Wat WiCAT NIET is (en wat het uitsluit)

Het is belangrijk om te weten wat dit model niet doet, want de paper is daar heel duidelijk over.

Het is geen "one-size-fits-all" toverstaf die de anatomie negeert. De paper argumenteert expliciet tegen modellen die proberen te leren zonder een kaart. Als je probeert te trainen zonder de breinen uit te lijnen met de atlas, faalt het model in het generaliseren naar nieuwe subjecten. De "kaart" is essentieel.
Het hoeft niet opnieuw getraind te worden voor elke nieuwe muis. De paper testte modellen die probeerden "sessie-specifieke" details te leren (zoals een unieke ID voor elke muis). Die modellen faalden wanneer ze geconfronteerd werden met een nieuwe muis. WiCAT bewijst dat je niet het hele systeem voor elk nieuw dier opnieuw hoeft te trainen; de gedeelde "taal van het brein" is voldoende.
Het is nog geen "perfecte" oplossing. De paper suggereert dat hoewel de resultaten sterk zijn, het model nog steeds afhankelijk is van het correct uitlijnen van het brein. Als de kaart gedraaid of verkeerd uitgelijnd is, daalt de prestatie van het model. Het is robuust, maar niet onkwetsbaar.

De Cijfers (Het Bewijs)

De onderzoekers hebben niet alleen gegokt; ze hebben het gemeten.

Ze trainden op data van 38 subjecten verspreid over 378 sessies.
Wanneer getest werd op nieuwe, ongeziene muizen, behaalde WiCAT een gedragsdecoderingsscore (R²) van 0,3274 op de Musall-dataset en 0,1840 op de Kondo-dataset.
Vergelijk dat met de oude "single-session" modellen, die op dezelfde nieuwe muizen respectievelijk rond de 0,0477 en 0,0573 scoorden. Dat is een enorme sprong!
Nog beter: als je het model een klein beetje hulp geeft (ongeveer 16 pogingen of zo'n 100 seconden aan opnames), kan het zich aanpassen en nog beter worden, waarbij het scores bereikt van 0,4336 en 0,2869.

De Kernboodschap

WiCAT is een belangrijke stap richting een "foundation model" voor het brein—één enkel, krachtig AI-model dat de algemene taal van hersenactiviteit begrijpt over verschillende dieren en taken heen. Het suggereert dat als we onze data correct uitlijnen en de AI leren om te zoeken naar universele patronen in plaats van specifieke details, we modellen kunnen bouwen die direct generaliseren naar nieuwe subjecten.

De paper beweert niet dat dit alles oplost of dat het voor elk type breindata (zoals diepe hersenopnames) werkt, maar het suggereert een nieuwe weg vooruit voor widefield calcium imaging: stop met het behandelen van elk brein als een unieke puzzel en begin de AI de gedeelde blauwdruk te leren die hen allemaal verbindt. En het beste eraan? De code is openbaar, zodat iedereen zelf kan proberen voort te bouwen op deze "breinvertaler".

Technische Samenvatting: Cross-Subject Modellering voor Widefield Calcium Imaging via Atlas-gealigneerde Spatiotemporele Tokenisatie

Probleemstelling
Widefield calcium imaging biedt ongekende toegang tot brede corticale dynamiek in bewegende dieren, waarbij mesoschaal neurale activiteit met een hoge temporele resolutie en brede ruimtelijke dekking wordt geleverd. Echter, de hoge dimensionaliteit, complexe spatiotemporele structuur en aanzienlijke taakongerelateerde activiteit in deze opnames hebben de modellering historisch beperkt tot single-session of single-subject analyses. Bestaande benaderingen vertrouwen doorgaans op sessie-specifieke parameters of preprocessing-stappen (bijv. PCA, LocaNMF) die de schaalbaarheid en cross-subject generalisatie beperken. Hoewel multi-subject pretrained modellen veelbelovend zijn gebleken voor andere neurale modaliteiten (bijv. spiking, LFP), zijn ze nog niet aangetoond voor widefield calcium imaging. Bovendien blijft het bereiken van subject-invariante zero-shot gedragsdecodering en neurale reconstructie over ongeziene subjects een openstaande uitdaging.

Methodologie: WiCAT
De auteurs introduceren WiCAT (Widefield Calcium imaging Atlas-aligned Tokenizer model), een multi-subject foundation model dat ontworpen is om gedeelde spatiotemporele representaties te leren over diverse subjects, sessies en datasets. De architectuur bestaat uit drie kerncomponenten:

Atlas-gegronde Tokenisatie: Om parameterdeling mogelijk te maken tussen subjects met variërende corticale morfologieën en opstellingen, worden alle widefield opnames ruimtelijk geregistreerd naar een gemeenschappelijk anatomisch referentiekader (het Allen Brain Atlas Common Coordinate Framework) en gehersampled naar een uniforme ruimtelijke resolutie (128 × 128). De gealigneerde frames worden verdeeld in niet-overlappende spatiotemporele patches. Cruciaal is dat het model globale ruimtelijke embeddings gebruikt die geassocieerd zijn met elke atlas-gealigneerde patch-index. Deze embeddings worden gedeeld over alle subjects, sessies en datasets, wat een consistente representatie van de corticale locatie biedt zonder sessie-specifieke componenten.
Spatiotemporele Transformer Backbone: De getokeniseerde data wordt verwerkt door een Transformer-encoder die gezamenlijke ruimtelijke en temporele aandacht (attention) toepast. Rotary positional embeddings (RoPE) worden gebruikt om relatieve temporele informatie te coderen. Het model werkt op een uniforme sequentie van tokens, waardoor het interacties tussen corticale regio's en tijd binnen een enkele attention-mechanisme kan vastleggen.
Zelfgesuperviseerde Pretraining (MAE): Het model wordt getraind met een Masked Autoencoder (MAE) objectief. Tijdens de pretraining worden 90% van de spatiotemporele tokens willekeurig gemaskeerd over ruimte en tijd. De encoder verwerkt alleen de niet-gemaskeerde tokens, terwijl een lichtgewicht Transformer-decoder de gemaskeerde patches reconstrueert met behulp van een Mean Squared Error (MSE) loss. Cruciaal is dat er tijdens de pretraining geen subject-, sessie- of dataset-identificatoren worden meegegeven; het model moet uitsluitend vertrouwen op de schaarse context en gedeelde globale ruimtelijke embeddings om de neurale activiteit te reconstrueren.

Belangrijkste Bijdragen

Multi-Subject Modellering: WiCAT is het eerste model dat neurale opnames van verschillende subjects in een gedeelde representatieruimte brengt voor widefield calcium imaging, waarmee de single-session beperkingen van eerder werk worden overstegen.
Atlas-gebaseerde Tokenisatie: De auteurs stellen een tokenisatie-schema voor met globale ruimtelijke embeddings die subject-invariante anatomische organisatie vastleggen, wat cross-subject modellering mogelijk maakt zonder sessie-specifieke parameters.
Uitdagend Pretraining Framework: Een zelfgesuperviseerd MAE-framework is ontworpen om spatiotemporele representaties te leren die neurale activiteit reconstrueren zonder toegang tot subject-identificatoren, wat het model dwingt om globale dynamiek te leren in plaats van sessie-specifieke ruis.
Zero-Shot Mogelijkheden: Het model vertoont robuuste zero-shot continue gedragsdecodering en efficiënte few-shot adaptatie op ongeziene subjects. Het bereikt ook zero-shot reconstructie van uitgelaten hersenregio's, wat aangeeft dat de geleerde representaties cross-regio afhankelijkheden vastleggen die generaliseren over subjects.
Cross-Dataset Transfer: De getrainde representaties transfereren effectief over datasets met verschillende opstellingen, ruimtelijke resoluties en gedragstaken.

Resultaten
Geëvalueerd op twee grootschalige datasets (Musall en Kondo) die 38 subjects en 378 sessies beslaan, presteerde WiCAT beter dan baseline modellen, inclusief single-session dynamische modellen (SBIND), lineaire regressie op PCA/LocaNMF features, en multi-sessie extensies van SBIND.

Gedragsdecodering: WiCAT bereikte aanzienlijk hogere gedragsdecodering prestaties ( $R^2$ ) op zowel de finetune als de zero-shot sets vergeleken met alle baselines. Opvallend genoeg bereikte WiCAT Linear probing op de zero-shot set (ongeziene subjects) $R^2$ -scores van 0,3274 (Musall) en 0,1840 (Kondo), waarmee het de eerstvolgende beste multi-sessie baseline substantieel overtrof.
Zero-Shot Generalisatie: Het model behield sterke prestaties op ongeziene subjects zonder enige gradiënt-updates aan de backbone of decoder.
Neurale Reconstructie: In zero-shot left-out regio reconstructie taken, behaalde WiCAT consequent een lagere reconstructiefout (MSE) dan een lineaire cross-region decoder baseline over belangrijke corticale gebieden (bijv. SS, VIS, MO), waarbij de regio-specifieke temporele structuur behouden bleef.
Ablatie Studies: Het verwijderen van globale ruimtelijke embeddings of het introduceren van sessie-specifieke parameters verslechterde de zero-shot prestaties aanzienlijk, wat de noodzaak van de voorgestelde architectuur voor cross-subject transfer bevestigt. Daarnaast presteerde MAE pretraining beter dan JEPA-stijl pretraining voor deze modaliteit.
Schaalbaarheid: Prestaties verbeterden met een toename van het volume aan pretraining data en modelcapaciteit, wat suggereert dat het framework grotere datasets effectief kan benutten.

Betekenis
Dit artikel positioneert WiCAT als een fundamentele stap richting "foundation-style" modellering voor widefield calcium imaging. Door aan te tonen dat gedeelde representaties geleerd kunnen worden over subjects en sessies heen zonder sessie-specifieke afstemming, adresseert dit werk kritieke barrières voor schaalbaarheid en generalisatie in neurale imaging. Het vermogen om zero-shot gedragsdecodering en neurale reconstructie uit te voeren op ongeziene subjects geeft aan dat het model fundamentele, subject-invariante spatiotemporele dynamiek van corticale activiteit vastlegt. Deze benadering faciliteert het hergebruik van geleerde representaties over dieren, sessies en experimentele condities, wat onderzoek naar gedistribueerde populatiedynamiek en grootschalige functionele organisatie potentieel kan versnellen. De auteurs merken op dat hoewel de huidige schaal van publieke widefield data kleiner is dan andere modaliteiten, het framework is ontworpen om te schalen naarmate grotere, diversere datasets beschikbaar komen.