🧬 biology

Task-guided cross-subject latent alignment: a multi-encoder-decoder VAE

Dit artikel introduceert de Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), een raamwerk dat superieure cross-subject neurale uitlijning en generaliseerbare decodering bereikt zonder gedeelde stimuli te vereisen, door neurale representaties te verankeren aan een gemeenschappelijk steunpunt geboden door een vooraf getraind kunstmatig neuraal netwerk.

Oorspronkelijke auteurs: Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een boek probeert te vertalen dat geschreven is in een geheime code. Het probleem is dat er 8 verschillende mensen zijn, elk met hun eigen unieke versie van de code. Hoewel ze allemaal precies hetzelfde verhaal lezen, schrijft Persoon A "appel" als "rood-vrucht-cirkel", Persoon B als "knapperig-zoet" en Persoon C als "Orchard-1".

Als je wilt begrijpen waar ze allemaal over nadenken tijdens het verhaal, kun je hun aantekeningen niet direct met elkaar vergelijken, omdat de woorden niet overeenkomen. Traditioneel probeerden wetenschappers dit op te lossen door iedereen dezelfde 872 pagina's van het boek te laten lezen, zodat ze een woordenboek konden opbouwen op basis van die gedeelde pagina's. Maar wat als de mensen verschillende boeken lezen, of de pagina's niet overlappen? De oude methoden falen dan.

Dit artikel introduceert een nieuwe tool genaamd MED-VAE die dit probleem oplost zonder dat iedereen dezelfde pagina's hoeft te lezen. Dit is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Universele Vertaler" (De ANN Scaffold)

In plaats van de mensen te dwingen rechtstreeks met elkaar te communiceren, introduceren de onderzoekers een Universele Vertaler (een kunstmatig neuraal netwerk, specifelijk een ResNet-50). Deze vertaler heeft al miljoenen afbeeldingen gelezen en weet precies hoe een "appel", een "auto" of een "persoon" er op een standaard, perfecte manier uitziet.

De Oude Manier: Je vraagt Persoon A en Persoon B om dezelfde appel te beschrijven, en dan probeer je hun beschrijvingen te matchen.
De Nieuwe Manier: Je vraagt Persoon A om de appel te beschrijven, en je vraagt Persoon B om de appel te beschrijven. Daarna vraag je hen beiden om hun beschrijvingen te vertalen naar de taal van de Universele Vertaler.

Omdat de Universele Vertaler een perfecte, gedeelde definitie heeft van wat een appel is, worden Persoon A en Persoon B gedwongen om "dezelfde taal te spreken" wanneer ze met de vertaler praten, zelfs als ze nooit met elkaar hebben gesproken.

2. De "Tweerichtingsweg" (De Architectuur)

De onderzoekers bouwden een machine met twee kanten:

De Input-zijde: Elke persoon heeft zijn eigen privévertaler die hun hersenscans (fMRI) omzet in de taal van de Universele Vertaler.
De Output-zijde: Er is een gedeelde decoder die probeert die Universele Taal terug te vertalen naar de oorspronkelijke "perfecte" beeldkenmerken van de Universele Vertaler.

De magie gebeurt omdat de machine wordt getraind om twee dingen tegelijk te doen:

Zorgen dat de taal van de Universele Vertaler kan worden terugvertaald naar een perfect beeld.
Zorgen dat de taal van de Universele Vertaler kan worden terugvertaald naar die specifieke persoon zijn hersenscan.

Dit creëert een "druk" op ieders hersenscans. Om aan de machine te voldoen, moeten de hersenscan van Persoon A en de hersenscan van Persoon B in exact dezelfde positie terechtkomen in de "Universele Taal" wanneer ze soortgelijke dingen zien (zoals een kat), zelfs als ze verschillende afbeeldingen hebben gezien.

3. De Resultaten: Een Betere Kaart

Toen de onderzoekers dit testten, ontdekten ze drie belangrijke zaken:

Een Netjes Georganiseerde Bibliotheek: In de nieuwe gedeelde ruimte zijn de "boeken" (afbeeldingen) perfect gecategoriseerd. Als je naar een kaart van de data kijkt, liggen alle "dieren" in één cluster en alle "voertuigen" in een andere. De oude methoden waren als een rommelige stapel waar dieren en auto's door elkaar lagen.
Geen "Gedeelde Pagina's" Nodig: De oude methoden (zoals SRM en Procrustes) hadden nodig dat iedereen naar dezelfde 872 afbeeldingen keek om te leren hoe ze moesten uitlijnen. MED-VAE had dat niet nodig. Het leerde de uitlijning simpelweg door de Universele Vertaler als gids te gebruiken.
Betere Voorspelling: Omdat de uitlijning zo goed is, als je de hersenactiviteit van Persoon A neemt, deze vertaalt naar de Universele Taal, en vervolgens terugvertaalt naar de taal van de hersens van Persoon B, krijg je een zeer nauwkeurige voorspelling van hoe de hersens van Persoon B eruit zouden zien. Het is alsoer dat je de gedachten van Persoon B kunt lezen door alleen naar de hersens van Persoon A te kijken, zonder ooit de data van Persoon B te hebben gezien.

4. De "Ruis"-Filter

Eén interessante bevinding ging over "ruis". De oude methoden leken tijdens het experiment beter te zijn in het reconstrueren van de exacte hersenscan. De onderzoekers realiseerden zich echter dat dit kwam doordat de oude methoden per ongeluk de "statische ruis" of "ruis" (zoals de hartslag of ademhaling van de persoon) aan het memoriseren waren die op dat exacte moment in de data aanwezig was.

Toen ze de methoden testten op nieuwe pogingen (om te controleren of het signaal echt was of slechts ruis), faalden de oude methoden. MED-VAE negeerde de ruis echter en behield het echte signaal. Het is alsof de oude methoden de achtergrondruis samen met de spraak opnamen, terwijl MED-VAE de ruis filterde en alleen de heldere stem behield.

Samenvatting

Het artikel presenteert een manier om de hersenactiviteit van verschillende mensen uit te lijnen zonder dat zij naar dezelfde afbeeldingen hoeven te kijken. Dit doen ze door een vooraf getrainde AI te gebruiken als een "gemeenschappelijke grond" of steiger. Dit creëert een gedeelde mentale kaart waarbij verschillende hersenen vergeleken kunnen worden, wat leidt tot een beter begrip van hoe wij allemaal de wereld zien, en waardoor het mogelijk wordt om de hersenactiviteit van de ene persoon te voorspellen op basis van die van een ander.

Technische Samenvatting: Taakgestuurde Cross-Subject Latente Alignement via Multi-Encoder-Decoder VAE

Probleemstelling

Het uitlijnen van neurale activiteit tussen verschillende individuen is essentieel voor het ontdekken van gedeelde computationele principes en het bouwen van generaliseerbare decoders in de systeemneurowetenschap. Traditionele aligneringmethoden (bijv. Shared Response Models, Procrustes-analyse, Hyperalignment) rusten echter op een cruciale beperking: ze vereisen gedeelde stimuli die door alle proefpersonen worden bekeken om transformatiematrices af te leiden. Deze beperking beperkt de toepasbaarheid ernstig bij naturalistische paradigma's waarbij proefpersonen grotendeels niet-overlappende of niet-gedeelde data bekijken, wat de aggregatie van grootschalige, cross-studie neuroimaging-datasets verhindert. Bovendien slagen methoden die uitsluitend getraind zijn op gedeelde subsets er vaak niet in om te generaliseren naar niet-gedeelde, niet-gedeelde stimuli, omdat hun aligneringstransformaties mogelijk niet de volledige representatieruimte vastleggen die nodig is voor bredere datasets.

Methodologie: MED-VAE

De auteurs introduceren de Multi-Encoder-Decoder Variational Autoencoder (MED-VAE), een framework dat is ontworpen om cross-subject alignering te bereiken zonder dat gedeelde stimuli vereist zijn. De kerninzicht is het gebruik van een vooraf getraind Artificieel Neuraal Netwerk (ANN) als een computationeel "steiger" (scaffold) om representaties van verschillende proefpersonen in een gemeenschappelijke latente ruimte te verankeren.

Architectuur

De MED-VAE maakt gebruik van een multi-pathway architectuur:

Proefsubject-specifieke encoders: Elke proefpersoon $i$ heeft een eigen encoder ( $Enc_{fMRI}^i$ ) die hun fMRI-responsen ( $x_{fMRI}^i$ ) naar een gedeelde $d$ -dimensionale latente ruimte ( $z_i$ ) mapt.
Gedeelde ANN-encoder: Een gedeelde encoder ( $Enc_{ANN}$ ) mapt kenmerken van een vooraf getraind ANN (specifiek ResNet-50) naar dezelfde latente ruimte.
Proefsubject-specifieke decoders: Elke proefpersoon heeft een eigen decoder ( $Dec_{fMRI}^i$ ) die hun oorspronkelijke voxelpatronen reconstrueert vanuit de latente ruimte.
Gedeelde ANN-decoder: Een universele decoder ( $Dec_{ANN}$ ) reconstrueert de ANN-kenmerken vanuit elke latente representatie (of deze nu afkomstig is van fMRI of van de ANN zelf).

Trainingsdoelstelling

Het model wordt getraind met een verliesfunctie die vier reconstructiepaden integreert met KL-regularisatie:

Binnen-modaliteit fMRI: Het reconstrueren van de fMRI-data van een proefpersoon vanuit hun eigen latente code.
Cross-modaliteit ANN $\to$ fMRI: Het reconstrueren van de fMRI-data van een proefpersoon vanuit de latente code gegenereerd door de ANN-encoder.
Binnen-modaliteit ANN: Het reconstrueren van ANN-kenmerken vanuit de latente code van de ANN-encoder.
Cross-modaliteit fMRI $\to$ ANN: Het reconstrueren van ANN-kenmerken vanuit een door fMRI afgeleide latente code van een proefpersoon.

De gedeelde ANN-decoder fungeert als het primaire aligneringsmechanisme. Door alle latente representaties van proefpersonen te dwingen om dezelfde hiërarchische visuele kenmerken en semantische relaties te reconstrueren die door de ANN worden gecodeerd, legt het model een impliciete aligneringsdruk op. Dit zorgt ervoor dat semantisch vergelijkbare stimuli (zelfs als ze door verschillende proefpersonen worden bekeken) naar nabijgelegen locaties in de gedeelde latente ruimte mappen. Cruciaal is dat de ANN-steiger alleen nodig is tijdens de training; tijdens de inferentie worden proefpersonen in de gedeelde ruimte geprojecteerd met behulp van enkel hun fMRI-encoders.

Belangrijkste Bijdragen

Eliminatie van Gedeelde Stimuli: MED-VAE bereikt cross-subject alignering zonder dat proefpersonen identieke stimuli hoeven te bekijken, door gebruik te maken van de structurele priors van een vooraf getraind ANN.
Semantische Organisatie: De methode produceert latente ruimtes met een superieure semantische organisatie, wat blijkt uit hogere silhouette scores en betere cross-subject categorie-decoding nauwkeurigheid vergeleken met traditionele methoden.
Robuuste Generalisatie: In tegenstelling tot traditionele methoden die degraderen op niet-gedeelde stimuli, vertoont MED-VAE een robuuste generalisatie naar held-out afbeeldingen, waarbij het subject-invariante representaties vastlegt in plaats van te overfitten op specifieke gedeelde subsets.
Signaalbehoud: Cross-trial evaluaties onthullen dat terwijl traditionele methoden mogelijk een hogere binnen-trial reconstructie laten zien (vaak door het opvangen van trial-specifieke ruis), MED-VAE een gelijkwaardig niveau van stimulus-gedreven signaal behoudt terwijl het ruis onderdrukt.
Downstream Nut: De gealigneerde ruimte maakt superieure cross-subject neurale voorspelling en beeld-decoding mogelijk, waardoor de reconstructie van de hersenactiviteit van de ene proefpersoon uit de latente representatie van een andere proefpersoon kan worden gedaan.

Resultaten

Experimenten werden uitgevoerd met de Natural Scenes Dataset (NSD), waarbij 8 proefpersonen ongeveer 10.000 natuurlijke afbeeldingen bekeken met minimale overlap.

Semantische Structuur: De MED-VAE latente ruimtes vertoonden significant hogere silhouette scores (0.34) vergeleken met SRM (0.22) en Procrustes (0.21), wat wijst op coherente clustering van semantische categorieën. Leave-one-subject-out decoding leverde ook hogere nauwkeurigheid op voor MED-VAE.
Aligneringsmetrieken: MED-VAE behaalde hogere component-wise correlaties (0.64 vs. 0.52/0.45) en Representational Similarity Analysis (RSA) scores (0.63 vs. 0.41/0.41) dan de baselines.
Generalisatiekloof: Traditionele methoden (SRM, Procrustes) vertoonden een significante daling in prestaties wanneer ze werden geëvalueerd op een semi-gedeelde held-out set (128 afbeeldingen) vergeleken met hun trainingsset, terwijl MED-VAE een consistente prestatie behield, wat aangeeft dat het niet vertrouwde op stimulus-overlap voor alignering.
Cross-Subject Retrieval: MED-VAE behaalde een top-1 retrieval nauwkeurigheid van 46,2% op de held-out set, meer dan het dubbele van SRM (21,8%) en Procrustes (18,4%).
Ruis vs. Signaal: Binnen-trial reconstructie metrieken bevoordeelden traditionele methoden, maar cross-trial evaluatie (het correleren van de reconstructie van Trial $i$ met de grondwaarheid van Trial $j$ ) toonde geen significant verschil tussen de methoden. Dit bevestigt dat het voordeel van traditionele methoden te wijten was aan het reconstrueren van trial-specifieke ruis, terwijl MED-VAE het stimulus-gedreven signaal even goed behield.
Beeld-decoding: Wanneer cross-subject voorspellingen werden gevoed aan een bevroren MindEye2 decoder, presteerde MED-VAE beter dan de baselines op hoge-niveau semantische maten (bijv. CLIP similarity, Inception scores), met name in lager-dimensionale (32D) ruimtes.

Betekenis en Claims

Het artikel claimt dat MED-VAE een framework biedt om generaliseerbare gemeenschappelijke subruimtes te identificeren voor cross-subject voorspellingen en downstream taken zonder de bottleneck van gedeelde stimuli. Door expliciete stimulus-matching te vervangen door impliciete beperkingen van een vooraf getraind ANN, maakt de methode het volgende mogelijk:

Populatie-niveau analyses op data van proefpersonen die gescand zijn onder verschillende protocollen of verschillende stimuli bekeken.
Cross-subject neurale voorspelling en beeld-decoding met minimale per-subject kalibratie.
Data-augmentatie voor proefpersonen met beperkte scantijd door gealigneerde data van anderen te lenen.

De auteurs benadrukken dat de gemeenschappelijke ruimte de computationele organisatie van visuele representatie (categorische structuur en semantische relaties) vastlegt in plaats van willekeurige statistische correspondenties. Ze merken op dat de kwaliteit van de alignering fundamenteel begrensd wordt door de model-brein correspondentie van de gekozen ANN-steiger (bijv. ResNet-50), wat suggereert dat scaffolds met sterkere dynamische of temporele modellering de alignering in de toekomst verder kunnen verbeteren. Het framework wordt gepresenteerd als een stap naar het aggregeren van neurale data over studies en individuen heen voor krachtigere neurowetenschappelijke onderzoeken.