🧬 biology

EmoMind: Decoding Affective Captions from Human Brain fMRI

EmoMind is een nieuw end-to-end-pijplijn dat affectieve bijschriften direct decodeert uit fMRI-signalen door semantisch onderbouwde scenesbeschrijvingen te combineren met continue 34-dimensionale emotievectoren, en hiermee aanzienlijk beter presteert dan op discrete labels gebaseerde basismodellen bij het genereren van geïndividualiseerde, persoonsspecifieke emotionele verhalen.

Oorspronkelijke auteurs: Bilal A. Mohammed, Lin Gu, Ruogo Fang

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bilal A. Mohammed, Lin Gu, Ruogo Fang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je een film bekijkt en je brein oplicht met een complexe mix van gevoelens: een beetje angst, veel ontzag en een vleugje nostalgie. Lange tijd konden wetenschappers je hersengolven lezen om te vertellen wat je zag (bijvoorbeeld: "een hond die een bal achtervolgt"), maar ze konden niet vertellen hoe je erover voelde. Ze konden raden dat je "gelukkig" of "verdrietig" was op basis van brede categorieën, maar ze misten de unieke, rommelige, persoonlijke smaak van je emotie.

EmoMind is een nieuw systeem dat het spel verandert. Het leest je brein niet alleen om het tafereel te zien; het leest je brein om je specifieke emotionele reactie op dat tafereel te begrijpen en schrijft een bijschrift dat dat gevoel vastlegt.

Zo werkt het, met een eenvoudige analogie:

Het Twee-Stappenrecept

Stel je het systeem voor als een kookproces in twee stappen:

Stap 1: Het "Wat" (De Neutrale Basis)
Eerst kijkt het systeem naar je hersenactiviteit en vraagt het: "Wat staat er op het scherm?" Het haalt een platte, neutrale beschrijving van het tafereel op, zoals een droog nieuwsbericht.

Analogie: Stel je een robot voor die naar een foto van een storm kijkt en zegt: "Er zijn donkere wolken en het regent." Dit is de feitelijke basis.

Stap 2: Het "Hoe" (De Emotionele Kruiden)
Vervolgens kijkt het systeem opnieuw naar je hersenactiviteit, maar deze keer negeert het de afbeelding en richt het zich volledig op je gevoelens. In plaats van een enkel label als "Angstig" te kiezen, extrahereert het een 34-dimensionale emotievector.

Analogie: Denk hierbij aan een complex kruidenrek met 34 verschillende kruiden (Vreugde, Angst, Ontzag, Nostalgie, enz.). Het systeem meet precies hoeveel van elk kruid er op dit moment in je brein zit. Misschien heb je een beetje "Ontzag", veel "Angst" en een snufje "Verdriet".

De Magische Herwerker
Tot slot neemt het systeem de neutrale beschrijving uit Stap 1 en het 34-kruidenmengsel uit Stap 2 en voert ze in bij een "Herwerker".

Analogie: Deze Herwerker is als een chef-kok die de platte "regen"-beschrijving perfect op smaak brengt met je specifieke kruidenmix.
- Als je brein "Angst" aangeeft, kan de chef de zin herschrijven naar: "De donkere wolken dreigen dreigend, en de regen voelt als een koud, zwaar gewicht."
- Als je brein "Ontzag" aangeeft, kan de chef het herschrijven naar: "De lucht is een dramatisch doek van draaiende wolken, en de regen valt met een majestueus ritme."

Het resultaat is een bijschrift dat hetzelfde tafereel beschrijft, maar de exacte emotionele toon draagt van de persoon die het zag.

Waarom Dit Een Grote Zaken Is

Het artikel vergelijkt EmoMind met een "slimme" AI (GPT-4) die alleen wordt verteld: "Dit tafereel is eng."

De Oude Weg (Labels): Als je de AI "Eng" vertelt, geeft het een generieke eng beschrijving. Het is alsof je een "Pittige" pizza bestelt; je krijgt dezelfde generieke hete saus erop, ongeacht of je het mild of extra heet wilt.
De EmoMind Weg (Continue Vector): EmoMind leest je unieke "kruidenprofiel" van je brein. Het kent jouw specifieke versie van angst.

De onderzoekers testten dit op twee manieren:

Uniekheid: Toen zes verschillende mensen dezelfde clip bekeken, schreef EmoMind zes verschillende bijschriften die overeenkwamen met het unieke hersenpatroon van elke persoon. De oude, op labels gebaseerde AI schreef voor iedereen hetzelfde generieke bijschrift.
Controle: De onderzoekers probeerden het systeem te misleiden door de emoties te verwisselen. Als ze het systeem vertelden om de emoties van een andere video te gebruiken, volgde EmoMind direct de nieuwe instructies. De oude AI bleef hints van de emotie van de originele video lekken, wat bewees dat het niet echt luisterde naar het nieuwe emotionele signaal.

De "Synthetisch Brein"-Test

Om te zien of dit werkt zelfs als we geen echte hersenscans hebben, probeerden de onderzoekers een computersimulatie van een brein (een "synthetisch brein") te gebruiken in plaats van echte fMRI-gegevens.

Het Resultaat: Het systeem werkte nog steeds goed genoeg om het gevoel van een enkele clip vast te leggen, maar het had moeite om de relatie tussen verschillende clips vast te leggen. Het is alsof het synthetische brein je kon vertellen "dit is verdrietig", maar het kon je niet vertellen hoe dit verdriet anders was dan dat verdriet. Dit suggereert dat echte menselijke breinen een complexe kaart van emoties bevatten die huidige simulaties nog niet volledig hebben vastgelegd.

De Conclusie

EmoMind bewijst dat we de continue, persoonlijke emotionele toestand van een persoon direct uit hun hersengolven kunnen decoderen en gebruiken om tekst te schrijven die aanvoelt als hen. Het verplaatst ons van de vraag "Wat voelt deze persoon?" (met een simpel label) naar "Hoe voelt deze persoon?" (met een rijke, gedetailleerde beschrijving).

Het artikel concludeert dat dit continue signaal een krachtig hulpmiddel is om te begrijpen hoe individuele breinen emoties organiseren, en biedt een manier om de wereld te zien door de emotionele ogen van iemand anders, één bijschrift tegelijk.

Technische Samenvatting: EmoMind – Decoderen van Affectieve Bijschriften uit Menselijke fMRI-hersenen

Probleemstelling

Huidige hersen-naar-tekst decoderingssystemen hebben aanzienlijke vooruitgang geboekt in het herstellen van semantische inhoud uit fMRI-signalen, zoals het reconstrueren van visuele scènes of spraak. Deze systemen negeren echter grotendeels de affectieve dimensie van waarneming. Bestaande benaderingen genereren ofwel neutrale beschrijvingen zonder emotie, ofwel conditioneren ze Groot Taalmodellen (LLM's) op grove, categorische emotielabels (bijv. "blij", "verdrietig"). Deze categorische labels slagen er niet in de rijke, continue en sterk variabele aard van individuele emotionele ervaringen vast te leggen, waardoor inter-individuele variabiliteit wordt samengeperst tot discrete bakken. Bovendien kunnen LLM's, hoewel ze emotionele tekst kunnen genereren wanneer ze worden geprompt met labels, niet de specifieke, continue, persoonsspecifieke affectieve toestand van een proefpersoon direct uit neurale activiteit aflezen.

Methodologie: De EmoMind-pijplijn

EmoMind is de eerste end-to-end pijplijn die is ontworpen om affectieve bijschriften direct uit fMRI-signalen te decoderen door gebruik te maken van een continue, hoogdimensionale emotievector als stuursignaal. De architectuur werkt in twee hoofdfasen:

1. Dual-Stream Hersendecodering (Fase 1)

Gegeven een fMRI-voxelresponsvector $v$ van een proefpersoon die een videoclip bekijkt, decodeert het systeem twee complementaire representaties met behulp van per-proefpersoon lineaire modellen:

Semantische Ophaalactie ( $x$ ): Een neutrale scènebeschrijving wordt opgehaald uit een vooraf geïndexeerde trainingscorpus. Dit wordt bereikt door fMRI-signalen af te beelden op een multi-layer feature-stack van een vooraf getraind DeBERTa-large-model (24 lagen) en een nearest-neighbor cosine-zoekopdracht uit te voeren. Dit vervangt iteratieve token-voor-token-generatie door een enkele doorloop ophaalactie, wat de inferentiekosten aanzienlijk verlaagt.
Continue Emotiedecodering ( $e$ ): Een proefpersoonspecifiek ridge-regressiemodel beeldt fMRI-voxels af op een 34-dimensionale Cowen & Keltner (C&K) emotievector. In tegenstelling tot categorische labels, vertegenwoordigt deze vector fijnmazige emotionele toestanden (bijv. Vreugde, Angst, Ontzag, Nostalgie) als continue probabilities afgeleid uit menselijke ratings van de stimuli.

2. As-Token Schrijver (Fase 2)

Een getraind encoder-decoder taalmodel (BART-base) fungeert als een schrijver die de neutrale bijschrift $x$ transformeert in een emotie-gestyled bijschrift $\hat{y}$ , geconditioneerd op de gedecodeerde emotievector $e$ .

Architectuur: Het model bevat 34 geleerde "as-tokens" (één voor elke C&K-emotiecategorie). De door het brein gedecodeerde emotievector $e$ schaalt deze as-tokens elementsgewijs, waarna ze worden samengevoegd met de verborgen toestand van de encoder. Hierdoor kan de decoder de emotieassen interpreteren als aanvullende virtuele contexttokens zonder de vooraf getrainde semantische representatie van het invoerbijschrift te verstoren.
Trainingsdoel: Het model wordt getraind met een Bernoulli-geschakeld doel. Met waarschijnlijkheid $\rho$ voert het een reconstructietaken uit (invoer $x$ met een op nul gezette emotievector), en met waarschijnlijkheid $1-\rho$ voert het een emotiedoel-taak uit (invoer $x$ met emotievector $e$ die gericht is op een specifiek emotioneel bijschrift). Deze expliciete identiteitsbehoudende null-tak leert het model wanneer het semantische inhoud moet behouden en wanneer het affectieve controle moet toestaan.
Inferentie (Classifier-Free Guidance): Om de afweging tussen semantische trouw en affectieve expressie te beheersen, past het systeem classifier-free guidance (CFG) toe. De uiteindelijke encoder-uitvoer is een lineaire extrapolatie: $H_{cfg} = H_{null} + (1+w)(H_{cond} - H_{null})$ , waarbij $w$ het guidance-gewicht is. Hogere $w$ -waarden versterken de affectieve expressie ten koste van enige inhoudstrouw.

Belangrijkste Bijdragen

Eerste Continue Brein-geconditioneerde Pijplijn: EmoMind introduceert het eerste systeem dat tekstgeneratie conditioneert op een continue, gedecodeerde emotievector die rechtstreeks uit fMRI is afgeleid, in plaats van te vertrouwen op discrete categorische labels.
Drie-as Validatiekader: De auteurs stellen een rigoureus evaluatiekader voor dat zich uitstrekt over:
- Proefpersoonspecificiteit: Meten of verschillende proefpersonen die dezelfde scène bekijken, verschillende bijschriften produceren die evenredig zijn aan hun neurale verschillen.
- Structurele Geometrie (RSA): Beoordelen of de relationele structuur tussen clips in de gedecodeerde emotieruimte behouden blijft in de gegenereerde bijschriften.
- Causale Controle (SWAP): Testen of de schrijver een verschoven emotiedoel (van een andere clip) volgt in plaats van terug te vallen op de inherente affect van de invoerscène.
Robuustheidstest met Synthetische Hersenen: Het kader omvat een "TRIBE v2 substitutie"-test, waarbij gemeten fMRI wordt vervangen door synthetische activiteit voorspeld uit videofeatures om representatiekloven in huidige video-naar-brein encoders te diagnosticeren.

Experimentele Resultaten

Het systeem werd geëvalueerd op twee onafhankelijke fMRI-datasets (MindCaptioning en Horikawa 2020) tegen een sterke baseline: GPT-4 geprompt met de ground-truth top-5 categorische emotielabels.

Proefpersoonspecificiteit: EmoMind presteerde aanzienlijk beter dan de GPT-4-baseline. De diversiteit van bijschriften over proefpersonen was 3,4× hoger op emotievector-similariteit (CK34 cosine) en 11,6× hoger op lexicale diversiteit. Cruciaal was dat deze diversiteit werd georganiseerd door neurale gelijkenis; proefpersonen met vergelijkbare hersenresponsen produceerden meer vergelijkbare bijschriften, een structuur die ontbrak in de label-geprompte baseline.
Structurele Geometrie: De Spearman-correlatie tussen de door het brein gedecodeerde Representational Dissimilarity Matrix (RDM) en de bijschrift-RDM was +0,635 voor EmoMind, vergeleken met +0,435 voor GPT-4. Dit geeft aan dat continue hersendecodering de relationele geometrie van emotionele ervaringen beter behoudt dan categorische labels.
Causale Controle: In de SWAP-test bereikte EmoMind een "eigen-lekkage"-percentage van 2,8% (statistisch niet te onderscheiden van toeval), wat betekent dat het succesvol de verschoven doel volgde zonder terug te vallen op de affect van de originele clip. GPT-4 lekte de affect van de originele clip bij 8,3%, wat aantoont dat continue hersensignalen een schoner stuursignaal bieden dan categorische labels.
Analyse van Synthetische Hersenen: Toen fMRI werd vervangen door synthetische activiteit (TRIBE v2), bleef causale controle robuust (lekkage 5,2%), maar stortte de structurele geometrie in (RSA daalde van +0,635 naar +0,166). Dit suggereert dat huidige video-naar-fMRI encoders, hoewel ze clip-specifieke affect kunnen vastleggen, falen in het behouden van de relationele structuur tussen clips.

Betekenis en Claims

Het artikel claimt dat continue door het brein gedecodeerde affect een levensvatbaar stuursignaal is voor gepersonaliseerde generatie van affectieve bijschriften, met capaciteiten die categorische labels niet kunnen bereiken.

Individuele Variabiliteit: De resultaten stellen vast dat individuele verschillen in emotionele ervaring zijn gecodeerd in verspreide, hoogdimensionale neurale patronen die verloren gaan wanneer ze worden samengevoegd tot populatieniveau-labels. EmoMind slaagt erin deze "inter-subject variabiliteit" vast te leggen, wat cruciaal is voor translationele toepassingen in de geestelijke gezondheid, waar populatiegemiddelden vaak klinisch betekenisvolle signalen missen.
Voorbij Oppervlakkige Metrieken: Hoewel GPT-4 op standaard oppervlakte-overlap-metrieken (BLEU, ROUGE) beter presteert dan EmoMind omdat het toegang heeft tot ground-truth tekst en labels, domineert EmoMind op metrieken die persoonsspecifieke affectieve structuur vereisen.
Neurowetenschappelijk Inzicht: De dissociatie tussen causaal bruikbaarheid (behouden in synthetische hersenen) en structureel bruikbaarheid (verloren in synthetische hersenen) suggereert dat huidige video-naar-fMRI encoders de interoceptieve of proefpersoonspecifieke signalen missen die nodig zijn om de relationele geometrie van affect volledig te reconstrueren.

De auteurs concluderen dat EmoMind nieuwe richtingen opent voor het bestuderen van individuele affectieve hersenorganisatie en een substraat biedt voor het genereren van tekst die niet alleen weerspiegelt wat een persoon zag, maar hoe hij of zij erover voelde, op een manier die specifiek is voor hun unieke neurale signatuur.