Barely depictive: Predicting imagery vividness relative to perception with EEGNet

Deze studie introduceert een probabilistische deep learning-methode met EEGNet om de neurale levendigheid van visuele mentale beelden te kwantificeren en vergelijkt deze met waarneming, waarbij de resultaten aantonen dat mentale beelden 'nauwelijks' maar wel systematisch minder levendig zijn dan daadwerkelijke waarneming.

De kern

Titel: Hoe helder is je gedachte? Een nieuwe manier om te meten wat je ziet in je hoofd

Stel je voor dat je hersenen een superkrachtige camera zijn. Als je echt naar een appel kijkt, vangt die camera een scherp, helder beeld op. Maar wat gebeurt er als je die appel alleen maar voorstelt in je hoofd? Is dat beeld dan net zo scherp, of is het meer zoals een vaag, wazig tekeningenboekje?

Deze vraag hebben onderzoekers uit Plymouth (Verenigd Koninkrijk) zich gesteld. Ze wilden weten: Hoe sterk is het beeld in je hoofd vergeleken met wat je echt ziet? En kunnen we dat meten zonder te vertrouwen op wat mensen zeggen?

Hier is hoe ze het aanpakken, vertaald in een simpel verhaal:

1. De "Helderheids-thermometer"

Vroeger vroegen wetenschappers mensen: "Hoe helder zag je die appel in je hoofd? Geef een cijfer van 1 tot 10." Het probleem? Iedereen geeft een ander cijfer. Voor de één is een 5 al heel helder, voor de ander is dat wazig. Het is als proberen de temperatuur te meten met een thermometer die bij iedereen anders werkt.

De onderzoekers wilden een echte, onafhankelijke thermometer bouwen die direct in de hersenen meet, zonder dat mensen hoeven te raden of te praten.

2. Het experiment: De "Wazige Foto's"

Ze deden een proef met 34 mensen.

• Stap 1 (Kijken): Ze lieten mensen foto's van een kat en een aardbei zien. Maar deze foto's waren niet altijd scherp. Soms waren ze superhelder, soms een beetje wazig, en soms helemaal wazig (alsof je door een modderig raam kijkt).
• Stap 2 (Denken): Daarna lieten ze de foto's weg. Ze gaven een geluidje en zeiden: "Denk nu aan de kat/aardbei!" De mensen moesten dan proberen het beeld in hun hoofd zo helder mogelijk te maken.

Tijdens beide momenten (kijken en denken) droeg iedereen een muts met elektroden (EEG) om hun hersengolven te meten.

3. De slimme computer (De "Oefenmeester")

Hier komt het slimme deel. De onderzoekers gebruikten een kunstmatige intelligentie (een computerprogramma genaamd EEGNet) als een oefenmeester.

• De les: Eerst leerden ze de computer wat de hersengolven eruitzien als iemand echt kijkt naar een heel heldere foto, een wazige foto, of een heel wazige foto. De computer leerde het patroon: "Ah, dit patroon betekent 'superhelder', dat patroon betekent 'wazig'."
• De test: Vervolgens gaven ze de computer de hersengolven van de mensen die alleen maar aan het denken waren. De computer moest dan raden: "Als dit een foto was die ze echt zagen, hoe helder zou die dan zijn?"

4. Het verrassende resultaat: "Barely depictive" (Nauwelijks beeldend)

Het antwoord van de computer was verrassend en heel eerlijk:

• Toen mensen echt keken naar de helderste foto's, gaf de computer een score van 100%.
• Toen mensen keken naar de wazigste foto's (die er bijna niet waren), gaf de computer een score van 20%.
• Maar toen mensen alleen maar aan het denken waren, gaf de computer een score van ongeveer 35%.

Wat betekent dit?
Het beeld in je hoofd is er wel degelijk (het is hoger dan 0%), maar het is niet bijna net zo helder als echt kijken. Het is meer als een zwakke echo van een echte geluid. De onderzoekers noemen dit "barely depictive" (nauwelijks beeldend). Het is alsof je een tekening maakt met een heel lichte potloodstreep, terwijl echt kijken is als met een dikke zwarte stift tekenen.

5. Het grote misverstand: Wat we zeggen vs. wat er gebeurt

Er was nog een interessant detail. De mensen die aan het denken waren, zeiden zelf: "Oh, ik zag het heel helder! Ik gaf een 8 of 9." Maar de computer (die de hersenen las) zei: "Nee, in jullie hersenen zag het eruit als een 3."

Waarom die verschil?
De onderzoekers denken dat mensen de "helderheidsschaal" verkeerd gebruiken. Als je vraagt: "Hoe helder was het?", denken mensen misschien: "Het voelde zo echt als echt kijken, dus ik geef een 10!" Maar voor de hersenen is het beeld in het hoofd toch veel zwakker dan het echte beeld op het netvlies.

De conclusie in één zin

Onze hersenen kunnen prachtige beelden maken als we fantaseren, maar deze beelden zijn veel zwakker en minder scherp dan wat we echt zien. En wat we denken dat we zien, is vaak helderder dan wat er echt in onze hersenen gebeurt.

Deze nieuwe methode is als een luchtfoto van de gedachten: in plaats van te vragen wat iemand voelt, kijken we direct naar de "sporen" die de gedachte in de hersenen achterlaat. Dit helpt ons beter te begrijpen waarom sommige mensen (zoals mensen met aphantasia, die helemaal geen beelden kunnen zien) misschien gewoon eerlijker zijn over hoe zwak hun "potloodstreepjes" zijn, terwijl anderen hun zwakke streepjes misschien overdrijven tot een dikke stift.

Technische samenvatting

Probleemstelling

Visuele mentale beeldvorming (VMI) wordt vaak beschreven als een "zwakkere vorm" van visuele waarneming (VP), waarbij de twee processen meer op elkaar lijken naarmate de levendigheid (vividness) van de beelden toeneemt. Echter, de exacte kwantificering van deze relatie ontbreekt. Bestaande studies vertrouwen vaak op subjectieve rapportages (introspectie), die inconsistent kunnen zijn en zwak correleren met neurale activiteit. Een groot obstakel is het ontbreken van een objectieve, neurale maatstaf om de levendigheid van mentale beelden direct te vergelijken met die van daadwerkelijke waarneming op een gedeelde schaal. De vraag is: hoe zwakker is VMI precies ten opzichte van VP op het neurale niveau?

Methodologie

De auteurs introduceerden een probabilistische deep-learning-aanpak om levendigheid op neuraal niveau te kwantificeren.

• Deelnemers en Opzet: 34 deelnemers voerden twee taken uit: een waarnemings-taak (VP) en een beeldvormings-taak (VMI). In beide taken kregen ze akoestische cues die hen vertelden om een specifiek stimulus (een kat of een aardbei) te zien of te visualiseren.
• Stimuli: De levendigheid van de stimuli werd gemanipuleerd door twee lage-niveau visuele eigenschappen te degraderen: ruimtelijke scherpte (via Gaussische blur) en luminantie-contrast. Dit resulteerde in 5 niveaus van levendigheid (van 1 = geen beeld/achtergrond tot 5 = origineel beeld).
• EEG-Registratie: EEG-data werd opgenomen met 64 elektroden (512 Hz). De analyse concentreerde zich op 8 posterieure elektroden rondom de vroege visuele gebieden (EVAs).
• Model Architectuur (EEGNet):
  • Er werd een Convolutional Neural Network (CNN) genaamd EEGNet getraind om de levendigheid van stimuli te decoderen op basis van EEG-signaal.
  • Input: Single-trial EEG tijdreeksen (0-1000 ms na stimulus) van de 8 geselecteerde kanalen.
  • Training: Het model werd getraind op de VP-data met een "Leave-One-Subject-Out" (LOSO) cross-validatieprocedure. Dit betekent dat het model voor elke deelnemer werd getraind op data van alle andere deelnemers en getest op de houd-out deelnemer, wat generalisatie tussen personen garandeert.
  • Output: Het model genereerde een kansverdeling over de levendigheidsklassen. In plaats van alleen een discrete voorspelling, berekenden de auteurs de "verwachte levendigheid" (expected vividness) als een continue waarde: $E[V] = \sum p_c \cdot v_c$. Dit behoudt onzekerheid en maakt interpolatie mogelijk.
• Toepassing op VMI: Het getrainde model (gebaseerd op waarneming) werd toegepast op de ongelabelde VMI-trials. De voorspellingen werden vervolgens vergeleken met de waarnemingsvoorspellingen en de subjectieve rapportages van de deelnemers.

Belangrijkste Resultaten

1. Decodering van Waarneming (VP):

   • Het EEGNet-model kon de levendigheid van waargenomen stimuli significant boven het toevalsniveau decoderen (gemiddelde nauwkeurigheid ~44% voor 5 klassen, ~69% voor 3 klassen; kansniveau was respectievelijk 20% en 33%).
   • Het model toonde een "geordende" relatie: verwachte levendigheid steeg lineair met de echte stimulus-levendigheid, zelfs voor stimuli die niet in de training zaten (interpolatie).

2. Vergelijking VMI vs. VP:

   • De gemiddelde verwachte levendigheid tijdens VMI was significant hoger dan de baseline (geen beeld), maar significant lager dan de verwachte levendigheid voor stimuli met de laagste fysieke levendigheid (niveau 2).
   • De verwachte VMI-levendigheid was gemiddeld ongeveer 38-46% lager dan die van het originele, heldere beeld.
   • Dit ondersteunt het idee dat VMI "nauwelijks" (barely) afbeeldend is in plaats van "bijna" (quasi) afbeeldend: er is een zwakke, perceptuele signatuur in de vroege visuele gebieden, maar deze is sterk verzwakt ten opzichte van echte waarneming.

3. Relatie met Subjectieve Rapportages:

   • Er was een zwakke tot gematigde positieve correlatie tussen de neurale voorspelling van VMI-levendigheid en de subjectief gerapporteerde levendigheid (voor 91% van de deelnemers, exclusief drie deelnemers met zeer lage rapportages).
   • Drie deelnemers rapporteerden extreem lage levendigheid (vermoedelijke aphantasia). Hun neurale voorspellingen waren hoger dan hun subjectieve rapporten, wat suggereert dat hun neurale activiteit toch enige perceptuele kenmerken bevatte, hoewel ze dit niet bewust ervoeren.

Bijdragen en Significatie

• Nieuwe Methodologische Kader: De studie biedt een principieel raamwerk om VMI en VP te vergelijken op een gedeelde neurale-gedragsmatige schaal, zonder afhankelijk te zijn van subjectieve schalen. Door VMI te projecteren op een schaal die is geleerd van VP, wordt een objectieve maatstaf voor "hoe zwak" een mentale afbeelding is, verkregen.
• Kwantificering van "Barely Depictive": De resultaten ondersteunen de theorie dat VMI een "barely depictive" (nauwelijks afbeeldend) proces is. Hoewel er neurale overlap is in de vroege visuele gebieden, is de activiteit substantieel verzwakt in vergelijking met waarneming.
• Implicaties voor Aphantasia en Individuele Verschillen: De discrepantie tussen neurale voorspellingen en subjectieve rapporten (vooral bij mensen met lage levendigheid) suggereert dat mensen met aphantasia mogelijk een meer realistische inschatting maken van hun mentale beelden dan mensen met een hogere levendigheid, die mogelijk hun beelden overdrijven door top-down kennis.
• Toekomstige Toepassingen: De aanpak is flexibel en kan worden toegepast op andere zintuiglijke domeinen (bijv. auditief) en voor het bestuderen van klinische populaties, zoals mensen met hallucinaties of aphantasia, door de "echte" neurale kwaliteit van mentale beelden te meten in plaats van alleen op vertrouwen te bouwen in zelfrapportage.

Kortom, dit artikel bewijst dat het mogelijk is om de levendigheid van mentale beelden objectief te meten door gebruik te maken van deep learning op EEG-data, en onthult dat mentale beelden neurale gezien veel zwakker zijn dan eerder werd aangenomen.