Seeing Like a Brain: Predicting Subject-Specific EEG Responses to Natural Visual Stimuli

Het menselijk brein is een uitgestrekt, stil theater waar de buitenwereld voortdurend wordt vertaald naar elektrische signalen. Wanneer u naar een scène kijkt, valt licht op uw ogen, maar het echte werk vindt plaats binnen uw schedel, waar miljarden neuronen in complexe, snelle patronen vuren om betekenis te geven aan wat u ziet. Decennialang hebben wetenschappers geprobeerd naar dit elektrische gesprek te luisteren met behulp van elektro-encefalografie, of EEG, een methode waarbij sensoren op de hoofdhuid worden geplaatst om deze minuscule spanningsveranderingen te registreren. Hoewel EEG uitstekend is in het vastleggen van de snelheid van hersenactiviteit, tot op de milliseconde nauwkeurig, was het traditioneel een eenrichtingsverkeer: onderzoekers leggen de reactie van het brein op een afbeelding vast en proberen vervolgens te raden waar de persoon naar keek. Dit is als proberen een film te begrijpen door alleen naar de reacties van het publiek te kijken nadat deze hebben plaatsgevonden. Een krachtiger, maar veel moeilijker doel is het omkeren van dit proces: het precies voorspellen hoe een specifiek brein zal reageren op een afbeelding voordat de persoon deze zelfs maar heeft gezien. Dit vereist een model dat niet alleen de afbeelding begrijpt, maar ook de unieke bedrading van een individuele geest.

In een nieuwe studie hebben onderzoekers een computersysteem gebouwd dat precies dit doet, door een machine effectief te leren "zien" zoals een menselijk brein. Het team, geleid door wetenschappers van de Fudan Universiteit en de Shanghai University of Medicine and Health Sciences, creëerde een raamwerk dat een natuurlijke foto als input neemt en een gedetailleerde voorspelling genereert van de elektrische activiteit die over het hele hoofd van een persoon zou plaatsvinden. Ze gokten niet simpelweg op een algemeen patroon; ze trainden het systeem om een specifieke, 63-kanaals elektrische kaart voor tien verschillende individuen te produceren. Het systeem werkt door eerst de visuele details van een afbeelding te analyseren, en vervolgens een geavanceerd neuraal netwerk te gebruiken om te simuleren hoe die visuele informatie door de elektrische circuits van het brein zou rimpelen. Het resultaat is een voorspeld hersensignaal dat de werkelijkheid met verrassende nauwkeurigheid benadert, waarbij de timing, het ritme en de betekenis van de reactie van het brein worden gevangen.

De onderzoekers testten hun systeem met behulp van een grote collectie natuurlijke afbeeldingen en hersenopnames van tien vrijwilligers. Ze lieten de computer afbeeldingen zien van dieren, voertuigen en gereedschappen die de vrijwilligers nog nooit hadden gezien tijdens de trainingsfase. De computer genereerde vervolgens een voorspelling van hoe de hersengolven voor elke persoon eruit zouden zien. Wanneer zij deze voorspellingen vergeleken met de werkelijke hersenopnames, was de overeenkomst het sterkst aan de achterkant van het hoofd, de regio die bekend staat als de occipitale kwab, wat het primaire visuele centrum van het brein is. In dit gebied volgden de voorspelde elektrische golven de werkelijke golven zo nauwgezet dat ze bijna identiek waren, waarbij de precieze timing van de initiële reactie van het brein op de afbeelding werd behouden. Het systeem was snel genoeg om deze voorspellingen in minder dan tien milliseconden te maken, een snelheid die suggereert dat het ooit gebruikt kan worden in real-time toepassingen.

Wat deze prestatie bijzonder significant maakt, is dat de computer niet alleen een wazig gemiddelde van de hersenactiviteit produceerde. Het legde de specifieke, unieke handtekening van ieders brein vast. De voorspelde signalen behielden het juiste ritme van de hersengwaves, inclusief de specifieke frequenties die verschillende delen van het brein domineren. Ze behielden ook de subtiele verschillen in hoe het brein reageert op verschillende soorten objecten. Zo kon het systeem bijvoorbeeld onderscheid maken tussen de reactie van het brein op een foto van een auto en een foto van een hond, waarbij de unieke "vorm" van de informatie voor elk object intact bleef. Dit betekent dat het model de diepe, structurele regels heeft geleerd van hoe visuele informatie wordt getransformeerd in neurale activiteit, in plaats van alleen specifieke voorbeelden te memoriseren.

De studie onthulde ook dat de reactie van het brein op een afbeelding geen enkele, uniforme gebeurtenis is, maar een complexe cascade van activiteit die zich over tijd en ruimte ontvouwt. De computer slaagde erin de vroege, fractie van een seconde durende flitsen van elektrische activiteit te recreëren die optreden wanneer het brein eerst een vorm registreert, evenals de langzamere, complexere golven die volgen terwijl het brein de betekenis van wat het ziet verwerkt. Door de data over verschillende hersengebieden te analyseren, ontdekten de onderzoekers dat de voorspelling het meest accuraat was aan de achterkant van het hoofd en voor de langzamere, ritmische hersengolven, terwijl de voorkant van het hoofd en zeer snelle, hoogfrequente signalen moeilijker te voorspellen waren. Dit gradiënt van nauwkeurigheid weerspiegelt de natuurlijke organisatie van het menselijke visuele systeem, waarbij de achterkant van het brein de eerste is die visuele input ontvangt.

Om te waarborgen dat hun model werkelijk de verbinding tussen afbeeldingen en hersenactiviteit leerde, en niet alleen gokte op basis van algemene patronen, voerden de onderzoekers een strikte controle uit. Ze vergeleken de hersengolven die werden voorspeld voor de correcte afbeelding met de golven die werden voorspeld voor willekeurige, niet-overeenstemmende afbeeldingen. Het systeem produceerde consequent een veel betere match voor de correcte afbeelding, wat bewees dat het geleerd had om specifieke visuele details te koppelen aan specifieke neurale reacties. Bovendien, toen zij het systeem testten op een andere set hersenopnames van een andere groep mensen, bleven dezelfde patronen standhouden, wat suggereert dat de regels die de computer leerde robuust zijn en niet beperkt zijn tot een enkele dataset.

Dit werk vormt een belangrijke stap voorwaarts in het begrijpen van de brug tussen de fysieke wereld en onze interne ervaring daarvan. Door succesvol individuele hersenreacties op afbeeldingen te voorspellen, hebben de onderzoekers een instrument gecreëerd dat wetenschappers kan helpen bij het bestuderen van hoe het brein visuele informatie verwerkt zonder dat er van iedere persoon een meting hoeft te worden uitgevoerd. Het opent ook de deur naar nieuwe manieren om kunstmatige intelligentie te testen, waardoor onderzoekers kunnen zien of computermodellen van visie zich gedragen als menselijke hersenen. Hoewel het huidige systeem het beste werkt voor de achterkant van het hoofd en individuele training voor elke persoon vereist, schetst het een duidelijk pad naar een toekomst waarin we de reactie van de menselijke geest op de wereld met hoge precisie kunnen simuleren. De studie bevestigt dat de elektrische reactie van het brein op wat we zien geen willekeurige ruis is, maar een hooggestructureerd, voorspelbaar en geïndividualiseerd signaal dat door een machine kan worden gedecodeerd en gereproduceerd.