Decoding silent reading from non-invasive EEG

Menselijke communicatie berust op een eenvoudige, fysieke handeling: het bewegen van de mond, de tong en de stembanden om lucht te vormen tot geluid. Wanneer ziekte of letsel dit vermogen vernietigt, kan de verbinding tussen iemands geest en de buitenwereld verdwijnen. Decennialang hebben wetenschappers gezocht naar een manier om het defecte lichaam te omzeilen en gedachten direct uit de hersenen te lezen. De meest succesvolle pogingen tot nu toe vereisten chirurgie, waarbij elektroden diep in de schedel werden geïmplanteerd om te luisteren naar het elektrische gekletter van individuele neuronen. Hoewel deze invasieve instrumenten hebben aangetoond dat de taalcentra van de hersenen met hoge precisie kunnen worden ontcijferd, brengen ze chirurgische risico's met zich mee en kunnen ze niet worden gebruikt voor de grote meerderheid van de mensen die ze nodig hebben. De grote onbeantwoorde vraag is geweest of niet-invasieve methoden, specifiek die met sensoren op de hoofdhuid, ooit gevoelig genoeg kunnen zijn om deze vluchtige gedachten op te vangen.

De kern van de moeilijkheid bij het lezen van de geest zonder chirurgie is niet alleen het zwakke signaal, maar het gebrek aan een kaart. Om een computer te leren een gedachte te herkennen, moet je precies weten wat de persoon dacht op het exacte moment dat het hersensignaal optrad. Voor gesproken woorden is dit eenvoudig: de persoon spreekt, en de opname begint. Voor stille gedachten, of "innerlijke spraak", is er geen externe markering. Iemand kan een zin denken, maar kan deze niet met perfecte timing rapporteren; tegen de tijd dat iemand zegt "Ik dacht aan bananen", is de hersenactiviteit die die gedachte creëerde allang voorbij. Zonder een precieze tijdstempel is de data een waas, en eerdere pogingen om innerlijke spraak te decoderen zijn er niet in geslaagd om boven willekeurig gokken uit te komen.

Een team onderzoekers bij nubrain besloot dit timingprobleem te omzeilen door een andere taak als trainingsgrond te gebruiken. In plaats van deelnemers te vragen om woorden te verbeelden, vroegen ze hen om te lezen. Lezen is een vorm van taalverwerking die stilzwijgend in de geest plaatsvindt, maar het komt wel met een ingebouwde klok: het moment waarop een woord op een scherm verschijnt. Door de hersenactiviteit te registreren terwijl een persoon leest, konden de onderzoekers de elektrische signalen afstemmen op de specifieke woorden die werden gezien, waardoor een enorme, nauwkeurige dataset werd gecreëerd. Hun doel was om te zien of een computer de unieke hersensignatuur van een specifiek woord kon leren herkennen door enkel naar de elektrische patronen op de hoofdhuid te kijken, en of deze vaardigheid uiteindelijk toegepast kon worden op de moeilijkere taak van het decoderen van onuitgesproken gedachten.

De studie betrof een enkele deelnemer die bijna 49 uur lang continu verhalen op een computerscherm las. De tekst werd woord voor woord gepresenteerd in snelle opeenvolging, een methode die bekend staat als rapid serial visual presentation. Om te garanderen dat de computer de betekenis van de woorden leerde en niet alleen hun vorm, veranderden de onderzoekers het lettertype, de grootte, de kleur en de spatiëring van elk woord. Dit betekende dat de hersenen de taal zelf moesten verwerken, en niet alleen het visuele patroon van de letters. De deelnemer droeg een kap met 19 droge elektroden, een opstelling die ontworpen is om comfortabel en gemakkelijk in gebruik te zijn, die de elektrische activiteit van de hersenen met hoge snelheid registreerde.

De onderzoekers trainden vervolgens een computermodel om deze hersensignalen te koppelen aan de gelezen woorden. Ze gebruikten een geavanceerd systeem dat de elektrische patronen vergeleek met de digitale "betekenis" van de woorden, afgeleid van een groot taalmodel. De computer werd niet gevraagd om het woord vanuit het niets te raden, maar om het juiste woord te kiezen uit een lijst van 512 mogelijkheden. De resultaten waren duidelijk: het systeem kon het gelezen woord betrouwbaar identificeren, waarbij het aanzienlijk beter presteerde dan op basis van toeval. Dit succes bleef ook bestaan voor zeldzame en ongebruikelijke woorden, niet alleen voor de veelvoorkomende woorden die vaak in taal voorkomen.

Cruciaal was dat de onderzoekers zorgvuldig onderscheid maakten tussen twee verschillende soorten succes. Een computer kan het juiste antwoord krijgen simpelweg door de algemene context van het verhaal te kennen — bijvoorbeeld "hond" raden omdat het verhaal over een boerderij gaat — zonder daadwerkelijk het specifieke woord op het scherm te herkennen. Om dit uit te sluiten, ontwikkelde het team een methode om het signaal van het specifieke woord te scheiden van het signaal van de context van het verhaal. Ze ontdekten dat hoewel het systeem de context van het verhaal gebruikte om te helpen, een aanzienlijk deel van het succes voortkwam uit het identificeren van het specifieke woord zelf. Ze controleerden ook op een andere mogelijke kortweg: de computer zou het woord kunnen raden op basis van de positie in de zin in plaats van het hersensignaal. Door specifieke tests uit te voeren waarbij ze de hersendata verborgen en alleen de positie overlieten, bevestigden ze dat de computer inderdaad de hersenactiviteit las, en niet slechts de positie.

De studie onthulde ook dat de hoeveelheid data belangrijker is dan voorheen gedacht. De onderzoekers testten het systeem met verschillende hoeveelheden trainingsdata, van een klein fractie van de totale uren tot de volledige 49 uur. Ze ontdekten dat de nauwkeurigheid van het systeem bleef verbeteren naarmate er meer data werd toegevoegd, zonder teken dat het een limiet had bereikt. Dit suggereert dat de barrière voor betere prestaties niet een fundamenteel gebrek aan de technologie is, maar simpelweg de behoefte aan meer registratietijd. Bovendien, toen ze de elektroden verwijderden die boven de achterkant van het hoofd waren geplaatst — het gebied dat visuele informatie verwerkt — werkte het systeem nog steeds, zij het met een iets verminderde nauwkeurigheid. Dit geeft aan dat de hersensignalen voor het lezen van woorden niet alleen visueel zijn; ze omvatnen diepere gebieden voor taalverwerking die nog steeds detecteerbaar zijn vanaf de hoofdhuid.

De bevindingen bieden een veelbelovend pad voor niet-invasieve brein-computerinterfaces. Het onderzoek toont aan dat het mogelijk is om specifieke woorden te decoderen uit hersenactiviteit met behulp van enkel sensoren op de hoofdhuid, mits er voldoende hoogwaardige data beschikbaar is. Hoewel de huidige studie zich richtte op lezen, suggereren de auteurs dat deze aanpak als fundament kan dienen voor het decoderen van innerlijke spraak. Door eerst een systeem te trainen op de betrouwbare, tijdgebonden data van het lezen, en dit potentieel kennis vervolgens te transfereren naar de moeilijkere taak van de stille gedachte, kunnen wetenschappers uiteindelijk in staat zijn de communicatie te herstellen voor degenen die hun stem hebben verloren. Het werk beweert niet dat het het probleem van het direct lezen van gedachten heeft opgelost, maar het heeft vastgesteld dat het signaal aanwezig is, wachtend om gevonden te worden met genoeg geduld en data.