Reconstructing the brain’s language network from non-invasive EEG enables interpretable speech decoding

Decennialang hebben wetenschappers gedroomd van het direct lezen van de taal van de geest van buitenaf, in de hoop spraak te herstellen bij mensen die het vermogen hebben verloren om hun mond te bewegen. De hersenen zijn een enorme, luidruchtige stad van elektrische activiteit, en wanneer we aan woorden denken, lichten specifieke wijken in een precieze sequentie op. Het vastleggen van deze activiteit zonder chirurgie is echter geweest als het proberen te horen van één enkel gesprek in een volgepropte ploeg in een stadion vanaf de parkeerplaats; de signalen zijn zwak, gemengd en variëren enorm per persoon. Traditionele pogingen om deze hersengolven naar tekst te vertalen, vertrouwden vaak op krachtige computerprogramma's die fungeren als zwarte dozen. Deze programma's leren het volgende woord te raden door statistische patronen in de data te herkennen, maar ze bieden geen inzicht in hoe de hersenen die gedachte daadwerkelijk produceerden, noch leggen ze uit waarom ze soms falen. Zonder het onderliggende mechanisme te begrijpen, worstelen deze systemen om betrouwbaar te werken bij verschillende mensen of verschillende soorten taaltaken, waardoor de belofte van een universeel communicatieapparaat net buiten bereik blijft.

Een team van onderzoekers in Shenzhen en Hong Kong heeft nu een ander pad voorgesteld, één dat verder gaat dan simpelweg raden en in plaats daarvan de werkelijke kaart van het taalnetwerk van de hersenen reconstrueert. Ze ontwikkelten een nieuw framework genaamd CAGNNF, dat de hersenen niet behandelt als een zwarte doos, maar als een fysiek systeem met specifieke regels. In plaats van direct van de ruwe elektrische signalen op de hoofdhuid naar een zin tekst te springen, bouwt hun systeem eerst een dynamisch, driedimensionaal model van de interne activiteit van de hersenen. Het gebruikt een methode genaamd neurale perturbatieve inferentie om te traceren hoe een vonk van activiteit in één deel van de hersenen naar buiten rimpelt om andere regio's te beïnvloeden, vergelijkbaar met het in een vijver gooien van een steen en het kijken hoe de golven zich verspreiden. Om dit model geworteld te houden in de biologische realiteit, voegden ze geometrische beperkingen toe op basis van de werkelijke vorm en structuur van de menselijke cortex, wat ervoor zorgt dat de gereconstrueerde activiteit langs de natuurlijke snelwegen van de hersenen stroomt in plaats van in de lege ruimte te zweven.

Het resultaat van dit proces is een heldere, interpreteerbare kaart van het taalnetwerk van de hersenen in actie. De onderzoekers ontdekten dat deze kaart consistent dezelfde regio's accentueerde die bekend staan als cruciaal voor taal, specif gezien de temporale gebieden die de ventrale stroom vormen, een pad dat essentieel is voor het begrijpen van zinnen. Dit was niet slechts een theoretische oefening; het systeem slaagde erin tekst te decoderen uit hersengolven die werden opgenomen terwijl mensen stilzwijgend lazen in zowel het Chinees als het Engels. In tests presteerde deze nieuwe aanpak bestaande state-of-the-art methoden met een marge, waarbij het aantal fouten in de gedecodeerde tekst met wel 11 procent verminderde vergeleken met de beste eerdere modellen. Cruciaal was dat het systeem bewees dat het taalnetwerk van de hersenen op een vergelijkbare manier werkt of iemand nu woorden op een scherm leest of ze hoort terwijl ze worden uitgesproken, wat suggereert dat de kernmechanismen van taal gedeeld worden over verschillende zintuigen.

Wat dit werk bijzonder significant maakt, is dat het decoderingsfouten verandert in een diagnostisch instrument. Omdat het systeem de stadia van taalverwerking begrijpt, kan het precies aanwijzen waar een fout is opgetreden. De onderzoekers ontdekten dat fouten in het herkennen van de vorm van een karakter gekoppeld waren aan vroege visuele verwerkingssignalen, terwijl fouten in het missen van een woord verbonden waren aan aandacht-gerelateerde signalen, en fouten in het begrijpen van betekenis verbonden waren aan signalen die geassocieerd worden met semantische integratie. Door deze specifieke foutpunten te identificeren, kon het systeem vervolgens een gerichte correctie toepassen, wat de foutmarge met meer dan 8 procent verlaagde. Dit vermogen om een fout terug te traceren naar een specifiek moment in de verwerkingsketen van de hersenen biedt een niveau van helderheid dat eerdere methoden miste, waardoor het decoderingsproces wordt getransformeerd van een statistische gok naar een fysiologisch gefundeerde reconstructie.

De studie demonstreerde ook dat dit systeem snel kan adapteren aan nieuwe individuen. Met behulp van een techniek waarmee het model kan leren van zeer weinig voorbeelden, lieten de onderzoekers zien dat het systeem met slechts honderd zinnen aan leesdata gekalibreerd kon worden voor een nieuw persoon. Deze efficiëntie suggereert dat het kern-taalnetwerk stabiel genoeg is om met minimale training te worden gevangen, een vitale stap naar het praktisch bruikbaar maken van dergelijke technologie voor langdurig gebruik. Hoewel het huidige systeem in een offline setting werkt, wat betekent dat het gegevens verwerkt nadat ze zijn opgenomen, merkten de onderzoekers op dat de snelheid al de niveaus nadert die nodig zijn voor real-time communicatie. Door een duidelijke, interpreteerbare link te vestigen tussen de elektrische signalen op de hoofdhuid, het gereconstrueerde taalnetwerk in de hersenen en de uiteindelijke tekst, biedt dit werk een tastbare stap naar brein-computerinterfaces die niet alleen krachtig zijn, maar ook begrijpelijk en betrouwbaar.