Stel je een wereld voor waarin een persoon die het vermogen om te spreken heeft verloren door verlamming, weer kan communiceren, niet door te typen of te knipperen, maar simpelweg door hun woorden te denken. Dit is de belofte van een hersen-computerinterface, een technologie die de elektrische en magnetische signalen van de hersenen leest om te decoderen wat een persoon zegt of probeert te zeggen. Jarenlang vereisten de meest succesvolle versies van deze technologie dat chirurgen elektroden direct op de hersenen implanteren, een risicovolle procedure die het gebruik ervan beperkt tot een fractie van de patiënten. De wetenschappelijke gemeenschap zoekt al lang naar een niet-invasief alternatief, een methode die de hersenen van buitenaf kan lezen, bijvoorbeeld via een helm of een kap, waardoor de technologie veilig en toegankelijk wordt voor iedereen. De vooruitgang in dit veld is echter traag en moeilijk te meten geweest. Zonder een gedeelde set gegevens en een standaardmanier om nieuwe ideeën te testen, hebben onderzoekers moeite gehad om te weten of hun methoden werkelijk verbeteren of dat ze slechts op toeval berusten. Om dit op te lossen, hebben wetenschappers een enorme bibliotheek van hersenopnames nodig, verzameld onder strikte omstandigheden, die iedereen kan gebruiken om hun decodeertools te bouwen en te testen.

Een team van onderzoekers heeft nu een dergelijke bibliotheek uitgebracht, een dataset genaamd LibriBrain100, die een belangrijke stap voorwaarts vertegenwoordigt in de zoektocht naar het lezen van spraak uit de hersenen zonder chirurgie. Het project richt zich op magnetoencefalografie, of MEG, een techniek die uiterst gevoelige sensoren gebruikt om de zwakke magnetische velden te detecteren die worden geproduceerd door de activiteit van de hersenen. Hoewel het menselijk brein een complex orgaan is, zijn de magnetische signalen die het genereert tijdens het verwerken van spraak onderscheidend genoeg om te worden vastgelegd, mits de apparatuur gevoelig genoeg is en de data overvloedig aanwezig is. De uitdaging is altijd geweest dat het verzamelen van deze gegevens moeilijk en tijdrovend is. Om een duidelijk beeld te krijgen van hoe de hersenen taal verwerken, hebben onderzoekers uren aan opnames nodig van dezelfde persoon die luistert naar spraak, evenals opnames van veel verschillende mensen om te zien hoe de taalcentra van de hersenen per individu variëren. Vóór deze nieuwe release was de grootste beschikbare collectie van dergelijke gegevens beperkt en richtte deze zich vaak op slechts één persoon of enkele uren aan opnames, wat het moeilijk maakte om de krachtige computermodellen te trainen die nodig zijn voor real-world toepassingen.

De nieuwe LibriBrain100-dataset verandert de schaal van het probleem volledig. Het bevat meer dan honderd uur aan hoogwaardige hersenopnames, een volume dat meer dan het dubbele is van de vorige grootste collectie. De kern van deze dataset komt van één vrijwilliger die ongeveer tachtig uur lang naar natuurlijke, continue spraak luisterde. Deze persoon luisterde naar de volledige collectie Sherlock Holmes-verhalen, een set fonetische oefeningen die ontworig zijn om een breed scala aan spraakklanken te dekken, en een reeks podcast-narratieven die uiteenlopende onderwerpen behandelen. Deze diepe focus op één individu stelt onderzoekers in staat om de taalverwerking van de hersenen te bestuderen met een detailniveau dat voorheen onmogelijk was, waarbij de subtiele manieren worden vastgelegd waarop de hersenen reageren op dezelfde spreker gedurende een lange periode. Om de behoefte te adresseren om te begrijpen hoe deze bevindingen van toepassing zijn op andere mensen, hebben de onderzoekers ook ongeveer veertig minuten aan data opgenomen van tweeëndertig aanvullende vrijwilligers, die allemaal naar een deel van de Sherlock Holmes-verhalen luisterden. Deze combinatie creëert een unieke bron die zowel diep is (met enorme hoeveelheden data van één persoon) als breed (met data van vele mensen), waardoor wetenschappers kunnen testen of een model dat getraind is op één persoon kan worden aangepast om voor een ander te werken met zeer weinig nieuwe data.

De onderzoekers gebruikten deze dataset om een specifieke taak te testen: woordclassificatie. In dit experiment luistert een computermodel naar de hersensignalen die zijn opgenomen terwijl een persoon een woord hoort, en probeert het te raden welk woord uit een lijst van vijftig veelvoorkomende woorden zojuist is uitgesproken. Dit is een tussenstap naar het ultieme doel van volledige hersen-naar-tekst decodering. Wanneer zij een computermodel trainden met behulp van de diepe data van de enkele vrijwilliger, behaalde het model de beste prestatie die ooit is geregistreerd voor dit type niet-invasieve taak. Dit valideert de kwaliteit van de opnames en bewijst dat het hebben van een grote hoeveelheid data van één persoon ongelooflijk waardevol is om een computer te leren hoe hij die specifieke hersenen kan lezen. Echter, de echte test voor een praktisch apparaat is of het kan werken voor een nieuwe gebruiker zonder dat er tachtig uur training nodig is. De onderzoekers ontdekten dat door een model dat getraind is op de diepe data te nemen en het slechts een kleine hoeveelheid data van een nieuw persoon te geven — ongeveer veertig minuten — het model kan worden bijgesteld (fine-tuned) om goed te werken voor die nieuwe persoon. Dit suggereert dat een systeem gebouwd kan worden waarbij een groot, vooraf getraind model wordt aangepast aan een nieuwe patiënt met slechts een korte sessie van luisteren, wat de technologie veel haalbaarder maakt voor echt wereldgebruik.

De dataset bevat ook opnames van verschillende soorten spraak om de modellen robuust te maken. De Sherlock Holmes-verhalen bieden een consistente narratief, terwijl de fonetische oefeningen een gecontroleerde mix van klanken bieden, en de podcasts introduceren natuurlijke, spontane spraak met gevarieerde onderwerpen en sprekers. Door deze verschillende bronnen op te nemen, kunnen de onderzoekers bestuderen hoe de hersenen de klank van spraak versus de betekenis van spraak verwerken. Zij ontdekten dat de hersensignalen informatie bevatten over zowel de akoestische eigenschappen van de stem als de semantische inhoud van het verhaal. De onderzoekers hebben al deze data publiekelijk beschikbaar gesteld, samen met een softwarebibliotheek die het voor andere wetenschappers gemakkelijk maakt om de opnames te downloaden en te gebruiken. Ze hebben ook een open wedstrijd gelanceerd waar onderzoekers van over de hele wereld hun eigen decodeermethoden kunnen testen tegen dezelfde standaard benchmarks. Deze aanpak weerspiegelt het succes van grote datasets in andere velden van kunstmatige intelligentie, waar gedeelde bronnen de vooruitgang hebben versneld door iedereen toe te staan voort te bouwen op hetzelfde fundament.

Hoewel de resultaten veelbelovend zijn, merkten de onderzoekers voorzichtig op dat er momenteel beperkingen zijn. De data werd verzameld terwijl mensen passief naar verhalen luisterden, wat anders is dan de actieve inspanning van het proberen te spreken of het proberen te spreken in gedachten, een staat die cruciand is voor een communicatieapparaat voor iemand die verlamd is. Het team is actief bezig met het verzamelen van data over innerlijke spraak (inner speech) en plant dit in de toekomst ook vrij te geven. Bovendien is het huidige succes beperkt tot het identificeren van woorden uit een kleine lijst van vijftig, in plaats van het genereren van volledige zinnen. De onderzoekers hebben geen baseline voor volledige hersen-naar-tekst decodering opgenomen in deze release, omdat het veld nog te snel evolueert voor een enkele stabiele standaard. De dataset biedt echter wel de noodzakelijke infrastructuur om naar dat doel te bewegen. Door een enorme, hoogwaardige en gestandaardiseerde bron aan te bieden, neemt LibriBrain100 een belangrijke barrière voor onderzoekers weg. Het stelt de gemeenschap in staat zich te concentreren op het ontwikkelen van betere algoritmen in plaats van te worstelen met het verzamelen van data, met de uiteindelijke hoop op het creëren van een niet-invasief hulpmiddel dat het vermogen om te communiceren kan herstellen voor mensen die leven met ernstige verlamming.