Stel je een wereld voor waarin we de elektrische fluisteringen van de geest kunnen lezen om verlamde mensen te helpen hun ledematen te bewegen of om te begrijpen hoe we beslissingen nemen. Dit is het domein van hersen-computerinterfaces (BCI's), een vakgebied waar wetenschappers proberen de chaotische, flikkerende signalen van neuronen te vertalen naar duidelijke commando's voor computers. Lange tijd was de beste manier om dit te doen als het aanleren van trucjes aan een hond: je laat een signaal zien, vertelt er precies welk gedrag bij hoorde (zoals "de arm bewoog naar links"), en het dier leert de twee met elkaar te koppelen. Maar deze methode heeft een groot gebrek: het vereist een leraar die aanwezig is bij elke enkele les. In de echte wereld hebben we bergen aan opgenomen hersendata waar de "leraar" ontbreend is—we hebben de neurale gesprekken, maar geen label dat zegt wat het dier op dat exacte moment deed. Tot nu toe konden de meeste geavanceerde hersen-leesmodellen alleen leren van "gelabelde" data, waardoor enorme bibliotheken aan "ongelabelde" hersenopnames stof verzamelden zonder te kunnen helpen bij het verbeteren van de decoder.

Maak kennis met een nieuwe aanpak die de hersenen behandelt als een taal. Net zoals grote taalmodellen (zoals de modellen die verhalen schrijven of vragen beantwoorden) leren door miljarden boeken te lezen zonder dat een mens elke zin hoeft uit te leggen, suggereert dit nieuwe onderzoek dat we hersen-decoderingsmodellen kunnen leren om de "grammatica" van neurale activiteit zelfstandig te begrijpen. Het artikel introduceert een methode genaamd MOJO (Masked autOencoder-based JOint training). Denk aan een student die zowel een tekstboek met antwoorden bestudeert (gelabelde data) als een enorme bibliotheek met mysterie-romans zonder antwoorden sleutels (ongelabelde data). Door te proberen de ontbrekende pagina's van de mysterie-romans in te vullen, leert de student de onderliggende structuur van het verhaal zo goed dat ze de test met het tekstboek uiteindelijk met vlag en wimpel halen. De onderzoekers ontdekten dat door deze twee leerstijlen te combineren, hun model een veel betere decoder werd, vooral wanneer er heel weinig gelabelde voorbeelden waren om mee te beginnen, en het werkte zelfs op verschillende soorten soorten en typen hersensignalen.

Het Probleem: De "Label"-bottleneck

Stel je voor dat je een nieuwe taal probeert te leren. Je hebt een woordenboek dat je vertelt dat het woord "appel" een rode vrucht betekent. Als je alleen dit woordenboek hebt (gelabelde data), kun je het woord "appel" leren. Maar als je vloeiend wilt worden, moet je duizenden boeken, artikelen en verhalen lezen (ongelabelde data) om te begrijpen hoe woorden bij elkaar passen, hoe zinnen stromen en hoe context de betekenis van een woord verandert.

Jarenlang waren de meest geavanceerde hersen-decoderingsmodellen, bekend als "spike-tokenizing" modellen (zoals de POYO-familie), als studenten die alleen een woordenboek hadden. Ze waren ongelooflijk goed in het koppelen van specifieke hersensignalen aan specifieke bewegingen, maar ze konden alleen leren van data waarbij wetenschappers zorgvuldig hadden geregistreerd wat het dier op elk moment precies deed. Dit is een enorme beperking omdat het verzamelen van gelabelde data duur en tijdrovend is, en vaak onmogelijk is voor bepaalde experimenten. Ondertussen hebben neurowetenschappers terabytes aan "ongelabelde" hersendata verzameld—opnames van vurende neuronen zonder te weten wat het dier op dat exacte moment dacht of deed. Deze modellen negeerden deze schat aan informatie effectief.

De Oplossing: MOJO's "Invul-de-blanks"-truc

De auteurs van dit artikel, Ximeng Mao, Nanda H Krishna en hun team, creëerden MOJO om dit op te lossen. Ze wilden deze modellen leren om te leren van de ongelabelde data, net zoals een taalmodel leert van een boek.

Hiervoor gebruikten ze een slimme truc genaamd masked autoencoding. Stel je voor dat je een zin hebt: "De kat zat op de mat." Als je het woord "zat" afdekt, kun je dan raden wat daar stond? Als je genoeg verhalen over katten hebt gelezen, kun je waarschijnlijk "zat", "stond" of "sprong" raden op basis van de context. MOJO doet dit met hersensignalen. Het neemt een sequentie van neurale spikes (de "zin"), verbergt (maskeert) willekeurig enkele van de signalen, en vraagt het model om te voorspellen wat die ontbrekende signalen waren.

Hier zit de magie: het model moet de verborgen regels leren van hoe neuronen met elkaar communiceren om deze gissingen te doen. Het leert de "grammatica" van de hersenen. Maar het model raadt niet alleen; het behoudt ook zijn oorspronkelijke taak van het voorspellen van gedrag (zoals armbeweging) met behulp van de gelabelde data. Het doet beide tegelijkertijd. Dit wordt joint training genoemd. Het model leert de diepe structuur van de hersenen uit de ongelabelde data, wat het helpt om de gelabelde data veel beter te begrijpen.

De Resultaten: Slimmer, Sneller en Flexibeler

Het team testte MOJO op drie zeer verschillende soorten hersendata:

1. Aap Reiken: Apen die naar doelen op een scherm reiken.
2. Muis Visie: Muizen die naar verschillende visuele patronen kijken.
3. Menselijke Spraak: Mensen die lettergrepen uitspreken, opgenomen via elektroden op het hersenoppervlak (ECoG).

In elke enkele test presteerde MOJO beter dan modellen die alleen gelabelde data gebruikten. Maar het meest opwindende deel was wat er gebeurde wanneer ze heel weinig gelabelde data hadden.

De "Few-Shot" Superkracht
Normaal gesproken, als je heel weinig voorbeelden hebt om een model te onderwijzen (een "few-shot" scenario), heeft het model moeite. Maar MOJO was hier een kampioen. In één experiment met apen probeerde het team het model te leren om bewegingen te decoderen met slechts twee gelabelde pogingen (kalibratiepogingen). Een standaard model faalde jammerlijk. MOJO gebruikte echter de ongelabelde data om het algemene "gevoel" van de hersenactiviteit te begrijpen. Toen ze het slechts twee gelabelde pogingen gaven, bereikte het meer dan 60% van de prestaties van een model dat getraind is op een volledige dataset. Met slechts vier gelabelde pogingen bereikte het 75%. Het was als een student die, na het lezen van duizend mysterie-romans, een nieuw mysterie kon oplossen met slechts twee aanwijzingen.

Cross-Species en Cross-Modality
De onderzoekers testten ook of MOJO kon leren van de ene soort en dit kon toepassen op een andere. Ze trainden het model vooraf op de reikbewegingen van apen en verfijnden het daarna op de visuele waarneming van muizen. Het model droeg de kennis succesvol over, wat aantoonde dat de "grammatica" van de hersenen die het leerde universeel genoeg was om een ander dier te helpen begrijpen.

Nog verbazingwekkender was dat ze MOJO testten op menselijke spraakdata (ECoG), wat een continu signaal is, geen discrete "spikes". Hoewel MOJO ontworpen was voor spikes, paste het zich aan en presteerde het net zo goed als modellen die specifiek voor continue signalen zijn gebouwd. Dit suggereert dat de kern van het leren van ongelabelde data een krachtig hulpmiddel is dat werkt over verschillende soorten hersenopnames heen.

De "Verborgen" Inzichten
Een van de coolste bijwerkingen van MOJO was dat het model leerde de structuur van de hersenen te begrijpen zonder dat dit expliciet werd gezegd. De onderzoekers vroegen het model om te raden uit welk deel van de hersenen een neuron kwam (bijv. de visuele cortex versus de hippocampus) door enkel naar de interne "embedding" (de digitale vingerafdruk) te kijken. Het model had het in sommige taken in 94% van de gevallen goed, ook al was het nooit getraind om deze classificatie te doen. Het leerde ook de vuursnelheden (firing rates) van neuronen met hoge nauwkeurigheid te voorspellen. Dit betekent dat het model niet alleen antwoorden aan het onthouden was; het leerde daadwerkelijk een rijke, interpreteerbare kaart van hoe de hersenen werken.

Waarom dit ertoe doet

Het artikel suggereert dat door supervised learning (leren met antwoorden) en self-supervised learning (leren van patronen in de data) te combineren, we veel flexibelere en krachtigere hersen-computerinterfaces kunnen bouwen. We hoeven de bergen ongelabelde data die we al hebben niet weg te gooien; we kunnen ze gebruiken om onze modellen de fundamentele regels van de hersenen te leren.

Deze aanpak maakt het gemakkelijker om modellen te trainen voor nieuwe taken of nieuwe patiënten met zeer weinig kalibratietijd. Het opent ook de deur naar "neuro-fundamentele modellen"—massieve, algemene hersenmodellen die kunnen worden aangepast aan vele verschillende taken, van het helpen van verlamde mensen om te bewegen tot het begrijpen van hoe we beslissingen nemen. De auteurs merken op dat hoewel dit een belangrijke stap voorwaarts is, de modellen nog steeds veel data nodig hebben om de complexe dynamiek van de hersenen te leren, en dat er nog steeds uitdagingen zijn in hoe men verschillende soorten signalen perfect kan afhandelen. Maar de weg is duidelijk: de toekomst van het decoderen van de hersenen ligt in het leren van deze modellen om de "ongelabelde" verhalen van onze geest te lezen.