Technische Samenvatting: MEG-XL: Data-efficiënte hersenen-naar-tekst via pre-training met lange context

Probleemstelling

Klinische hersenen-naar-tekst interfaces zijn ontworpen voor verlamde patiënten die geen uitgebreide trainingsopnames kunnen leveren. Hoewel pre-training een weg biedt naar data-efficiënte generalisatie door statistische priors over proefpersonen heen te leren, lijden bestaande methoden aan twee kritieke beperkingen:

1. Korte Contextvensters: De meeste eerdere hersenen-naar-tekst decoders werken op korte steekproeven (milliseconden tot seconden), waardoor ze de uitgebreide temporele structuur van spraak (zinsdelen, zinnen, discours) en de langetermijnafhankelijkheden die inherent zijn aan neurale signalen, niet kunnen vastleggen.
2. Data-inefficiëntie: Huidige fundamentele modellen en toezichtgeleerde benaderingen vereisen vaak grote hoeveelheden proefpersoonspecifieke data om goed te presteren, of ze falen in generalisatie naar nieuwe proefpersonen wanneer data schaars is. Bestaande voorgeprende modellen gebruiken doorgaans contextvensters van 10 seconden of minder, wat ontoereikend is om de hiërarchische structuur van neurale spraakverwerking te modelleren.

De auteurs stellen dat als het brein spraakrelevante informatie over uitgebreide tijdschalen codeert, modellen die beperkt zijn tot korte contexten deze structuur niet kunnen benutten, wat leidt tot suboptimale prestaties in regimes met weinig data.

Methodologie

Het paper introduceert MEG-XL, een zelftoezichtgeleerd raamwerk dat is ontworpen om voor te trainen op lange-context Magneto-encefalografie (MEG) opnames (tot 2,5 minuten per steekproef).

1. Tokenisatie

• Input: Ruwe multi-kanaal MEG signalen ($C \times T$).
• Proces: De auteurs maken gebruik van een bevroren neurale tokenizer gebaseerd op BioCodec, die Residuale Vector Quantisatie (RVQ) gebruikt met 6 niveaus ($Q=6$) en een vocabulairegrootte van 256.
• Aanpassing: In tegenstelling tot audio-modellen die werken op enkele kanalen, past MEG-XL de tokenizer onafhankelijk toe op elk van de honderden MEG-sensoren. De signalen worden gedownsampled naar 50Hz (volgend op eerdere woord-decoderingsbaselines) om het aantal tokens te verminderen terwijl compatibiliteit met de taak behouden blijft.
• Output: Discrete tokens $Z \in \{0, \dots, V-1\}^{C \times T' \times Q}$, waarbij $T'$ de gedownsamplede tijd is.

2. Modelarchitectuur

• Embeddings: Input-embeddings worden geconstrueerd door RVQ-codeboekvectoren te concateneren en ze te projecteren naar de modeldimensie ($d_{model}=512$). Deze worden verrijkt met additieve embeddings voor sensorpositie, oriëntatie (gecodeerd via Gaussische Fourier-functies) en sensortype (magnetometer versus gradiometer).
• Transformer: De kern is een Criss-Cross Transformer met 8 lagen. Om de rekenkosten van kwadratische aandacht over lange sequenties en hoge kanaalaantallen te hanteren, factoriseert het model aandacht in Temporele en Ruimtelijke componenten:
  • Temporele aandacht werkt onafhankelijk per sensor over de tijd.
  • Ruimtelijke aandacht werkt onafhankelijk per tijdstip over sensoren.
  • Dit reduceert de complexiteit van $O((CT')^2)$ naar $O(C \cdot T'^2 + T' \cdot C^2)$.
• Doel: Het model wordt getraind met Gemaskerde Token Predictie.
  • Maskeringstrategie: Willekeurige aaneengesloten blokken van 3 seconden worden gemaskerd over alle sensoren totdat 40% van de sequentie is gemaskerd.
  • Redenering: Grote maskerblokken voorkomen triviale interpolatie tussen naburige tijdstippen, waardoor het model wordt gedwongen niet-triviale, langetermijn neurale relaties te leren.

3. Pre-training en Fine-tuning

• Pre-training Data: ~300 uur MEG-data van de CamCAN, MOUS en SMN4Lang datasets, die rust, motorische en spraaktaken bestrijken over ~800 proefpersonen.
• Fine-tuning Taak: Contextuele woorddecodering. Het model wordt gefine-tuned om semantische woordembeddings (van een T5-model) te voorspellen op basis van een sequentie van 50 woorden (150s inputvenster).
• Evaluatie: Top-10 gebalanceerde nauwkeurigheid bij ophaalvocabulaires (top-50 en top-250 woorden) over drie datasets: MEG-MASC (ondiepe, multi-proefpersoon), Armeni (intermediair) en LibriBrain (diepe, single-proefpersoon).

Belangrijkste Bijdragen

1. Schaalbaarheid van Lange Context: MEG-XL schaalt neurale pre-training naar het minutenregime, met gebruikmaking van contexten 5–300× langer dan eerdere werken (2,5 minuten versus <10 seconden). Dit stelt het model in staat langetermijnafhankelijkheden in hersenactiviteit te leren die benaderingen met korte vensters verwerpen.
2. Data-efficiënte Transfer: Het model presteert significant beter dan state-of-the-art toezichtgeleerde methoden en moderne fundamentele hersenmodellen in regimes met weinig data (bijv. 13% van de trainingsdata). Het demonstreert dat pre-training op lange contexten uitgebreide proefpersoonspecifieke data kan vervangen, een kritieke vereiste voor klinische implementatie bij verlamde patiënten.
3. Interpretatie van Lange Context Learning: De auteurs leveren empirisch bewijs dat het vergroten van de pre-training context zowel hersenen-naar-tekst decodering als zero-shot voorspelling van ongezette data verbetert. Analyse van aandachtspatronen onthult dat lange-context pre-training selectieve, hiërarchische aandacht induceert: modellen leren lokaal te attenderen in vroege lagen en breiden progressief uit naar globale integratie in diepere lagen, een vermogen dat modellen met korte context niet kunnen verwerven.

Resultaten

• Prestaties versus Fundamentele Modellen: Op de MEG-MASC dataset (ondiepe, multi-proefpersoon) bereikt MEG-XL 47,0% top-10 nauwkeurigheid met slechts 13% van de trainingsdata, wat significant beter is dan de volgende beste baseline (LaBraM met 33,2%) en andere fundamentele modellen die instorten tot bijna-kansprestaties.
• Prestaties versus Toezichtgeleerde SOTA: In vergelijking met de toezichtgeleerde state-of-the-art (d'Ascoli et al., 2025) presteert MEG-XL beter in de meeste data-regimes op multi-proefpersoon datasets. Op de diepe single-proefpersoon dataset (LibriBrain) komt MEG-XL overeen met de toezichtgeleerde methode bij beperkte data, maar wordt uiteindelijk ingehaald door de toezichtgeleerde methode wanneer uitgebreide proefpersoonspecifieke data (>2,5 uur) beschikbaar is.
• Schaalbaarheid van Contextlengte: Lineaire probe-experimenten tonen aan dat modellen die zijn voorgeprent met langere contexten (tot 150s) betere representaties opleveren voor woorddecodering. Zero-shot gemaskerde tokenpredictie op ongezette datasets schaalt ook log-lineair met contextlengte, wat suggereert dat de voordelen verder reiken dan de specifieke decoderingstaak.
• Aandachtsanalyse: Lange-context modellen vertonen lagere aandachtentropie en een hiërarchische uitbreiding van de aandachtsafstand, wat bevestigt dat ze leren om verre context selectief te integreren in plaats van diffuus te attenderen.

Betekenis en Claims

Het paper stelt dat de primaire bottleneck voor klinische hersenen-naar-tekst interfaces niet alleen het gebrek aan data is, maar het vermogen van huidige modellen om uitgebreide neurale context te benutten.

• Klinische Relevantie: Door voor te trainen op lange contexten over vele proefpersonen, reduceert MEG-XL de data-eis voor nieuwe proefpersonen van tientallen uren naar 1–2 uur (of zelfs tientallen minuten per proefpersoon). Dit maakt de technologie levensvatbaarder voor verlamde patiënten die geen uitgebreide trainingsopnames kunnen leveren.
• Mechanisme van Verbetering: De auteurs betogen dat het voordeel van MEG-XL niet louter architecturaal is, maar voortkomt uit het leren van statistische priors over uitgebreide tijdschalen. Het model leert wanneer en hoe te attenderen op verre context, een vaardigheid die pre-training met korte contexten niet installeert.
• Beperkingen: De auteurs erkennen dat klinische implementatie nog ver weg is, aangezien het huidige werk focust op waargenomen spraak met een beperkt vocabulaire (50 woorden) en de prestaties nog onder de drempel liggen die vereist is voor praktische communicatiemiddelen. Zij merken ook op dat de asymmetrie tussen taken (woorddecodering versus zero-shot voorspelling) suggereert dat contextnut taakafhankelijk is.

Concluderend toont MEG-XL aan dat het uitbreiden van het contextvenster in pre-training een noodzakelijke stap is om data-efficiënte generalisatie in hersenen-naar-tekst systemen te ontsluiten, en zo de kloof overbrugt tussen de temporele structuur van spraak en de capaciteiten van neurale decoders.