⚡ electrical engineering

RPNT: Robust Pre-trained Neural Transformer -- A Pathway for Generalized Motor Decoding

Dit artikel introduceert RPNT, een robuust voorgetraind neuronaal transformer-model dat door middel van unieke architecturale innovaties en zelftoezichtende leerstrategieën superieure generalisatie bereikt bij het decoderen van motorische neurale activiteit over verschillende sessies, taken, proefpersonen en hersenlocaties.

Oorspronkelijke auteurs: Hao Fang, Ryan A. Canfield, Tomohiro Ouchi, Beatrice Macagno, Eli Shlizerman, Amy L. Orsborn

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Fang, Ryan A. Canfield, Tomohiro Ouchi, Beatrice Macagno, Eli Shlizerman, Amy L. Orsborn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

RPNT: De "Super-leraar" voor hersencomputers

Stel je voor dat je een hersencomputer (een BCI) wilt bouwen. Dit is een apparaat dat gedachten of bewegingswensen van een persoon (of in dit geval, een aap) omzet in bewegingen op een scherm of een robotarm. Het probleem is echter dat de hersenen niet als een stabiele radiozender werken. Ze veranderen elke dag, elke sessie, en zelfs als je van taak verandert.

Het is alsof je probeert een gesprek te voeren met iemand die elke dag een andere taal spreekt, een ander accent heeft en soms zelfs een andere persoonlijkheid. De oude methoden om dit te decoderen waren als een student die elke dag opnieuw vanaf nul moet beginnen met leren. Ze waren traag en faalden vaak als de omstandigheden veranderden.

De auteurs van dit paper hebben RPNT bedacht: een slimme, vooraf getrainde "neuronale transformer". Je kunt je dit voorstellen als een super-leraar die eerst duizenden uren heeft bestudeerd aan verschillende soorten "hersensessies" voordat hij ook maar één keer met een nieuwe patiënt heeft gewerkt.

Hier zijn de drie belangrijkste "superkrachten" die RPNT heeft:

1. De "GPS en Agenda" (MRoPE)

Het probleem: Hersenactiviteit is niet alleen een reeks getallen; het hangt af van waar de elektrode zit, wie de proefpersoon is, welke dag het is en wat ze aan het doen zijn. Oude modellen zagen dit niet als context, maar als ruis.
De oplossing (MRoPE): Stel je voor dat je een postbode bent. Als je alleen de straatnaam weet, kun je de brief bezorgen. Maar als je ook de wijk, het huisnummer en de tijd van bezorging weet, ben je veel efficiënter.
RPNT gebruikt een speciale techniek genaamd MRoPE (Multidimensional Rotary Positional Embedding). Dit is als een GPS-systeem dat niet alleen de tijd meet, maar ook de locatie van de elektrode, de identiteit van de aap en het type beweging. Hierdoor "weet" het model precies in welke context het zich bevindt, zelfs als het naar een nieuwe locatie of een nieuwe aap kijkt.

2. De "Slimme Kijker" (Context-based Attention)

Het probleem: Hersensignalen zijn niet statisch; ze "drijven" door de tijd. Soms is een signaal sterk, soms zwak, en het patroon verandert langzaam. Oude modellen keken naar het hele plaatje (globaal), maar misten de kleine, lokale veranderingen die belangrijk zijn voor de stabiliteit.
De oplossing: Stel je voor dat je naar een film kijkt. Een oude camera zou alleen de hele scène vastleggen. RPNT heeft echter een slimme cameraman die niet alleen naar het grote geheel kijkt, maar ook een lokaal vergrootglas gebruikt.
Deze "context-based attention" gebruikt wiskundige filters (convolutie-kernen) om de lokale veranderingen in de tijd te zien. Het helpt het model om te begrijpen dat een signaal vandaag misschien anders klinkt dan gisteren, maar dat de onderliggende betekenis (bijvoorbeeld "reik naar links") hetzelfde blijft. Het maakt het model robuust tegen de "drijvende" aard van hersensignalen.

3. De "Gokker die leert van fouten" (Robuste Zelflerende Strategie)

Het probleem: Om een model te trainen, heb je normaal gesproken duizenden voorbeelden nodig waarbij je precies weet wat de aap deed (bijv. "hij bewoog zijn hand naar rechts"). Maar die labels zijn duur en moeilijk te krijgen.
De oplossing: RPNT gebruikt een trucje dat zelftoezicht (self-supervised learning) heet.
Stel je voor dat je een taal leert door een boek te lezen waarbij willekeurig woorden zijn weggehaald. Je moet de ontbrekende woorden raden op basis van de zinnen ervoor.
RPNT doet precies dit met hersensignalen. Het krijgt een stroom van hersenactiviteit, maar een groot deel wordt willekeurig weggegooid (gemaskerd). Het model moet dan de ontbrekende stukken raden op basis van wat het wel zag. Omdat het dit doet met willekeurige patronen (soms veel weg, soms weinig), leert het niet alleen de taal, maar ook hoe om te gaan met onzekerheid. Het leert de "essentie" van de hersenen zonder dat iemand hoeft te zeggen wat de juiste beweging was.

Wat hebben ze bewezen?

De onderzoekers hebben deze "super-leraar" getest op twee grote datasets:

LTRCH: Een dataset met veel verschillende apen, sessies en taken.
NPCS: Een dataset met zeer dichte opnames van verschillende plekken in de hersenen van één aap.

Het resultaat?
RPNT was overal beter dan de bestaande methoden.

Het kon cross-session werken: Als je het model vandaag traint en morgen test, werkt het nog steeds perfect.
Het kon cross-subject werken: Een model getraind op Aap A werkt ook goed op Aap B.
Het kon cross-site werken: Zelfs als je de elektrode op een heel andere plek in de hersenen plaatst, begrijpt het model de signalen nog steeds.

Waarom is dit belangrijk?

Voor de toekomst van hersen-computerinterfaces (BCI) is dit een enorme stap.

Minder kalibratie: Nu moet je een BCI elke dag opnieuw kalibreren (instellen) omdat de hersenen veranderen. Met RPNT zou je het model één keer kunnen "trainen" op een grote hoeveelheid data, en het zou daarna direct werken voor nieuwe gebruikers of nieuwe sessies met heel weinig aanpassing.
Sneller en robuuster: Het maakt het mogelijk om herseninterfaces te gebruiken in het echte leven, waar omstandigheden nooit perfect zijn.

Kortom: RPNT is de eerste stap naar een universele decoder voor hersensignalen. Het is alsof we van een handgeschreven briefje (oude methoden) zijn gegaan naar een AI-vertaler die elke taal en dialect direct begrijpt, zonder dat je hem eerst alles moet uitleggen.

Probleemstelling

Hersenen-motordecoding (het vertalen van neurale activiteit naar gedrag) staat voor grote uitdagingen bij het generaliseren naar nieuwe situaties. Bestaande decoderingsmodellen presteren vaak slecht wanneer ze worden toegepast op:

Verschillende opnamesessies (tijdens dezelfde experimenten).
Verschillende proefpersonen (apen).
Verschillende gedragssoorten (bijv. doelgericht vs. willekeurig doel bereiken).
Verschillende opnameplaatsen in de hersenen (cross-site).

Neurale data vertonen een hoge mate van niet-stationariteit (signalen veranderen over tijd door drift) en variabiliteit in de opnameconfiguratie (elektrodenlocaties, sessie-ID's). Traditionele methoden (zoals lineaire filters) en zelfs recente deep-learning benaderingen (RNNs, Transformers) worden vaak getraind "van scratch" op beperkte, taakspecifieke data, wat leidt tot zwakke generalisatie. Bestaande pre-trained modellen missen vaak expliciete mechanismen om deze variabiliteit en drift te verwerken, of ze vereisen gedragsetiketten tijdens het pre-training proces, wat in de praktijk moeilijk te verkrijgen is.

Methodologie: RPNT Architectuur

De auteurs introduceren RPNT (Robust Pre-trained Neural Transformer), een model dat is ontworpen om robuuste neurale representaties te leren via zelftoezicht (self-supervised learning) zonder gedragsetiketten tijdens het pre-training. De architectuur bevat drie unieke componenten die specifiek zijn aangepast voor neurale data:

Multidimensionale Rotatoire Positie-Embedding (MRoPE):
- In plaats van alleen tijd te coderen, integreert MRoPE experimentele metadata (zoals elektroden-coördinaten, sessie-ID's, proefpersoon-ID en gedragssoort) direct in de positie-embeddings.
- Het deelt de modeldimensie op in groepen die elk een specifieke metadata-as coderen met verschillende frequenties. Dit stelt het model in staat om ruimtelijke en temporale relaties simultaan te modelleren en generalisatie naar ongeziene opnameconfiguraties mogelijk te maken.
Context-gebaseerde Aandachtsmechanisme (Context-based Attention):
- Om de niet-stationariteit van neurale populatie-activiteit aan te pakken, worden convolutiekernen toegepast op de globale aandachtscores.
- Dit mechanisme leert lokale temporale structuren door historische context te gebruiken om de attention-mechanismen dynamisch te moduleren. Dit helpt bij het omgaan met drift en veranderingen in de signaalkarakteristieken over tijd.
Robuust Zelftoezichtend Leerdoel (SSL) met Stochastische Maskering:
- Het model wordt getraind met een causale maskerstrategie (informatie stroomt alleen van verleden naar heden), wat essentieel is voor real-time toepassingen.
- In tegenstelling tot vaste masker-ratio's, gebruikt RPNT een uniforme stochastische maskerstrategie ( $U(0,1)$ ) over zowel neurale dimensies (neuronen) als temporale dimensies. Dit exposeert het model tijdens het pre-training aan een breed scala aan reconstructie-moeilijkheden, wat leidt tot robuustere representaties.
- Het leerdoel bestaat uit een Poisson-reconstructieverlies (voor het voorspellen van spiketellingen) gecombineerd met een contrastief verlies om site-invariante representaties te bevorderen.

Workflow:
Het proces bestaat uit een pre-training fase op grote, ongelabelde datasets (waarbij het model neurale spikes probeert te reconstrueren) gevolgd door een supervised finetuning (SFT) fase. Voor de downstream taken (zoals snelheidsvoorspelling) wordt het model aangepast met zeer weinig gelabelde data (Few-Shot Learning).

Experimentele Validatie en Resultaten

RPNT werd getest op twee grote datasets met non-human primates (NHPs):

LTRCH: Een benchmark met micro-elektrode data van 4 apen, 111 sessies, en twee taaksoorten (Center-Out en Random Target).
NPCS: Een nieuwe dataset met hoge-resolutie Neuropixel 1.0 data van één aap, met opnames van 17 verschillende locaties in de motorische cortex (M1 en PMd) over een periode van één jaar.

Belangrijkste resultaten:

Superieure Generalisatie: RPNT presteerde consistent beter dan bestaande state-of-the-art modellen (zoals Wiener-filter, MLP, RNN, en andere Transformers zoals NDT en PoYo) in alle generalisatiescenario's: cross-session, cross-subject, cross-task en cross-site.
Few-Shot Performance: Zelfs met Few-Shot finetuning (geen toegang tot labels tijdens pre-training), overtrof RPNT modellen die wel labels gebruikten tijdens hun pre-training.
- Op de LTRCH dataset (Cross-Task scenario T-RT) behaalde RPNT een $R^2$ van 0.8356, vergeleken met 0.7687 voor de beste concurrent (POSSM-GRU).
- Op de NPCS dataset (Cross-Site) behaalde RPNT een $R^2$ van 0.6612 (gepretraind), wat hoger was dan alle baselines.
Transfer Learning: Een model gepretraind op de LTRCH dataset (micro-elektroden) kon succesvol worden overgebracht naar de NPCS dataset (Neuropixels), wat aantoont dat het model robuuste neurale representaties heeft geleerd die onafhankelijk zijn van het opnameapparaat.
Ablatie Studies: De studies bevestigden dat elk van de drie nieuwe componenten (MRoPE, context-based attention, en stochastische maskering) noodzakelijk is voor de hoge prestaties. Het vervangen van MRoPE door standaard RoPE leidde tot een daling van ~3%, en het vervangen van context-based attention door standaard attention leidde tot een daling van ~5-16%.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Architecturale Innovatie: De introductie van MRoPE en context-based attention, die specifiek de uitdagingen van neurale data (metadata-variabiliteit en niet-stationariteit) aanpakken.
Efficiënte Pre-training Strategie: Een volledig zelftoezichtend pre-training framework dat geen gedragsetiketten vereist, waardoor het schaalbaar is voor grote datasets.
Robuuste Generalisatie: Het bewijs dat een enkele pre-trained transformer kan worden gebruikt voor diverse motor-decoding taken met minimale aanpassing (Few-Shot), wat een grote stap is voor de praktische toepasbaarheid.

Betekenis voor de toekomst:
RPNT biedt een veelbelovende weg naar neurale foundation modellen voor Brain-Computer Interfaces (BCI). Door de noodzaak voor frequente recalibratie te verminderen en te werken met ongelabelde data, kan dit model de weg effenen voor langdurige, robuuste BCI-systemen in klinische settings. Het werk suggereert ook dat metadata-bewuste posities en adaptieve attention-mechanismen essentieel zullen zijn voor toekomstige modellen die complexe, dynamische biologische signalen moeten decoderen.