🤖 machine learning

RECTOR: Masked Region-Channel-Temporal Modeling for Affective and Cognitive Representation Learning

RECTOR is een nieuw zelfgesuperviseerd framework dat gemaskeerde regio-kanaal-temporele modellering en adaptieve functionele partitionering gebruikt om state-of-the-art prestaties te behalen bij EEG/sEEG-gebaseerde diagnostiek van affectieve en cognitieve stoornissen, terwijl het robuustheid biedt tegen ontbrekende kanalen en interpreteerbare inzichten biedt.

Oorspronkelijke auteurs: Jinhan Liu, Mahsa Shoaran

Gepubliceerd 2026-06-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jinhan Liu, Mahsa Shoaran

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je brein een enorme, bruisende stad is met duizenden wijken (regio's) en miljoenen individuele burgers (kanalen) die elke seconde berichten naar elkaar sturen. Om te begrijpen hoe deze stad zich voelt (emoties) of hoe hard hij werkt (cognitieve taken), luisteren we naar de radiosignalen (EEG/sEEG).

Het probleem is dat de stad chaotisch is. De wijken veranderen hun rollen afhankelijk van wat er gebeurt, en soms vallen de radiozenders stil (ontbrekende kanalen). Traditionele methoden proberen naar deze stad te luisteren met een rigide, vooraf getekende kaart die nooit verandert. Als een wijk van functie verandert, faalt de oude kaart. Als een radiozender stilvalt, breekt de kaart.

Maak kennis met RECTOR, een nieuw AI-systeem dat fungeert als een superintelligente, adaptieve stadsplanner. Zo werkt het, uitgelegd aan de hand van eenvoudige concepten:

1. De Flexibele Kaart (Adaptieve Functionele Partitionering)

De meeste AI-modellen kijken naar het brein met een vaste kaart gebaseerd op anatomie (bijv. "Dit gebied is altijd de 'Frontale Kwab')."

De Oude Manier: Als proberen te navigeren door een stad met een kaart uit 1950. Het weet niets van nieuwe wijken of veranderde verkeerspatronen.
De RECTOR-Manier: RECTOR begint met een basiskaart, maar leert deze in realtime opnieuw te tekenen. Het realiseert zich dat tijdens een specifieke taak een groep "burgers" (kanalen) uit verschillende delen van de stad plotseling samen kan gaan werken als een nieuw, tijdelijk team. Het groepeert hen dynamisch op basis van wat ze daadwerkelijk doen, niet alleen op basis van waar ze zitten. Dit stelt het systeem in staat om de fluïde, veranderende aard van het brein te begrijpen.

2. Het "Blinddoek" Trainingsspel (Masked Topology en Representation Learning)

Om deze AI te trainen zonder dat er een miljoen gelabelde aantekeningen van artsen nodig zijn (die zeldzaam zijn), gebruiken de onderzoekers een spel genaamd "Invul de gaten."

Het Spel: De AI krijgt een hersensignaal te zien, maar een groot deel ervan is bedekt met een blinddoek (maskering).
De Uitdaging: De AI moet raden wat er onder de blinddoek zit. Maar het is niet zomaar het raden van willekeurige ruis; het moet drie dingen tegelijk raden:
1. Het Signaal: Hoe klonken de ontbrekende radio-golven?
2. De Kaart: Bij welke wijken hoorden die ontbrekende signalen? (Hoorden ze bij het "Emotie-Team" of het "Focus-Team"?)
3. De Consistentie: Als we naar hetzelfde hersensignaal kijken vanuit een iets andere hoek (een andere kijkrichting), maakt het verhaal dan nog steeds ergens zin?

Door dit spel miljoenen keren te spelen, leert de AI de diepe, verborgen regels van hoe de stad van het brein opereert, in plaats van alleen oppervlakkige patronen te onthouden.

3. De Efficiënte Detective (Hiërarchische Aandacht)

Elke individuele burger in een stad van miljoenen bekijken is traag en verwarrend.

De Oude Manier: Proberen naar elke enkele persoon in de stad tegelijk te luisteren. Het is te veel data en je mist het grote plaatje.
De RECTOR-Manier: RECTOR fungeert als een slimme detective die gebruikmaakt van lagen van focus.
- Eerst kijkt het naar de Wijken (Regio's) om het grote plaatje te krijgen.
- Daarna zoomt het in op specifieke Burgers (Kanalen) binnen die wijken om de fijne details te krijgen.
- Cruciaal is dat het een "Top-p Gating" mechanisme gebruikt, wat werkt als een uitsmijter bij een club. Het negeert direct de luidruchtige, onbelangrijke gesprekken en laat alleen de belangrijkste signalen door. Dit maakt het ongelooflijk snel en efficiënt.

Waarom het ertoe doet (Volgens het paper)

Het paper beweert dat RECTOR een enorme stap voorwaarts is omdat:

Het Robuust is: Als sommige radiozenders (kanalen) stilvallen of ontbreken, crasht RECTOR niet. Omdat het de relaties tussen de wijken begrijpt, kan het de gaten opvullen met behulp van de gegevens van de rest van de stad.
Het Generaliseert: Het werkt goed, zelfs wanneer de "stadsindeling" verandert (andere elektrode-opstellingen). Het raakt niet in de war door nieuwe hardware; het past zijn flexibele kaart aan.
Het Accuraat is: Bij tests met betrekking tot emotieherkenning en taakbetrokkenheid versloeg het alle eerdere state-of-the-art modellen.
Het Verklaarbaar is: In tegenstelling tot een "black box" die een antwoord geeft zonder uit te leggen waarom, kan RECTOR laten zien welke wijken het meest belangrijk werden geacht voor een specifieke emotie of taak. Dit geeft artsen een duidelijk zicht op de activiteit van het brein.

Kortom, RECTOR is een AI voor hersensignalen die niet alleen een statische kaart onthoudt, maar leert om de stad dynamisch te reorganiseren terwijl het luistert, wat het een krachtig hulpmiddel maakt om de complexe, verschuivende dynamiek van de menselijke geest te begrijpen.

Technische Samenvatting: RECTOR - Masked Region-Channel-Temporal Modeling voor Affectieve en Cognitieve Representatie-leren

1. Probleemstelling

Affectieve en cognitieve stoornissen manifesteren zich als gedistribueerde, tijdvariërende hersennetwerkdynamiek over regio's, kanalen en tijd. Huidige benaderingen voor het leren van robuuste representaties uit EEG en sEEG (stereo-EEG) voor klinische diagnose staan voor drie primaire uitdagingen:

Rigide Anatomische Priors: Bestaande methoden (bijv. Graph Neural Networks, Transformers) vertrouwen vaak op vaste anatomische definities (bijv. standaard lobben) om regionale interacties te modelleren. Deze falen in het vastleggen van de adaptieve functionele structuren die evolueren tijdens cognitieve verwerking, wat de robuustheid tegen ontbrekende kanalen beperkt en de generalisatie tussen verschillende montages verhindert.
Oppervlakkig Leren: Standaard zelfgesuperviseerd leren (SSL) met willekeurige masking stimuleert modellen vaak om spatio-temporele shortcuts te leren in plaats van generaliseerbare kenmerken. Bovendien negeren veel methoden de modellering van topologische structuren, wat leidt tot representaties die geen neurofysiologische plausibiliteit missen.
Computationele en Structurele Inefficiëntie: Volledige spatio-temporele self-attention is computationeel onhaalbaar voor hoog-densiteit neurale data en riskeert het versterken van oninformatieve relaties. Daarentegen faalt ontkoppelde ruimtelijke en temporele modellering in het vastleggen van gezamenlijke interacties, terwijl populatie-niveau ruimtelijke codering gevestigde functionele netwerkarchitecturen negeert.

2. Methodologie

De auteurs stellen RECTOR (Masked Region-Channel-Temporal Modeling) voor, een end-to-end zelfgesuperviseerd framework ontworpen om gezamenlijk regionaal-kanaal-temporeel representatie-leren te verenigen.

2.1. Kernarchitectuur: RECTOR-SA

De ruggengraat van het framework is RECTOR-SA, een hiërarchisch, block-sparse self-attention mechanisme gedreven door Adaptive Functional Partitioning (AFP).

Hiërarchische Tokenisatie: Het model modelleert expliciet de hiërarchie van de hersenen door regio-tokens ( $X_R$ ) te introduceren naast kanaal-tokens ( $X_C$ ).
Adaptive Functional Partitioning (AFP): In tegenstelling tot vaste priors, leert AFP een zachte kanaal-naar-regio toewijzingsmatrix ( $\Pi_X$ ) die evolueert van een initiële anatomische prior (bijv. het 10-20 systeem of elektrodemarkering-algoritmen) naar taakspecifieke functionele regio's tijdens de training. Dit wordt bereikt via een leerbare toewijzingskop met behulp van Gumbel-Softmax voor discrete topologie.
Block-Sparse Attention: In plaats van dichte attention over alle tokens, factoriseert RECTOR-SA attention in drie parallelle, sparse mechanismen:
1. Topologische Attention: Modelleert interacties tussen kanalen en hun toegewezen regio's.
2. Lokale Functionele Attention: Legt fijnmazige interacties binnen toegewezen regio's over de tijd vast.
3. Globale Functionele Attention: Modelleert hoog-niveau coördinatie tussen regio's.
Top-p Gating: Een dynamische gating operator snoeit zwakke verbindingen weg, wat fungeert als een geleerde denoiser om de focus te leggen op saillante topologische interacties.

2.2. Leerkader: Masked Topology and Representation Learning (MTRL)

RECTOR maakt gebruik van een verenigd SSL-paradigma dat drie complementaire doelstellingen optimaliseert in een enkele forward pass:

Masked Predictive Modeling (MPM): Het model reconstrueert gemaskeerde inputsignalen en representaties in zowel de input- als de latente ruimte. Dit koppelt lokale signaalreconstructie aan representatie-alignment om representatieve collaps te voorkomen.
Topological Structure Modeling (TSM): Deze doelstelling reguleert expliciet de geleerde regio-kanaal toewijzingen. Het dwingt het model om gemaskeerde topologische toewijzingen in de latente ruimte te voorspellen en deze af te stemmen op de toewijzingen in de inputruimte, waardoor wordt gewaarborgd dat de geleerde topologie getrouw blijft aan de datastructuur.
Cross-View Consistency (CVC): Gebruikmakend van Topology-Aware Multi-View Masking, genereert het model meerdere target-views vanuit verschillende topologische domeinen (regio, kanaal, tijd, regio-tijd, kanaal-tijd). CVC dwingt invariantie af over deze diverse views om robuuste semantische representaties te leren.

De totale pre-training doelstelling combineert deze losses met een Region-Channel Regularisatie term om regio-gemeenschappelijke en kanaal-specifieke informatie te ontkoppelen.

3. Belangrijkste Bijdragen

Verenigde Architectuur: Introductie van RECTOR-SA, die verder gaat dan vaste anatomische priors door statische definities te evolueren naar adaptieve functionele regio's via AFP, waardoor regio-gemeenschappelijke en kanaal-specifieke dynamiek effectief wordt ontkoppeld.
Holistisch SSL Paradigma: De voorstel van MTRL, dat gezamenlijk predictive modeling, topological structure modeling en cross-view consistentie optimaliseert, waarmee de beperkingen van standaard masked modeling die vaak oppervlakkige shortcuts leert, worden aangepakt.
Efficiëntie en Robuustheid: Het framework bereikt state-of-the-art prestaties met block-sparse computation, wat superieure robuustheid biedt tegen ontbrekende kanalen en cross-montage generalisatie vergeleken met dichte attention modellen.

4. Experimentele Resultaten

De auteurs evalueerden RECTOR op diverse benchmarks:

EEG Emotieherkenning: Op de SEED, SEED-IV en DEAP datasets behaalde RECTOR nieuwe state-of-the-art resultaten in zowel subject-dependent (SD) als subject-independent (SI) settings, waarbij het consequent leidende taakspecifieke modellen (bijv. MMM, mdJPT) en foundation modellen (bijv. PopT, CBraMod) versloeg met een gemiddeld verschil van >3%.
sEEG Taakbetrokkenheid: Op de MSIT en ECR datasets presteerde RECTOR significant beter dan supervised baselines (Significant) en zelfgesuperviseerde methoden (Brant, Du-IN, BaRISTA) in classificatie van taakbetrokkenheid.
Robuustheid en Generalisatie:
- Ontbrekende Kanalen: RECTOR demonstreerde superieure stabiliteit onder willekeurige kanaal dropout (tot 50%), waarbij het prestaties behield waar baselines significant degradeerden.
- Cross-Montage: Het model vertoonde minimale prestatievermindering bij het transfereren van representaties tussen verschillende sensor layouts (bijv. DEAP naar SEED), terwijl modellen met vaste topologie significante dalingen leden.
- Schaalbaarheid: Prestaties verbeterden consistent met grotere pre-training regimes (meer data en modelgrootte), wat wijst op sterke schaalbaarheidseigenschappen.

5. Betekenis en Claims

Het artikel claimt dat RECTOR een significante vooruitgang vertegenwoordigt in neuro-representatie leren door:

De Kloof te Overbruggen: Succesvol regio, kanaal en temporele modellering te verenigen zonder afhankelijk te zijn van rigide anatomische beperkingen, waardoor de adaptieve aard van hersennetwerkdynamiek kan worden vastgelegd.
Klinisch Potentieel: Een fundament te bieden voor grootschalige pre-training op heterogene EEG/sEEG data, waarbij kritieke barrières voor klinische implementatie zoals data-heterogeniteit en hardware variabiliteit (sensorfalen/montageverschillen) worden aangepakt.
Interpretabiliteit: Diepe interpreteerbaarheid te bieden via multi-level visualisaties. De auteurs demonstreren dat AFP stabiele, ruimtelijk coherente verfijningen leert die verder gaan dan anatomische priors (het herverdelen van ~36-51% van de kanalen) en die overeenkomen met bekende neurofysiologische patronen (bijv. frontale asymmetrie in emotieverwerking).

De auteurs positioneren RECTOR niet louter als een prestatieverbeteraar, maar als een framework dat meer interpreteerbare neurocognitieve diagnostiek en adaptieve, gepersonaliseerde neuro-interventies mogelijk maakt door neurofysiologisch plausibele representaties te leren.