🤖 AI

Benchmarking Positional Encoding Strategies for Transformer-Based EEG Foundation Models

Dit artikel evalueert vijf strategieën voor positiële codering binnen de CBraMod-transformer-architectuur voor EEG-fundatiemodellen en toont aan dat geen enkele strategie universeel superieur is aan de andere op alle taken, waarbij Sferische Positiële Codering uitblinkt in motorische imaginatie en Asymmetrische Conditionele Positiële Codering een consistentere prestatie biedt over diverse decoderingsscenario's.

Oorspronkelijke auteurs: Ayse Betul Yuce, Sebastian Stober

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ayse Betul Yuce, Sebastian Stober

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je hersenen een enorm orkest zijn, en EEG (Elektro-encefalografie) is de techniek die we gebruiken om de muziek die het speelt op te nemen. Om deze muziek te begrijpen, gebruiken wetenschappers krachtige AI-modellen die Transformers heten. Deze modellen zijn als super-slimme dirigenten die de opname kunnen beluisteren en kunnen uitzoeken wat de musici (jouw hersencellen) doen.

Er is echter een addertje onder het gras: Transformers zijn van nature "toonblind" voor waar dingen gebeuren. Als je de volgorde van de musici in het orkest door elkaar haalt, hoort de Transformer exact hetzelfde lied. Maar in de echte wereld maakt de positie van een elektrode op je hoofd enorm veel uit. Een elektrode op je voorhoofd hoort andere "muziek" dan een elektrode op de achterkant van je hoofd.

Dit artikel is een smaaktest om te zien welke methode het beste werkt om deze AI-dirigenten te leren waar de elektrodes zich bevinden. De onderzoekers namen een standaard AI-model (genaamd CBraMod) en vervingen zijn "locatiegids" door vijf verschillende strategieën om te zien welke het AI-begrip van hersensignalen het beste verbeterde.

Hier is een uiteenzetting van de vijf geteste "locatiegidsen":

1. De "Geen Kaart"-strategie (NoPE)

Dit is de controlegroep. De AI krijgt de hersensignalen, maar geen enkele informatie over waar de elektrodes zich bevinden. Het is alsof je een dirigent een partituur geeft en zegt: "Je hoeft niet te weten welk instrument welke noot speelt; raad het maar."

Resultaat: De AI had de meeste moeite. Dit bewees dat weten waar de signalen vandaan komen cruciaal is voor het leren.

2. De "Flexibele Buurt"-gids (ACPE)

Deze methode is als een slimme kaart die kijkt naar de onmiddellijke buurt van elk signaal. In plaats van te kijken naar een vaste kaart van het hele hoofd, vraagt het: "Wie zit er nu naast deze elektrode?" Het gebruikt een speciale wiskundige truc (convoluties) om de indeling dynamisch te bepalen.

Resultaat: Dit was de meest consistente presteerder. Het deed het goed bij zowel "Motorische Imaginatie" (het voorstellen van het bewegen van je hand) als "Emotieherkenning" (het voelen van geluk of verdriet). Het is als een dirigent die zich elke keer aanpast aan de ruimte wanneer hij binnenkomt.

3. De "Globe"-gids (SPE - Sferische Positieve Encodering)

De auteurs hebben deze zelf bedacht. Aangezien het menselijk hoofd rond is, behandelden ze de elektrodes als punten op een globe. Ze kaartten elke elektrode in met hoeken (zoals breedte- en lengtegraad) in plaats van een plat rooster.

Resultaat: Dit was een specialist.
- Voor Motorische Imaginatie: Het was de kampioen. Het voorstellen van beweging lijkt sterk afhankelijk te zijn van de specifieke vorm van het hoofd, dus deze "globe"-kaart werkte perfect.
- Voor Emoties: Het struikelde. Emoties lijken minder belang te hechten aan de exacte geometrische vorm van het hoofd, dus deze starre kaart was niet zo behulpzaam.

4. De "Globe met een Vertaler" (SPE+Proj)

Dit is de "Globe"-gids, maar met een draai: ze voegden een kleine, leerbare laag toe die probeert de globe-kaart te "vertalen" naar iets wat de AI beter bevalt.

Resultaat: Het hielp niet veel. Het lijkt erop dat de originele "Globe"-kaart al goed genoeg was, en de vertaler maakte de dingen slechts een beetje rommelig.

5. De "Leeg Systeem"-gids (Leerbaar PE)

Hier krijgt de AI een lege kaart en wordt verteld: "Bepaal zelf de locaties terwijl je leert." Het begint zonder kennis en leert de elektrodeposities voor elke nieuwe taak van scratch.

Resultaat: Het was een verrassende winnaar voor Emoties. Toen de AI de kaart specifiek voor de emotietaak mocht herleren, presteerde het het beste. Dit is echter zwaar werk; het vereist dat de AI alles opnieuw leert elke keer dat het van taak wisselt, wat niet altijd efficiënt is.

De Grote Conclusie

De onderzoekers ontdekten dat er geen enkele "perfecte" kaart is voor alle hersenactiviteiten.

Als je bewegingsgedachten wilt detecteren, is een geometrische kaart die de ronde vorm van het hoofd respecteert (SPE) uitstekend.
Als je emoties wilt detecteren, werkt een flexibele, op de buurt gebaseerde kaart (ACPE) of het laten leren van de kaart door de AI van scratch (Leerbaar PE) beter.
Als je een oplossing nodig hebt die consistent goed werkt over verschillende taken zonder dat alles opnieuw getraind hoeft te worden, is de Flexibele Buurt-gids (ACPE) de meest betrouwbare keuze.

Kortom, net zoals je geen platte straatkaart zou gebruiken om een berglandschap te navigeren, zou je niet één enkele "locatiegids" moeten gebruiken voor elk type hersenactiviteit. De beste strategie hangt volledig af van wat de hersenen op dat moment doen.

Technische Samenvatting: Benchmarken van Strategische Positieve Encoderingsmethoden voor Op Transformers Gebaseerde EEG-Grondmodellen

Probleemstelling

Elektro-encefalografie (EEG) is een cruciale niet-invasieve techniek voor brain-computer interface (BCI)-toepassingen, maar toezicht opgeleide decoderingsmodellen worstelen om te generaliseren over taken, proefpersonen en datasets vanwege lage signaal-ruisverhoudingen en hoge inter-proefpersoon variabiliteit. Om dit aan te pakken, zijn transformer-gebaseerde grondmodellen die zijn getraind met zelftoezichtend leren naar voren gekomen. Transformers zijn echter inherent permutatie-invariant en vereisen expliciete positionele codering (PE) om structurele afhankelijkheden te modelleren.

In tegenstelling tot tekstuele tokens, bezitten EEG-elektroden een specifieke ruimtelijke verdeling over de hoofdhuid. Huidige transformer-gebaseerde EEG-grondmodellen maken gebruik van diverse en vaak niet-vergelijkbare mechanismen om deze ruimtelijk-temporale structuur te coderen, waaronder kanaalspecifieke embedding, relatieve temporale codering en leerbare embedding. Er ontbreekt een systematische evaluatie van welke positionele coderingsstrategie optimaal is voor EEG-decodering, vooral gezien de anatomische betekenis van elektrodeplaatsing en de variabiliteit in kanaal-montages tussen datasets.

Methodologie

De auteurs voerden een gecontroleerde benchmark uit binnen de CBraMod-ruggengraat, een zelftoezichtend EEG-grondmodel dat een kruis-kriskras-aandachtsmechanisme gebruikt om ruimtelijk-temporale afhankelijkheden te vangen. Om de impact van positioneel ontwerp te isoleren, behield het onderzoek de originele transformer-architectuur, trainingsprotocollen en hyperparameters, en verving alleen de module voor positionele codering.

Geëvalueerde Positionele Coderingsstrategieën

Vijf strategieën werden vergeleken:

Geen Positionele Codering (NoPE): Een baseline zonder expliciete positionele informatie.
Asymmetrische Conditionele Positionele Codering (ACPE): Een methode waarbij positionele representaties dynamisch worden gegenereerd vanuit ruimtelijk-temporale buurten van EEG-patches met behulp van dieptewijze 2D-convoluties met asymmetrische kernels ( $k_s > k_t$ ). Dit vangt langeafstandsinter-kanaal afhankelijkheden en korteafstandstemporale context zonder te vertrouwen op absolute coördinaten.
Sferische Positionele Codering (SPE): Een nieuwe strategie voorgesteld in dit werk die gebruikmaakt van de sferische geometrie van elektrodeplaatsing. Het bereikt azimut ( $\theta$ ) en inclinatie ( $\phi$ ) hoeken voor elke elektrode en koppelt deze aan vaste lengte representaties met behulp van multi-frequentie sinusfuncties. Dit codeert hoekrelaties die invariant zijn voor hoofdformaat en schaling, zonder leerbare parameters.
SPE met Projectie (SPE+Proj): Een uitbreiding van SPE waarbij kanaal- en patch-embedding worden doorgegeven via aparte leerbare lineaire projecties voordat ze worden opgeteld.
Leerbare PE: Volledig leerbare kanaal- en patch-embedding die worden opgeteld om de uiteindelijke codering te vormen. Deze worden opnieuw geïnitieerd en vanaf nul geleerd tijdens fine-tuning als de downstream montage verschilt van de pretraining.

Experimentele Opstelling

Pretraining: Uitgevoerd op de Healthy Brain Network EEG (HBN-EEG) dataset (>3.000 deelnemers, 128 kanalen) met behulp van een gemaskerde patch-reconstructiedoelstelling.
Downstream Taken:
- Motorische Imagery (MI): Classificatie op de PhysioNet MI-dataset (64 kanalen, 4 klassen).
- Emotierecognitie: Classificatie op de FACED-dataset (32 kanalen, 9 klassen).
Evaluatieprotocollen: Modellen werden geëvalueerd onder lineaire probing (bevroren ruggengraat, getrainde classifier) en fine-tuning (alle gewichten bijgewerkt).
Maten: Gebalanceerde Nauwkeurigheid, Cohens Kappa en Gewogen F1-score.

Belangrijkste Resultaten

De studie vond dat geen enkele positionele coderingsstrategie consistent beter presteerde dan andere over alle taken en protocollen heen. De prestaties waren sterk taakafhankelijk:

Motorische Imagery (PhysioNet-MI):
- SPE behaalde de beste prestaties in het lineaire probing-protocol, wat suggereert dat expliciete geometrische priors voordelig zijn wanneer ruimtelijke activatiepatronen distinct zijn.
- ACPE behaalde de beste prestaties in het fine-tuning-protocol.
- NoPE was consequent het zwakst bij lineaire probing, maar bleef concurrerend na fine-tuning, wat aangeeft dat de ruggengraat positionele structuur gedeeltelijk kan herstellen via end-to-end optimalisatie.
Emotierecognitie (FACED):
- ACPE en Leerbare PE leverden de beste resultaten op.
- SPE presteerde aanzienlijk slechter dan andere strategieën in beide protocollen, wat suggereert dat strikte geometrische priors mogelijk minder ten goede komen aan emotiegerelateerde representaties dan bij motorische imagery.
Pretraining Loss: De afwezigheid van positionele codering resulteerde in de hoogste gemaskerde reconstructieloss, wat bevestigt dat positionele informatie cruciaal is voor de kwaliteit van pretraining-representaties. Leerbare PE en SPE+Proj behaalden de laagste validatielosses.

Betekenis en Conclusies

Het artikel concludeert dat de optimale positionele coderingsstrategie voor EEG-grondmodellen taakafhankelijk is, zonder universele oplossing.

Taakspecificiteit: Strategieën die expliciete anatomische geometrie coderen (SPE) zijn voordelig voor taken met sterke ruimtelijke onderscheidbaarheid (bijv. motorische imagery), maar kunnen suboptimaal zijn voor taken waarbij ruimtelijke patronen minder rigide zijn (bijv. emotierecognitie).
Generaliseerbaarheid versus Aanpasbaarheid: ACPE toont consistente prestaties door lokale buurtpatronen te leren uit patch-inhoud, waardoor het robuust is over diverse taken zonder expliciete coördinaatkennis te vereisen. Omgekeerd kan Leerbare PE, hoewel het herinitialisatie vereist voor verschillende montages, vaste strategieën overtreffen wanneer het model in staat wordt gesteld taakspecifieke ruimtelijke structuren vanaf nul te leren op de doeldataset.
Praktische Implicaties: SPE biedt een lichtgewicht, parameterloos en montage-agnostisch alternatief dat vooraf wordt berekend uit elektrodehoeken, waardoor het een levensvatbare optie is wanneer ruimtelijke structuur relevant is en hertraining ongewenst is.

De auteurs benadrukken dat hoewel de prestatieverschillen relatief klein waren, deze meetbaar en significant zijn gezien het feit dat alleen de module voor positionele codering werd gewijzigd. Toekomstig werk wordt voorgesteld om deze strategieën te verkennen over meer diverse EEG-taken, elektrode-montages en grotere pretraining-datasets om de generaliseerbaarheid van topologie-bewuste codering verder te beoordelen.