🤖 AI

STAMP: Spatial-Temporal Adapter with Multi-Head Pooling

Dit artikel introduceert STAMP, een lichtgewicht en flexibele ruimtelijk-temporele adapter met multi-head pooling die algemene foundation-modellen voor tijdreeksen in staat stelt prestaties te bereiken die vergelijkbaar zijn met die van gespecialiseerde EEG-foundation-modellen op klinische EEG-taken, door gebruik te maken van univariate embeddings om ruimtelijk-temporele kenmerken impliciet vast te leggen.

Oorspronkelijke auteurs: Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Universele Vertaler"-Probleem

Stel je voor dat je een briljante, wereldberoemde vertaler hebt (een Time Series Foundation Model, of TSFM) die miljoenen boeken heeft gelezen over weerspatronen, aandelenmarkten en energienetten. Deze vertaler is ongelooflijk slim in het opsporen van patronen in data die verandert in de tijd.

Nu wil je dat deze vertaler EEG-data leest—de elektrische signalen van een menselijk brein. Het probleem is dat hersendata rommelig en uniek is. Het heeft twee speciale dimensies:

Tijd: Hoe het signaal seconde voor seconde verandert.
Ruimte: Hoe verschillende delen van het brein (de elektroden op de hoofdhuid) met elkaar praten.

Als je de hersendata zomaar aan de vertaler geeft zonder hulp, raakt deze in de war. Het is alsof je een chef-kok die alleen soep kan koken een rauw biefstuk geeft en verwacht dat deze het perfect grillt zonder instructies. Het paper vond dat als je de hersendata gewoon aan de vertaler voert en vraagt om een simpele gemiddelde (zoals "wat is de gemiddelde smaak?"), het resultaat in feite willekeurig gissen is.

De Oplossing: STAMP (De Gespecialiseerde Adapter)

De auteurs bouwden een nieuw gereedschap genaamd STAMP (Spatial-Temporal Adapter with Multi-Head Pooling). Denk aan STAMP als een gespecialiseerde vertalershoofdtelefoon of een aangepaste adapterstekker.

In plaats van de hele briljante vertaler vanaf nul opnieuw te trainen (wat duur en traag is), zit STAMP bovenop de bestaande vertaler. Het neemt de ruwe "begrip" van de vertaler van de data en voegt een laag met specifieke instructies toe om het unieke lay-out van het brein te helpen begrijpen.

STAMP doet drie belangrijke dingen om de vertaler te laten werken:

1. De "Naamkaartjes" (Positieve Encoderingen)

De vertaler weet van nature niet waar een signaal vandaan komt. Komt het van de linkerkant van het brein? Is het van 5 seconden geleden?

De Analogie: Stel je een kamer vol mensen voor die schreeuwen. De vertaler hoort het lawaai, maar weet niet wie er spreekt of waar ze staan. STAMP plakt naamkaartjes op iedereen. Het labelt de data met "Linkerhersenen", "Rechterhersenen", "Tijd 1", "Tijd 2". Dit helpt de vertaler de geografie en de tijdlijn van de hersenactiviteit te begrijpen.

2. De "Kruis-Kanaal Mixer" (Criss-Cross GMLP)

Hersensignalen zijn complex. De linkerkant kan de rechterkant beïnvloeden, en een signaal van 2 seconden geleden kan bepalen wat er nu gebeurt.

De Analogie: Stel je een groep muzikanten voor die verschillende instrumenten spelen. Een standaard vertaler luistert misschien naar elke muzikant apart. STAMP fungeert als een dirigent die luistert naar hoe de violist met de drummer praat en hoe de trompettist van 10 seconden geleden de saxofonist nu beïnvloedde. Het kijkt specifiek naar hoe verschillende hersenplekken (ruimte) en verschillende momenten (tijd) met elkaar interageren, in plaats van ze alleen op zichzelf te bekijken.

3. De "Slimme Markeerstift" (Multi-Head Attention Pooling)

Nadat de vertaler alle data heeft verwerkt, moet je een definitieve beslissing nemen (bijvoorbeeld: "Sluimert deze persoon?" of "Hebben ze voorgesteld hun hand te bewegen?").

De Analogie: Stel je een rapport van 100 pagina's voor. Een naïeve aanpak is om elk woord te lezen en de betekenis te middelen. STAMP is als een slimme markeerstift. Het scant het rapport en zegt: "Hé, deze drie zinnen op pagina 42 zijn het belangrijkst voor deze beslissing. Negeer de rest." Het leert om de belangrijkste delen van het hersensignaal te wegen voor de uiteindelijke voorspelling.

Waarom Dit Een Grote Zaal Is

Het paper testte deze nieuwe adapter op 8 verschillende hersendatasets met taken zoals het opsporen van epileptische aanvallen, het identificeren van emoties en het besturen van brein-computerinterfaces.

Het Resultaat: STAMP presteerde net zo goed als, of beter dan, de meest geavanceerde hersenspecifieke modellen (EEG Foundation Models) die vanaf nul specifiek voor hersenen zijn gebouwd.
De Efficiëntie: De "hersenspecifieke" modellen zijn als enorme supercomputers met miljoenen parameters (tandwielen en cogs). STAMP is een lichtgewicht, zakformaat gereedschap. Het gebruikt ongeveer 750.000 parameters, terwijl de gespecialiseerde hersenmodellen miljoenen gebruiken (soms 29 miljoen!).
De Flexibiliteit: STAMP werkt met verschillende "universele vertalers" (zoals MOMENT, Chronos, etc.). Zelfs als de vertaler eerder nooit op hersendata is getraind, kan STAMP helpen om hersensignalen effectief te begrijpen.

Wat Het Paper Niet Beweert

Het is belangrijk om te blijven bij wat de auteurs daadwerkelijk zeiden:

Ze hebben niet beweerd dat dit een geneesmiddel is voor Alzheimer of een manier om morgen depressie in een ziekenhuis te diagnosticeren. Ze hebben het alleen getest op bestaande, publieke datasets voor onderzoeksdoeleinden.
Ze hebben niet beweerd dat het perfect werkt voor elke taak. Ze ontdekten dat het wat moeite had met specifieke "emotieherkenning"-taken (het identificeren van complexe gevoelens zoals "afkeer" versus "angst"), wat suggereert dat de onderliggende vertaler meer training op emotionele data nodig heeft.
Ze hebben niet gezegd dat je het hele systeem opnieuw moet trainen. Het "brein" van het systeem (de TSFM) blijft bevroren; alleen de kleine STAMP-adapter wordt getraind.

Samenvatting

STAMP is een slimme, lichtgewicht toevoeging die een algemeen AI-expert in tijdreeksdata leert hoe het hersengolven moet lezen. Het doet dit door de AI een kaart van het brein (ruimtelijk), een klok (tijdelijk) en een manier te geven om zich te focussen op de belangrijkste signalen, allemaal zonder dat er een enorme nieuwe computer vanaf nul hoeft te worden gebouwd.

Technische Samenvatting: STAMP: Ruimtelijk-Temporale Adapter met Multi-Head Pooling

Probleemstelling

Tijdreeks-foundationmodellen (TSFMs), vooraf getraind op diverse domeinen, hebben sterke prestaties aangetoond bij verschillende modelleringstaken. Tegelijkertijd zijn specifieke foundationmodellen voor elektro-encefalografie (EEG)-data (EEGFMs) ontwikkeld om de unieke ruimtelijk-temporale kenmerken van hersenactiviteit vast te leggen. Echter, er is nog geen vergelijkende analyse uitgevoerd tussen algemene TSFMs en EEG-specifieke foundationmodellen op EEG-taken. Bovendien behandelen algemene TSFMs, terwijl EEGFMs vaak complexe architecturen incorporeren om ruimtelijke en temporale afhankelijkheden te modelleren, invoer doorgaans als univariate tijdreeksen, waardoor ze van nature inefficiënt zijn voor EEG-taken waarbij ruimtelijke relaties tussen kanalen en temporale evolutie cruciaal zijn. Een naïeve toepassing van TSFMs op EEG-data (bijvoorbeeld met gebruik van eenvoudige gemiddelde pooling) resulteert in prestaties die dicht bij willekeur liggen.

Methodologie

De auteurs introduceren STAMP (Spatial-Temporal Adapter with Multi-Head Pooling), een lichtgewicht, flexibele adapter die bovenop algemene TSFMs wordt geplaatst om effectieve EEG-modellering mogelijk te maken. STAMP maakt gebruik van univariate embeddingen geproduceerd door een bevroren TSFM en modelleert impliciet de ruimtelijk-temporale kenmerken van EEG-data via drie kerncomponenten:

Positieve Encodings (PEs): Om het gebrek aan ruimtelijke en temporale context in standaard TSFM-embeddingen aan te pakken, voegt STAMP leerbare positieve embeddingen toe. Deze omvatten token-gebaseerde positieve embeddingen ( $p_{ij}$ ), ruimtelijke embeddingen ( $s_i$ ) en temporale embeddingen ( $t_j$ ). De gewijzigde embedding wordt berekend als $\tilde{e}_{ij} = e'_{ij} + p_{ij} + s_i + t_j$ , waarbij $e'_{ij}$ de dimensiereductie van de TSFM-embedding is. Ablatiestudies tonen aan dat het gebruik van alle drie de typen encodings de beste prestaties oplevert.
Criss-Cross Gated MLP (CC-GMLP): Om relaties over het ruimtelijk-temporale rooster vast te leggen, hanteert STAMP een nieuwe CC-GMLP-architectuur, geïnspireerd door de Criss-Cross Transformer (CC-TF) en Gated MLPs (GMLP). Deze module scheidt de modellering van ruimtelijke en temporale relaties. Het verwerkt het invoerrooster $\tilde{E}$ via een reeks blokken waarbij temporale gating-eenheden ( $g_T$ ) en ruimtelijke gating-eenheden ( $g_S$ ) onafhankelijk van elkaar werken langs hun respectieve assen voordat er concatenatie plaatsvindt. Dit maakt parameter-efficiënt leren van cross-kanaalrelaties mogelijk, onafhankelijk van de specifieke temporale evolutie van het signaal.
Multi-Head Attention Pooling (MHAP): Om de gemengde token-embeddingen te aggregeren voor een uiteindelijke voorspelling, maakt STAMP gebruik van MHAP. Dit mechanisme leert het belang van elke token te wegen ten opzichte van de uiteindelijke taak. Het projecteert tokens naar lagere dimensionale ruimtes, berekent attentiescores tegenover query-vectoren en aggregeert de resultaten. Een laatste aggregeringsstap over queries bepaalt het algehele belang van elke head, wat resulteert in een samenvattingsvector. Dit wordt gecombineerd met een residualverbinding naar het gemiddelde van de gemengde token-embeddingen voordat een laatste lineaire projectie plaatsvindt.

De adapter wordt getraind bovenop een bevroren TSFM (voornamelijk MOMENT Large, maar ook getest met MOMENT Small/Base, Chronos en TSPulse). Het totale aantal trainbare parameters in STAMP bedraagt ongeveer 750.000, een fractie van de miljoenen parameters die typisch worden aangetroffen in EEGFMs.

Belangrijkste Bijdragen

Eerste Comparatieve Analyse: Het artikel biedt de eerste vergelijkende analyse van EEG-specifieke foundationmodellen versus algemene TSFMs op EEG-specifieke taken.
Nieuwe Adapter-architectuur: De introductie van STAMP, dat succesvol univariate TSFM-embeddingen aanpast voor multivariate ruimtelijk-temporale EEG-data zonder dat de TSFM opnieuw getraind hoeft te worden op EEG-data.
Efficiëntie: STAMP bereikt prestaties die vergelijkbaar zijn met state-of-the-art EEGFMs (zoals CBraMod en LaBraM), terwijl het aanzienlijk minder trainbare parameters gebruikt (ongeveer 0,74M versus 29M voor CBraMod en 5,8M voor LaBraM).
Uitgebreide Evaluatie: De methode is geëvalueerd op 8 benchmark EEG-datasets die diverse klinische taken omvatten, waaronder motorische imaginatie, mentale rekenopdrachten, emotieherkenning en gebeurtenisclassificatie.

Resultaten

Prestaties versus Baselines: STAMP levert prestaties op die vergelijkbaar zijn met of beter zijn dan EEGFMs (CBraMod, LaBraM) en presteert strikt beter dan niet-foundation EEG-modellen (EEG Conformer, ST-Transformer) op de meeste datasets.
Ablatiestudies:
- Positieve Encoding: Het opnemen van alle drie de typen positieve encoding (token, ruimtelijk, temporale) verbeterde consistent de prestaties, waarbij het uitsluiten van PEs resulteerde in de slechtste resultaten.
- Token Mixing: De CC-GMLP-architectuur presteerde beter dan zowel basis-GMLP als op Transformer gebaseerde mixing-strategieën (B-TF, CC-TF) over de datasets.
- Token Aggregatie: Hoewel MHAP en gemiddelde pooling op de meeste datasets vergelijkbaar presteerden, bood MHAP een aanzienlijke prestatieverbetering op de BCIC-IV-2a dataset, wat wijst op de nuttigheid ervan bij het vastleggen van complexe token-relaties.
TSFM-compatibiliteit: STAMP presteerde goed met embeddingen van diverse TSFMs (MOMENT, Chronos, TSPulse), zelfs die welke niet vooraf getraind waren op EEG-data (Chronos, TSPulse), wat de generaliseerbaarheid van de adapter aantoont.
Beperkingen: STAMP vertoonde inferieure prestaties ten opzichte van andere methoden op datasets voor emotieherkenning (SEED-V en FACED). De auteurs hypothetiseren dat huidige TSFMs mogelijk geen kenmerken extraheren die relevant zijn voor fijnmazige emotieherkenning, aangezien de prestaties niet significant verbeterden, zelfs niet bij overschakeling naar Chronos-embeddingen.

Betekenis en Claims

Het artikel stelt dat STAMP aantoont dat algemene tijdreeks-foundationmodellen effectief kunnen worden aangepast voor EEG-taken met minimale extra trainbare parameters. De auteurs betogen dat, hoewel TSFMs 'out of the box' mogelijk onderpresteren ten opzichte van EEGFMs, relatief weinig aanpassingen – specifiek het toevoegen van positieve encodings en een token-mixing-strategie – voldoende zijn om concurrerende resultaten te bereiken.

De betekenis ligt in het potentieel om de kosten en de tijd voor het ontwikkelen van EEG-oplossingen te verminderen door gebruik te maken van bestaande, groot-schalig vooraf getrainde TSFMs in plaats van het vanaf nul trainen van enorme, domeinspecifieke foundationmodellen. De auteurs merken op dat het genereren van initiële embeddingen weliswaar rekenkracht vereist, maar dat dit vooraf en parallel kan worden gedaan. Zij concluderen dat STAMP een flexibele, parameter-efficiënte route biedt voor het modelleren van EEG-data, hoewel zij erkennen dat verdere verkenning nodig is voor taken waarbij huidige TSFMs moeite hebben, zoals fijnmazige emotieherkenning.