Technische Samenvatting: PRiSE-EEG

Probleemstelling

Foundationmodellen voor elektro-encefalografie (EEG-FM's) hebben als doel herbruikbare representaties te leren over heterogene paradigma's heen. Echter, bestaande aanpakken staan voor twee primaire beperkingen:

1. Optimalisatieconflicten: Heterogene EEG-taken (bijvoorbeeld slaapstadiëring versus emotierecognitie) veroorzaken vaak conflicterende richtingen voor gradientupdates. Dichte Transformer-modellen die uniforme parameters gebruiken, worstelen met het verzoenen van deze uiteenlopende optimalisatiedoelen, wat leidt tot suboptimale overdracht tussen paradigma's.
2. Onderbenutte priors: Huidige tokenisatiestrategieën negeren vaak gestructureerde ruimtelijke regulariteiten die inherent zijn aan EEG in sensorruimte. Hoewel elektrodecoördinaten bekend zijn, wordt de gestructureerde organisatie van hersennetwerken en interacties tussen kanalen in korte vensters vaak onderbenut als inductieve bias voor het vormen van patches.

Bovendien wijzen bestaande MoE-approaches (Mixture-of-Experts) in EEG vaak shared en gespecialiseerde experts uniform over alle lagen toe, en negeren ze de observatie dat de geometrie van representaties verandert met de diepte (ondiepe lagen zijn algemener, diepere lagen specifieker).

Methodologie: PRiSE-EEG

De auteurs stellen PRiSE-EEG voor (Prior-geleid EEG-foundationmodel met diepte-gestratificeerde Experts), een kader dat is ontworpen om gedeelde EEG-regulariteiten in evenwicht te brengen met taakspecifieke specialisatie. De architectuur bestaat uit drie kernelementen:

1. Prior-geleide Continue Tokenisatie

In plaats van discrete tokenisatie, vormt PRiSE-EEG continue multi-kanaal EEG-patches door zwakke priors in sensorruimte te integreren met dynamische interacties:

• Statisch Pad: Gebruikt leerbare queries en attentie-bias gebaseerd op vooraf gedefinieerde anatomische regio's (bijvoorbeeld Frontaal, Pariëtale) en functionele netwerken (bijvoorbeeld Default Mode Network, Salience Network). Een leerbare relaxatieterm ($\Delta_{pri}$) stelt het model in staat om deze zwakke priors tijdens het trainen aan te passen in plaats van starre anatomische toewijzingen af te dwingen.
• Dynamisch Pad: Vangt steekproefafhankelijke, sub-seconden kanaalinteracties op. Het verdeelt patches in micro-frames en berekent vertraagde kanaalaffiniteiten om dynamische groepsqueries te vormen. Een Gumbel-selector identificeert de meest informatieve frame-paargroepen voor elke steekproef.
• Output: Deze paden genereren continue groepstokens die heterogeniteit in montage hanteren terwijl ze neuro-wetenschappelijke structuur injecteren.

2. CKA-gekalibreerde Diepte-gestratificeerde Experts

Om optimalisatieconflicten en verschillen in representatie per laag aan te pakken, hanteert het model een Mixture-of-Experts (MoE)-architectuur waarbij de toewijzing van shared versus gespecialiseerde experts wordt bepaald door de laagdiepte:

• Pilot-analyse: Voordat het hoofdmodel wordt getraind, wordt een dichte "pilot" Transformer getraind op batches met gemengde paradigma's. Centered Kernel Alignment (CKA) wordt over de lagen berekend om de verhouding van gelijkenis tussen paradigma's tot gelijkenis binnen paradigma's te meten.
• Kalibratieregel: Lagen met hoge cross-paradigma gelijkenis (ondiepe lagen) krijgen een hoger aandeel shared experts toegewezen. Lagen met lagere gelijkenis (diepere lagen) krijgen meer gespecialiseerde experts toegewezen.
• Implementatie: Deze toewijzing wordt gemapt via een sigmoidfunctie gebaseerd op de CKA-metrics van de pilot en is vastgesteld tijdens de hoofdfase van training. Dit zorgt ervoor dat vroege blokken algemene EEG-regulariteiten behouden terwijl latere blokken specialiseren in taakspecifieke transformaties.

3. Trainingsstrategie

• Pre-training: Het model wordt voorgetraind op 17 diverse publieke datasets (ruim 28.000 uur) met behulp van drie zelftoezicht-objectieven: Masked Temporal Patch reconstructie (MAE-TP), Masked Channel reconstructie (MAE-CH) en Future Patch predictie (GPT).
• Fine-tuning: PRiSE-EEG ondersteunt unified multi-dataset fine-tuning met taakspecifieke dual-stream MLP-koppen (gemiddeld nemen over temporele en groepsdimensies apart) om structurele informatie te behouden zonder parameter-explosie.

Belangrijkste Bijdragen

1. Karakterisering van Cross-Paradigma Conflicten: De auteurs tonen empirisch aan dat heterogene EEG-taken conflicterende gradientupdates veroorzaken en dat representatiegelijkenis een diepte-gewijze overgang volgt (van algemeen naar specifiek), wat niet-uniforme experttoewijzing motiveert.
2. CKA-gekalibreerde Diepte-gestratificeerde Experts: Een nieuw mechanisme dat blokgewijze CKA-gedeeldheid omzet in aandeel shared experts met behulp van een eenvoudige sigmoidregel, en de capaciteitsallocatie dynamisch aanpast op basis van representatiegeometrie in plaats van uniforme heuristieken.
3. Prior-geleide Continue Tokenisatie: Een tokenisatieschema dat zwakke statische regio-/netwerk-priors combineert met dynamische interacties in korte vensters, waardoor starre anatomische beperkingen worden vermeden terwijl gestructureerde informatie in sensorruimte wordt benut.
4. Uitgebreide Validatie: Het model is gevalideerd op 12 publieke benchmarks die 10 taakcategorieën bestrijken (bijvoorbeeld detectie van epileptische aanvallen, emotierecognitie, slaapstadiëring), wat robuuste cross-paradigma prestaties aantoont.

Experimentele Resultaten

Geëvalueerd op 12 EEG-datasets behaalde PRiSE-EEG (specifiek de B-variant met ongeveer 41 miljoen parameters) state-of-the-art of concurrerende resultaten onder overeenkomende protocollen:

• Prestatiewinsten: Het toonde significante verbeteringen (6–8% op primaire metrics) op ziektegerelateerde en cognitieve taken (bijvoorbeeld ADFTD, SEED-V, Workload) en consistente winsten van 2–5% op taken zoals TUEV en PhysioMI.
• Ablatiestudies:
  • Het verwijderen van het statische of dynamische pad in tokenisatie veroorzaakte een prestatiedaling van meer dan 3%.
  • Het omkeren van de expertratio-sequentie (toewijzen van meer gespecialiseerde experts aan ondiepe lagen) veroorzaakte de grootste daling (>8%), wat de noodzaak van diepte-gestratificeerde allocatie bevestigt.
  • Het gebruik van vaste shared expert-ratio's was inferieur aan de CKA-gekalibreerde aanpak.
• Schaling: Het model vertoont voorspelbaar schaalgedrag met zowel modelgrootte (tot 125 miljoen parameters) als pre-training datavolume (tot 28.000 uur), met hoge $R^2$-waarden die aangeven dat de prestaties blijven verbeteren met schaal.
• Interpreteerbaarheid: Grad-CAM-visualisaties bevestigden dat het model aandacht besteedt aan neuro-wetenschappelijk geldige regio's (bijvoorbeeld frontaal/temporaal voor emotie, pariëtale voor slaapstadia) en correct onderscheid maakt tussen AD en FTD op basis van bekende pathologische patronen.

Betekenis en Claims

Het artikel claimt dat PRiSE-EEG een compact kader biedt voor het in evenwicht brengen van gedeelde EEG-regulariteiten met taakspecifieke specialisatie. De betekenis hiervan ligt in:

• Voorbij uniforme adaptie: Aantonen dat expertspecialisatie in foundationmodellen diepte-gestratificeerd moet zijn volgens de representatiestructuur die wordt geleerd door dichte pilotmodellen, in plaats van alleen input-adaptief te zijn.
• Benutten van zwakke priors: Aantonen dat het integreren van zwakke priors in sensorruimte (regio's en netwerken) en dynamische interacties de robuustheid verbetert zonder harde anatomische beperkingen te vereisen.
• Unified Learning: Valideren dat een enkele voorgetrainde backbone effectief kan aanpassen aan diverse klinische en cognitieve taken via unified fine-tuning, waardoor de behoefte aan taakspecifieke architecturen wordt verminderd.

De auteurs merken bescheiden op dat hoewel het model effectief schaalt, het kleiner blijft dan hedendaagse taal/vision foundationmodellen, en dat toekomstig werk nodig is om het kader uit te breiden naar multimodale scenario's (bijvoorbeeld Video-EEG) en zero-shot generalisatie naar nieuwe taken te bereiken.