Temporal Context and Architecture: A Benchmark for Naturalistic EEG Decoding

Technische Samenvatting: Temporele Context en Architectuur voor Natuurlijke EEG-decodering

Probleemstelling
Het decoderen van hersenactiviteit uit EEG tijdens natuurlijke taken, zoals het kijken naar films, vormt een aanzienlijke uitdaging vanwege de noodzaak om langetermijn-temporele afhankelijkheden binnen ruisige, continue opnames te vangen. Hoewel deep learning breed is toegepast in dit domein, kampen traditionele architecturen met fundamentele trade-offs: Convolutionele Neurale Netwerken (CNN's) zijn computationeel efficiënt maar beperkt door lokale receptieve velden, terwijl Transformers globale context bieden via aandachtmechanismen maar lijden onder kwadratische schaling in tijd en geheugen. Recentelijk zijn Structured State-Space Models (SSM's) zoals S4 en S5 opgekomen als een potentieel middenpad, die langetermijnmodellering bieden met bijna lineaire complexiteit. Er heeft echter een systematische vergelijking ontbroken van hoe deze moderne architecturen presteren tegenover variërende temporele contextlengtes, en hoe zij generaliseren over ongeziene taken, frequenties en subjecten.

Methodologie
De auteurs benchmarken vijf verschillende architecturen op een 4-klasse natuurlijke EEG-decoderingstaak met behulp van gegevens uit het Healthy Brain Network (HBN) initiatief. De dataset bevat opnames van filmkijk-taken ("Despicable Me," "Diary of a Wimpy Kid," "The Present") en een rusttoestand-baseline.

• Gegevensverwerking: De ruwe data werd gedownsampled naar 250 Hz, gefilterd (1-50 Hz), geher-referentieerd (common average) en gesegmenteerd in vensters variërend van 8 s tot 128 s met 50% overlap. Cruciaal is dat de data-splitting plaatsvond vóór de segmentatie om lekkage te voorkomen.
• Geëvalueerde architecturen:
  1. Temporele CNN: Een standaard baseline met een lokaal receptief veld.
  2. Bidirectionele LSTM: Een recurrente baseline.
  3. Vanilla Transformer: Een globale aandacht-baseline.
  4. EEGXF: Een gestabiliseerde Transformer-baseline ontwikkeld door de auteurs, met vereenvoudigde input-projecties, BatchNorm-lagen, norm-first encoding en geleerde attention pooling om trainingsinstabiliteit op ruisige EEG aan te pakken.
  5. S5: Een Structured State-Space model dat gebruikmaakt van gediaognaliseerde staatmatrices voor efficiënte parallelle scanning.
• Evaluatiemetrieken: De studie evalueert prestaties over drie dimensies:
  1. Temporele Schaling: Nauwkeurigheid versus segmentlengte (8s–128s).
  2. Robuustheid: Zero-shot cross-frequentie verschuivingen (testen op 128 Hz en 64 Hz signalen getraind op 250 Hz) en Leave-One-Subject-Out (LOSO) generalisatie.
  3. Out-of-Distribution (OOD) Gedrag: Zero-shot cross-taak generalisatie op ongeziene actieve cognitieve taken, geanalyseerd naast kalibratiemetrieken (NLL, Brier, ECE).

Belangrijkste Resultaten

• Temporele Context Schaling: De nauwkeurigheid verbetert over het algemeen met langere context. Bij 64 s bereikte S5 een nauwkeurigheid van 98,7% ± 0,6, en de CNN behaalde 98,3% ± 0,3. Opvallend genoeg bereikte S5 deze prestatie met ongeveer 20× minder parameters (0,2M vs. 4,4M) dan de CNN.
• Efficiëntie: De CNN bleef de snelste in wall-clock tijd (9,8 min bij 64 s), terwijl S5 en EEGXF vergelijkbare trainingstijden hadden (~25 min). S4 en LSTM werden als niet-competitief beschouwd; de LSTM slaagde er niet in te convergeren en S4 was even even prohibitief traag.
• Cross-frequentie Robuustheid: Er ontstond een significante trade-off. De nauwkeurigheid van S5 daalde aanzienlijk (>18 procentpunten) wanneer getest op gedownsamplede signalen (128 Hz/64 Hz), wat wijst op een hoge gevoeligheid voor temporele resolutie. Daarentegen bleef EEGXF opmerkelijk stabiel, met een daling in nauwkeurigheid van minder dan 2%.
• Subject Generalisatie (LOSO): In leave-one-subject-out tests vertoonde S5 een superieure generalisatie (55,9% gemiddelde nauwkeurigheid) vergeleken met EEGXF (48,4%), hoewel beide scores aanzienlijk lager waren dan de subject-gemengde resultaten, wat de moeilijkheid van cross-subject decodering benadrukt.
• OOD en Kalibratie:
  • S5: Vertoonde "overconfident specialization". Hoewel goed gekalibreerd op in-distribution data, classificeerde het ongeziene OOD-taken consequent als een specifieke filmklasse met hoge zekerheid (~60%), waarbij het faalde om onzekerheid te uiten.
  • EEGXF: Demonstreerde "conservative collapse". Het identificeerde OOD-taken correct als onbekend door terug te vallen op een neutrale klasse ("Resting State") met een lage zekerheid (~26%), wat duidt op robuuste onzekerheidskwantificering ondanks een minder gekalibreerde in-distribution prestatie.

Belangrijkste Bijdragen

1. Systematische Benchmarking: Het artikel biedt een uitgebreide vergelijking van CNN, RNN, Transformer en SSM architecturen over een breed scala aan temporele contexten (8s–128s) voor natuurlijke EEG-decodering.
2. Gestabiliseerde Transformer Baseline: De introductie van EEGXF, een aangepaste Transformer-architectuur ontworpen om de instabiliteit van ruisige EEG-data aan te pakken, dient als een robuuste baseline voor toekomstige vergelijkingen.
3. Generalisatie Suite: De studie gaat verder dan eenvoudige nauwkeurigheid door een suite van uitdagende generalisatietests te introduceren, inclus\n bij cross-frequentie verschuivingen, subject-onafhankelijke generalisatie en zero-shot cross-taak evaluatie.
4. Karakterisering van Architectuur Trade-offs: Het werk karakteriseert expliciet een praktische efficiëntie–robuustheid trade-off, waarbij wordt vastgesteld dat S5 optimaal is voor parameter-efficiënte piek-nauwkeurigheid in gecontroleerde omgevingen, en EEGXF te prefereren is wanneer robuustheid en conservatieve onzekerheidsschatting cruciaal zijn.

Betekenis en Claims
Het artikel claimt dat de interactie tussen modelarchitectuur en temporele context een kritieke factor is in EEG-decodering. Het demonstreert dat hoewel S5 een overtuigende balans biedt tussen hoge nauwkeurigheid en parameter-efficiëntie, met name in subject-gemengde en lang-context scenario's, het een gebrek aan robuustheid heeft voor frequentieverschuivingen en gevaarlijke overmoed vertoont op out-of-distribution data. Daarentegen biedt EEGXF grotere stabiliteit en veiligere onzekerheidskwantificering ten koste van piek-nauwkeurigheid en computationele efficiëntie.

De auteurs concluderen dat de keuze van een architectuur afhangt van de vereisten van de toepassing: S5 is ideaal voor snelheid en nauwkeurigheid in gecontroleerde omgevingen, terwijl EEGXF te prefereren is voor real-world deployment waar robuustheid tegen signaalvariaties en betrouwbare onzekerheidsschatting van groot belang zijn. De studie erkent de afhankelijkheid van de HBN-dataset en suggereert toekomstige validatie op standaard benchmarks zoals Sleep-EDF.