Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge

Technische Samenvatting: Kwantificering van de Generalisatiekloof bij Toevallenopsporing

Probleemstelling
Betrouwbare automatische toevallenopsporing uit langdurige elektro-encefalogram (EEG) opnames blijft een onopgeloste uitdaging in de klinische praktijk. Ondanks de proliferatie van machine learning-modellen falen huidige algoritmen frequent om te generaliseren over verschillende patiënten en klinische settings. Bijgevolg blijft de handmatige EEG-beoordeling door clinici de gouden standaard. Een significante barrière voor vooruitgang is het gebrek aan gestandaardiseerde evaluatiepraktijken; bestaande literatuur rapporteert vaak hoge effectiviteit op specifieke datasets, maar deze resultaten zijn niet direct vergelijkbaar vanwege heterogeniteit in data, metrieken en methodologieën. Bovendien is er een gedocumenteerde "generalisatiekloof" waarbij modellen goed presteren op zelfgeselecteerde of publieke datasets, maar falen wanneer ze worden ingezet op onbekende, diverse patiëntenpopulaties.

Methodologie
Om deze problemen aan te pakken, hebben de auteurs een grootschalig empirisch benchmark georganiseerd, de SzCORE Challenge, in samenwerking met de Internationale Conferentie over Kunstmatige Intelligentie in Epilepsie en Neurologische Stoornissen 2025.

• Dataset: De evaluatie maakte gebruik van een strikt terughoudende private dataset bestaande uit continue EEG-opnames van 65 proefpersonen (398 geannoteerde toevallen) met in totaal 4.360 uur aan data. De data werd verzameld bij het Deense Epilepsiecentrum Filadelfia tussen 2018 en 2020. Het omvat 19-kanaals scalp-EEG (10-20 systeem) bemonsterd op 256 Hz. De grondwaarheid werd vastgesteld door drie erkende neurofysiologen, waarbij consensus werd gebruikt om meningsverschillen op te lossen. De dataset bevat een mix van volwassenen en kinderen (mediaanleeftijd 34, bereik 5–66).
• Algoritme Collectie: De challenge riep bijdragen op van de gemeenschap, wat resulteerde in 28 succesvol geëvalueerde algoritmische uitvoeringen afgeleid van 20 unieke architecturale benaderingen. Deze varieerden van klassieke feature engineering (bijv. Random Forest, Gradient Boosting) tot moderne Deep Learning (bijv. Transformers, CNN's, STFT-gebaseerde modellen).
• Gestandaardiseerd Kader: Alle algoritmen werden geëvalueerd met het SzCORE-kader, dat handhaaft:
  • Input/Output Standaardisatie: Inputs zijn .edf-bestanden; outputs zijn HED-SCORE-conforme .tsv-bestanden.
  • Reproduceerbaarheid: Algoritmen werden verpakt als geïsoleerde Docker-afbeeldingen om een blinde, reproduceerbare evaluatieomgeving op high-performance computing-infrastructuur te garanderen (met gebruikmaking van NVIDIA A100 en V100 GPU's).
  • Metrieken: Prestaties werden gemeten met gebeurtenisgebaseerde metrieken: Sensitiviteit, Precisie, F1-score en Valse Positieven per dag (FP/24u). Scoren berustte op specifieke overlapstoleranties (30s pre-ictaal, 60s post-ictaal) en samenvoegregels (90s minimale scheiding).
• Statistische Analyse: De studie hanteerde niet-parametrische statistische toetsing, inclusief de Friedman-toets voor omnibus-verschillen, Wilcoxon getekende rang-toetsen met Holm-Bonferroni-correctie voor paarwijze vergelijkingen, en de Nemenyi-toets voor kritieke verschil-diagrammen. Effectgroottes werden gekwantificeerd met Cliff's Delta.

Belangrijkste Resultaten

• Prestatieplafond: Het best presterende algoritme, Sz Transformer, bereikte een gebeurtenisgebaseerde F1-score van 32% (Sensitiviteit: 37%, Precisie: 29%) met een gemiddelde van 1,34 valse positieven per dag.
• Stabiliteit versus Piekprestatie: Een cruciale bevinding was de discrepantie tussen piek-aggregaatprestaties en stabiliteit op populatieniveau. Hoewel Sz Transformer de hoogste aggregaat F1-score had, behaalde HySEIZa v1 de beste gemiddelde rang over proefpersonen, wat wijst op grotere consistentie. Statistische analyse toonde geen significant verschil tussen het best gerankte algoritme en de F1-leider, terwijl zeven leidende architecturen statistisch niet te onderscheiden waren van de rang-leider.
• Generalisatiekloof: Er was een scherp verschil tussen zelfgerapporteerde prestaties door ontwikkelaars op hun gekozen datasets en de daadwerkelijke prestaties op de onafhankelijke terughoudende dataset. Bijna alle algoritmen overschatten hun effectiviteit aanzienlijk, wat een alomtegenwoordige generalisatiekloof benadrukt.
• Foutmodi:
  • Valse Positieven: Valse positieven waren grotendeels idiosyncratisch voor individuele algoritmen, waarbij minder dan 25% van de algoritmen overeenstemming had over 91% van de valse detecties.
  • Gemiste Toevallen: 15 van de 65 proefpersonen (23%) hadden een F1-score van 0 over alle top-5 algoritmen tegelijkertijd, wat suggereert dat patiëntspecifieke elektrografische patronen niet werden vastgelegd door huidige modellen.
  • Toevallen Duur: Moeilijk te detecteren toevallen waren aanzienlijk korter (mediaan 48s) vergeleken met makkelijke (mediaan 118s), wat suggereert dat huidige verwerkingsvensters (1–600s) korte ictale patronen kunnen missen.
• Vergelijking met Eerder Werk: Het beste algoritme in deze studie overtrof eerdere methoden in scalp-EEG-uitdagingen (bijv. de Neureka-uitdaging) en benaderde de prestaties van gevestigde commerciële systemen, hoewel commerciële systemen vaak hogere sensitiviteit prioriteren ten koste van verhoogde valse positieven.

Belangrijkste Bijdragen

1. Grootschalig Empirisch Benchmark: Deze studie biedt de eerste grootschalige, directe vergelijking van toevallenopsporingsalgoritmen met een gestandaardiseerde methodologie op een substantiële, door experts geannoteerde private dataset.
2. Kwantificering van de Generalisatiekloof: Het werk documenteert rigoureus het falen van state-of-the-art modellen om te generaliseren naar onbekende patiëntenpopulaties en blootlegt de onbetrouwbaarheid van zelfgerapporteerde metrieken.
3. Open Benchmark Platform: De evaluatie-infrastructuur is overgegaan naar een continu open benchmark platform (gehost op GitHub). Dit maakt voortdurende inzendingen, reproduceerbaar onderzoek en de integratie van aanvullende private datasets van andere klinische centra mogelijk, en gaat voorbij aan een eenmalige competitie naar een levende bron.
4. Statistische Strenge Toepassing: De toepassing van robuuste niet-parametrische statistische toetsing biedt een genuanceerd beeld van algoritmeprestaties, en onderscheidt tussen aggregatiescores en stabiliteit op patiëntniveau.

Betekenis en Aanspraken
Het artikel stelt dat hoewel de top-algoritmen concurrerende prestaties en tastbare vooruitgang ten opzichte van eerdere uitdagingen demonstreren, het veld nog steeds aanzienlijke hindernissen moet overwinnen om robuuste, generaliseerbare toevallenopsporing te bereiken. De primaire betekenis ligt niet enkel in het momentopname van huidige prestaties, maar in de vestiging van een gestandaardiseerd, transparant en reproduceerbaar evaluatieparadigma.

De auteurs betogen dat de aanhoudende generalisatiekloof en de instabiliteit van modellen met hoge capaciteit bij uitbijter-patiënten kritieke veiligheidsrisico's vormen voor klinische implementatie. Zij stellen dat de verschuiving van geïsoleerde competities naar een continu, open benchmark platform essentieel is om:

• Zelfrapporteringsbias te mitigeren.
• Objectief vorderingen in het veld in de loop van de tijd bij te houden.
• De ontwikkeling van modellen te faciliteren die robuust zijn over diverse patiëntendemografieën (inclusief pediatrische en zeldzame toevallensoorten).
• De vertaling van onderzoek naar klinisch haalbare beslissingssteuntools te versnellen.

Uiteindelijk pleit het werk voor een paradigmaverschuiving waarbij rigoureus, onafhankelijk benchmarken op diverse klinische data de standaard wordt voor het valideren van machine learning-modellen in epilepsiezorg, in plaats van te vertrouwen op aggregaatmetrieken uit samengestelde datasets.