Channel Selected Stratified Nested Cross Validation for Clinically Relevant EEG Based Parkinsons Disease Detection

Probleemstelling

De vroege detectie van de ziekte van Parkinson (PD) is een kritische uitdaging in de klinische neurowetenschappen. Hoewel elektro-encefalografie (EEG) een veelbelovende, niet-invasieve methode is voor screening, lijden bestaande machine learning-benaderingen vaak aan ernstige methodologische gebreken:

1. Data-lekkage (Data Leakage): Veel studies gebruiken tijdsvensters van dezelfde patiënt in zowel de trainings- als de testset. Dit zorgt ervoor dat modellen patiënt-specifieke kenmerken (idiosyncrasieën) leren in plaats van algemene ziektemerkers, wat de prestaties kunstmatig opblaast.
2. Heterogeniteit: EEG-opnames variëren sterk in kanaalaantal, hardware en voorverwerking, wat de reproduceerbaarheid en overdraagbaarheid tussen datasets beperkt.
3. Kleine steekproeven en bias: Veel rapportages focussen uitsluitend op nauwkeurigheid (accuracy) zonder adequate validatie, wat leidt tot overconfidence in de klinische bruikbaarheid.

Methodologie

De auteurs stellen een unificerend evaluatiekader voor dat gebaseerd is op geneste kruisvalidatie (Nested Cross-Validation) met drie aanvullende veiligheidsmaatregelen:

1. Patiënt-gestratificeerde geneste kruisvalidatie:

   • Buitenste lus (Outer Loop): Zorgt voor een strikte scheiding op patiëntniveau. Alle data van één patiënt blijft binnen één fold (train of test), waardoor data-lekkage volledig wordt voorkomen.
   • Binnenste lus (Inner Loop): Wordt gebruikt voor hyperparameter-tuning en kanaalselectie. Hierdoor wordt de selectie van relevante EEG-kanalen onafhankelijk van de uiteindelijke testset uitgevoerd.

2. Multi-layered Windowing en Voorverwerking:

   • Signalen worden hersampled naar 64 Hz en gestandaardiseerd.
   • Om variabele opname-tijden en -lengtes te hanteren, worden de signalen opgesplitst in vensters (windowing) en omgezet naar spectrogrammen via de Korte-Tijd Fourier-transformatie (STFT).
   • Kanalen worden geharmoniseerd naar een gemeenschappelijke ruimtelijke template (gebaseerd op anatomische regio's) en eventuele ontbrekende kanalen worden opgevuld met nullen (zero-padding).

3. Kanaalselectie en Architectuur:

   • Adaptive Resolution Pooling Network (ARP-N): Een CNN-architectuur die spectrogrammen transformeert naar consistente feature maps. De resolutie is zodanig gekozen dat deze overeenkomt met canonieke EEG-frequentiebanden (Delta, Theta, Alpha, Beta).
   • Inner-loop selectie: Kanalen worden gerangschikt op basis van hun stabiliteit en prestaties binnen de binnenste fold. De beste subset van kanalen wordt geselecteerd voor de uiteindelijke evaluatie, wat de dimensionaliteit verlaagt zonder klinisch relevante signalen te verliezen.
   • Patiënt-besluitvorming: Voorspellingen op vensterniveau worden geaggregeerd (bijv. via gemiddelde of mediaan) tot één enkele waarschijnlijkheid per patiënt.

Belangrijkste Bijdragen

1. Uniek Evaluatiekader: Een model-onafhankelijk, gestratificeerd genest kruisvalidatiekader met geïntegreerde kanaalselectie dat data-lekkage voorkomt en heterogene datasets harmoniseert.
2. Empirisch Bewijs: Het aantonen dat patiënt-niveau lekkage en smalle cohort-blokken de gerapporteerde prestaties van EEG-gebaseerde PD-detectie significant inflateren en de klinische validiteit ondermijnen.
3. Interpreteerbaarheid: Demonstratie dat de geleerde representaties aligneren met canonieke EEG-frequentiebanden (vooral Theta en Beta), wat leidt tot interpreteerbare modellen die klinisch relevant zijn.

Resultaten

De methode werd getest op drie onafhankelijke datasets (Iowa, UNM, San Diego) met verschillende kanalen (32 en 64).

• Vergelijking van Evaluatieparadigma's:
  • Zonder Stratificatie: Bereikte extreem hoge scores (Accuracy ~98,5%), maar dit wordt toegeschreven aan data-lekkage en is klinisch niet betrouwbaar.
  • Single-Population Blocking: Toonde goede prestaties binnen één dataset, maar miste generalisatievermogen naar andere populaties.
  • Stratified Cross-Validation (Auteurs' methode): Leverde de meest realistische en conservatieve schattingen.
• Prestaties: Het 4-kanaals model binnen het geneste kruisvalidatiekader behaalde de beste balans met een nauwkeurigheid van 80,6% (±0,092), een AUC van 0,799, en een recall van 80,1%.
• Kanaalreductie: Het gebruik van minder kanalen (4 kanalen) bleek effectiever dan het gebruik van alle kanalen (All-Channel: 71,5%), wat aangeeft dat de selectie van de meest informatieve elektroden de generalisatie verbetert.
• Interpretatie (Grad-CAM): Visualisaties toonden aan dat het model zich concentreerde op de Theta-band (4–8 Hz) en secundair op de Alpha- en Beta-banden. Dit komt overeen met eerdere klinische bevindingen over veranderingen in deze frequenties bij Parkinson-patiënten.

Betekenis en Conclusie

Dit onderzoek benadrukt de noodzaak van strikte methodologische rigour in biomedical signal processing. Door data-lekkage te elimineren via patiënt-gestratificeerde geneste kruisvalidatie, biedt het kader een reproduceerbare basis voor biomarker-validatie.

De belangrijkste implicaties zijn:

• Klinische Relevantie: De resultaten (80,6% accuraatheid) zijn waarschijnlijk een betere indicatie van de werkelijke prestaties in de praktijk dan de vaak gerapporteerde >95% scores in de literatuur, die door lekkage zijn opgeblazen.
• Reproduceerbaarheid: Het kader is ontworpen om overdraagbaar te zijn naar andere biomedische signaaldomeinen en ondersteunt de ontwikkeling van schaalbare digitale gezondheidsoplossingen voor de monitoring van neurodegeneratieve ziekten.
• Toekomstige Richting: Het stelt een nieuwe standaard voor in het evalueren van ML-modellen voor EEG, waarbij de focus verschuift van puur hoge nauwkeurigheid naar robuuste generalisatie en klinische interpretatie.