Cross-Dataset Generalization of Quantitative EEG Spectral Biomarkers for Alzheimer’s Disease: A Pre-registered Two-Cohort External Validation and What Does Not Transfer

Technische Samenvatting: Cross-dataset Generalisatie van Kwantitatieve EEG Spectrale Biomarkers voor de Ziekte van Alzheimer

Probleemstelling
Huidig machine learning-onderzoek naar kwantitatieve EEG (qEEG) biomarkers voor de ziekte van Alzheimer (AD) steunt voornamelijk op single-acquisition setups. Hoewel deze studies vaak een hoge nauwkeurigheid rapporteren, adresseren ze frequent een fundamentele vraag: blijven deze markers valide wanneer de registratieapparatuur of de elektrode-montage verandert? De meeste bestaande validatieschema's lekken subjectinformatie (bijv. epoch-level cross-validatie), wat de prestatiecijfers kunstmatig opblaast. Echte externe validatie—het trainen van een model op één acquisitie-opstelling en het testen ervan op een andere—is zeldzaam in de medische AI (minder dan 4% van de studies). Deze studie adresseert de "cross-configuratie generalisatie"-kloof die is geïdentificeerd in eerdere benchmarks, waarbij specifiek wordt onderzocht of spectrale kenmerken afgeleid van één dataset robuust AD kunnen onderscheiden van cognitief normale (CN) deelnemers in een volledig onafhankelijke dataset die met andere hardware is opgenomen.

Methodologie
De studie maakte gebruik van een vooraf geregistreerd ontwerp om analytische strengheid te waarborgen, waarbij de featureset, het model, het validatieschema en de interpretatiecriteria werden vastgelegd vóór de data-analyse.

• Datasets: Er werd gebruikgemaakt van twee onafhankelijke, publieke, rusttoestand (ogen gesloten) EEG-cohorten:
  • AHEPA: 65 deelnemers (36 AD, 29 CN) opgenomen met een Nihon Kohden 2100 systeem met een 19-kanaals 10–20 montage (Cz referentie).
  • Meghdadi: 81 deelnemers (26 AD, 55 CN) opgenomen met een Advanced Brain Monitoring systeem met een 19-kanaals 10–20 montage. De Meghdadi-dataset werd gefilterd om alleen de ogen-gesloten conditie en een specifieke leeftijd-gematchte controlegroep te bevatten om demografische variantie te minimaliseren.
• Feature Extractie: Drie schaal-invariante spectrale kenmerken werden berekend voor elk van de 19 gemeenschappelijke kanalen, wat 133 features per subject opleverde:
  1. Theta/Alpha Ratio (TAR): De ratio van theta (3–7 Hz) tot alpha (8–13 Hz) power.
  2. Relatieve Band Power: Genormaliseerde power over de $\delta$, $\theta$, $\alpha$, $\beta$, en $\gamma$ banden.
  3. Alpha Peak Frequency.
     Noot: De Power Spectral Density (PSD) waarden van de Meghdadi-dataset (opgeslagen in log10) werden gelineariseerd ($10^x$) vóór de ratio-berekening om vergelijkbaarheid met AHEPA te waarborgen.
• Model en Validatie:
  • Classificator: Logistische regressie (primair) en lineaire SVM (robuustheidscontrole).
  • Interne Validatie: Leave-One-Subject-Out (LOSO) cross-validatie binnen elk dataset om subject-lekkage te voorkomen.
  • Externe Validatie: Transfer learning in beide richtingen (AHEPA $\to$ Meghdadi en Meghdadi $\to$ AHEPA).
  • Statistische Controle: Een permutatie null-hypothese test werd uitgevoerd (100 shuffles voor intern, 500 voor extern) om te verifiëren dat de geobserveerde resultaten geen artefacten waren van toeval of data-lekkage. Bootstrap 95% betrouwbaarheidsintervallen werden berekend voor alle AUC-schattingen.

Belangrijkste Resultaten
De studie onthulde een scherpe asymmetrie in cross-dataset generalisatie:

1. Interne Validiteit (Binnen-cohort): Beide datasets slaagden erin om AD van CN te scheiden onder strikte LOSO-validatie.

   • AHEPA: 0,785 Accuratesse, 0,802 AUC.
   • Meghdadi: 0,753 Accuratesse, 0,799 AUC.
   • Permutatie nulls bevestigden dat deze resultaten significant boven toeval lagen (0% van de shuffles matchte de geobserveerde AHEPA-waarden).

2. Externe Validiteit (Cross-cohort): De prestaties waren fragiel en sterk richting-afhankelijk.

   • Meghdadi $\to$ AHEPA: Het model getraind op Meghdadi behaalde een gematigde 0,728 AUC op AHEPA, wat duidt op een succesvolle transfer in deze richting.
   • AHEPA $\to$ Meghdadi: Het model getraind op AHEPA stortte in op de Meghdadi-dataset en behaalde een 0,329 AUC. Dit ligt significant onder toeval (99,2% van de permutatie shuffles leverde gelijk of betere resultaten op), wat aangeeft dat de classifier de groepen actief verkeerd classificeerde.

3. Diagnose van Falen:

   • Class imbalance en schaalfouten werden uitgesloten als primaire oorzaken.
   • Het falen werd toegeschreven aan een domain shift in de absolute schaal van de features, wat gekoppeld is aan specifieke apparaat- en montageconfiguraties.
   • Feature Ablatie: Wanneer individuele features in isolatie werden getest tijdens cross-dataset transfer, was de Theta/Alpha Ratio (TAR) de enige feature die robuustheid behield. Terwijl absolute en relatieve band powers faalden om te generaliseren (wat leidde tot de inversie van de klasse-waarschijnlijkheden in de AHEksi $\to$ Meghdadi richting), behield de TAR de correcte rangschikking van subjects (0,516 AUC in de zwakke richting, 0,724 in de sterke richting).

Significantie en Claims
Het artikel claimt een "gemeten verklaring" te bieden over de limieten van qEEG biomarker generalisatie, in plaats van een nieuwe hoog-accuraatheid benchmark. De primaire bijdragen zijn:

• Empirisch Bewijs van Asymmetrie: Het demonstreert dat een model getraind op één acquisitie-opstelling aanzienlijk slechter kan presteren dan willekeur wanneer het wordt toegepast op een andere, wat de aanname dat qEEG-markers universeel draagbaar zijn, uitdaagt.
• Identificatie van Robuuste Features: De studie isoleert de Theta/Alpha Ratio (TAR) als de meest reproduceerbare marker over verschillende acquisitie-configuraties. Omdat de TAR een eenheid-invariante ratio is, is deze minder gevoelig voor verschuivingen in de absolute schaal veroorzaakt door verschillende hardware en montages vergeleken met absolute of relatieve power-maten.
• Methodologische Rigor: Door vast te houden aan een vooraf geregistreerd protocol met strikte subject-niveau validatie en permutatie-testen, biedt de studie een reproduceerbaar geval van externe validatie in neurodiagnostiek.
• Praktische Aanbeveling: Voor onderzoek dat gericht is op het ontwikkelen van montage-onafhankelijke EEG-biomarkers, suggereert de auteur het bevoordelen van relatieve, ratio-gebaseerde maten (specifiek TAR) boven absolute power features om domain shifts door acquisitie-specifieke factoren te mitigeren.

De auteur stelt expliciet dat de "headline" een geverifieerde non-generalisatie in één richting is, waarbij de nadat een negatieve observatie wordt geframed als een eerlijke en noodzakelijke stap naar het begrijpen van de grenzen van huidige qEEG diagnostische instrumenten.