Cross-Dataset Generalization of Quantitative EEG Spectral Biomarkers for Alzheimer’s Disease: A Pre-registered Two-Cohort External Validation and What Does Not Transfer

Technisches Resümee: Kreuz-Datensatz-Generalisierung quantitativer qEEG-Spektralbiomarker für die Alzheimer-Krankheit

Problemstellung
Die aktuelle Forschung im Bereich des maschinellen Lernens zu quantitativen qEEG-Biomarkern für die Alzheimer-Krankheit (AD) stützt sich überwiegend auf Single-Acquisition-Setups (einzelne Erfassungsszenarien). Obwohl diese Studien häufig eine hohe Genauigkeit berichten, versäumen sie es oft, eine grundlegende Frage zu klären: Bleiben diese Marker valide, wenn sich die Aufzeichnungsgeräte oder das Elektroden-Montage-Setup ändern? Die meisten bestehenden Validierungsschemata führen Informationen über die Probanden ab (z. B. Epoch-Level-Kreuzvalidierung), was die Leistungsmetriken künstlich aufbläht. Echte externe Validierung – das Training eines Modells auf einem Erfassungsszenario und das Testen auf einem anderen – ist in der medizinischen KI selten (unter 4 % der Studien). Diese Studie adressiert die Lücke der „Cross-Configuration Generalization“ (Generalisierung über Konfigurationen hinweg), die in vorangegangenen Benchmarks identifiziert wurde, und untersucht spezifisch, ob von einem Datensatz abgeleitete Spektralmerkmale in der Lage sind, AD-Patienten von kognitiv gesunden (CN) Teilnehmern in einem völlig unabhängigen, mit anderer Hardware aufgezeichneten Datensatz robust zu unterscheiden.

Methodik
Die Studie verwendete ein präregistriertes Design, um die analytische Strenge zu gewährleisten, indem der Merkmalsatz, das Modell, das Validierungsschema und die Interpretationskriterien vor der Datenanalyse festgelegt wurden.

• Datensätze: Es wurden zwei unabhängige, öffentliche, Ruhe-EEG-Kohorten (Augen geschlossen) verwendet:
  • AHEPA: 65 Teilnehmer (36 AD, 29 CN), aufgezeichnet mit einem Nihon Kohden 2100 System mit einer 19-Kanal 10–20 Montage (Cz-Referenz).
  • Meghdadi: 81 Teilnehmer (26 AD, 55 CN), aufgezeichnet mit einem Advanced Brain Monitoring System mit einer 19-Kanal 10–20 Montage. Der Meghdadi-Datensatz wurde gefiltert, um nur die Bedingung „Augen geschlossen“ sowie eine spezifische altersgematchte Kontrollstrata einzuschließen, um die demografische Varianz zu minimieren.
• Merkmalsextraktion: Für jeden der 19 gemeinsamen Kanäle wurden drei skaleninvariante Spektralmerkmale berechnet, was 133 Merkmale pro Proband ergab:
  1. Theta/Alpha-Ratio (TAR): Das Verhältnis der Theta- (3–7 Hz) zur Alpha-Leistung (8–13 Hz).
  2. Relative Bandleistung: Normalisierte Leistung über die $\delta$-, $\theta$-, $\alpha$-, $\beta$- und $\gamma$-Bänder.
  3. Alpha-Peak-Frequenz.
     Hinweis: Die Leistungsdichtewerte (PSD) aus dem Meghdadi-Datensatz (gespeichert in $\log_{10}$) wurden vor der Verhältnisbildung linearisiert ($10^x$), um die Vergleichbarkeit mit AHEPA zu gewährleisten.
• Modell und Validierung:
  • Klassifikator: Logistische Regression (Primärmodell) und lineare SVM (Robustheitsprüfung).
  • Interne Validierung: Leave-One-Subject-Out (LOSO) Kreuzvalidierung innerhalb jedes Datensatzes, um Probanden-Leakage zu verhindern.
  • Externe Validierung: Transfer Learning in beide Richtungen (AHEPA $\to$ Meghdadi und Meghdadi $\to$ AHEPA).
  • Statistische Kontrolle: Ein Permutationstest zur Nullhypothese wurde durchgeführt (100 Shuffles für intern, 500 für extern), um zu verifizieren, dass die beobachteten Ergebnisse keine Artefakte des Zufalls oder des Daten-Leakage sind. Bootstrap-95%-Konfidenzintervalle wurden für alle AUC-Schätzungen berechnet.

Kernergebnisse
Die Studie zeigte eine eklatante Asymmetrie in der Kreuz-Datensatz-Generalisierung auf:

1. Interne Validität (Innerhalb der Kohorte): Beide Datensätze konnten AD von CN unter strenger LOSO-Validierung erfolgreich trennen.

   • AHEPA: 0,785 Genauigkeit, 0,802 AUC.
   • Meghdadi: 0,753 Genauigkeit, 0,799 AUC.
   • Permutations-Nullwerte bestätigten, dass diese Ergebnisse signifikant über dem Zufall lagen (0 % der Shuffles entsprachen den beobachteten AHEPA-Werten).

2. Externe Validität (Kreuz-Kohorte): Die Leistung war fragil und stark richtungsabhängig.

   • Meghdadi $\to$ AHEPA: Das auf Meghdadi trainierte Modell erreichte eine moderate AUC von 0,728 auf AHEPM, was auf einen erfolgreichen Transfer in dieser Richtung hindeutet.
   • AHEPA $\to$ Meghdadi: Das auf AHEPA trainierte Modell brach auf dem Meghdadi-Datensatz zusammen und erreichte eine AUC von 0,329. Dies liegt signifikant unter dem Zufall (99,2 % der Permutations-Shuffles lieferten gleich gute oder bessere Ergebnisse), was darauf hindeutet, dass der Klassifikator die Gruppen aktiv falsch klassifizierte.

3. Diagnose des Scheiterns:

   • Klassenungleichgewicht und Skalierungsfehler wurden als Primärursachen ausgeschlossen.
   • Das Scheitern wurde einem Domain Shift in der absoluten Skala der Merkmale zugeschrieben, der an spezifische Geräte- und Montagekonfigurationen gebunden ist.
   • Merkmals-Ablation: Als einzelne Merkmale während des Kreuz-Datensatz-Transfers getestet wurden, war die Theta/Alpha-Ratio (TAR) das einzige Merkmal, das Robustheit bewahrte. Während absolute und relative Bandleistungen die Generalisierung scheitern ließen (was zur Invertierung der Klassenzugehörigkeiten in der AHEPA $\to$ Meghdadi Richtung führte), bewahrte die TAR die korrekte Rangfolge der Probanden (0,516 AUC in der schwachen Richtung, 0,724 in der starken Richtung).

Bedeutung und Behauptungen
Die Arbeit behauptet, eine „gemessene Aussage“ über die Grenzen der Generalisierbarkeit von qEEG-Biomarkern zu liefern, anstatt einen neuen High-Accuracy-Benchmark zu setzen. Ihre primären Beiträge sind:

• Empirischer Beleg der Asymmetrie: Sie zeigt auf, dass ein Modell, das auf einem Erfassungsszenario trainiert wurde, bei der Anwendung auf ein anderes signifikant schlechter als der Zufall abschneiden kann, und stellt damit die Annahme infrage, dass qEEG-Marker universell portabel sind.
• Identifizierung robuster Merkmale: Die Studie isoliert die Theta/Alpha-Ratio (TAR) als das reproduzierbarste Merkmal über verschiedene Erfassungskonfigurationen hinweg. Da die TAR ein einheiteninvariantes Verhältnis ist, ist sie weniger anfällig für die Verschiebungen der absoluten Skala, die durch unterschiedliche Hardware und Montagen im Vergleich zu absoluten oder relativen Leistungsmaßen entstehen.
• Methodische Strenge: Durch die Einhaltung eines präregistrierten Protokolls mit strenger Probanden-Level-Validierung und Permutationstests bietet die Studie einen reproduzierbaren Fall externer Validierung in der Neurodiagnostik.
• Praktische Empfehlung: Für die Forschung, die darauf abzielt, montageunabhängige EEG-Biomarker zu entwickeln, schlägt der Autor vor, relative, verhältnisbasierte Maße (speziell die TAR) gegenüber absoluten Leistungsmerkmalen zu bevorzugen, um konfigurationsspezifische Domain Shifts zu mildern.

Der Autor stellt explizit klar, dass die „Schlagzeile“ eine verifizierte Nicht-Generalisierbarkeit in eine Richtung ist, und rahmt diese negative Beobachtung als ehrlichen und notwendigen Schritt zum Verständnis der Grenzen aktueller qEEG-Diagnosewerkzeuge.