Generalizable deep learning for photoplethysmography-based blood pressure estimation -- A Benchmarking Study

Diese Benchmark-Studie zeigt, dass die Generalisierbarkeit von Deep-Learning-Modellen zur schätzung des Blutdrucks aus PPG-Signalen stark von Unterschieden in den Blutdruckverteilungen zwischen Datensätzen abhängt, und untersucht Methoden zur Verbesserung der Leistung durch Domänenanpassung.

Das Wesentliche

Das große Blutdruck-Raten: Warum KI manchmal im Dunkeln tappen

Stellen Sie sich vor, Sie möchten Ihren Blutdruck messen. Normalerweise brauchen Sie dafür eine Manschette, die sich um den Arm wickelt und zudrückt. Das ist unangenehm und umständlich. Die Forscher in diesem Papier wollen etwas Besseres: Eine App, die den Blutdruck nur durch einen Blick auf das Handgelenk misst (über ein kleines Licht, das in die Haut scheint – das nennt man PPG).

Dafür haben sie künstliche Intelligenz (KI) trainiert. Aber hier liegt das große Problem, das diese Studie aufdeckt.

1. Der "Schulhof-Test" vs. der "echte Alltag"

Stellen Sie sich vor, Sie lernen für eine Matheprüfung.

• Der "Schulhof-Test" (In-Distribution): Sie üben nur mit den Aufgaben, die Ihr Lehrer im Unterricht vorgegeben hat. Wenn Sie diese Aufgaben lösen, sind Sie ein Genie. Das ist das, was die meisten bisherigen Studien gemacht haben. Sie haben die KI nur mit Daten trainiert und getestet, die aus derselben Quelle kamen.
• Der "echte Alltag" (Out-of-Distribution): Jetzt kommen Sie in eine andere Schule. Die Lehrer stellen die Aufgaben anders, die Schüler sind anders, und die Tische sind anders. Plötzlich scheitert Ihr "Genie", weil es nur die alten Aufgaben auswendig gelernt hat, aber nicht verstanden hat, wie man neue Probleme löst.

Die Erkenntnis der Studie: Die KI-Modelle waren im "Schulhof" (auf den Trainingsdaten) super gut. Aber sobald man sie auf neue, fremde Daten losließ (andere Patienten, andere Geräte, andere Krankenhäuser), wurde ihre Leistung oft katastrophal. Sie waren wie ein Schüler, der nur die Lösungen für die Hausaufgaben auswendig gelernt hat, aber keine Ahnung hat, wie man eine neue Aufgabe löst.

2. Der große Daten-Salat (PulseDB)

Die Forscher haben einen riesigen Datensalat namens PulseDB verwendet. Das ist wie eine riesige Bibliothek mit Millionen von Blutdruck-Messungen von tausenden verschiedenen Menschen.

• Sie haben verschiedene KI-Modelle (wie verschiedene Arten von "Gehirnen") darauf trainiert.
• Dann haben sie sie getestet:
  • Szenario A: Trainiert und getestet auf denselben Leuten (wie oben: Schulhof-Test). -> Gute Ergebnisse.
  • Szenario B: Trainiert auf einer Gruppe, getestet auf einer völlig anderen Gruppe (wie oben: Andere Schule). -> Schlechte Ergebnisse.

3. Warum scheitert die KI?

Die Studie hat herausgefunden, dass die KI oft verwirrt ist, weil die "Welt" der Trainingsdaten anders aussieht als die "Welt" der Testdaten.

• Analogie: Stellen Sie sich vor, Sie trainieren eine KI nur mit Bildern von Hunden, die alle im Schnee liegen. Wenn Sie ihr dann ein Bild von einem Hund im Sand zeigen, denkt die KI vielleicht: "Das ist kein Hund, das ist ein Keks!"
• Bei den Blutdruck-Daten war das ähnlich: Die Trainingsdaten hatten oft andere Blutdruck-Werte als die Testdaten. Die KI hat sich an die "Gewohnheiten" der Trainingsdaten gewöhnt und konnte sich nicht auf neue Situationen einstellen.

4. Der Trick mit dem "Gewicht" (Domain Adaptation)

Die Forscher wollten herausfinden, wie man die KI robuster macht. Sie haben einen cleveren Trick ausprobiert: Das "Gewicht"-Verfahren.

• Die Idee: Wenn die KI lernt, bekommt sie nicht alle Trainingsdaten gleich wichtig.
• Das Szenario: Stellen Sie sich vor, die KI lernt in einer Klasse, in der es viele "normale" Blutdruckwerte gibt, aber im Test (der echten Welt) gibt es plötzlich viele Menschen mit sehr hohem Blutdruck.
• Die Lösung: Die Forscher sagten der KI: "Hey, vergiss die vielen 'normalen' Beispiele ein bisschen und konzentriere dich mehr auf die seltenen, hohen Werte, die wir im Test erwarten!" Sie haben den Daten also ein "Gewicht" gegeben, damit die KI lernt, was in der echten Welt wirklich wichtig ist.

Das Ergebnis: Dieser Trick hat geholfen! Die KI wurde etwas besser darin, sich auf fremde Daten einzustellen. Es war nicht perfekt, aber es war ein großer Schritt in die richtige Richtung.

5. Was ist das Wichtigste? (Die Lehre)

Die wichtigste Botschaft dieser Studie ist:
"Nur weil eine KI im Labor funktioniert, heißt das nicht, dass sie im echten Leben funktioniert."

• Viele Forscher bauen Modelle, die im Labor toll aussehen, aber im echten Leben versagen, weil sie nicht auf neue Daten vorbereitet sind.
• Die Studie zeigt, dass man KI-Modelle unbedingt an vielfältigen Daten trainieren muss (nicht nur an einer einzigen Quelle).
• Besonders die Daten aus einer bestimmten Quelle (genannt "VitalDB") haben sich als sehr gut für das Training erwiesen, während andere Quellen (wie "MIMIC") die KI eher verwirrt haben.

Fazit für den Alltag

Diese Studie ist wie ein Warnschild für die Zukunft der Medizin-KI. Sie sagt uns: "Halt! Bevor wir diese Blutdruck-Apps auf unsere Handgelenke kleben, müssen wir sicherstellen, dass sie nicht nur für die Leute funktionieren, die wir im Labor getestet haben, sondern auch für Omas, die im Wald spazieren gehen, oder für Sportler."

Die Forscher haben gezeigt, wie man KI besser macht, indem man sie mit "schwierigeren" und vielfältigeren Aufgaben konfrontiert und ihr hilft, die Unterschiede zwischen den verschiedenen Welten zu verstehen. Das ist der Schlüssel, damit diese Technologie eines Tages wirklich sicher und zuverlässig für jeden von uns ist.

Technische Zusammenfassung

Titel: Generalisierbares Deep Learning für die blutdruckbasierte Schätzung mittels Photoplethysmographie (PPG) – Eine Benchmark-Studie

Autoren: Mohammad Moulaeifard, Peter H. Charlton, Nils Strodthoff

---

1. Problemstellung

Die schmerzfreie, nicht-invasive Schätzung des Blutdrucks (BP) mittels Photoplethysmographie (PPG) ist ein vielversprechender Ansatz für das medizinische und persönliche Gesundheitsmonitoring. Bisherige Methoden basierten oft auf manuell extrahierten Merkmalen, die jedoch Limitationen wie physiologische Variabilität und Kalibrierungsbedarf aufweisen.

Zwar haben Deep-Learning-Modelle (DL), die Roh-PPG-Signale direkt verarbeiten, die Genauigkeit in datenreichen Umgebungen verbessert, doch die meisten Studien bewerten diese Modelle nur auf In-Distribution (ID)-Testdaten (d.h. Trainings- und Testdaten stammen aus derselben Verteilung). Dies führt zu überoptimistischen Ergebnissen. In der realen Welt treten jedoch Out-of-Distribution (OOD)-Szenarien auf, bei denen Testdaten durch Unterschiede in der Blutdruckverteilung, Sensor-Hardware, Signalqualität oder Patientenphysiologie von den Trainingsdaten abweichen. Die zentrale Frage dieser Arbeit ist: Wie gut generalisieren DL-Modelle für die BP-Schätzung auf externe, unbekannte Datensätze, und wie können diese Generalisierungseigenschaften verbessert werden?

2. Methodik

Datensätze:

• Trainingsdaten: Die Studie nutzt den großen, hochwertigen PulseDB-Datensatz (basierend auf MIMIC-III und VitalDB), der über 5,2 Millionen 10-Sekunden-Segmente von PPG- und Referenz-Blutdruckwellenformen enthält.
  • Es wurden neun Teilmengen (Subsets) erstellt, unterteilt in drei Szenarien:
    • Calib: Kalibrierungsbasiert (gleiche Patienten in Train/Test).
    • CalibFree: Kalibrierungsfrei (keine Patienten-Überlappung).
    • AAMI: Strengere Kalibrierungsfreiheit nach AAMI-Standards (Fokus auf die "Schwänze" der BP-Verteilung).
• Externe Testdaten (OOD): Vier externe Datensätze (Sensors, UCI, BCG, PPGBP) wurden verwendet, die sich qualitativ und quantitativ stark von PulseDB unterscheiden.

Modelle:
Fünf verschiedene Deep-Learning-Architekturen wurden evaluiert:

1. LeNet1D: Einfache feed-forward CNN-Architektur.
2. XResNet1d50 & XResNet1d101: ResNet-Varianten mit Skip-Connections.
3. Inception1D: Hierarchische Feature-Extraktion mit verschiedenen Kernel-Größen.
4. S4 (Structured State Space Sequence): Ein Modell, das für lange Abhängigkeiten in Zeitreihen bekannt ist.

Trainings- und Evaluierungsprotokoll:

• Die Modelle wurden auf den PulseDB-Subsets trainiert und sowohl auf ID- als auch auf OOD-Daten getestet.
• Metriken: Primärer Fokus auf dem Mean Absolute Error (MAE) für systolischen (SBP) und diastolischen (DBP) Blutdruck. Zusätzlich wurden Bland-Altman-Analysen zur Untersuchung systematischer Verzerrungen (Bias) durchgeführt.
• Statistik: Empirisches Bootstrapping wurde verwendet, um die statistische Signifikanz der Leistungsunterschiede zu prüfen.

Domain Adaptation (Reichweitenanpassung):
Um die OOD-Leistung zu verbessern, wurde ein einfacher, stichprobenbasierter Ansatz zur Domain Adaptation getestet:

• Importance Weighting: Die Trainingsverlustfunktion wurde mit Gewichten versehen, die aus dem Unterschied der Label-Verteilungen (Blutdruck-Histogramme) zwischen Trainings- (Source) und Testdomäne (Target) abgeleitet wurden.
• Ziel war es, die Verteilungsverschiebung (Distribution Shift) zu minimieren, ohne individuelle Labels der Testdaten zu benötigen (nur die Verteilung).

3. Wichtige Beiträge

1. Umfassendes Benchmarking: Erste vergleichende Studie, die state-of-the-art DL-Architekturen auf dem großen PulseDB-Datensatz für die PPG-basierte BP-Schätzung evaluiert.
2. OOD-Generalisierung: Systematische Untersuchung der Generalisierungsfähigkeit auf vier externe Datensätze, wobei die Diskrepanz zwischen ID- und OOD-Leistung aufgezeigt wird.
3. Analyse von Verteilungsverschiebungen: Nachweis, dass Unterschiede in der Blutdruckverteilung zwischen Trainings- und Testdaten ein Hauptfaktor für Leistungsabfälle sind.
4. Domain Adaptation Evaluation: Bewertung eines einfachen Importance-Weighting-Ansatzes zur Verbesserung der OOD-Leistung.
5. Empfehlungen: Identifikation der besten Trainingsdatensätze und Szenarien für robuste Modelle.

4. Ergebnisse

Modellvergleich (ID-Leistung):

• Die besten Ergebnisse wurden mit XResNet1d101 und Inception1D erzielt.
• Auf PulseDB (mit Kalibrierung) erreichte XResNet1d101 MAEs von 9,0 mmHg (SBP) und 5,8 mmHg (DBP). Ohne Kalibrierung (CalibFree) stiegen diese auf 13,9 mmHg bzw. 8,5 mmHg.
• Das einfachere LeNet1D zeigte in kalibrierungsfreien Szenarien überraschend robuste Ergebnisse, während das S4-Modell nicht die im EEG/ECG-Bereich bekannte Überlegenheit zeigte.

OOD-Leistung (Externe Datensätze):

• Die Leistung verschlechterte sich signifikant auf externen Datensätzen (MAE-SBPs zwischen 10,0 und 18,6 mmHg ohne Kalibrierung).
• Datensatzabhängigkeit: Modelle, die auf dem VitalDB-Teil von PulseDB trainiert wurden (insbesondere im CalibFree und AAMI Szenario), generalisierten am besten.
• MIMIC-basierte Modelle zeigten eine sehr schlechte OOD-Generalisierung, was die Verwendung von MIMIC als alleinige Trainingsgrundlage für generalisierbare Modelle in Frage stellt.
• Es wurde eine starke Korrelation zwischen der Dissimilarität der Blutdruckverteilungen (gemessen via Earth Mover's Distance, EMD) und dem OOD-Fehler gefunden.

Domain Adaptation (Importance Weighting):

• Die Anwendung von Importance Weighting basierend auf Label-Verteilungen führte in 55 % der OOD-Fälle zu Verbesserungen.
• Die durchschnittliche Verbesserung betrug 2,66 mmHg für SBP und 0,86 mmHg für DBP auf externen Datensätzen.
• Besonders Modelle, die auf AAMI Vital-Subsets trainiert wurden, profitierten stark und erreichten teilweise Leistungen, die mit ID-Ergebnissen aus der Literatur vergleichbar waren.

5. Bedeutung und Fazit

• Warnung vor ID-Metriken: Die Studie unterstreicht, dass ID-Ergebnisse (gleiche Datenquelle) die Generalisierungsfähigkeit von Modellen auf reale, unbekannte Daten massiv überschätzen.
• Datenauswahl ist kritisch: Nicht die größte oder diverseste Trainingsmenge (Combined) führt automatisch zur besten Generalisierung. Stattdessen erwiesen sich spezifische Subsets (VitalDB in CalibFree/AAMI Szenarien) als robuster.
• Verteilungsverschiebung als Hauptfaktor: Unterschiede in der Blutdruckverteilung zwischen Trainings- und Testdaten sind ein dominierender Faktor für den Leistungsabfall.
• Domain Adaptation: Einfache Ansätze wie Importance Weighting können die Robustheit signifikant steigern, ohne komplexe neue Algorithmen zu erfordern.
• Klinische Relevanz: Trotz Fortschritten liegen die meisten MAE-Werte (besonders ohne Kalibrierung) noch über den strengen IEEE-Standards für klinische Anwendungen (Grade D, >7 mmHg). Die Arbeit liefert jedoch wichtige Erkenntnisse, wie durch bessere Datenauswahl und Domain Adaptation Modelle entwickelt werden können, die näher an der klinischen Nutzbarkeit liegen.

Die Autoren fordern die Community auf, zukünftige Studien stärker auf OOD-Evaluationen und Domain-Adaptation-Techniken zu fokussieren, um echte klinische Anwendbarkeit zu erreichen.