Task- and Metric-Specific Signal Quality Indices for Medical Time Series

1. Problemstellung

Medizinische Zeitreihen, wie Elektrokardiogramme (ECG) und Photoplethysmogramme (PPG), werden zunehmend von tragbaren Geräten während alltäglicher Aktivitäten aufgezeichnet. Diese Signale sind jedoch anfällig für Artefakte durch Bewegung, Sensorverlust oder Umgebungsstörungen. Da automatisierte Algorithmen diese Signale für klinische Entscheidungen nutzen, ist es kritisch, Segmente zu identifizieren, bei denen die Algorithmen unzuverlässige Ergebnisse liefern.

Das Hauptproblem besteht darin, dass die meisten bestehenden Signalqualitätsindizes (SQIs) aufgabenagnostisch sind. Sie bewerten die Signalqualität basierend auf generischen Eigenschaften (z. B. Rauschverhältnis, Morphologie), ohne den spezifischen downstream-Algorithmus oder die verwendete Leistungsmetrik zu berücksichtigen. Ein Signal kann für eine Aufgabe (z. B. R-Peak-Erkennung) perfekt sein, aber für eine andere (z. B. Vorhofflimmern-Klassifikation) unbrauchbar sein. Zudem kann ein Signal unter einer toleranten Metrik akzeptabel sein, während es unter einer strengen Metrik versagt.

2. Methodik: Der perturbationsbasierte SQI (pSQI)

Die Autoren formalisieren Signalqualität als eine aufgaben- und metrikabhängige Größe und schlagen einen neuen, label-freien Ansatz vor: den perturbationsbasierten Signalqualitätsindex (pSQI).

Kernkonzept:
Die Hypothese lautet: Signale von geringer Qualität für eine spezifische Aufgabe und Metrik reagieren empfindlicher auf Eingangsstörungen (Perturbationen) als hochwertige Signale. Der pSQI misst die Worst-Case-Leistung eines Algorithmus unter einer definierten Störung.

Formale Definition:
Der pSQI $q(x)$ für ein Signal $x$ wird als der minimale Wert der Leistungsmetrik $h$ unter einer additiven, farbig-gaußschen Rausch-Perturbation $p_\theta(x)$ definiert, unter Einhaltung von Signal-zu-Rausch-Verhältnis (SNR)-Beschränkungen:

$$q(x) = \min_{\theta \in \Theta} h(f(p_\theta(x)), f(x))$$

Optimierungsproblem:
Das Ziel ist es, die Perturbation $\theta$ zu finden, die die Metrik minimiert, unter folgenden Nebenbedingungen:

1. Globales SNR: Das Verhältnis der Energie des gefilterten Signals zur Energie der Perturbation muss einen Schwellenwert $\gamma$ überschreiten.
2. Lokales SNR: Die Perturbation darf nicht nur auf wenige Proben konzentriert sein, um diese komplett zu maskieren; sie muss auch pro Sample eine Mindest-SNR $\beta$ einhalten.

Implementierung:
Da die Algorithmen und Metriken oft nicht differenzierbar sind, wird das Optimierungsproblem mit der Covariance Matrix Adaptation Evolution Strategy (CMA-ES) gelöst. Die Perturbation besteht aus farbigem Gaußschen Rauschen, das durch einen Bandpass-Filter erzeugt wird.

Formale Anforderungen an SQIs:
Das Paper definiert zwei wünschenswerte Eigenschaften für task-spezifische SQIs:

1. Monotonie: Der erwartete Wert der Leistungsmetrik muss streng mit dem SQI-Wert ansteigen.
2. Maximierung der Trennmargin: Der SQI soll die Differenz zwischen der durchschnittlichen Leistung unterhalb und oberhalb eines Schwellenwerts maximieren (Trennschärfe).

3. Experimentelle Evaluation

Die Methode wurde auf drei Benchmarks getestet und mit zwei etablierten Ansätzen verglichen:

• fSQI: Feature-basierter SQI (XGBoost-Regressor/Classifier auf manuellen Merkmalen trainiert).
• dSQI: Deep-Learning-basierter SQI (Neuronales Netz, direkt auf Signale trainiert).
• pSQI: Der vorgeschlagene perturbationsbasierte Ansatz (kein Training auf gelabelten Daten nötig).

Benchmarks:

1. R-Peak-Erkennung (ECG): GUDb-Datenbank. Metrik: F1-Score.
2. Vorhofflimmern-Klassifikation (ECG): MIT-BIH AF-Datenbank. Metrik: Segmentweise Genauigkeit.
3. Vorhofflimmern-Klassifikation (PPG): DeepBeat-Datenbank. Metrik: Segmentweise Genauigkeit.

4. Ergebnisse

Die Ergebnisse zeigen eine konsistente Überlegenheit des pSQI gegenüber den trainierten Baselines:

• Monotonie: Der pSQI zeigte eine perfekte Spearman-Korrelation von 1.00 zwischen SQI-Wert und mittlerem F1-Score bei der R-Peak-Erkennung. Im Vergleich dazu erreichten fSQI und dSQI nur 0.79 bzw. -0.41 (negativ korreliert).
• Trennmargin ($\Delta^*$): Der pSQI erzielte in allen drei Benchmarks die höchste Trennmargin, was bedeutet, dass er zuverlässig zwischen guten und schlechten Eingaben unterscheiden kann.
  • R-Peak: pSQI (0.185) vs. dSQI (0.035) vs. fSQI (0.033).
  • ECG-AF: pSQI (0.369) vs. dSQI (0.086) vs. fSQI (0.023).
  • PPG-AF: pSQI (0.225) vs. dSQI (0.108) vs. fSQI (-0.038).
• Qualität der Erkennung: Ein Fallbeispiel zeigte, dass der pSQI ein Signal korrekt als „schlecht" einstuft, obwohl es für einen menschlichen Experten gut aussieht, aber der spezifische Algorithmus (FastNVG) aufgrund von T-Wellen-Verwechslungen versagte. Herkömmliche SQIs stuften dieses Signal fälschlicherweise als hochwertig ein.

Hyperparameter-Sensitivität:
Die Analyse zeigte, dass die optimalen SNR-Werte von der Aufgabe abhängen. Robuste Aufgaben (R-Peaks) vertragen stärkeres Rauschen, während feinere Merkmale (P-Wellen bei PPG) weniger Rauschen benötigen.

5. Hauptbeiträge und Bedeutung

• Formalisierung: Das Paper definiert Signalqualität nicht als intrinsische Eigenschaft des Signals, sondern als relative Größe in Abhängigkeit vom Algorithmus und der Metrik.
• Label-freier Ansatz: Der pSQI benötigt keine gelabelten Trainingsdaten, um die Qualität eines Signals für eine spezifische Aufgabe zu bewerten. Dies ist ein großer Vorteil, da gelabelte Daten oft knapp oder teuer sind.
• Robustheit: Die Methode ist weniger anfällig für Overfitting auf spezifische Datensätze als trainierte Modelle (fSQI/dSQI) und generalisiert besser auf unbekannte Datenverteilungen.
• Praktische Relevanz: Die Methode ermöglicht es, medizinische Pipelines dynamisch zu steuern, indem sie unsichere Eingaben erkennt und entweder verwirft oder mit Vorsicht behandelt, was die klinische Sicherheit erhöht.

6. Limitationen und Ausblick

• Rechenkosten: Die Optimierung mittels CMA-ES ist rechenintensiv, da sie wiederholte Evaluierungen des Algorithmus und der Metrik erfordert.
• Keine mathematischen Garantien: Die Erfüllung der formalen Anforderungen (Monotonie, Trennmargin) wurde empirisch, aber nicht mathematisch bewiesen.
• Schwellenwertbestimmung: Obwohl der SQI selbst label-frei ist, wird in der Praxis möglicherweise noch gelabelte Daten benötigt, um den optimalen Schwellenwert für die Ablehnung von Signalen festzulegen.

Fazit:
Die Arbeit stellt einen Paradigmenwechsel dar, weg von generischen Signalqualitätsmetriken hin zu einer kontextsensitiven Bewertung, die direkt die Leistung des downstream-Algorithmus simuliert. Der pSQI bietet eine robuste, trainingsfreie Alternative, die in verschiedenen medizinischen Szenarien signifikant besser performt als bestehende Methoden.