Task- and Metric-Specific Signal Quality Indices for Medical Time Series

Titel: Taak- en Metriek-specifieke Kwaliteitsindices voor Medische Tijdreeksen

Auteurs: Jad Haidamous en Christoph Hoog Antink (TU Darmstadt)

1. Het Probleem

Medische tijdreeksen, zoals elektrocardiogrammen (ECG) en fotoplethysmogrammen (PPG), worden vaak opgenomen in uitdagende omgevingen (bijv. ambulances, dagelijks leven), wat leidt tot meetartefacten zoals bewegingsruis en sensorcontactverlies.

• Huidige situatie: Bestaande Signal Quality Indices (SQI's) worden gebruikt om onbetrouwbare signaalsegmenten te identificeren. Echter, de meeste bestaande SQI's zijn taak-agnostisch. Ze meten algemene signaaleigenschappen (zoals ruisniveau of morfologie) zonder rekening te houden met de specifieke downstream-algoritmen (bijv. R-topdetectie vs. atriumfibrillatie-classificatie) of de gebruikte prestatie-metriek.
• Kernprobleem: Een signaal dat perfect is voor taak A (bijv. het detecteren van hartslagen) kan onbruikbaar zijn voor taak B (bijv. het classificeren van hartritmestoornissen). Bovendien kan een signaal acceptabel zijn onder een tolerante metriek maar onaanvaardbaar onder een strenge metriek. Bestaande methoden missen deze nuance, wat leidt tot suboptimale filtering van data voor specifieke klinische toepassingen.

2. Methodologie

De auteurs formuleren een nieuw raamwerk voor SQI's en introduceren een label-vrije, perturbatie-gebaseerde methode.

A. Formele Definitie van Kwaliteit

De auteurs definiëren een SQI ($q$) als een functie die de kwaliteit van een signaal $x$ relateert aan de prestaties van een specifiek algoritme $f$ en een metriek $h$. Ze stellen twee cruciale eisen:

1. Monotonie: De verwachte waarde van de prestatiemetriek moet strikt toenemen naarmate de SQI-waarde stijgt.
2. Maximalisatie van het Scheidingsmarge: De SQI moet in staat zijn om een drempelwaarde ($\tau$) te vinden die het grootste verschil (marge) creëert tussen de gemiddelde prestaties van "goede" signalen ($q(x) \geq \tau$) en "slechte" signalen ($q(x) < \tau$).

B. De Perturbatie-gebaseerde SQI (pSQI)

In plaats van te vertrouwen op getrainde modellen of handmatige kenmerken, definieert de pSQI signaalkwaliteit op basis van de gevoeligheid van het algoritme voor ruis.

• Concept: Een signaal van lage kwaliteit voor een specifieke taak zal sterker degraderen in prestatie bij het toevoegen van ruis dan een signaal van hoge kwaliteit.
• Optimalisatieprobleem: De pSQI wordt gedefinieerd als de slechtst mogelijke waarde van de prestatiemetriek onder een additieve, gekleurde Gaussische ruisperturbatie, onderworpen aan een ondergrens voor het Signaal-tot-Ruisverhouding (SNR).
  $$q(x) = \min_{\theta} h(f(p_\theta(x)), f(x))$$
  waarbij $p_\theta(x)$ de perturbatie is, beperkt door een globale en lokale SNR-constraint.
• Implementatie: Omdat de algoritmen en metrieken niet noodzakelijk differentieerbaar zijn, wordt het optimalisatieprobleem opgelost met de CMA-ES (Covariance Matrix Adaptation Evolution Strategy) algoritme.
• Perturbatiemodel: Ruis wordt gegenereerd als gekleurd Gaussisch geluid (gefilterd door een bandpassfilter) en wordt zo geoptimaliseerd dat het de prestaties maximaliseert degradeert binnen de SNR-beperkingen.

3. Belangrijkste Bijdragen

1. Formalisatie van Taak- en Metriek-specifieke SQI's: Het artikel stelt een theoretisch kader neer waarin signaalkwaliteit niet als een intrinsieke eigenschap van het signaal wordt gezien, maar als een relatie tussen het signaal, het algoritme en de gebruikte metriek.
2. Ontwikkeling van pSQI: Een nieuwe, label-vrije methode die geen trainingsdata vereist. De methode is generiek toepasbaar op elk algoritme en elke metriek.
3. Empirische Validatie: Uitgebreide experimenten op drie verschillende benchmarks om de superioriteit van de methode te bewijzen.

4. Resultaten

De pSQI werd geëvalueerd op drie benchmarks en vergeleken met feature-gebaseerde (fSQI) en deep learning-gebaseerde (dSQI) methoden die wel trainingsdata nodig hebben.

• Benchmarks:

  1. R-topdetectie (ECG): Gebruikmakend van de Glasgow University database.
  2. Atriumfibrillatie (AF) classificatie (ECG): Gebruikmakend van de MIT-BIH AF database.
  3. AF classificatie (PPG): Gebruikmakend van de DeepBeat dataset.

• Prestaties:

  • Monotonie: De pSQI toonde een perfecte positieve correlatie (Spearman $\rho = 1.00$) tussen de SQI-waarde en de F1-score bij R-topdetectie, terwijl dSQI en fSQI veel lagere correlaties vertoonden (0.79 en -0.41).
  • Scheidingsmarge ($\Delta^*$): De pSQI behaalde consistent de hoogste scheidingsmarge, wat betekent dat het "goede" en "slechte" signalen veel beter van elkaar kan scheiden dan de concurrentie.
    • R-topdetectie: pSQI (0.185) vs. dSQI (0.035).
    • ECG AF: pSQI (0.369) vs. dSQI (0.086).
    • PPG AF: pSQI (0.225) vs. dSQI (0.108).
  • Case Study: In een voorbeeld waarbij een signaal visueel duidelijke R-toppen had maar door het algoritme slecht werd gedetecteerd (door verwarring met T-golven), gaf de pSQI correct een lage kwaliteitsscore. De andere methoden (fSQI/dSQI) gaven dit signaal een hoge score omdat ze alleen naar de signaalvorm keken en niet naar de specifieke fout van het algoritme.

• Hyperparameter Sensitiviteit: De studie toonde aan dat de optimale SNR-waarden afhangen van de taak. Robuuste taken (zoals R-topdetectie) tolereren meer ruis, terwijl fijnere taken (zoals P-golf detectie) minder ruis vereisen voor een optimale detectie.

5. Betekenis en Conclusie

• Klinische Relevantie: De pSQI biedt een manier om te garanderen dat alleen signaalsegmenten worden gebruikt die betrouwbaar zijn voor de specifieke klinische beslissing die moet worden genomen. Dit verhoogt de veiligheid van AI-gestuurde medische systemen.
• Efficiëntie: Omdat de methode geen trainingsdata vereist, is deze direct toepasbaar op nieuwe algoritmen of nieuwe datasets zonder dat er eerst een groot gelabeld dataset moet worden verzameld en getraind.
• Beperkingen: De huidige implementatie heeft een hoge rekenkosten door de iteratieve optimalisatie (CMA-ES) en vereist nog steeds een gelabeld dataset om de optimale drempelwaarde voor filtering te bepalen.
• Toekomst: Verdere onderzoek richt zich op het versnellen van de optimalisatie voor differentieerbare modellen en het formuleren van wiskundige garanties voor de vereisten.

Samenvattend introduceert dit werk een paradigmaverschuiving: van algemene signaalkwaliteit naar contextuele signaalkwaliteit, waarbij de kwaliteit wordt gemeten aan de hand van de impact op de uiteindelijke taakprestatie.