Generalizable deep learning for photoplethysmography-based blood pressure estimation -- A Benchmarking Study

Deze studie toont aan dat, hoewel diepe leermodellen voor het schatten van bloeddruk uit PPG-signalen binnen hun trainingsdataset goed presteren, hun generalisatie naar externe datasets beperkt is door verschillen in bloeddrukverdelingen, wat de noodzaak van domeinadaptatie en zorgvuldige benchmarking benadrukt.

De kern

De "PPG-Bloeddrukmeter" en de Grote Verwarring: Een Simpele Uitleg

Stel je voor dat je een slimme horloge hebt dat je bloeddruk kan meten zonder die vervelende, knellende armband (de cuff). Dit horloge gebruikt een kleine lampje in je vinger (een PPG-sensor) om je hartslag en bloedstroom te zien. De grote droom is: een app die je bloeddruk perfect voorspelt, gewoon op basis van dat lichtsignaal.

Deze paper is als het ware een grote test om te kijken of de slimme computers (diep leermodellen) die we hebben gebouwd voor dit doel, ook echt slim zijn in het echte leven, of dat ze alleen maar goed zijn in het leren van hun eigen huiswerk.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Schoolvoorbeeld" vs. De "Reële Wereld"

Stel je voor dat je een student (de computer) traint om auto's te herkennen. Je laat hem alleen foto's zien van rode auto's op een zonnige dag. Als je hem daarna vraagt om een blauwe auto te herkennen op een regenachtige dag, faalt hij. Hij heeft namelijk niet geleerd wat een auto is, maar alleen hoe die specifieke rode auto's eruitzien.

In de wetenschap noemen we dit:

• ID (In-Distribution): De student maakt de toets met dezelfde rode auto's op zonnige dagen. Hij haalt een 10.
• OOD (Out-of-Distribution): De student moet een toets maken met blauwe auto's in de regen. Hier haalt hij vaak een onvoldoende.

De onderzoekers van dit paper zeggen: "Veel eerdere studies lieten alleen die 'rode auto'-toetsen zien. Maar in het echte leven komen we tegen blauwe auto's in de regen aan!"

2. De Grote Test (De Benchmark)

De onderzoekers hebben een enorme database gebruikt (PulseDB) met duizenden uur aan hartslagdata van ziekenhuispatiënten. Ze hebben vijf verschillende "slimme leerlingen" (deep learning modellen) getraind.

• De Les: Ze trainden de modellen op deze grote database.
• De Proef: Ze lieten de modellen hun huiswerk maken op dezelfde database (ID) én op vier andere, heel verschillende databases van buitenaf (OOD). Deze andere databases hadden andere sensoren, andere patiënten (gezond vs. ziek) en andere meetmethoden.

Het Resultaat:

• Op hun eigen huiswerk (ID) deden de modellen het prima. Ze voorspelden de bloeddruk redelijk nauwkeurig.
• Maar zodra ze naar de "nieuwe school" (externe datasets) gingen, vielen ze flink door de mand. De voorspellingen waren vaak te hoog of te laag.

De Les: De modellen waren te specifiek geworden voor de data waarmee ze waren getraind. Ze hadden de "trucs" van die ene database geleerd, in plaats van de algemene wetten van de bloeddruk.

3. Waarom ging het mis? (De "Drukkings" Verschillen)

De onderzoekers ontdekten dat het grootste probleem de verdeling van de bloeddrukwaarden was.

• Stel, je trainde een model alleen op mensen met een hoge bloeddruk. Als je dat model dan op mensen met een lage bloeddruk test, zal het denken: "Alles is hoog!" en fouten maken.
• Het is alsof je een weegschaal kalibreert met alleen zware bakstenen. Als je er daarna een veer op legt, zal de weegschaal denken dat de veer ook zwaar is.

4. De Oplossing: Een Slimme "Gewichtjes"-Truc

De onderzoekers probeerden een simpele truc om dit op te lossen, genaamd Domain Adaptation (gebiedaanpassing).

Stel je voor dat je een leraar hebt die zijn klas voorbereidt op een examen. Hij merkt dat het examen van de volgende klas (de testgroep) meer vragen heeft over "lage bloeddruk" dan de vragen waar hij zijn klas op heeft geoefend.
In plaats van de hele klas opnieuw te leren, zegt hij: "Jullie hebben veel geoefend op hoge bloeddruk, maar omdat het examen meer lage bloeddruk-vragen heeft, gaan we die oefeningen die op lage bloeddruk lijken, extra belangrijk maken."

In de computerwereld noemen ze dit Importance Weighting:

• Ze gaven de trainingsdata die leek op de "nieuwe" data een zwaarder gewicht.
• Ze gaven de data die totaal niet leek op de nieuwe data een lichter gewicht.

Het Effect:
Dit hielp! De modellen werden iets robuuster. Ze maakten minder grote fouten als ze naar een nieuwe database werden gestuurd. Het was niet perfect, maar het was een stap in de goede richting.

5. De Belangrijkste Conclusie voor de Toekomst

De onderzoekers trekken drie belangrijke conclusies:

1. Wees voorzichtig met "perfecte" resultaten: Als een model op een dataset een perfecte score haalt, betekent dat nog niet dat het werkt in het ziekenhuis of bij jou thuis.
2. Kies je data slim: Niet elke database is even goed om te trainen. De onderzoekers vonden dat bepaalde databases (zoals de "VitalDB" subset) beter werkten voor generalisatie dan andere (zoals "MIMIC").
3. We moeten nog hard werken: De huidige technologie is nog niet goed genoeg voor medisch gebruik. De foutmarges zijn nog te groot. Maar door te testen op verschillende datasets en slimme trucjes zoals gewichtjes te gebruiken, komen we dichter bij een betrouwbare, draagbare bloeddrukmeter.

Kortom: De slimme computers zijn nu nog te "bange" voor nieuwe situaties. Ze moeten leren om niet alleen hun eigen huiswerk te kennen, maar ook de wereld om hen heen. Deze paper helpt ons te begrijpen hoe we dat kunnen doen.

Technische samenvatting

Probleemstelling

De schatting van bloeddruk (BP) op basis van fotoplethysmografie (PPG) wordt gezien als een veelbelovend, niet-invasief alternatief voor traditionele manchet-metingen. Hoewel er recentelijk veel diepe leermodellen (Deep Learning - DL) zijn ontwikkeld die BP direct uit ruwe PPG-golven voorspellen, vertonen deze modellen een kritieke zwakte: ze worden bijna uitsluitend geëvalueerd op in-distribution (ID) testsets. Dit betekent dat de trainings- en testdata uit dezelfde verdeling komen.

In de realiteit van klinische toepassingen werken modellen echter vaak met out-of-distribution (OOD) data, waarbij testsets kunnen verschillen van trainingsdata in termen van:

• Verdelingen van bloeddrukwaarden.
• Gebruikte sensoren en hardware.
• Signaalkwaliteit.
• Fysiologische kenmerken van de patiënten.

De huidige literatuur mist een uitgebreide benchmarking die de generaliseerbaarheid van deze modellen naar externe, onbekende datasets onderzoekt.

Methodologie

1. Dataverzameling en Voorbereiding

• Trainingsdata: De auteurs gebruikten PulseDB, een grote, hoogwaardige dataset afkomstig van MIMIC-III en VitalDB. Deze dataset bevat meer dan 5 miljoen segmenten van PPG- en arteriële bloeddruk (ABP) golven.
• Subsets: PulseDB werd opgesplitst in negen subsets gebaseerd op drie scenario's:
  • Calib: Patiënten komen zowel in trainings- als testset voor (calibratie mogelijk).
  • CalibFree: Geen overlap in patiënten tussen trainings- en testset (generalisatie naar nieuwe patiënten).
  • AAMI: Een strikt protocol volgens de AAMI-standaard, met nadruk op de uitersten van de bloeddrukverdeling.
• Externe Testdata: Vier externe datasets (Sensors, UCI, BCG, PPGBP) werden gebruikt om de OOD-prestaties te evalueren. Deze verschillen aanzienlijk van PulseDB in grootte, signaalkwaliteit en populatie.

2. Modelarchitecturen
Er werden vijf state-of-the-art deep learning modellen getest:

• CNN's: LeNet1D, XResNet1d50, XResNet1d101, en Inception1D.
• State Space Models: Een Structured State Space Sequence (S4) model, bekend om het vastleggen van lange-afstand afhankelijkheden.
• Alle modellen voorspellen zowel systolische (SBP) als diastolische (DBP) bloeddruk gelijktijdig.

3. Evaluatiemetrics

• Primair: Mean Absolute Error (MAE) in mmHg.
• Secundair: Bland-Altman analyse (bias en limieten van overeenstemming) om systematische afwijkingen te detecteren.
• Statistiek: Empirische bootstrapping om statistische significantie te bepalen.

4. Domeinadaptatie (Domain Adaptation)
Om de prestaties op OOD-data te verbeteren, onderzochten de auteurs een eenvoudige sample-based domain adaptation techniek:

• Importance Weighting: De auteurs pasten een gewogen empirisch risicominimalisatie aan. Ze berekenden wegingen voor trainingsamples op basis van de verschillen in de labelverdeling (bloeddruk) tussen de bron-domein (trainingsdata) en het doel-domein (testdata).
• Het doel was om de trainingsdata te herschikken zodat deze meer lijkt op de verdeling van de testdata, zonder individuele labels van de testdata te hoeven kennen (alleen de verdeling).

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: Dit is een van de eerste studies die DL-modellen voor PPG-gebaseerde bloeddrukschatting uitgebreid test op zowel ID als OOD generalisatie, gebruikmakend van de grote PulseDB dataset.
2. Analyse van Generalisatie: De studie identificeert dat ID-prestaties vaak een te optimistisch beeld geven van de werkelijke prestaties. Er wordt een sterke correlatie gevonden tussen de prestatie en de verschillen in bloeddrukverdelingen tussen datasets.
3. Validatie van Domeinadaptatie: Het onderzoek toont aan dat een eenvoudige importance-weighting strategie, gebaseerd op labelverdelingen, de OOD-prestaties aanzienlijk kan verbeteren.
4. Praktische Aanbevelingen: De auteurs geven concrete richtlijnen voor het kiezen van trainingsdata en scenario's om robuuste modellen te bouwen.

Resultaten

1. Modelprestaties op PulseDB (ID)

• Het beste model was XResNet1d101.
• Calib-scenario: MAE van 9,0 mmHg (SBP) en 5,8 mmHg (DBP).
• CalibFree/AAMI-scenario: MAE steeg naar 13,9 mmHg (SBP) en 8,5 mmHg (DBP) zonder calibratie.
• Interessant genoeg presteerde het eenvoudigere LeNet1D model verrassend goed in CalibFree-scenario's, soms beter dan complexere modellen, wat suggereert dat overfitting op specifieke patiëntpatronen in Calib-scenario's een rol speelt.

2. OOD Generalisatie op Externe Data

• Zonder domeinadaptatie varieerden de MAE's op externe datasets sterk:
  • SBP: 10,0 tot 18,6 mmHg.
  • DBP: 5,9 tot 10,3 mmHg.
• Dataset Invloed: Modellen getraind op het VitalDB-subset (of de gecombineerde dataset) generaliseerden over het algemeen beter dan modellen getraind op MIMIC. MIMIC-gebaseerde modellen vertoonden vaak zeer slechte prestaties op externe data.
• Scenario Invloed: De AAMI Vital-subset bleek de beste generalisatie te bieden, waarschijnlijk vanwege de bredere bloeddrukverdeling die beter overeenkomt met diverse populaties.

3. Effect van Importance Weighting

• Het toepassen van importance weighting leidde tot verbeteringen in 53% van de ID-cases en 55% van de OOD-cases.
• De gemiddelde verbetering op externe datasets was aanzienlijk: +2,66 mmHg voor SBP en +0,86 mmHg voor DBP.
• Vooral voor MIMIC-gebaseerde modellen die op externe data werden getest, was de verbetering drastisch (soms meer dan 10 mmHg daling in MAE).
• De AAMI Vital-subset met importance weighting leverde de meest consistente en beste resultaten op alle externe datasets.

4. Bland-Altman Analyse

• Er werd een sterke negatieve bias waargenomen bij AAMI-testsets (onder schatting van de bloeddruk), wat wijst op een fundamenteel verschil in de verdeling van de bloeddrukwaarden tussen de trainings- en testpopulaties.

Significantie en Conclusie

Deze studie benadrukt dat in-distribution prestaties geen betrouwbare maatstaf zijn voor de bruikbaarheid van PPG-bloeddrukmodellen in de echte wereld. De belangrijkste bevindingen zijn:

1. Data-keuze is cruciaal: Het gebruik van MIMIC als primaire trainingsbron kan leiden tot slechte generalisatie. Het VitalDB-subset, en specifiek in AAMI- of CalibFree-scenario's, biedt een robuustere basis voor generalisatie.
2. Verdelingsverschillen: De belangrijkste oorzaak van falende generalisatie is het verschil in de bloeddrukverdeling tussen trainings- en testdata.
3. Eenvoudige oplossingen werken: Een simpele domeinadaptatie techniek (importance weighting op basis van labelverdelingen) kan de prestaties aanzienlijk verbeteren zonder complexe algoritmen.
4. Klinische Haalbaarheid: Hoewel de resultaten vooruitgang tonen, voldoen de huidige MAE-scores (vaak >7 mmHg) nog niet volledig aan de strenge IEEE-standaarden voor klinisch gebruik (Grade D). De auteurs pleiten voor verdere research in self-supervised learning, het gebruik van foundation models, en het integreren van klinische metadata om de prestaties verder te verhogen.

Kortom, dit werk dient als een noodzakelijk waarschuwing en een blauwdruk voor de gemeenschap om zich te richten op OOD-evaluatie en domeinadaptatie in plaats van alleen op ID-benchmarks.