VideoPulse: Neonatal heart rate and peripheral capillary oxygen saturation (SpO2) estimation from contact free video

Dit paper introduceert VideoPulse, een dataset en een end-to-end pipeline die contactloze schattingen van hartslag en SpO2 bij neonaten mogelijk maakt via gezichtsvideo's, waardoor een niet-invasief en kosteneffectief bewakingssysteem voor de neonatologie wordt gerealiseerd.

De kern

Stel je voor dat je een pasgeboren baby in de couveuse moet bewaken. Normaal gesproken plakken artsen kleine, plakkerige sensoren op de huid van de baby om te kijken of het hartje goed klopt en of de zuurstof in het bloed goed is. Voor een baby met zo'n kwetsbare, dunne huid kan dat echter vervelend zijn, net als een pleister dat je te vaak moet afplakken. Het kan de huid irriteren en het risico op infecties vergroten.

De onderzoekers van dit paper, VideoPulse, hebben een slimme oplossing bedacht: geen sensoren meer, gewoon een camera.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Onzichtbare Hartslag" (rPPG)

Wanneer je hart klopt, stroomt er een golfje bloed door je aderen. Dit gebeurt zo snel dat je het met het blote oog niet ziet, maar je huid wordt op dat moment heel subtiel iets roder.

• De Analogie: Stel je voor dat je huid een heel dunne, transparante doek is. Als er meer bloed doorheen stroomt, wordt de doek een heel klein beetje roder. Een gewone webcam kan dit niet zien, maar de software van VideoPulse is als een super-scherpe detective. Hij kijkt naar duizenden beelden per seconde en ziet die microscopische kleurveranderingen. Zo kan hij de hartslag "horen" zonder dat er iets op de huid hoeft te zitten.

2. Het Grote Probleem: De "Draaiende Baby"

Bij volwassenen zitten ze vaak stil voor de camera. Pasgeboren baby's? Die draaien, wiegen, bewegen en kijken soms schuin.

• Het Probleem: Als de camera de baby niet goed kan vinden omdat hij draait, raakt de software de "spoor" kwijt. Het is alsof je probeert een danser te filmen die constant van richting verandert; als je camera niet meedraait, zie je alleen een wazige vlek.
• De Oplossing: De software heeft een slimme "hoofd-draai-robot" ingebouwd. Als de computer ziet dat de baby niet rechtop staat, draait hij het beeld virtueel bij totdat het gezicht weer recht is. Zo blijft de "detective" altijd scherp op de huid gericht, zelfs als de baby een rondje draait.

3. Het "Ruisende" Signaal (De GAN-methode)

Soms is de meting van de echte hartslag (de "waarheid") ook niet perfect, omdat de baby beweegt en de sensor op de huid dan een beetje ruis pikt.

• De Analogie: Stel je voor dat je probeert een zacht gefluister te horen in een drukke fabriek. Het geluid is verstoord.
• De Oplossing: De onderzoekers hebben een AI-kunstenaar (een zogenaamde GAN) getraind. Deze kunstenaar kijkt naar het verstoord geluid en "schildert" het originele, schone geluid er weer bovenop. Hij verwijdert de ruis van de beweging, zodat de computer precies weet hoe de hartslag er echt uitziet om te leren.

4. Het Nieuwe "Spelbord" (De VideoPulse Dataset)

Tot nu toe hadden onderzoekers vooral data van volwassenen of van één specifieke groep baby's. Dat is alsof je alleen maar hebt geoefend met een bal op gras, en dan ineens moet spelen op zand.

• De Bijdrage: De onderzoekers hebben een nieuw trainingsveld gecreëerd genaamd VideoPulse. Ze hebben 52 baby's in Sri Lanka gefilmd met een gewone webcam, terwijl ze tegelijkertijd hun hartslag en zuurstofgehalte maten. Dit is als een nieuwe, uitgebreide trainingsset voor de computer, zodat hij leert om ook baby's met een andere huidskleur en in een drukke ziekenhuiskamer goed te kunnen meten.

5. Het Resultaat: Snel en Accuraat

Het mooiste is dat dit systeem extreem snel is.

• De Prestatie: De computer kan de hartslag en de zuurstofwaarde berekenen op basis van een video van slechts 2 seconden. Dat is net zo snel als het tellen van twee flitsen van een camera.
• De Vergelijking: Vroeger moesten ze vaak 6 seconden wachten om een goed resultaat te krijgen. Nu is het resultaat er bijna direct. De foutmarge is zo klein dat het binnen de medische regels valt.

Conclusie

Kortom: VideoPulse is als een magische, aanrakingsloze monitor. Het gebruikt een simpele webcam en slimme software om te kijken naar de kleurveranderingen in de huid van een baby. Door slimme trucjes (zoals het rechtzetten van het beeld en het "schoonmaken" van de data) kan het de hartslag en zuurstofwaarde meten zonder dat de baby last heeft van plakkerige sensoren.

Dit is een grote stap naar een toekomst waarin baby's in het ziekenhuis comfortabeler kunnen slapen en artsen hen beter kunnen bewaken, zonder de huid aan te raken. Het is technologie die werkt als een onzichtbare, zorgzame hand.

Technische samenvatting

Probleemstelling

In de neonatale zorg (NICU) is continue monitoring van vitale tekenen zoals hartfrequentie (HR) en perifere capillaire zuurstofverzadiging (SpO2) cruciaal. De conventionele methoden vereisen echter contact met de huid via adhesieve sensoren of sondes. Bij pasgeborenen kan dit leiden tot huidirritatie, schade aan de kwetsbare huid en een verhoogd risico op infecties.

Hoewel Remote Photoplethysmography (rPPG) een contactloos alternatief biedt door subtiele kleurschommelingen in gezichtsvideo's te analyseren, zijn bestaande oplossingen beperkt:

1. Gebrek aan data: De meeste rPPG-modellen zijn getraind op volwassenen. Er is een groot tekort aan openbare datasets voor neonaten, en bestaande datasets (zoals NBHR) hebben beperkte demografische diversiteit.
2. Uitdagingen in de praktijk: Neonatale video's bevatten vaak beweging, variatie in houding (rotatie), wisselende belichting en kleine gezichtsoppervlakken, wat de signaalkwaliteit verlaagt.
3. SpO2-estimatie: Waar HR-estimatie relatief goed onderzocht is, is contactloze SpO2-estimatie bij neonaten nog nauwelijks onderzocht met diepe learning-methoden.

Methodologie

De auteurs presenteren VideoPulse, een end-to-end systeem dat HR en SpO2 schat uit RGB-gezichtsvideo's, gecombineerd met een nieuwe dataset.

1. Datacollectie en Preprocessing:

• VideoPulse Dataset: Een nieuwe dataset verzameld in Sri Lanka met 157 video-opnames van 52 neonaten (0-6 dagen oud). De opnames bevatten gesynchroniseerde RGB-video en grondwaarheid (ground-truth) PPG/SpO2-data van een pulse-oximeter. De dataset omvat variatie in gezichtshouding (inclusief rotatie) om robuustheid te testen.
• Preprocessing:
  • Gezichtsdetectie en Alignering: Gebruik van een YOLOv5-detectormodel (getraind op volwassenen) dat robuuster bleek dan RetinaFace voor neonaten. Om rotatieproblemen op te lossen, worden frames in stappen van 90° gedraaid totdat een gezicht wordt gedetecteerd.
  • Denoising van Grondwaarheid: Neonatale PPG-signalen zijn vaak ruisig door beweging. De auteurs gebruiken een GAN-gebaseerd reconstructieproces (ondersteund door een SVM voor ruisdetectie) om de grondwaarheidssignalen te schonen.
  • Normalisatie: Tijdelijke verschilnormalisatie wordt toegepast om statische achtergronden te onderdrukken en pulsgerelateerde intensiteitsvariaties te benadrukken.

2. Modelarchitectuur:

• Backbone: Het systeem maakt gebruik van PhysNet, een compacte 3D-CNN-architectuur die goed presteert op korte tijdsvensters.
• Hartfrequentie (HR): Het originele PhysNet-model wordt gebruikt, getraind met een negatieve Pearson-correlatieverliesfunctie om de golfvorm van het rPPG-signaal te maximaliseren.
• SpO2-estimatie:
  • Een aangepaste PhysNet-architectuur met een volledig verbonden hoofd (fully connected head) voor regressie.
  • Label Distribution Smoothing (LDS): Omdat SpO2-waarden in klinische data sterk naar de hoge kant (100%) verschuiven (ongelijke verdeling), wordt LDS toegepast om de labelverdeling te gladstrijken.
  • Gewogen RMSE: Een gewogen verliesfunctie (Weighted RMSE) wordt gebruikt waarbij zeldzame labels (lage zuurstofniveaus) zwaarder wegen om het model te dwingen ook deze kritieke gebieden goed te leren.
  • Data Augmentatie: Tijdelijke reversie (time reversal) wordt toegepast als regularisatie om het model robuuster te maken tegen bewegingsartefacten.

3. Training en Evaluatie:

• Het model wordt eerst getraind op de publieke NBHR-dataset en vervolgens fine-tuned op de nieuwe VideoPulse-dataset.
• Evaluatie gebeurt op korte vensters (2 seconden) om lage latentie te garanderen.

Belangrijkste Bijdragen

1. VideoPulse Dataset: De introductie van een nieuwe, Sri Lanka-gebaseerde neonatale dataset met gesynchroniseerde video, HR, SpO2 en PPG-data, die diversiteit in huidskleur en opnameomstandigheden toevoegt aan het veld.
2. End-to-End SpO2 Systeem: Het eerste diepe learning-systeem dat specifiek neonatale SpO2 schat uit standaard RGB-gezichtsvideo's, in plaats van alleen HR.
3. Geavanceerde Supervisie: Een innovatieve trainingsstrategie die GAN-gebaseerde signaalreconstructie combineert met Label Distribution Smoothing en gewogen regressie om de uitdagingen van ruis en labelongelijkheid in neonatale data aan te pakken.
4. Robuustheid: Het systeem presteert goed op korte, niet-uitgelijnde videosegmenten met variabele belichting en houding.

Resultaten

De prestaties worden gemeten in Mean Absolute Error (MAE) en Root Mean Square Error (RMSE).

• HR-estimatie (op NBHR dataset):
  • Bereikte een MAE van 2,97 bpm met een venster van 2 seconden (verbetering t.o.v. de state-of-the-art NBHRnet van 3,76 bpm).
  • Bij 6-seconden vensters: 2,80 bpm.
• HR-estimatie (Cross-dataset op VideoPulse):
  • Een model getraind op NBHR bereikte een MAE van 5,34 bpm op de VideoPulse dataset, wat aantoont dat transfer learning mogelijk is.
• SpO2-estimatie:
  • NBHR Dataset: MAE van 1,69% en RMSE van 2,20%.
  • VideoPulse Dataset: Na fine-tuning werd een MAE van 1,68% en RMSE van 2,18% bereikt.
  • Adult Dataset (PURE): Het model behaalde een RMSE van 0,96% op volwassen data, wat de algemene bruikbaarheid van de architectuur bevestigt.
• Latentie: Alle voorspellingen worden gegenereerd binnen 2 seconden, wat essentieel is voor real-time monitoring.

Betekenis en Conclusie

Dit werk markeert een belangrijke stap in de richting van praktische, contactloze monitoring in neonatale intensive care units (NICU's).

• Klinische relevantie: De foutmarges vallen binnen de klinisch toelaatbare toleranties (±5 bpm voor HR en ~4% voor SpO2), zelfs bij zeer korte vensters.
• Toekomstperspectief: Door het gebruik van standaard webcams en het elimineren van huidcontact, kan deze technologie de last van infectiecontrole verminderen en huidschade bij premature baby's voorkomen.
• Innovatie: Het paper bewijst dat het schatten van zowel HR als SpO2 uit RGB-video mogelijk is, zelfs met de specifieke uitdagingen van neonatale data (beweging, kleine gezichten, ruis), en legt de basis voor bredere implementatie in resource-beperkte omgevingen.