Stel je een wereld voor waarin je gezondheid kan worden gemonitord zonder een enkele draad, sensor of pleister op je huid. Dit is de belofte van een technologie genaamd remote fotoplethysmografie, een methode die een gewone videocamera verandert in een medisch instrument. Door te kijken naar de subtiele, bijna onzichtbare veranderingen in de kleur van je huid die worden veroorzaakt door je hartslag die bloed door je gezicht pompt, kunnen deze systemen een pulssignaal extraheren. Het is een krachtig concept voor telemedicijn en thuiszorg, waardoor artsen de vitale functies van een patiënt van een afstand kunnen controleren of fitness trackers mogelijk maken die geen apparaat hoeven te dragen. Echter, jarenlang heeft deze technologie gestreden met een fundamenteel probleem: het signaal van het hart is ongelooflijk zwak en wordt gemakkelijk overstemd door de ruis van hoofdbewegingen, verschuivende lichten of de compressie-artefacten van digitale video. Het reconstrueren van een helder, accuraat hartslagssignaal uit dergelijke rommelige gegevens is een aanzienlijke hindernis gebleven in het veld van intelligente gezondheidssensing.

Een nieuwe studie introduceert een oplossing die ontworpen is om door deze ruis heen te snijden, wat een betrouwbaardere manier biedt om de pols uit een video af te lezen. De onderzoekers ontwikkelden een systeem dat de video niet alleen behandelt als een opeenvolging van beelden, maar als een complexe interactie van tijd, ruimte en kleur, die allemaal worden beheerst door het ritme van het menselijk hart. In plaats van te proberen één enkel wiskundig model te dwingen om het hele probleem in één keer op te lossen, bouwde het team een raamwerk dat in twee complementaire stadia werkt. Eerst creëert het een stabiele, initiële schatting van de hartslaggolf door zorgvuldig te wegen welke delen van het gezicht op elk gegeven moment het meest betrouwbaar zijn. Vervolgens gebruikt het een tweede, verfijnend proces om de kleine fouten en vervormingen te corrigeren die onvermijdelijk door de eerste fase glippen. Deze tweeledige aanpak stelt het systeem in staat om het gestage ritme van het hart te behouden en tegelijkertijd de fijne, grillige details van de pulsgolf te vangen die in andere methoden vaak verloren gaan.

De kern van dit nieuwe systeem berust op een verfijnde manier van naar het gezicht kijken. In plaats van het gezicht te behandelen als één blok pixels, verdelen de onderzoekers het in een raster van kleine regio's. Ze analyseren vervolgens elke regio afzonderlijk door te vragen hoeveel huid er zichtbaar is, hoe helder het is en of het beweegt. Dit stelt het systeem in staat om gebieden te negeren die onbetrouwbaar zijn, zoals een stuk huid dat verborgen wordt door een hand of een regio die wordt overstraald door een felle reflectie, terwijl het de aandacht richt op het voorhoofd en de wangen waar het pulssignaal het sterkst is. Cruciaal is dat het systeem niet alleen naar de kleur van de huid kijkt; het kijkt ook naar hoe die kleur van het ene naar het andere frame verandert en vergelijkt deze veranderingen met bekende fysiologische patronen. Door deze verschillende bronnen van informatie te combineren, bouwt het systeem een "vertrouwensgewogen" beeld van de hartslag, waardoor wordt gewaarborgd dat het uiteindelijke resultaat gebaseerd is op het meest solide bewijs dat beschikbaar is.

Om de complexe timing van de hartslag te hanteren, introduceerden de onderzoekers een methode die begrijpt hoe verschillende delen van het gezicht en verschillende momenten in de tijd met elkaar verbonden zijn. Ze ontdekten dat de hartslag een gesynchroniseerde respons over het hele gezicht creëert, waarbij het bloedvolume in een gecoördineerd patroon stijgt en daalt. Hun systeem modelleert deze hogere-orde verbindingen, waarbij het herkent dat een verandering in de linkerwang gerelateerd is aan een verandering in de rechterwang en dat deze veranderingen in een specifieke cyclus herhalen. Hierdoor kan het systeem het ware ritme van het hart onderscheiden van willekeurige ruis of beweging die misschien op een pols lijkt, maar de juiste periodieke structuur mist. Door deze kennis van cardiale periodiciteit direct in het aandachtmechanisme (attention mechanism) te injecteren, wordt het systeem veel beter in het negeren van valse alarmen veroorzaakt door beweging of lichtveranderingen.

De tweede grote innovatie ligt in de manier waarop het systeem de uiteindelijke hartslaggolf genereert. Eerdere methoden probeerden het volledige pulssignaal vaak in één stap te voorspellen, wat vaak resulteerde in een uitgevlakt versie van de hartslag die belangrijke details zoals de scherpe pieken en dalen van de pulsgolf miste. De nieuwe aanpak splitst deze taak op. Het produceert eerst een stabiel, dominant ritme dat dient als een betrouwbaar anker. Vervolgens gebruikt het een verfijningsproces om de specifieke correcties te leren die nodig zijn om dat anker om te zetten in een hoogwaardige golfvorm. Deze verfijningsstap werkt als een fijninstelmechanisme dat kleine faseverschuivingen en morfologische fouten corrigeert die de initiële voorspelling heeft gemist. De uiteindelijke output is een mengeling van het stabiele anker en de verfijnde correctie, waarbij zowel het gestage ritme als de ingewikkelde vorm van de puls behouden blijven.

De onderzoekers testten dit systeem op drie verschillende datasets, variërend van gecontroleerde laboratoriumopnames tot video's gemaakt met mobiele telefoons onder realistische omstandigheden. In de meest gecontroleerde setting bereikte het systeem een gemiddelde fout van slechts 0,04 slagen per minuut, een precisieniveau dat bijna niet te onderscheiden is van de referentiestandaard. Zelfs in de meer uitdagende mobiele telefoonvideo's, waarbij proefpersonen liepen, praatten of bewogen onder wisselende lichtomstandigheden, behield het systeem een lage foutmarge en presteerde het aanzienlijk beter dan bestaande methoden. De studie toonde ook aan dat het systeem goed kan generaliseren naar nieuwe, ongeziene data, door succesvol hartslagen te schatten uit video's die het nog nooit eerder had gezien zonder dat het opnieuw getraind hoefde te worden. Dit suggereert dat het systeem de fundamentele regels heeft geleerd van hoe het hart de huidkleur beïnvloedt, in plaats van alleen specifieke patronen uit de trainingsdata te hebben onthouden.

Naast het simpelweg tellen van de hartslagen, bleek het systeem in staat te zijn de werkelijke vorm van de pulsgolf te reconstrueren. Wanneer de onderzoekers de gereconstrueerde golven vergeleken met de ware signalen, vonden ze dat de timing van de pieken en de algemene vorm opmerkelijk vergelijkbaar waren. Dit is een cruciaal onderscheid, aangezien de vorm van de pulsgolf waardevolle informatie bevat over de cardiovasculaire gezondheid die een simpel hartslaggetal niet kan bieden. Het systeem was in staat deze details te behouden, zelfs wanneer de video ruisig was of de proefpersoon bewoog, wat aangeeft dat het tweestapsontwerp effectief het ware fysiologische signaal scheidt van de interferentie.

De studie onderzocht ook hoe het systeem zich gedraagt onder moeilijke omstandigheden, zoals wanneer een proefpersoon loopt of wanneer het licht fel is. Ze vonden dat hoewel beweging en fel licht fouten introduceren, het vermogen van het systeem om onbetrouwbare regio's uit te filteren en zich te concentreren op de meest stabiele delen van het gezicht, de algehele prestaties robuust houdt. De fouten die optraden, waren vaak geconcentreerd in een klein aantal zeer moeilijke sequenties, wat suggereert dat het systeem het overgrote deel van de real-world scenario's met hoge betrouwbaarheid afhandelt. Bovendien toonden de onderzoekers aan dat de aandachtskaarten (attention maps) van het systeem correct de huidgebieden op het voorhoofd en de wangen highlighten, wat bevestigt dat het inderdaad de fysiologische signalen gebruikt waarvoor het is ontworpen, in plaats van te vertrouwen op schijnbare correlaties.

Uiteindelijk vertegenwoordigt dit werk een belangrijke stap voorwaarts in het praktisch en nauwkeurig maken van contactvrije gezondheidsmonitoring. Door een diep begrip van fysiologische ritmes te combineren met een flexibel, tweestaps decoderingproces, hebben de onderzoekers een systeem gecreëerd dat zowel precies als veerkrachtig is. Het raadt niet alleen de hartslag; het reconstrueert de puls met een mate van getrouwheid die de deur opent naar meer geavanceerde gezondheidsapplicaties. De resultaten suggereren dat met de juiste combinatie van signaalverwerking en machine learning, de gewone camera inderdaad een krachtig instrument kan worden om het menselijk lichaam te begrijpen, waardoor we dichter bij een toekomst komen waarin gezondheidsmonitoring naadloos, onopvallend en beschikbaar is voor iedereen.