SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware

Stel je een wereld voor waarin je hartslag kan worden afgelezen zonder een enkele draad, een enkele sensor of een enkele aanraking. Dit is de belofte van camera-gebaseerde gezondheidsmonitoring, een veld dat gewone video verandert in een venster op het meest vitale ritme van het lichaam. De wetenschap hierachter berust op een eenvoudige, onzichtbare waarheid: elke keer dat je hart slaat, pompt het een kleine golf van bloed door je gezicht, waardoor de kleur van je huid met een fractie van een procent verandert. Deze veranderingen zijn te klein voor het menselijk oog om te zien, maar een camera kan ze wel vastleggen. Door deze subtiele verschuivingen in licht en kleur te analyseren, is het mogelijk om te berekenen hoe snel een hart klopt. Deze technologie wordt nu al overwogen voor gebruik in auto's om vermoeidheid bij bestuurders te monitoren, in ziekenhuizen om patiënten te volgen, en in slimme huizen om op ouderen te letten. Echter, om dit in de echte wereld te laten werken, moet de computer die de berekeningen uitvoert snel genoeg zijn om het tempo van de video bij te houden, en moet hij klein en efficiënt genoeg zijn om te draaien op een apparaat dat op een plank of in een zak past, en niet alleen in een massaal datacenter.

Een team onderzoekers aan de Northeastern University heeft een nieuw systeem gebouwd dat specifiek is ontworpen om dit probleem van snelheid en omvang op te lossen. Ze noemen hun creatie SIR-PhysNet, een pipeline die fungeert als een volledige workflow om ruwe video om te zetten in een hartslaggetal. De kernuitdaging waar zij voor stonden was niet alleen om de wiskunde accuraat te maken, maar om ervoor te zorgen dat het hele proces zijn taak kon voltooien voordat het volgende frame van de video arriveerde. In hun opstelling moet het systeem een videostream verwerken, een gezicht vinden, het beeld opschonen en elke 2,5 seconde een nieuwe schatting van de hartslag berekenen. Als de computer te lang duurt, loopt het systeem achter, wordt de data nutteloos en faalt de monitoring. De onderzoekers ontdekten dat de grootste flessenhals niet het complexe brein van het systeem was, maar de ogen die naar het gezicht zochten.

Om een systeem te bouwen dat kon draaien op een Raspberry Pi 5, een kleine, betaalbare computer die vaak wordt gebruikt door hobbyisten en ingenieurs, moest het team heroverwegen hoe het werk werd verdeeld. De meeste eerdere pogingen probeerden één enkel, massief computerprogramma alles te leren doen: het gezicht vinden, schaduwen negeren, hoofdbewegingen afhandelen en de hartslag berekenen, allemaal tegelijk. Deze aanpak vereiste veel geheugen en rekenkracht, waardoor het te traag was voor kleine apparaten. De nieuwe aanpak, SIR-PhysNet, splitst de taak op in twee duidelijke delen. Eerst gebruikt het eenvoudige, vaste regels om het beeld voor te bereiden. Voordat de computer ooit naar de video kijkt om een patroon te vinden, gebruikt het standaard beeldtools om het gezicht vast te leggen, de hoek van het hoofd te corrigeren en de effecten van veranderend licht te verwijderen. Deze stap is als het plaatsen van een lijst rond een schilderij en het schoonmaken van het glas voordat je probeert de kunst te analyseren; het maakt de taak veel gemakkelijker voor de computer die volgt. Door dit zware werk met eenvoudige tools te doen, konden de onderzoekers het complexe deel van het systeem verkleinen tot een minimale omvang, waarbij slechts een fractie van het geheugen en de kracht van andere modellen nodig is.

Het tweede deel van het systeem is de eigenlijke hartslagcalculator. Omdat het beeld al door de eerste stap is schoongemaakt en gestabiliseerd, hoeft dit deel van het systeem geen gigantisch, zwaar netwerk te zijn. Het is een compact model met slechts 0,26 miljoen parameters, een getal dat de hoeveelheid informatie vertegenwoordigt die het moet onthouden. In plaats van te proberen de volledige vorm van de bloedpulsgolf te reconstrueren, wat een complexe en onnodige taak is voor het simpelweg tellen van hartslagen, voorspelt dit model direct de dominante frequentie van de hartslag. Het gebruikt vervolgens een wiskundig filter om de frequentie uit het signaal te extraheren. Deze ontwerpkeuze betekent dat het systeem ongelooflijk efficiënt is en slechts 0,12 gigaflops aan rekenkracht gebruikt, een maatstaf voor hoeveel berekeningen het per seconde uitvoert.

De onderzoekers testten hun systeem op verschillende verschillende video-datasets, waaronder opnames van mensen die op een loopband sporten, waarbij hoofdbeweging en zweet de taak zeer moeilijk maken. Op een standaard, gecontroleerde dataset behaalde het systeem een nauwkeurigheid die die van grotere, complexere modellen evenaarde of overtrof. Op de moeilijke loopband-dataset produceerde het een gemiddelde fout van slechts 3,39 hartslagen per minuut, een resultaat dat vergelijkbaar is met systemen die tien keer groter zijn. Dit bewees dat door het beeld eerst schoon te maken, het systeem klein en snel kon blijven zonder het vermogen te verliezen om met de chaos van de echte wereld om te gaan.

Om te zien of het systeem daadwerkelijk kon draaien op de kleine hardware waarvoor het was ontworpen, installeerde het team het op een door een ventilator gekoelde Raspberry Pi 5. Ze lieten het systeem acht uur lang onafgebroken draaien en verwerkten meer dan 800.000 videoframes. De resultaten waren duidelijk: het systeem behield een constante snelheid van 34,60 frames per seconde, waarmee het ruim boven de vereiste 30 frames per seconde lag om het tempo van de videostroom bij te houden. De temperatuur van de computer steeg tot een piek van 68,85 graden Celsius, maar het systeem vertraagde nooit of schakelde niet uit door de hitte. De meest verrassende bevinding kwam uit het kijken naar waar de tijd aan werd besteed. De complexe hartslagberekening, het deel waarvan men aanneemt dat het het moeilijkst is, nam slechts ongeveer 13 procent van de tijd in beslag die beschikbaar was voor elke update. De andere 70 procent van de tijd werd besteed aan het simpelweg vinden van het gezicht en het aanpassen van het beeld.

Deze ontdekking veranderde het begrip van wat deze systemen beperkt. De onderzoekers ontdekten dat de snelheid van de hartslagmonitor niet werd tegengehouden door de intelligentie van het computermodel, maar door de inspanning die nodig is om het gezicht in de video te vinden en te volgen. Ze testten een strategie waarbij het systeem slechts eens in de paar frames naar het gezicht zocht en een eenvoudigere methode gebruikte om te raden waar het zich tussendoor bewoog. Deze "detect-and-track"-aanpak stelde het systeem in staat om te versnellen naar bijna 47 frames per second, wat bewees dat er veel ruimte is om deze monitors nog sneller te maken als de stap van het gezicht vinden wordt geoptimaliseerd.

De studie concludeert dat voor camera-gebaseerde hartslagmonitoring op kleine apparaten de sleutel tot succes niet het bouwen van een groter, slimmer brein is, maar het bouwen van een beter stel ogen en een betere workflow. Door de rommelige delen van de echte wereld af te handelen met eenvoudige, voorspelbare tools voordat de data het complexe model bereikt, kan het systeem klein genoeg blijven om te draaien op een apparaat ter grootte van een pakka kaarten. De onderzoekers merken er voorzichtig bij op dat hoewel hun systeem goed werkt op de specifieke video's die ze hebben getest, het nog niet bewezen is dat het werkt bij alle soorten camera's, lichtomstandigheden of huidtinten. Ze wijzen er ook op dat hun systeem is ontworpen om een algemeen hartslaggetal te geven, en niet om hartziekten te diagnosticeren of onregelmatige ritmes te detecteren. Echter, het werk biedt een duidelijke weg vooruit: om gezondheidsmonitoring echt draagbaar en toegankelijk te maken, moet de focus verschuiven van het complexer maken van de modellen naar het efficiënter en evenwichtiger maken van de gehele pipeline, van de cameralens tot het uiteindelijke getal.