CardiacMamba: Fair and Robust RGB-RF Fusion for Remote Heart Rate Estimation via State Space Modeling
CardiacMamba is een eerlijk en robuust framework voor remote hartslagmeting dat state-space modeling gebruikt om RGB- en RF-signalen te fuseren, waarmee het de state-of-the-art prestaties bereikt op de EquiPleth-dataset terwijl het de huidskleurbias aanzienlijk vermindert en de veerkracht tegen veranderende lichtomstandigheden en sensorverslechtering behoudt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het meten van een hartslag zonder de huid aan te raken is al lang een droom van de medische technologie, die een manier belooft om de gezondheid te monitoren die onzichtbaar en onopvallend is. Jarenlang hebben wetenschappers vertrouwd op camera's om dit vitale teken vast te leggen. Door de subtiele, ritmische veranderingen in de huidskleur vast te leggen die worden veroorzaakt door het bloed dat door het gezicht stroomt, kunnen deze camera-gebaseerde systemen de hartslag inschatten. Deze methode, bekend als remote fotoplethysmografie, werkt goed onder ideale omstandigheden, maar heeft moeite wanneer het licht verandert, wanneer een persoon beweegt, of wanneer de camera donkere huidtinten ziet, waarbij de optische signalen moeilijker te detecteren zijn. Om dit op te lossen, zijn onderzoekers begonnen te kijken naar een ander type sensor: radiofrequentie-radar. Deze technologie detecteert de minuscule fysieke trillingen van de borstwand die worden veroorzaakt door de kloppende hartslag, een mechanisch signaal dat geen rekening houdt met lichtinval of huidskleur. Radar alleen mist echter de fijne details van een camera en kan in de war worden gebracht door lichaamsbeweging. De uitdaging is geweest om deze twee zeer verschillende manieren van het hart zien te combineren in één enkel, betrouwbaar systeem dat voor iedereen werkt, ongeacht hun uiterlijk of de omgeving.
Een team van onderzoekers heeft nu een nieuw systeem gebouwd genaamd CardiacMamba, dat deze twee stromen informatie succesvol samenvoegt. In plaats van de gegevens van een camera en een radar simpelweg naast elkaar te stapelen, ontwierp het team een framework waarmee de twee signalen op een geavanceerde manier met elkaar kunnen communiceren. Ze creëerden een structuur die eerst de belangrijkste delen van elk signaal isoleert: de camera focust op de kleurveranderingen in het gezicht, terwijl de radar zich concentreert op de minuscule bewegingen van de borst. Het systeem gebruikt vervolgens een gespecialiseerde modelleringstechniek om deze twee verschillende soorten gegevens op elkaar af te stemmen, waardoor wordt gewaarborgd dat het tijdsverloop van de kleurveranderingen overeenkomt met het tijdsverloop van de fysieke trillingen. Tot slot verfijnt het gecombineerde signaal door ruis in het frequentiedomein weg te filteren, een proces dat de uiteindelijke hartslagmeting verscherpt. Deze aanpak stelt het systeem in staat om de sterktes van de camera te gebruiken om de gaten van de radar op te vullen, en vice versa, wat een robuuste meting creëert die veel stabieler is dan wat elk van beide methoden alleen zou kunnen bereiken.
Toen het systeem werd getest op een dataset die ontworpen is om eerlijkheid over verschillende huidtinten te evalueren, bleek het nieuwe systeem zeer effectief. Het behaalde een gemiddelde fout van slechts 0,96 hartslagen per minuut, een precisieniveau dat alle voorgaande methoden die gebruikmaken van camera's, radar, of een combinatie van beide, overtrof. Belangrijker nog, het systeem pakte een langlopend probleem in dit veld aan: de neiging van camera-gebaseerde hartslagmonitoren om minder nauwkeurig te zijn voor mensen met een donkere huid. Door te vertrouwen op het vermogen van de radar om mechanische beweging te detecteren, wat ongevoelig is voor huidpigmentatie, heeft het nieuwe framework het prestatieverschil tussen lichte en donkere huidtinten teruggebracht tot een minimale 0,26 hartslagen per minuut. Dit suggereert dat het systeem een rechtvaardige gezondheidsmonitoring kan bieden voor een diverse populatie, een cruciale stap naar het werkelijk universeel maken van contactloze monitoring van vitale functies.
De onderzoekers testten ook hoe goed het systeem standhoudt wanneer één van de sensoren gecompromitteerd of afwezig is. In scenario's waarin de camerabeelden werden verslechterd door ruis of slecht licht, behield het systeem zijn nauwkeurigheid door zwaarder op de radar-gegevens te leunen. Wanneer het radarsignaal daarentegen niet beschikbaar was, kon het systeem nog steeds functioneren met alleen de camera, zij het met een iets verminderde precisie. Deze flexibiliteit betekent dat de technologie veerkrachtig is; het valt niet volledig uit als een deel van de opstelling wordt verstoord. De studie bevestigt dat het integreren van optische en mechanische signalen via deze specifieke fusiemethode mogelijk maakt om een hartslagmonitor te creëren die zowel zeer nauwkeurig als eerlijk is, waarbij de beperkingen die voorheen de contactloze gezondheidstracking in de weg stonden, worden overwonnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.