TempoGFormer: A Gating Mechanism-based Transformer for Physiological Measurement from Facial Videos
Dit artikel introduceert TempoGFormer, een nieuw op Transformer gebaseerd model voor remote fotoplethysmograaf dat een gating-mechanisme, een Temporal-Spectral Fusion Head en een Spatially-Overlapped Tokenization-strategie benut om omgevingsruis en bewegingsartefacten effectief te mitigeren, waardoor een superieure nauwkeurigheid en efficiëntie wordt bereikt bij fysiologische metingen uit gezichtsvideo's over meerdere publieke datasets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een fluistering te horen midden op een druk stadsplein. De stem die je wilt horen is er wel, gedragen door de lucht, maar wordt overstemd door verkeer, geklets en de wind. Dit is de fundamentele uitdaging bij het meten van menselijke hartslagen zonder de huid aan te raken. Decennialang hebben artsen vertrouwd op contactsensoren, zoals de clip die op een vinger wordt geplaatst, om de polsslag te volgen. Deze apparaten werken goed, maar ze zijn intrusief en onpraktisch voor veel situaties, zoals het monitoren van een slapende baby of een patiënt met ernstige brandwonden. In de afgelopen jaren hebben wetenschappers zich gericht op een techniek genaamd remote fotoplethysmografie, die probeert de hartslag af te lezen van een eenvoudige video van iemands gezicht. Het idee is elegant: terwijl het bloed door het gezicht pompt, verandert de manier waarop licht van de huid reflecteert, wat een minuscule, ritmische kleurverschuiving creëert. Echter, dit signaal is ongelooflijk zwak en wordt gemakkelijk overstemd door de ruis van veranderend licht, hoofdbewegingen of zelfs het knipperen van de ogen.
Een team van onderzoekers aan de Zhejiang Gongshang Universiteit heeft een nieuwe manier ontwikkeld om dit probleem op te lossen, door een systeem te creëren dat die fluistering duidelijk kan horen. Ze bouwden een geavanceerd computermodel dat specifiek is ontworpen om de hartslag te vinden die verborgen zit in een videostream. In plaats van alleen het videobeeld frame voor frame te bekijken, leert hun systeem de afleidingen van de omgeving te negeren en zich intensief te concentreren op de subtiele, ritmische kleurveranderingen die op een kloppend hart wijzen. Door een methode te combineren die de videodata gladstrijkt met een nieuwe manier om ruis weg te filteren, hebben ze een hulpmiddel gecreëerd dat nauwkeuriger en efficiënter is dan eerdere pogingen, waarmee ze bewijzen dat een camera inderdaad een sensor in veel vitale gezondheidsscenario's kan vervangen.
De onderzoekers noemen hun creatie TempoGFormer. Om te begrijpen hoe het werkt, moet men eerst de moeilijkheid begrijpen waar het voor staat. Wanneer een camera een gezicht opneemt, is de resulterende video een enorme hoeveelheid data, waarvan het grootste deel irrelevant is voor de hartslag. De huid kan er anders uitzien door een schaduw, een glimlach of een verschuiving in de verlichting van de kamer. Traditionele computermodellen raken vaak in de war door deze veranderingen, waarbij ze een schaduw aanzien voor een hartslag of het werkelijke signaal volledig missen. Het nieuwe systeem begint door de video op te delen in kleine stukjes, maar doet iets anders dan oudere methoden. In plaats van de video in rigide, niet-overlappende blokken te snijden, gebruikt het een verschuivende benadering waardoor de stukjes elkaar overlappen. Dit behoudt de vloeiende tijdstroom tussen de frames, waardoor het model de continue beweging van het bloed ziet in plaats van een reeks onsamenhangende momentopnames. Deze stap is cruciaal omdat een hartslag een continu ritme is, en het te hard opbreken ervan vernietigt precies het patroon dat het model moet vinden.
Zodra de video is voorbereid, past het systeem een speciaal soort aandachtmechanisme toe om te beslissen welke delen van de afbeelding het belangrijkst zijn. In veel computer vision-systemen kan het model afgeleid worden door de meest opvallende kenmerken, zoals de ogen of de mond, in plaats van de subtiele kleurveranderingen op de huid. De TempoGFormer lost dit op met een gating-mechanisme, een soort intelligente filter die tussen de observatie van het model en de besluitvorming zit. Deze filter werkt als een volumeknop voor het signaal. Het analyseert de aandacht die het model besteedt aan verschillende delen van het gezicht en draait het volume op de ruisige of irrelevante gebieden automatisch omlaag, terwijl het het volume op de regio's waar de bloedstroom het meest zichtbaar is, omhoog draait. Hierdoor kan het systeem de afleidingen van beweging en licht negeren en zijn energie strikt richten op het fysiologische signaal.
Na het filteren van het signaal gebruikt het systeem een gespecialiseerde 'head' om de hartslaggolf te reconstrueren. Dit deel van het model bekijkt de data vanuit meerdere hoeken, waarbij zowel de timing van de slagen als de frequentie van het ritme worden overwogen. Het combineert deze verschillende perspectieven om een nauwkeurige voorspelling van de hartslag te maken. De onderzoekers testten dit systeem op drie verschillende publieke datasets, die video's bevatten van mensen die stilzitten, spelletjes spelen en zelfs rondlopen. In elke test presteerde het nieuwe model beter dan bestaande methoden, inclus_ief die gebaseerd op oudere deep learning-technieken. Het behaalde een hogere nauwkeurigheid in het schatten van de hartslag en produceerde een schoner signaal met minder ruis. Zelfs toen het model werd getraind op één set video's en werd getest op een volledig andere set met andere mensen en andere lichtomstandigheden, behield het zijn hoge niveau van prestaties, wat aantoont dat het de ware aard van de hartslag heeft geleerd in plaats van alleen specifieke videoclips te hebben onthouden.
De studie keek ook naar de kosten van het draaien van dit systeem. Hoewel het nieuwe model iets complexer is dan sommige eenvoudigere alternatieven, vereist het geen excessieve rekenkracht. Het slaat een evenwicht door een beheersbaar aantal parameters te gebruiken om resultaten te behalen die aanzienlijk beter zijn dan die van de concurrentie. De onderzoekers hebben aangetoond dat door te verfijnen hoe het model aandacht schenkt aan de video en hoe het de tijdsgebonden data verwerkt, het mogelijk is om vitale functies te extraheren met een precisieniveau dat voorheen zonder fysiek contact moeilijk te bereiken was. Dit werk suggereert dat camera's in de nabije toekomst standaardinstrumenten kunnen worden voor gezondheidsmonitoring, in staat om hartslagen bij te houden in ziekenhuizen, sportscholen of zelfs thuis, allemaal zonder een enkele draad of sensor aan het lichaam. De bevindingen bieden een veelbelovende stap voorwaarts om gezondheidsmonitoring toegankelijker en minder ingrijpend te maken voor iedereen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.