🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys adresseert de scherpe prestatiedegradatie van diepe remote fotoplethysmografie onder variërende hoofdhoudingen door een differentieerbare homografie te introduceren om gezichtsregio's naar een canoniek kader te mappen, waardoor de effectieve toepassing van anatomische priors zoals het dichromatische reflectiemodel en puls-fase-invariantie mogelijk wordt om hartslagchatingsfouten over diverse houdingscondities aanzienlijk te verminderen.

Oorspronkelijke auteurs: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Gepubliceerd 2026-07-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hartslag van een vriend probeert te horen door een stethoscoop tegen diens borstkas te houden. Makkelijk, toch? Maar stel je nu voor dat je dit moet doen met alleen een videocamera, zonder hen ooit aan te raken. Dit is de magie van remote photoplethysmography (rPPG). Het is een chique manier om te zeggen: "je polsslag aflezen van een video." Wanneer je hart slaat, pompt het een minuscule golf bloed door je gezicht, waardoor de kleur van je huid met slechts een fractie van een procent verandert. Camera's zijn tegenwoordig zo gevoelig dat ze deze minuscule kleurveranderingen kunnen opmerken en ze kunnen omzetten in een hartslag. Deze technologie is een grote zaak omdat het artsen de mogelijkheid kan bieden om de harten van patiënten van kilometers afstand te controleren, pasgeborenen te monitoren zonder naalden in hen te steken, of zelfs een oogje in het zeil te houden bij vermoeide bestuurders.

Er zit echter een addertje onder het gras. Deze camera's werken geweldig wanneer je stilzit en recht in de lens kijkt. Maar op het moment dat je je hoofd draait, raakt het systeem in de war. Denk aan het proberen te lezen van een kaart waarbij de straten constant bewegen. Als je je hoofd draait, kan de plek op het scherm die eerst je voorhoofd was, plotseling je wang of je slaap zijn. De computer weet niet dat de "pixel" waar hij naar kijkt naar een ander deel van je lichaam is verplaatst, dus probeert hij een hartslag te vinden op de verkeerde plek, waardoor de meting ontspoort. Wetenschappers hebben geprobeerd dit op te lossen door de computer steeds meer voorbeelden te voeren van mensen die hun hoofd draaien, in de hoop dat het uiteindelijk de truc zal "leren". Maar wat als het probleem niet is dat de computer niet slim genoeg is, maar dat hij de wereld vanuit de verkeerde hoek bekijkt?

Dit is precies de puzzel die wordt aangepakt door een nieuwe methode genaamd CanonicalPhys. De onderzoekers stellen dat hoofdbeweging niet alleen een dataprobleem is, maar een coördinatenprobleem. Ze realiseerden zich dat wanneer je je hoofd draait, de pixels op het scherm door elkaar gehusseld worden, maar je gezicht zelf niet verandert. Dus in plaats van de computer te leren raden waar de pixels naartoe gaan, bouwden ze een slimme "digitale rechtzetter" die het gezicht terugzet in een perfecte, naar voren gerichte positie voordat de computer zelfs maar probeert de hartslag te lezen.

Zo hebben ze het gedaan: Stel je hebt een foto van een gezicht dat opzij gedraaid is. De onderzoekers gebruiken een wiskundige truc genaamd homografie (denk aan een digitale vervormtool) om vier sleutelpunten op het gezicht te pakken — de hoeken van de ogen en de hoeken van de mond — en deze in vaste, perfecte posities te slepen, alsof de persoon recht in de camera kijkt. Zodra het gezicht is "rechtgezet" in dit canonieke (of standaard) kader, blijven de pixels op de juiste plek. Het voorhoofd blijft op het voorhoofd en de wangen blijven op de wangen.

Zodra het gezicht is rechtgezet, kan het systeem drie eenvoudige, op fysica gebaseerde regels gebruiken die voorheen onmogelijk waren op een bewegend gezicht:

De Lichtregel: Het weet dat huid die de camera tegemoet kijkt het licht anders reflecteert dan huid die weg gedraaid is. Het geeft meer gewicht aan de delen van het gezicht die recht in de lens kijken en negeert de delen die weg gedraaid zijn.
De Ritmeregel: Het weet dat de hartslag een enkele golf is. Dus het controleert of het voorhoofd en beide wangen in sync pulseren. Als ze dat niet doen, weet het systeem dat er iets mis is.
De Docentregel: Het gebruikt een klassieke, ouderwetse wiskundige truc (genaamd POS) op het rechtgezette voorhoofd om een "docent"-signaal te creëren, wat helpt om het hoofd-brein van de computer nauwkeuriger te trainen.

Het beste eraan? Dit hele proces vereist niet dat de computer nieuwe, zware regels leert. Het is alsof je een bril toevoegt aan een camera; het brein van de camera blijft even groot, maar nu kan het helder zien.

De resultaten zijn indrukwekkend. Wanneer ze dit testten op een dataset vol mensen die hun hoofd draaien (genaamd MMPD), werden de oude methoden veel slechter naarmate het hoofd draaide. Bijvoorbeeld, wanneer het hoofd meer dan 45 graden draaide, steeg de foutmarge met 1,60 keer vergeleken met kijken recht vooruit. Met CanonicalPhys werd die sprong teruggebracht tot slechts 1,33 keer. Nog beter: voor "milde" draaiingen (tussen 15 en 30 graden), veranderde de fout bijna niet, waarbij de stijging daalde van 1,32 keer naar slechts 1,07 keer.

Ze hebben dit ook getest over verschillende camera's en lichtomstandigheden heen. Wanneer ze het systeem op één dataset trainden en op anderen testten, versloeg CanonicalPhys de oude methoden in 13 van de 16 verschillende scenario's. In één specifieke test (PURE) verminderde het de fout met 32%, en op een andere (MMPD) verlaagde het de fout met 20%.

De auteurs wijzen er echter voorzichtig op dat dit geen toverstaf is voor elke situatie. Als iemand zijn hoofd te ver draait (meer dan 60 graden), kan het systeem de vier sleutelpunten niet meer vinden en geeft het simpelweg op, waarbij het niet beter presteert dan de oude methoden. Ook als het gezicht wild beweegt of als de verlichting vreemd is, kan het systeem een beetje in de war raken. Maar voor het overgrote deel van de echte situaties waarin mensen gewoon een gesprek voeren of rondkijken, maakt deze "digitale rechtzetter" het lezen van een hartslag uit een video veel betrouwbaarder, wat bewijst dat de beste manier om een probleem op te lossen soms niet is om de computer slimmer te maken, maar om de wereld een beetje makkelijker te maken voor hem om te begrijpen.

Technische Samenvatting: CanonicalPhys

Probleemstelling
Deep remote photoplethysmography (rPPG) modellen bereiken een nauwkeurigheid van minder dan één bpm op frontale, stationaire gezichten, maar lijgen ernstig in prestaties terug wanneer proefpersonen variaties in hoofdhouding vertonen. De auteurs stellen dat deze degradatie niet louter een probleem is van data-augmentatie, maar een coördinaten-structureel probleem. In standaard beeldcoördinaten brengt een vaste pixel $(x, y)$ verschillende anatomische regio's in kaart wanneer het hoofd roteert (bijv. verschuiving van het voorhoofd naar de slaap). Deze instabiliteit verhindert de toepassing van drie fundamentele rPPG-priors:

Dichromatisch Reflectiemodel: Het diffuse, pulserende component van de huidreflectie schaalt met de cosinus van de hoek tussen de normaal van de huid en de camera-as, een eigenschap die per anatomische locatie wordt gedefinieerd, en niet per pixel.
Pulse-fase Invariantie: De hartslagfase moet consistent blijven over verschillende huidregio's (bijv. voorhoofd en wangen), wat een pose-stabiele definitie van Regions of Interest (ROIs) vereist.
Chromaticity Projectie (POS/CHROM): Klassieke methoden projecteren venstergestuurde RGB-sporen op een chromaticiteit-basis om speculaire en illuminatiecomponenten te onderdrukken, een proces dat alleen goed gedefinieerd is op een vaste huid-ROI.
Zonder een stabiele mapping van anatomie naar pixel kunnen deze priors niet effectief worden benut, waardoor deep learning-backbones de pose-storende factoren uitsluitend door middel van modelcapaciteit moeten absorberen.

Methodologie: CanonicalPhys
Het voorgestelde CanonicalPhys-framework pakt dit aan door de invoervideo te transformeren naar een canonieke gezichts-coördinatenstructuur vóór de feature extractie. De pipeline bestaat uit vier stadia, die allemaal rond een ongewijzigde FactorizePhys-backbone zijn gebouwd (een state-of-the-art lichtgewicht model dat niet-negatieve matrixfactorisatie gebruikt voor ruimtelijke-temporele-kanaal aandacht).

Canonicalisering via 4-punts Homografie:
- Een differentieerbare vier-punts homografie wordt toegepast op elk frame, waarbij vier gezichtsankers (uiterste hoeken van de linker en rechter ooghoek en linker en rechter mondhoek) worden gemapt naar vaste canonieke doelposities.
- Deze warp wordt berekend met behulp van 2D-landmarks (van MediaPipe) en opgelost via een gesloten-vorm lineair systeem (DLT).
- Kernbeperking: Deze module introduceert geen leerbare parameters. Het absorbeert de dominante rigide, in-plane component van de hoofdhouding, wat effectief een stabiele anatomie-naar-pixel mapping herstelt.
- Temporele stabilisatie wordt toegepast door de mediaan-homografie over een video-chunk te berekenen om jitter door ruisgevoelige landmarks te verminderen.
Fysica-geïnformeerde Per-Pixel Weging ( $w_{phys}$ ):
- Werkend in het canonieke frame, wordt een per-pixel gewicht berekend op basis van het dichromatische reflectiemodel.
- Met behulp van de canonieke 3D-normalen van gezichtslandmarks en de per-frame gezichtsrotatiematrix, berekent de methode de cosinus van de hoek tussen de normaal van de huid en de camera-as.
- Een sigmoidfunctie verhoogt het gewicht van pixels die naar de camera gericht zijn en verlaagt het gewicht van pixels met een schuine invalshoek. Dit gewicht wordt multiplicatief toegepast op het canonieke frame voorafgaand aan de temporele differentiatie.
Cross-ROI Temporele Consistentie Verlies:
- Om pulse-fase invariantie af te dwingen, wordt een zelfgesuperviseerd verlies toegepast op de feature maps van de backbone.
- Drie Gaussische soft-masks (voorhoofd, linkerwang, rechterwang) worden gedefinieerd in canonieke coördinaten.
- De loss minimaliseert de cosinusafstand tussen de temporele signalen die uit deze drie ROI's worden geëxtraheerd, waardoor de backbone leert om ruimtelijk consistente puls-features te extraheren.
POS Kennisdistillatie Verlies:
- Het klassieke POS-algoritme wordt toegepast op het ruimtelijk gemiddelde RGB-spoor van het canonieke voorhoofd (dat nu pose-stabiel is).
- Het resulterende pseudo-BVP dient als een docent-signaal. Een distillatieverlies (negatieve Pearson-correlatie) wordt berekend tussen de voorspelling van het netwerk en dit losgekoppelde pseudo-BVP.
- Deze loss wordt alleen tijdens de training toegepast en voegt geen parameters toe.

Belangrijkste Bijdragen

Coördinatentransformatie: Introductie van een parameter-vrije, differentieerbare vier-punts homografie die frames naar een canoniek systeem mapt, waardoor de rigide pose-component wordt geïsoleerd vóór de geleerde verwerking.
Canonieke Ruimte Priors: Voorstel van drie nieuwe componenten mogelijk gemaakt door deze wijziging van coördinaten:
- Een fysica-geïnformeerde Lambertiaanse wegingskaart.
- Een cross-ROI temporele consistentie verlies dat fase-invariantie afdwingt.
- Kennisdistillatie van venstergestuurde POS toegepast op een stabiele voorhoofd-ROI.
- Cruciaal is dat geen van deze componenten leerbare parameters toevoegt aan de backbone.
Strikte Evaluatie: Een pose-gestratificeerde analyse op de MMPD-dataset die de effecten van pose isoleert van andere distributieverschuivingen, naast volledige cross-dataset transfer evaluaties.

Experimentele Resultaten

Pose-gestratificeerde Analyse (MMPD):
- De baseline FactorizePhys vertoont een 1,60× degradatie in Mean Absolute Error (MAE) van frontale ( $|yaw|<15^\circ$ ) naar grote-yaw ( $|yaw|\ge45^\circ$ ) frames.
- CanonicalPhys vermindert deze degradatieverhouding tot 1,33×.
- De degradatie in de "mild-yaw" bin ( $15^\circ$ – $30^\circ$ ) wordt afgevlakt van 1,32× naar 1,07×.
Cross-Dataset Transfer:
- Getraind op UBFC-rPPG en getest op pose-rijke targets, bereikt CanonicalPhys een MAE-reductie van 32% op PURE en 20% op MMPD vergeleken met FactorizePhys.
- Het wint 13 van de 16 cellen in de volledige 4×4 cross-dataset transfer matrix (UBFC, PURE, OBF, MMPD).
- Op MMPD is de Pearson-correlatie bijna verdubbeld (0,18 naar 0,33) en is de seed-variantie significant verminderd.
Ablatie: De canonicalization warp alleen is verantwoordelijk voor het merendeel van de prestatiewinst. De Lambertiaanse weging en de consistentie-loss zorgen voor verdere uniformiteit, met name door anomalieën in het matige yaw-bereik te corrigeren.

Betekenis en Claims
Het artikel claimt dat het behandelen van hoofdhouding als een coördinatensysteemprobleem, in plaats van een data-augmentatie-uitdaging, de herintroductie van fysieke en fysiologische priors mogelijk maakt die anders door pose-variatie worden verbroken.

Efficiëntie: De methode realiseert deze winsten zonder het aantal parameters van de backbone te verhogen, wat het computationeel efficiënt maakt (wall-clock overhead <10%).
Generalisatie: De verbeteringen zijn overdraagbaar naar verschillende sensoren en proefpersonen, wat suggereert dat de methode een fundamentele geometrische beperking aanpakt in plaats van te overfitten op specifieke dataset-artefacten.
Beperkingen: De auteurs merken expliciet op dat de methode pose-robuust is, niet pose-invariant. De prestaties blijven degraderen bij extreme yaw ( $>60^\circ$ ) waar landmarks falen, en de 2D-homografie is onvoldoende voor significante out-of-plane rotatie zonder een 3D-mesh uitbreiding. Daarnaast kunnen de hulp-priors over-regulariseren op zeer bewegings-diverse trainingssets (bijv. MMPD trainen voor PURE testen), wat suggereert dat het volledige "recept" het best geschikt is voor compacte trainingssets, terwijl de canonicalization alleen de meest betrouwbare component is.

Meer zoals dit