🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys remédie à la forte dégradation des performances de la photopléthysmographie à distance profonde sous diverses poses de tête en introduisant une homographie différentiable pour projeter les régions faciales vers un référentiel canonique, permettant ainsi l'application efficace de priors anatomiques tels que le modèle de réflexion dichromatique et l'invariance de la phase du pouls afin de réduire significativement les erreurs d'estimation de la fréquence cardiaque à travers diverses conditions de pose.

Auteurs originaux : Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'écouter le rythme cardiaque d'un ami en posant un stéthoscope sur sa poitrine. Facile, n'est-ce pas ? Mais maintenant, imaginez que vous deviez le faire uniquement à l'aide d'une caméra vidéo, sans jamais le toucher. C'est la magie de la photopléthysmographie à distance (rPPG). C'est une façon sophistiquée de dire « lire votre pouls à partir d'une vidéo ». Lorsque votre cœur bat, il pompe une minuscule onde de sang à travers votre visage, modifiant la couleur de votre peau d'une fraction infime de pourcentage. Les caméras sont aujourd'hui si sensibles qu'elles peuvent repérer ces minuscules changements de couleur et les transformer en fréquence cardiaque. Cette technologie est cruciale car elle pourrait permettre aux médecins de surveiller le cœur des patients à des kilomètres de distance, d'aider à surveiller les nouveau-nés sans leur planter d'aiguilles, ou même de surveiller les conducteurs fatigués.

Cependant, il y a un piège. Ces caméras sont excellentes quand vous êtes assis immobile et que vous regardez droit vers l'objectif. Mais dès que vous tournez la tête, le système s'embrouille. Imaginez que vous essayiez de lire une carte où les rues ne cessent de bouger. Si vous tournez la tête, l'endroit sur l'écran qui était votre front peut soudainement devenir votre joue ou votre tempe. L'ordinateur ne sait pas que le « pixel » qu'il observe a changé de partie du corps, alors il essaie de trouver un battement de cœur au mauvais endroit, et la lecture devient erratique. Les scientifiques ont tenté de résoudre cela en nourrissant l'ordinateur de plus en plus d'exemples de personnes tournant la tête, espérant qu'il finira par « apprendre » l'astuce. Mais et si le problème n'était pas que l'ordinateur n'est pas assez intelligent, mais qu'il regarde le monde sous le mauvais angle ?

C'est exactement le casse-tête abordé par une nouvelle méthode appelée CanonicalPhys. Les chercheurs soutiennent que le mouvement de la tête n'est pas seulement un problème de données, mais un problème de coordonnées. Ils ont réalisé que lorsque vous tournez la tête, les pixels à l'écran se mélangent, mais que votre visage, lui, ne change pas. Ainsi, au lieu d'apprendre à l'ordinateur à deviner où vont les pixels, ils ont construit un « redresseur numérique » astucieux qui replace le visage dans une position parfaite, de face, avant même que l'ordinateur ne tente de lire le rythme cardiaque.

Voici comment ils ont procédé : Imaginez la photo d'un visage tourné de côté. Les chercheurs utilisent un tour mathématique appelé homographie (pensez-y comme à un outil de déformation numérique) pour saisir quatre points clés sur le visage — les coins des yeux et les coins de la bouche — et les déplacer vers des positions fixes et parfaites, comme si la personne regardait droit vers la caméra. Une fois le visage « redressé » dans ce cadre canonique (ou standard), les pixels restent à la bonne place. Le front reste sur le front, et les joues restent sur les joues.

Une fois le visage redressé, le système peut utiliser trois règles simples basées sur la physique, qui étaient auparavant impossibles à utiliser sur un visage en mouvement :

La règle de la lumière : Il sait que la peau faisant face à la caméra réfléchit la lumière différemment de la peau tournée vers l'arrière. Il accorde plus de poids aux parties du visage qui regardent droit vers l'objectif et ignore les parties qui sont de profil.
La règle du rythme : Il sait que le battement de cœur est une onde unique. Il vérifie donc si le front et les deux joues pulsent en synchronisation. Si ce n'est pas le cas, il sait que quelque chose ne va pas.
La règle du professeur : Il utilise une technique mathématique classique et ancienne (appelée POS) sur le front redressé pour créer un signal « professeur », ce qui aide à entraîner le cerveau principal de l'ordinateur pour être plus précis.

Le meilleur dans tout cela ? Tout ce processus ne nécessite pas que l'ordinateur apprenne de nouvelles règles lourdes. C'est comme ajouter une paire de lunettes à une caméra ; le cerveau de la caméra garde la même taille, mais elle peut désormais voir clairement.

Les résultats sont assez impressionnants. Lorsqu'ils ont testé cela sur un ensemble de données comprenant des personnes tournant la tête (appelé MMPD), les anciennes méthodes se sont beaucoup dégradées à mesure que la tête tournait. Par exemple, lorsque la tête tournait de plus de 45 degrés, le taux d'erreur a bondi de 1,60 fois par rapport à une position de face. Avec CanonicalPhys, ce bond a été réduit à seulement 1,33 fois. Mieux encore, pour les rotations « légères » (entre 15 et 30 degrés), l'erreur a très peu changé, passant d'une augmentation de 1,32 fois à seulement 1,07 fois.

Ils ont également testé le système sur différentes caméras et conditions d'éclairage. Lorsqu'ils ont entraîné le système sur un ensemble de données et l'ont testé sur d'autres, CanonicalPhys a battu les anciennes méthodes dans 13 scénarios sur 16. Sur un test spécifique (PURE), il a réduit l'erreur de 32 %, et sur un autre (MMPD), il a réduit l'erreur de 20 %.

Cependant, les auteurs précisent avec prudence que ce n'est pas une baguette magique pour chaque situation. Si quelqu'un tourne la tête trop loin (plus de 60 degrés), le système ne parvient plus à trouver les quatre points clés et abandonne, ne performant pas mieux que les anciennes méthodes. De plus, si le visage bouge de manière désordonnée ou si l'éclairage est étrange, le système peut être un peu confus. Mais pour la grande majorité des situations réelles où les gens discutent ou regardent autour d'eux, ce « redresseur numérique » rend la lecture d'un rythme cardiaque à partir d'une vidéo beaucoup plus fiable, prouvant que parfois, la meilleure façon de résoudre un problème n'est pas de rendre l'ordinateur plus intelligent, mais de rendre le monde un peu plus facile à comprendre pour lui.

Résumé Technique : CanonicalPhys

Énoncé du Problème
Les modèles de photopléthysmographie à distance (rPPG) profonds atteignent une précision de fréquence cardiaque inférieure à un battement par minute sur des visages frontaux et stationnaires, mais souffrent d'une dégradation significative des performances lorsque les sujets présentent des variations de pose de la tête. Les auteurs soutiennent que cette dégradation n'est pas simplement un problème d'augmentation de données, mais un problème de structure de coordonnées. Dans les coordonnées d'image standard, un pixel $(x, y)$ fixe correspond à différentes régions anatomiques lorsque la tête pivote (par exemple, dérivant du front vers la tempe). Cette instabilité empêche l'application de trois priors fondamentaux de la rPPG :

Modèle de Réflexion Dichromatique : La composante diffuse, porteuse de l'impulsion, de la réflectance cutanée varie selon le cosinus de l'angle entre la normale de la peau et l'axe de la caméra, une propriété définie par emplacement anatomique, et non par pixel.
Invariance de Phase de l'Impulsion : La phase de l'impulsion doit rester cohérente à travers les régions cutanées (par exemple, le front et les joues), ce qui nécessite une définition stable des régions d'intérêt (ROI) par rapport à la pose.
Projection de Chromaticité (POS/CHROM) : Les méthodes classiques projettent les traces RGB fenêtrées sur une base de chromaticité pour supprimer les composantes spéculaires et d'illumination, un processus qui n'est bien posé que sur une ROI cutanée fixe.

Sans une correspondance stable entre l'anatomie et le pixel, ces priors ne peuvent être efficacement utilisés, forçant les réseaux de neurones profonds à absorber le biais de pose uniquement par leur capacité de modèle.

Méthodologie : CanonicalPhys
Le cadre proposé, CanonicalPhys, traite ce problème en transformant la vidéo d'entrée dans un système de coordonnées faciales canoniques avant l'extraction de caractéristiques. Le pipeline se compose de quatre étapes, toutes articulées autour d'un backbone FactorizePhys non modifié (un modèle léger de pointe utilisant la factorisation de matrices non négatives pour l'attention spatio-temporelle-canale).

Canonicalisation via Homographie à 4 Points :
- Une homographie à quatre points différentiable est appliquée à chaque image, projetant quatre ancres faciales (coins externes des yeux gauche/droit et coins de la bouche gauche/droit) vers des positions cibles canoniques fixes.
- Cette déformation est calculée à l'aide de points de repère 2D (issus de MediaPipe) et résolue via un système linéaire en forme fermée (DLT).
- Contrainte Clé : Ce module n'introduit aucun paramètre entraînable. Il absorbe la composante rigide dominante de la pose de la tête dans le plan, rétablissant ainsi une correspondance anatomie-pixel stable.
- Une stabilisation temporelle est appliquée en calculant l'homographie médiane sur un segment de vidéo pour réduire le tremblement dû aux points de repère bruités.
Pondération par Pixel Informée par la Physique ( $w_{phys}$ ) :
- Opérant dans le cadre canonique, un poids par pixel est calculé sur la base du modèle de réflexion dichromatique.
- En utilisant les normales 3D canoniques des points de repère faciaux et la matrice de rotation faciale par image, la méthode calcule le cosinus de l'angle entre la normale de la peau et l'axe de la caméra.
- Une fonction sigmoïde augmente le poids des pixels faisant face à la caméra et diminue celui des angles rasants. Ce poids est appliqué de manière multiplicative au cadre canonique avant la différenciation temporelle.
Perte de Cohérence Temporelle Inter-ROI :
- Pour imposer l'invariance de phase de l'impulsion, une perte auto-supervisée est appliquée aux cartes de caractéristiques du backbone.
- Trois masques souples gaussiens (front, joue gauche, joue droite) sont définis dans les coordonnées canoniques.
- La perte minimise la distance cosinus entre les signaux temporels extraits de ces trois ROI, garantissant que le backbone apprend des caractéristiques d'impulsion spatialement cohérentes.
Perte de Distillation de Connaissance POS :
- L'algorithme classique POS est appliqué à la trace RGB moyennée spatialement du front canonique (qui est désormais stable face à la pose).
- Le pseudo-BVP résultant sert de signal enseignant. Une perte de distillation (corrélation de Pearson négative) est calculée entre la prédiction du réseau et ce pseudo-BVP détaché.
- Cette perte est appliquée uniquement pendant l'entraînement et n'ajoute aucun paramètre.

Contributions Clés

Transformation de Coordonnées : Introduction d'une homographie à quatre points différentiable et sans paramètres, qui projette les images dans un système canonique, isolant la composante de pose rigide avant le traitement appris.
Priors dans l'Espace Canonique : Proposition de trois nouveaux composants rendus possibles par ce changement de coordonnées :
- Une carte de pondération lambertienne informée par la physique.
- Une perte de cohérence temporelle inter-ROI imposant l'invariance de phase.
- Une distillation de connaissance à partir de la POS fenêtrée appliquée à une ROI de front stable.
- Crucialement, aucun de ces composants n'ajoute de paramètres entraînables au backbone.
Évaluation Rigoureuse : Une analyse stratifiée par la pose sur le jeu de données MMPD qui isole les effets de la pose des autres changements de distribution, ainsi que des évaluations de transfert inter-jeux de données complets.

Résultats Expérimentaux

Analyse Stratifiée par la Pose (MMPD) :
- Le modèle de base FactorizePhys montre une dégradation de 1,60× de l'erreur absolue moyenne (MAE) entre les images frontales ( $|yaw|<15^\circ$ ) et les images à grand lacet ( $|yaw|\ge45^\circ$ ).
- CanonicalPhys réduit ce ratio de dégradation à 1,33×.
- La dégradation dans la catégorie "lacet modéré" ( $15^\circ$ – $30^\circ$ ) passe de 1,32× à 1,07×.
Transfert Inter-Jeux de Données :
- Entraîné sur UBFC-rPPG et testé sur des cibles riches en poses, CanonicalPhys obtient une réduction de la MAE de 32 % sur PURE et de 20 % sur MMPD par rapport à FactorizePhys.
- Il l'emporte dans 13 des 16 cellules de la matrice de transfert complète 4×4 (UBFC, PURE, OBF, MMPD).
- Sur MMPD, la corrélation de Pearson double presque (0,18 à 0,33), et la variance des graines est considérablement réduite.
Ablation : La déformation de canonicalisation seule explique la majeure partie du gain de performance. Le poids lambertien et la perte de cohérence apportent une uniformité supplémentaire, corrigeant particulièrement les anomalies dans la plage de lacet modérée.

Signification et Revendications
L'article affirme que traiter la pose de la tête comme un problème de système de coordonnées plutôt que comme un défi d'augmentation de données permet la réintroduction de priors physiques et physiologiques qui sont autrement brisés par la variation de pose.

Efficacité : La méthode atteint ces gains sans augmenter le nombre de paramètres du backbone, ce qui la rend efficace en termes de calcul (surcoût de temps de calcul <10 %).
Généralisation : Les améliorations se transfèrent à travers différents capteurs et groupes de sujets, suggérant que la méthode traite une limitation géométrique fondamentale plutôt qu'un surapprentissage d'artefacts spécifiques à un jeu de données.
Limites : Les auteurs notent explicitement que la méthode est robuste à la pose, et non invariante à la pose. Les performances se dégradent toujours dans les cas de lacet extrême ( $>60^\circ$ ) où les points de repère échouent, et l'homographie 2D est insuffisante pour les rotations hors plan significatives sans une extension par maillage 3D. De plus, les priors auxiliaires peuvent sur-régulariser sur des ensembles d'entraînement très diversifiés en mouvement (ex: entraîner sur MMPD pour tester sur PURE), suggérant que la "recette" complète est mieux adaptée aux ensembles d'entraînement compacts, tandis que la canonicalisation seule est le composant le plus fiable.

Articles similaires