💻 computer science

Video-based Heart Rate Estimation with Angle-guided ROI Optimization and Graph Signal Denoising

Cet article propose deux modules modulaires, une optimisation adaptative de la région d'intérêt guidée par l'angle et un débruitage par signal graphique multi-régional, pour améliorer la précision de l'estimation de la fréquence cardiaque par photopléthysmographie à distance en présence de mouvements faciaux.

Auteurs originaux : Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

Publié 2026-04-15

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Gan Pei, Junhao Ning, Boqiu Shen, Yan Zhu, Menghan Hu

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎥 Le Problème : La Caméra qui "Tremble"

Imaginez que vous essayez de mesurer le pouls d'une personne juste en regardant une vidéo de son visage, sans toucher sa peau. C'est ce qu'on appelle la rPPG (photopléthysmographie à distance). C'est comme essayer d'entendre le battement d'un cœur en écoutant une chanson très douce à travers un mur épais.

Le problème, c'est que si la personne parle, rit ou bouge la tête, le "mur" devient bruyant. Les mouvements créent des interférences (du bruit) qui noient le signal du cœur. C'est comme essayer d'écouter une conversation dans un stade de foot : si tout le monde crie, vous n'entendez plus rien.

🛠️ La Solution : Deux Super-Héros

Les chercheurs ont créé deux modules (deux outils intelligents) pour nettoyer ce signal. Ils les appellent des modules "plug-and-play", ce qui signifie qu'on peut les ajouter à n'importe quel système existant, comme ajouter un filtre à une machine à café.

1. Le "Gardien de l'Angle" (Optimisation des zones d'intérêt)

L'analogie : Imaginez que vous avez 60 petites caméras miniatures collées sur le visage (sur le front, les joues, le menton).
Le problème : Si la personne tourne la tête, certaines de ces mini-caméras se retrouvent de profil ou dans l'ombre. Elles ne voient plus bien la peau et envoient des informations fausses.
La solution : Ce module agit comme un chef d'orchestre vigilant. Il surveille en permanence l'angle de chaque petite caméra par rapport à l'objectif principal.
- Si une caméra est mal orientée (trop de mouvement), le chef dit : "Stop ! Ne m'envoie pas tes données, elles sont pourries."
- Il remplace immédiatement ces données par celles de la caméra voisine qui, elle, est bien orientée et voit clairement la peau.
- Résultat : On garde seulement les "bonnes" images, comme si on ne gardait que les photos nettes d'un album et qu'on jetait celles qui sont floues.

2. Le "Détective du Graphique" (Dénouage par signal graphique)

L'analogie : Maintenant, imaginez que vous avez 60 petits détecteurs de battements de cœur qui parlent entre eux. Certains sont sur le front, d'autres sur les joues.
Le problème : Même avec les meilleures caméras, il reste du bruit. Parfois, un détecteur sur la joue se trompe parce que la personne a souri.
La solution : Ce module utilise la mathématique des réseaux (comme les réseaux sociaux). Il crée un "groupe de discussion" entre toutes les zones du visage.
- Il demande à chaque détecteur : "Est-ce que ton rythme bat comme celui de ton voisin ?"
- Si le détecteur du front dit "Je bats à 60 par minute" et que les 50 autres disent "Moi aussi", alors le détecteur de la joue qui dit "Je bats à 120" est probablement en train de mentir (à cause d'un mouvement).
- Le module utilise une technique mathématique appelée "dénouage de signal graphique" pour laver le signal. Il fait la moyenne intelligente de tous les détecteurs, en donnant plus de poids à ceux qui sont fiables et en ignorant ceux qui sont perturbés.
- Résultat : Le bruit est éliminé, et il ne reste que le vrai rythme cardiaque, clair et net.

📊 Les Résultats : Une Performance Gagnante

Les chercheurs ont testé leur méthode sur trois bases de données publiques (des milliers de vidéos de gens qui bougent, parlent, etc.).

Sans leurs outils : Les systèmes classiques se trompent souvent quand la personne bouge.
Avec leurs outils : L'erreur de mesure a chuté de 20 % en moyenne. C'est énorme !
C'est comme passer d'une montre-bracelet qui rate le comptage à chaque fois que vous marchez, à une montre qui reste précise même si vous faites du jogging.

🏁 En Résumé

Ce papier nous dit : "Ne regardez pas le visage comme un seul gros bloc. Regardez-le comme une équipe de 60 petits experts."

Module 1 : On choisit les meilleurs experts en fonction de leur position (angle).
Module 2 : On fait travailler les experts ensemble pour s'assurer qu'ils disent tous la même chose et qu'ils ne se laissent pas tromper par le bruit.

Grâce à cette méthode, mesurer son cœur à distance devient beaucoup plus fiable, même si la personne bouge, parle ou rit. C'est un grand pas en avant pour la santé à distance (télémédecine) et la surveillance des conducteurs, par exemple.

1. Problématique

La photopléthysmographie à distance (rPPG) permet de mesurer la fréquence cardiaque (FC) de manière non invasive à partir de vidéos faciales en analysant les variations subtiles de la couleur de la peau. Cependant, la robustesse de cette technologie est sévèrement dégradée par les artefacts de mouvement, tels que la parole, les expressions faciales ou les mouvements de tête.

Les défis majeurs identifiés sont :

Hétérogénéité physiologique et spatiale : Les méthodes existantes traitent souvent le visage comme un signal unique global, ignorant que différentes régions faciales réagissent différemment aux mouvements localisés.
Bruit de mouvement : Les mouvements rapides de la tête (mouvements globaux) modifient l'orientation des régions d'intérêt (ROI) par rapport à la caméra, dégradant la qualité de l'éclairage et du signal. Les mouvements locaux (parole) créent du bruit régional.
Sous-utilisation des corrélations : Les approches actuelles ne tirent pas pleinement parti de la redondance des signaux entre multiples ROI ni des corrélations inter-régionales pour supprimer le bruit.

2. Méthodologie Proposée

Les auteurs proposent une architecture modulaire « plug-and-play » compatible avec les méthodes rPPG basées sur des modèles de réflexion. Le pipeline se divise en deux modules principaux :

A. Module d'Optimisation Adaptative des ROI Guidé par l'Angle (Angle-guided ROI Adaptive Optimization)

Ce module vise à quantifier et à corriger les effets des mouvements de la tête avant l'extraction du signal.

Détection de mouvement global : En utilisant les 468 points de repère faciaux 3D de MediaPipe, 60 ROI rectangulaires sont définies (front, joues, menton). Pour chaque ROI, un angle entre le plan de la ROI et la caméra est calculé en estimant la normale du plan via les coordonnées 3D.
Signal de mouvement : Les signaux angulaires de toutes les ROI sont fusionnés via une Analyse en Composantes Principales (PCA) pour obtenir un signal de mouvement global. Les séquences où la vitesse angulaire dépasse 30°/s pendant plus de 0,5 seconde sont identifiées comme des phases de mouvement global rapide.
Optimisation des signaux : Durant ces phases de mouvement, les ROI de mauvaise qualité (angle > 60° par rapport à la caméra) sont remplacées par leurs voisins immédiats de haute qualité (basés sur la proximité du centre), préservant ainsi la redondance du signal tout en atténuant le bruit d'éclairage.

B. Module de Débruitage par Signal Graphique Multi-Régional (Multi-region Joint Graph Signal Denoising)

Ce module traite le signal BVP (Blood Volume Pulse) bruité extrait des 60 ROI en utilisant le traitement du signal sur graphe.

Construction du Graphe : Une matrice d'adjacence $A$ $A$ est construite pour modéliser les relations entre les 60 nœuds (ROI). Le poids entre deux nœuds $i$ $i$ et $j$ $j$ ( $A_{ij}$ $A_{ij}$ ) est une somme pondérée de trois métriques :
1. Qualité du signal du nœud ( $q_{ij}$ ) : Basée sur le rapport spectral dans la bande de fréquence cardiaque et la stabilité inter-image.
2. Corrélation régionale ( $r_{ij}$ ) : Priors anatomiques (ex: les joues sont plus corrélées entre elles qu'avec le menton).
3. Cohérence paire-à-paire ( $d_{ij}$ ) : Mesure de la synchronisation dynamique (corrélation de Pearson glissante) entre les signaux.
Débruitage MAP : Le problème est formulé comme une estimation du maximum a posteriori (MAP) pour trouver un signal propre $S''$ à partir du signal bruité $S'$ . La fonction objectif minimise l'erreur quadratique tout en régularisant la lissitude du signal sur le graphe (via le Laplacien combinatoire $L$ ) :
$\arg \min_{S''} \|S' - S''\|^2 + \lambda S''^T L S''$
Optimisation des poids : Les coefficients de pondération ( $w_1, w_2, w_3$ ) des métriques sont appris de manière adaptative via une descente de gradient sur une fonction objectif non convexe.
Fusion finale : Les signaux débruités sont fusionnés par région, puis les segments correspondant aux mouvements globaux sont exclus avant une fusion finale par PCA pour obtenir le signal BVP final.

3. Contributions Clés

Module d'optimisation guidé par l'angle : Une méthode innovante pour détecter les mouvements globaux de la tête et remplacer dynamiquement les ROI dégradées par des voisins de haute qualité, préservant la redondance du signal.
Débruitage par graphe multi-régional : Une approche novatrice qui modélise conjointement les corrélations intra-régionales et inter-régionales via le traitement de signal sur graphe, exploitant la redondance spatiale pour supprimer les artefacts de mouvement.
Compatibilité et modularité : Les modules sont conçus pour s'intégrer facilement dans n'importe quelle méthode rPPG basée sur un modèle de réflexion (comme PBV, POS, OMIT).

4. Résultats Expérimentaux

Les méthodes ont été validées sur trois jeux de données publics : COHFACE, PURE et MMPD. Les performances ont été comparées à des méthodes de base (PBV, POS, OMIT) avec et sans les modules proposés.

Réduction de l'erreur : L'utilisation conjointe des deux modules a permis de réduire le MAE (Mean Absolute Error) de manière significative par rapport aux lignes de base.
- Réduction moyenne du MAE de 20,38 % par rapport à la ligne de base.
- Sur le jeu de données MMPD (souvent plus difficile), l'erreur MAE est passée de 20,40 (PBV de base) à 16,72 (avec les deux modules).
- Sur PURE, l'erreur MAE est descendue à 3,78 (avec OMIT + modules).
Validation par ablation : Les études d'ablation confirment que chaque module contribue individuellement à l'amélioration des performances, le module de débruitage par graphe apportant une réduction supplémentaire de l'erreur après l'optimisation des ROI.

5. Signification et Impact

Ce travail démontre que l'intégration de l'information géométrique (angles) et de la modélisation structurelle (graphes) est cruciale pour améliorer la robustesse de la rPPG dans des scénarios réels impliquant des mouvements.

Avancée technique : Le passage d'une approche « visage global » à une approche « multi-ROI intelligente » avec débruitage structurel représente un saut qualitatif dans la gestion des artefacts de mouvement.
Applications potentielles : Ces résultats ouvrent la voie à des applications plus fiables en télémédecine, en surveillance de la santé continue et dans l'évaluation de l'état des conducteurs, où les mouvements inévitables ne doivent plus compromettre la précision des mesures vitales.