VideoPulse: Neonatal heart rate and peripheral capillary oxygen saturation (SpO2) estimation from contact free video

Le papier présente VideoPulse, un ensemble de données et une méthode de traitement de bout en bout permettant d'estimer de manière précise et sans contact la fréquence cardiaque et la saturation en oxygène (SpO2) des nouveau-nés à partir de vidéos faciales, offrant ainsi une solution de surveillance non invasive pour les soins intensifs néonatals.

L'essentiel

Imaginez que vous êtes dans une chambre de maternité. Un nouveau-né dort paisiblement, mais pour les médecins, il est crucial de surveiller deux choses en permanence : son cœur (qui bat très vite !) et son oxygène (pour s'assurer qu'il respire bien).

Habituellement, pour faire cela, on colle des petits capteurs adhésifs sur la peau fragile du bébé. C'est comme si on collait des timbres sur du papier très fin : ça peut irriter la peau, et il faut souvent les changer, ce qui dérange le bébé et les parents.

C'est ici qu'intervient VideoPulse, une nouvelle invention décrite dans cet article. Voici comment cela fonctionne, expliqué simplement :

1. Le Caméra Magique (Le "Super-Héros" sans contact)

Au lieu de coller des capteurs, les chercheurs ont créé un système qui utilise une simple webcam (comme celle de votre ordinateur portable).

• L'analogie : Imaginez que votre caméra est un détective très fin. Même si la peau du bébé ne bouge pas, le sang qui circule dans ses joues change légèrement de couleur à chaque battement de cœur. C'est trop rapide pour l'œil humain, mais la caméra, couplée à une intelligence artificielle, peut voir ces micro-changements de couleur, un peu comme si elle voyait le sang "danser" sous la peau.

2. Le Problème des Bébés (Ils ne restent pas immobiles !)

Les bébés ne sont pas comme des adultes qui restent assis sagement devant un appareil photo. Ils bougent, tournent la tête, et parfois, la caméra les voit de côté ou de haut.

• La solution : Le système utilise un "guide" (une technologie appelée YOLO) qui repère le visage du bébé, peu importe s'il est penché ou de travers. C'est comme un photographe professionnel qui recadre la photo automatiquement pour que le visage soit toujours bien au centre, même si le sujet bouge.

3. Le Nettoyage du Signal (Le "Filtre à Bruit")

Les bébés bougent beaucoup, ce qui crée du "bruit" dans les données (comme une radio qui grésille). De plus, les capteurs réels sur le bébé font aussi des erreurs à cause de ces mouvements.

• L'analogie : Imaginez essayer d'écouter une chanson douce dans une pièce où quelqu'un tape sur une table. Le système utilise une intelligence artificielle très intelligente (appelée GAN) qui agit comme un studio d'enregistrement. Elle "nettoie" le signal bruité pour ne garder que la vraie mélodie du cœur, en supprimant les grésillements causés par les mouvements du bébé.

4. L'Enseignement de l'IA (Apprendre avec des exemples variés)

Pour que cette intelligence artificielle soit bonne, il faut lui apprendre avec beaucoup d'exemples.

• Le Dataset VideoPulse : Les chercheurs ont créé une nouvelle "bibliothèque" de vidéos de bébés (52 bébés, 2,6 heures de vidéo) prise dans un hôpital au Sri Lanka. C'est important car la plupart des anciennes données venaient d'adultes ou de populations différentes. C'est comme si on entraînait un entraîneur de sport non pas avec des athlètes professionnels, mais avec de vrais débutants, pour qu'il sache gérer n'importe quel cas.
• L'astuce de l'équilibre : Souvent, les bébés ont un taux d'oxygène très élevé (proche de 100 %). L'IA a tendance à ignorer les cas rares (où l'oxygène est plus bas). Les chercheurs ont inventé une méthode pour "forcer" l'IA à prêter attention à ces cas rares, un peu comme un professeur qui s'assure que l'élève comprend aussi les exercices difficiles, pas seulement les faciles.

Les Résultats : Pourquoi c'est génial ?

• Précision : Le système devine le rythme cardiaque et l'oxygène presque aussi bien que les capteurs collés sur la peau, mais sans toucher le bébé.
• Rapidité : Il donne une réponse en seulement 2 secondes. C'est comme si vous pouviez voir le cœur battre presque en temps réel, ce qui est vital en cas d'urgence.
• Robustesse : Ça marche même si la lumière change ou si le bébé tourne la tête.

En résumé

VideoPulse, c'est comme donner des "super-pouvoirs" à une simple webcam pour qu'elle puisse surveiller la santé d'un nouveau-né sans le toucher, sans le blesser et sans le déranger. C'est un grand pas vers des hôpitaux plus doux, où les bébés peuvent dormir tranquilles pendant qu'une caméra veille sur eux.

Résumé technique

1. Problématique et Contexte

La surveillance des signes vitaux chez les nouveau-nés, en particulier la fréquence cardiaque (HR) et la saturation périphérique en oxygène (SpO2), est cruciale dans les unités de soins intensifs néonatals (NICU). Les méthodes conventionnelles reposent sur des capteurs de contact (électrodes adhésives, sondes de pouls), qui peuvent irriter la peau fragile des nourrissons, augmenter le risque d'infection et nécessiter une surveillance constante.

La photopléthysmographie à distance (rPPG) offre une alternative non invasive en extrayant les signaux vitaux à partir de vidéos faciales standard (RGB). Cependant, l'application de la rPPG aux nouveau-nés présente des défis majeurs :

• Manque de données : La plupart des modèles rPPG sont entraînés sur des adultes. Les données néonatales publiques sont rares et manquent de diversité démographique et de peau.
• Conditions d'acquisition difficiles : Les vidéos de nouveau-nés contiennent souvent des mouvements spontanés, des changements de pose (y compris des rotations), des variations d'éclairage et des occlusions.
• Estimation de la SpO2 : Contrairement à la fréquence cardiaque, l'estimation de la SpO2 à partir de vidéos RGB est peu mature, surtout pour les nouveau-nés, en raison de la nécessité de distinguer les composantes pulsatoires et basales sous bruit.
• Déséquilibre des labels : Les valeurs de SpO2 en clinique sont fortement concentrées autour de 100 %, rendant l'apprentissage des valeurs plus basses (cliniquement critiques) difficile pour les modèles de régression standard.

2. Méthodologie

Les auteurs proposent VideoPulse, un système complet de bout en bout combinant un nouveau jeu de données et une architecture d'apprentissage profond.

A. Le Jeu de Données VideoPulse

Pour pallier le manque de données diversifiées, les auteurs ont créé VideoPulse, un jeu de données néonatal basé au Sri Lanka :

• Composition : 157 enregistrements vidéo (2,6 heures) provenant de 52 nouveau-nés (0 à 6 jours).
• Diversité : Inclut des variations d'orientation du visage (trois bins d'orientation) pour simuler les conditions réelles des lits d'hôpital.
• Synchronisation : Vidéos RGB synchronisées avec des signaux de référence de fréquence cardiaque, de SpO2 et de PPG (pouls) obtenus via un oxymètre de pouls Contec CMS60D.
• Prétraitement : Détection de visage avec YOLOv5 (plus robuste que RetinaFace sur les visages néonataux), alignement par rotation (par incréments de 90°) et normalisation des différences temporelles pour accentuer les variations de couleur liées au pouls.

B. Architecture et Pipeline d'Entraînement

Le pipeline utilise une architecture basée sur PhysNet (un réseau 3D CNN compact), adaptée pour la régression SpO2.

1. Estimation de la Fréquence Cardiaque (HR) :

   • Utilisation de PhysNet entraîné sur le jeu de données public NBHR.
   • Dénosage des signaux de référence (Ground Truth) : Les signaux PPG de référence sont souvent bruités par les mouvements des nouveau-nés. Les auteurs utilisent un pipeline de reconstruction basé sur des GAN (Generative Adversarial Networks) et un SVM pour identifier et reconstruire les segments bruités. Les segments trop bruités sont exclus.
   • Perte : Utilisation de la perte de corrélation de Pearson négative pour maximiser la similarité de forme entre le signal prédit et le signal réel.
   • Post-traitement : Extraction de la HR via l'analyse de la densité spectrale de puissance (PSD) après filtrage passe-bande.

2. Estimation de la SpO2 :

   • Architecture : PhysNet modifié avec une tête de régression (trois couches fully connected) pour prédire la SpO2 continue.
   • Gestion du déséquilibre des labels : Pour contrer la concentration des données autour de 100 %, les auteurs appliquent :
     • Lissage de la distribution des labels (LDS) : Utilisation d'un noyau Beta pour lisser la distribution empirique des labels.
     • Régression pondérée (Weighted RMSE) : Attribution de poids plus élevés aux labels rares (faibles saturations) lors de l'entraînement.
   • Augmentation des données : Utilisation de l'inversion temporelle (Time Reversal) des séquences vidéo pour améliorer la robustesse temporelle.
   • Transfert de domaine : Le modèle est pré-entraîné sur NBHR, puis affiné (fine-tuning) sur VideoPulse en gelant les couches convolutionnelles supérieures pour conserver les représentations spatiotemporelles générales.

3. Résultats Principaux

Les performances ont été évaluées sur les jeux de données NBHR (public) et VideoPulse (privé), avec des fenêtres temporelles très courtes (2 secondes).

• Estimation de la HR (sur NBHR) :

  • MAE (Erreur Absolue Moyenne) : 2,97 bpm (fenêtre de 2s), améliorant l'état de l'art précédent (NBHRnet) qui était de 3,76 bpm.
  • MAPE : 2,64 %.
  • Performance croisée : Lorsqu'entraîné sur NBHR et testé sur VideoPulse, le modèle atteint un MAE de 5,34 bpm, démontrant une bonne transférabilité malgré le décalage de domaine.

• Estimation de la SpO2 :

  • Sur NBHR : RMSE de 2,20 % et MAE de 1,69 %.
  • Sur VideoPulse (après fine-tuning) : RMSE de 2,18 % et MAE de 1,68 %.
  • Validation sur adultes (PURE) : RMSE de 0,96 %, confirmant la robustesse de l'architecture.
  • Étude d'ablation : L'ajout du lissage des labels (LDS) et de l'augmentation par inversion temporelle a réduit l'erreur RMSE de 2,74 % (baseline) à 2,20 %.

4. Contributions Clés

1. Nouveau Jeu de Données : Introduction de VideoPulse, le deuxième jeu de données rPPG néonatal public (sur demande), enrichissant la diversité démographique et des conditions d'acquisition par rapport à NBHR.
2. Première Estimation SpO2 Néonatale par DL : C'est l'une des premières approches basées sur l'apprentissage profond pour estimer la SpO2 néonatale directement à partir de vidéos RGB standard.
3. Pipeline de Dénosage : Stratégie innovante utilisant des GAN pour reconstruire les signaux PPG de référence bruités, améliorant la qualité des étiquettes d'entraînement.
4. Stratégie d'Entraînement Robuste : Combinaison de lissage de distribution de labels, de régression pondérée et d'augmentation par inversion temporelle pour gérer le déséquilibre des classes et les variations temporelles.

5. Signification et Impact

Ce travail démontre la faisabilité d'une surveillance néonatale non invasive, précise et en temps réel à l'aide de caméras standards.

• Latence réduite : La capacité à produire des prédictions fiables à partir de fenêtres de 2 secondes est un avantage majeur pour la surveillance clinique réactive, par rapport aux fenêtres de 6 à 12 secondes utilisées précédemment.
• Robustesse : Le système fonctionne malgré des variations d'éclairage, des poses non alignées et des mouvements, ce qui est crucial pour les environnements réels des NICU.
• Applications Cliniques : Cette technologie pourrait réduire l'utilisation de capteurs adhésifs, diminuer les risques d'infection et le stress cutané chez les nouveau-nés, tout en offrant un outil de surveillance peu coûteux et accessible.

En conclusion, VideoPulse pose les bases pour l'intégration clinique de la rPPG comme outil de routine pour la surveillance des signes vitaux chez les nouveau-nés, en surmontant les obstacles liés au manque de données et à la complexité des conditions d'acquisition.