Résumé Technique : RhythmJEPA

1. Énoncé du Problème

La photopléthysmographie à distance (rPPG) estime les signaux physiologiques, tels que la fréquence cardiaque, à partir de vidéos faciales en analysant les subtiles variations de couleur de la peau induites par le flux sanguin. Malgré les progrès récents, les méthodes de rPPG auto-supervisées existantes font face à deux limitations principales :

1. Biais de Représentation : La plupart des approches auto-supervisées reposent sur la reconstruction de pixels RGB masqués ou de caractéristiques visuelles de bas niveau. Cela biaise le modèle vers l'apprentissage de l'apparence et de la texture faciales plutôt que des dynamiques physiologiques latentes.
2. Contraintes de Balayage Temporel : Les modèles récents à espace d'état (par exemple, les approches basées sur Mamba) traitent généralement les jetons de vidéo faciale de manière strictement chronologique. Cela limite leur capacité à exploiter la nature cyclique et quasi périodique des signaux de pouls, où des trames temporellement distantes peuvent partager des états physiologiques similaires tandis que des trames adjacentes peuvent appartenir à des phases cardiaques différentes.

Par conséquent, les méthodes actuelles peinent à se généraliser à travers des jeux de données présentant des variations de caméras, de sujets et de conditions environnementales, et elles échouent souvent à capturer les relations inter-périodiques critiques pour une estimation rPPG robuste.

2. Méthodologie : RhythmJEPA

Les auteurs proposent RhythmJEPA, un cadre d'apprentissage prédictif par plongement conjoint structuré par le rythme. Au lieu de reconstruire les trames d'entrée, le modèle prédit les représentations latentes de l'enseignant à partir de vidéos faciales masquées, encourageant ainsi l'apprentissage de plongements conscients de la physiologie. L'architecture se compose de quatre modules clés :

A. Mélangeur de Pouls Spatial (SPM - Spatial Pulse Mixer)

Pour éviter la complexité computationnelle de la modélisation spatiale basée sur les Transformers, RhythmJEPA utilise un SPM léger.

• Fonction : Il capture les indices spatiaux sensibles au pouls en combinant l'apparence RGB avec des différences temporelles à court terme.
• Mécanisme : Il utilise des branches de convolution par profondeur (depth-wise) horizontales, verticales et locales, suivies d'un regroupement spatial attentif. Cela produit des jetons de pouls ($Z$) compacts au niveau de la trame, équilibrant complexité et performance.

B. Planificateur d'État de Rythme Cyclique (CRSP - Cyclic Rhythm-State Planner)

Pour modéliser explicitement la structure temporelle des signaux de pouls, le CRSP assigne des états physiologiques latents aux trames.

• Estimation d'État : Un réseau d'analyse de Fourier (FAN) prédit les logits d'état de rythme par trame.
• Décodage de Chemin : Le modèle décode le chemin d'état cyclique le plus plausible ($s^*$) en utilisant la programmation dynamique (de type Viterbi) contrainte par une grammaire de transition. Cette grammaire impose qu'un état puisse soit rester inchangé, soit passer à l'état suivant dans le cycle ($A(i) = \{i, (i+1) \mod K\}$).
• Régularisation : Deux pertes sont introduites pour assurer la stabilité des assignations d'état :
  • Perte de Transition Cyclique ($L_{cyc}$) : Encourage l'adhérence à la grammaire de transition cyclique.
  • Perte d'Équilibre d'État ($L_{bal}$) : Empêche l'effondrement des états en assurant une distribution uniforme de l'utilisation des états à travers le cycle du pouls.

C. Encodeur Mamba à Double Ordre (DOM - Dual-Order Mamba Encoder)

Le DOM traite la limitation du balayage uniquement chronologique en traitant la séquence de jetons dans deux ordres complémentaires :

1. Branche Chronologique : Scanne les jetons dans leur ordre temporel original pour capturer la continuité locale.
2. Branche d'État de Rythme : Réordonne les jetons sur la base des états cycliques décodés ($s^*$) avant le balayage. Cela permet au module Mamba de capturer les dépendances à longue portée entre des trames partageant des phases physiologiques similaires, indépendamment de leur distance temporelle.

• Fusion : Les sorties des deux branches sont fusionnées via un mécanisme de porte par jeton pour produire des caractéristiques temporelles conscientes du rythme ($Y$).

D. Tête de Prédiction et Stratégie d'Entraînement

• Pré-entraînement : Le modèle est pré-entraîné en utilisant un objectif d'architecture de prédiction par plongement conjoint (JEPA). Une branche étudiante traite les vidéos masquées, tandis qu'un enseignant par moyenne mobile exponentielle (EMA) traite la vidéo originale. L'étudiant prédit les représentations latentes de l'enseignant aux positions masquées.
• Affinage (Fine-tuning) : Le modèle pré-entraîné est affiné pour la régression de la forme d'onde en utilisant une perte de corrélation de Pearson négative pour aligner la forme d'onde rPPG prédite avec la vérité de terrain.

3. Principales Contributions

L'article expose quatre contributions principales :

1. Cadre RhythmJEPA : Un cadre d'apprentissage prédictif par plongement conjoint qui apprend des représentations physiologiques latentes à partir de vidéos faciales masquées, évitant le biais de la reconstruction de pixels.
2. Mélangeur de Pouls Spatial (SPM) : Un module de modélisation spatiale léger qui capture efficacement les indices sensibles au pouls sans la surcharge de l'attention spatiale basée sur les Transformers.
3. Modélisation Temporelle Sensible au Rythme : L'introduction du CRSP et du Dual-Order Mamba Encoder (DOM) pour modéliser la récurrence physiologique cyclique. Cela va au-delà du balayage chronologique conventionnel pour capturer les relations inter-périodiques, régularisées par des pertes de cohérence de cycle et d'équilibre d'état.
4. Validation Empirique : Des expériences approfondies intra-jeu de données et inter-jeu de données démontrant l'efficacité et la robustesse du cadre.

4. Résultats Expérimentaux

Les auteurs ont évalué RhythmJEPA sur trois benchmarks : PURE, UBFC-rPPG et MMPD.

• Performance Intra-jeu de Données : RhythmJEPA a atteint des résultats de pointe (state-of-the-art) sur tous les indicateurs (MAE, MAPE, RMSE et corrélation de Pearson $r$).
  • Sur PURE, il a obtenu une corrélation parfaite ($r=1.00$) et a réduit la MAE de 20,0 % par rapport au précédent meilleur modèle (LSTS).
  • Sur UBFC-rPPG, il a réduit la MAE de 0,51 à 0,21 (une amélioration de 58,8 %).
  • Sur le jeu de données exigeant MMPD, il a amélioré la corrélation de 0,74 à 0,76 et réduit la MAE de 4,9 %.
• Généralisation Inter-jeu de Données : Le modèle a démontré une transférabilité supérieure lorsqu'il est entraîné sur un jeu de données et testé sur un autre (par exemple, PURE $\to$ UBFC-rPPG). Il surpasse systématiquement les bases comme PhysNet et RhythmFormer, suggérant qu'il apprend des représentations physiologiques invariantes au domaine plutôt que des statistiques d'apparence spécifiques au jeu de données.
• Efficacité : Avec 3,20 millions de paramètres et 33,50 G MACs, RhythmJEPA est nettement plus léger que les méthodes récentes basées sur les Transformers (par exemple, PhysFormer, LSTS) tout en maintenant une précision supérieure. Il offre un compromis précision-efficacité favorable, étant le deuxième modèle le plus efficace en termes de paramètres et de latence tout en atteignant la précision la plus élevée.

5. Signification et Revendications

L'article affirme que RhythmJEPA représente un passage de la reconstruction basée sur l'apparence à l'apprentissage de représentations conscientes de la physiologie. En prédisant les plongements latents de l'enseignant plutôt que les pixels RGB, le modèle est encouragé à se concentrer sur le signal de pouls sous-jacent.

La signification de ce travail réside dans sa modélisation explicite de la nature cyclique des signaux rPPG. Les auteurs soutiennent que la continuité chronologique seule est insuffisante pour une estimation robuste car des trames ayant des états physiologiques similaires peuvent être temporellement distantes. L'intégration du CRSP et du DOM permet au modèle de "réordonner" la séquence temporelle basée sur les états de rythme latents, capturant ainsi les dépendances inter-périodiques que les modèles séquentiels standards manquent.

Les auteurs notent modestement que bien que les états de rythme appris soient efficaces pour l'estimation, ils restent implicites et peuvent ne pas correspondre directement à des phases cardiaques cliniquement interprétables. Des travaux futurs sont suggérés pour explorer une modélisation du rythme plus interprétable et une évaluation sous des conditions réelles plus diverses.