Rhythm-Structured Predictive Learning for Remote Photoplethysmography

Sintesi Tecnica: RhythmJEPA

1. Definizione del Problema

La fotopletismografia remota (rPPG) stima i segnali fisiologici, come la frequenza cardiaca, analizzando le sottili variazioni del colore della pelle indotte dal flusso sanguigno attraverso i video del volto. Nonostante i recenti progressi, gli attuali approcci di apprendimento auto-supervisionato per la rPPG affrontano due limitazioni primarie:

1. Bias di Rappresentazione: La maggior parte degli approcci auto-supervisionati si basa sulla ricostruzione di pixel RGB mascherati o di caratteristiche visive di basso livello. Ciò induce il modello a concentrarsi sull'apparenza e sulla texture del volto piuttosto che sulle dinamiche fisiologiche latenti.
2. Vincoli di Scansione Temporale: I recenti modelli a spazio di stato (ad esempio, approcci basati su Mamba) elaborano tipicamente i token dei video facciali rigorosamente in ordine cronologico. Questo limita la loro capacità di sfruttare la natura ciclica e quasi periodica dei segnali di polso, dove fotogrammi temporalmente distanti possono condividere stati fisiologici simili, mentre fotogrammi adiacenti possono appartenere a diverse fasi cardiache.

Di conseguenza, gli attuali metodi faticano a generalizzare tra dataset con diverse telecamere, soggetti e condizioni ambientali, e spesso non riescono a catturare le relazioni inter-periodiche critiche per una stima rPPG robusta.

2. Metodologia: RhythmJEPA

Gli autori propongono RhythmJEPA, un framework di apprendimento predittivo a embedding congiunto strutturato sul ritmo. Inve invece di ricostruire i fotogrammi di input, il modello predice le rappresentazioni latenti del docente da video facciali mascherati, incoraggiando l'apprendimento di embedding consapevoli della fisiologia. L'architettura è composta da quattro moduli chiave:

A. Spatial Pulse Mixer (SPM)

Per evitare la complessità computazionale della modellazione spaziale basata su Transformer, RhythmJEPA impiega un SPM leggero.

• Funzione: Cattura indizi spaziali sensibili al polso combinando l'apparenza RGB con differenze temporali a breve termine.
• Meccanismo: Utilizza rami convoluzionali orizzontali, verticali e locali depth-wise seguiti da un pooling spaziale attentivo. Questo produce token di polso compatti a livello di fotogramma ($Z$) che bilanciano complessità e prestazioni.

B. Cyclic Rhythm-State Planner (CRSP)

Per modellare esplicitamente la struttura temporale dei segnali di polso, il CRSP assegna stati fisiologici latenti ai fotogrammi.

• Stima dello Stato: Una rete di analisi di Fourier (FAN) predice i logit dello stato del ritmo per ogni fotogramma.
• Decodifica del Percorso: Il modello decodifica il percorso dello stato ciclico più plausibile ($s^*$) utilizzando la programmazione dinamica (stile Viterbi) vincolata da una grammatica di transizione. Questa grammatica impone che uno stato possa rimanere invariato o transire allo stato successivo nel ciclo ($A(i) = \{i, (i+1) \mod K\}$).
• Regolarizzazione: Due perdite vengono introdotte per garantire l'assegnazione stabile degli stati:
  • Perdita di Transizione Ciclica ($L_{cyc}$): Incoraggia l'aderenza alla grammatica della transizione ciclica.
  • Perdita di Bilanciamento dello Stato ($L_{bal}$): Previene il collasso dello stato garantendo una distribuzione uniforme dell'uso degli stati attraverso il ciclo del polso.

C. Dual-Order Mamba Encoder (DOM)

Il DOM affronta il limite della scansione esclusivamente cronologica elaborando la sequenza di token in due ordini complementari:

1. Ramo Cronologico: Scansiona i token nel loro ordine temporale originale per catturare la continuità locale.
2. Ramo dello Stato del Ritmo: Riordina i token in base agli stati del ritmo decodificati ($s^*$) prima della scansione. Ciò consente al modulo Mamba di catturare dipendenze a lungo raggio tra fotogrammi che condividono fasi fisiologiche simili, indipendentemente dalla loro distanza temporale.

• Fusione: Gli output di entrambi i rami vengono fusi tramite un meccanismo di gating per token per produrre caratteristiche temporali consapevoli del ritmo ($Y$).

D. Testa di Predizione e Strategia di Addestramento

• Pre-addestramento: Il modello viene pre-addestrato utilizzando un obiettivo di architettura predittiva a embedding congiunto (JEPA). Un ramo studente elabora i video mascherati, mentre un insegnante EMA (Exponential Moving Average) elabora il video originale. Lo studente predice le rappresentazioni latenti del docente nelle posizioni mascherate.
• Fine-tuning: Il modello pre-addestrato viene sottoposto a fine-tuning per la regressione della forma d'onda utilizzando una perdita di correlazione di Pearson negativa per allineare la forma d'onda rPPG predetta con la verità fondamentale (ground truth).

3. Contributi Chiave

Il documento delinea quattro contributi principali:

1. Framework RhythmJEPA: Un framework di apprendimento predittivo a embedding congiunto che apprende rappresentazioni fisiologiche latenti da video facciali mascherati, evitando il bias della ricostruzione dei pixel.
2. Spatial Pulse Mixer (SPM): Un modulo di modellazione spaziale leggero che cattura efficacementamente gli indizi sensibili al polso senza l'overhead dell'attenzione spaziale basata su Transformer.
3. Modellazione Temporale Consapevole del Ritmo: L'introduzione di CRSP e del Dual-Order Mamba Encoder (DOM) per modellare la ricorrenza ciclica fisiologica. Questo va oltre la convenzionale scansione cronologica per catturare le relazioni inter-periodiche, regolarizzate dalla coerenza del ciclo e dalla perdita di bilanciamento dello stato.
4. Validazione Empirica: Esperimenti estesi intra-dataset e cross-dataset che dimostrano l'efficacia e la robustezza del framework.

4. Risultati Sperimentali

Gli autori hanno valutato RhythmJEPA su tre benchmark: PURE, UBFC-rPPG e MMPD.

• Prestazioni Intra-dataset: RhythmJEPA ha raggiunto risultati allo stato dell'arte in tutte le metriche (MAE, MAPE, RMSE e correlazione di Pearson $r$).
  • Su PURE, ha ottenuto una correlazione perfetta ($r=1.00$) e ha ridotto l'MAE del 20,0% rispetto al precedente migliore (LSTS).
  • Su UBFC-rPPG, ha ridotto l'MAE da 0,51 a 0,21 (un miglioramento del 58,8%).
  • Sul difficile dataset MMPD, ha migliorato la correlazione da 0,74 a 0,76 e ha ridotto l'MAE del 4,9%.
• Generalizzazione Cross-dataset: Il modello ha dimostrato una superiore trasferibilità quando addestrato su un dataset e testato su un altro (ad esempio, PURE $\to$ UBFC-rPPG). Ha superato costantemente i baseline come PhysNet e RhythmFormer, suggerendo che apprenda rappresentazioni fisiologiche invarianti rispetto al dominio piuttosto che statistiche di apparenza specifiche del dataset.
• Efficienza: Con 3,20M di parametri e 33,50G di MACs, RhythmJEPA è significativamente più leggero dei recenti metodi basati su Transformer (ad esempio, PhysFormer, LSTS) pur mantenendo una precisione superiore. Offre un rapporto favorevole tra accuratezza ed efficienza, essendo il secondo modello più efficiente in termini di parametri e latenza pur raggiungendo l'accuratezza più elevata.

5. Significato e Rivendicazioni

Il documento sostiene che RhythmJEPA rappresenti un passaggio dalla ricostruzione basata sull'apparenza all'apprendimento di rappresentazioni consapevoli della fisiologia. Predicendo gli embedding latenti del docente invece dei pixel RGB, il modello è incoraggiato a concentrarsi sul segnale di polso sottostante.

La significatività del lavoro risiede nella sua modellazione esplicita della natura ciclica dei segnali rPPG. Gli autori sostengono che la continuità cronologica da sola sia insufficiente per una stima robusta perché i fotogrammi con stati fisiologici simili possono essere temporalmente distanti. L'integrazione di CRSP e DOM consente al modello di "riordinare" la sequenza temporale in base agli stati del ritmo latenti, catturando così le dipendenze inter-periodiche che i modelli sequenziali standard perdono.

Gli autori notano con modestia che, sebbene gli stati del ritmo appresi siano efficaci per la stima, rimangano impliciti e potrebbero non corrispondere direttamente a fasi cardiache clinicamente interpretabili. Si suggerisce che il lavoro futuro investighi una modellazione del ritmo più interpretabile e la valutazione in condizioni reali più diverse.