🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys affronta il forte degrado delle prestazioni della fotopletismografia remota profonda sotto diverse pose della testa introducendo un'omografia differenziabile per mappare le regioni facciali in un frame canonico, consentendo così l'applicazione efficace di prior anatomici come il modello di riflessione dicromatica e l'invarianza della fase del polso per ridurre significativamente gli errori di stima della frequenza cardiaca in diverse condizioni di posa.

Autori originali: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Pubblicato 2026-07-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ascoltare il battito cardiaco di un amico premendo uno stetoscopio sul suo petto. Facile, vero? Ma ora, immagina di doverlo fare usando solo una videocamera, senza mai toccarlo. Questa è la magia della fotopletismografia remota (rPPG). È un modo elaborato per dire "leggere il polso da un video". Quando il cuore batte, pompa una minuscola onda di sangue attraverso il viso, cambiando il colore della pelle anche solo di una frazione infinitesimale di percentuale. Le telecamere sono così sensibili oggi che possono individuare questi minimi cambiamenti di colore e trasformarli in una frequenza cardiaca. Questa tecnologia è un grande passo avanti perché potrebbe permettere ai medici di controllare il cuore dei pazienti a chilometri di distanza, aiutare a monitorare i neonati senza infilare loro degli aghi o persino tenere d'occhio i conducenti stanchi.

Tuttavia, c'è un problema. Queste telecamere sono ottime quando sei seduto fermo e guardi dritto verso l'obiettivo. Ma nel momento in cui giri la testa, il sistema si confonde. Pensa a un tentativo di leggere una mappa dove le strade continuano a spostarsi. Se giri la testa, il punto sullo schermo che era la tua fronte potrebbe diventare improvvisamente la tua guancia o la tua tempia. Il computer non sa che il "pixel" che sta osservando si è spostato in una parte diversa del tuo corpo, quindi cerca di trovare un battito cardiaco nel posto sbagliato, e la lettura va fuori giri. Gli scienziati hanno cercato di risolvere il problema fornendo al computer sempre più esempi di persone che girano la testa, sperando che alla fine possa "imparare" il trucco. Ma cosa succederebbe se il problema non fosse che il computer non è abbastanza intelligente, ma che sta guardando il mondo da un angolo sbagliato?

Questo è esattamente l'enigma affrontato da un nuovo metodo chiamato CanonicalPhys. I ricercatori sostengono che il movimento della testa non sia solo un problema di dati; è un problema di coordinate. Si sono resi conto che quando si gira la testa, i pixel sullo schermo si rimescolano, ma il viso stesso non cambia. Così, invece di insegnare al computer a indovinare dove stiano andando i pixel, hanno costruito un astuto "raddrizzatore digitale" che riporta il viso in una posizione perfetta, rivolta in avanti, prima ancora che il computer provi a leggere il battito cardiaco.

Ecco come ci sono riusciti: Immagina di avere la foto di un volto rivolto di lato. I ricercatori usano un trucco matematico chiamato omografia (pensa a uno strumento di distorsione digitale) per afferrare quattro punti chiave sul viso — gli angoli degli occhi e gli angoli della bocca — e trascinarli in posizioni fisse e perfette, come se la persona stesse guardando dritto verso la telecamera. Una volta che il viso è stato "raddrizzato" in questa cornice canonica (o standard), i pixel rimangono al posto giusto. La fronte resta sulla fronte e le guance restano sulle guance.

Una volta raddrizzato il viso, il sistema può utilizzare tre semplici regole basate sulla fisica che prima erano impossibili da usare su un viso in movimento:

La Regola della Luce: Sa che la pelle rivolta verso la telecamera riflette la luce diversamente rispetto alla pelle rivolta altrove. Assegna più peso alle parti del viso che guardano dritto verso l'obiettivo e ignora le parti che sono girate via.
La Regola del Ritmo: Sa che il battito cardiaco è un'unica onda. Quindi, controlla se la fronte e entrambe le guance pulsano in sincronia. Se non lo fanno, sa che qualcosa non va.
La Regola dell'Insegnante: Utilizza un classico trucco matematico della vecchia scuola (chiamato POS) sulla fronte raddrizzata per creare un segnale "insegnante", che aiuta ad addestrare il cervello principale del computer per essere più accurato.

La parte migliore? Tutto questo processo non richiede che il computer impari nuove, pesanti regole. È come aggiungere un paio di occhiali a una telecamera; il cervello della telecamera rimane della stessa dimensione, ma ora può vedere chiaramente.

I risultati sono piuttosto impressionanti. Quando hanno testato questo metodo su un dataset pieno di persone che girano la testa (chiamato MMPD), i vecchi metodi peggioravano molto man mano che la testa ruotava. Ad esempio, quando la testa ruotava più di 45 gradi, il tasso di errore aumentava di 1,60 volte rispetto al guardare dritto davanti a sé. Con CanonicalPhys, questo salto è stato ridotto a soli 1,33 volte. Ancora meglio, per le rotazioni "lievi" (tra 15 e 30 gradi), l'errore quasi non cambiava, scendendo da un aumento di 1,32 volte a solo 1,07 volte.

Hanno testato il sistema anche attraverso diverse telecamere e condizioni di luce. Quando hanno addestrato il sistema su un dataset e lo hanno testato su altri, CanonicalPhys ha battuto i vecchi metodi in 13 casi su 16 diversi scenari. In un test specifico (PURE), ha ridotto l'errore del 32%, e in un altro (MMPD), ha tagliato l'errore del 20%.

Tuttavia, gli autori sono cauti nel sottolineare che questo non è un bacchetta magica per ogni situazione. Se qualcuno gira la testa troppo (più di 60 gradi), il sistema non riesce più a trovare i quattro punti chiave e si arrende, non performando meglio dei vecchi metodi. Inoltre, se il viso si muove selvaggiamente o se l'illuminazione è strana, il sistema potrebbe confondersi un po'. Ma per la stragrande maggioranza delle situazioni reali in cui le persone stanno semplicemente chiacchierando o guardandosi intorno, questo "raddrizzatore digitale" rende la lettura di un battito cardiaco da un video molto più affidabile, dimostrando che a volte, il modo migliore per risolvere un problema non è rendere il computer più intelligente, ma rendere il mondo un po' più facile da comprendere per lui.

Sintesi Tecnica: CanonicalPhys

Definizione del Problema
I modelli di fotopletismografia remota (rPPG) deep learning raggiungono un'accuratezza del battito cardiaco inferiore al BPM su volti frontali e stazionari, ma soffrono di un significativo degrado delle prestazioni quando i soggetti presentano variazioni della posa della testa. Gli autori sostengono che questo degrado non sia un semplice problema di data augmentation, bensì un problema di coordinata-strutturale. Nelle coordinate d'immagine standard, un pixel fisso $(x, y)$ mappa regioni anatomiche diverse al variare della rotazione della testa (ad esempio, spostandosi dalla fronte alla tempia). Questa instabilità impedisce l'applicazione di tre fondamentali prior della rPPG:

Modello di Riflessione Dicromatica: La componente diffusa della riflettanza cutanea, che trasporta il polso, scala con il coseno dell'angolo tra la normale della pelle e l'asse della telecamera, una proprietà definita per località anatomica, non per pixel.
Invarianza della Fase del Polso: La fase del polso dovrebbe rimanere coerente tra le diverse regioni cutanee (ad esempio, fronte e guance), richiedendo una definizione di Regioni di Interesse (ROI) stabile rispetto alla posa.
Proiezione della Cromaticità (POS/CHROM): I metodi classici proiettano le tracce RGB a finestra su una base di cromaticità per sopprimere i componenti speculari e di illuminazione, un processo che è ben posto solo su una ROI cutanea fissa.

Senza una mappatura stabile tra anatomia e pixel, questi prior non possono essere utilizzati efficacementmente, costringendo i backbone di deep learning ad assorbire il disturbo della posa esclusivamente attraverso la capacità del modello.

Metodologia: CanonicalPhys
Il framework proposto, CanonicalPhys, affronta questo problema trasformando il video in ingresso in un sistema di coordinate facciali canonico prima dell'estrazione delle feature. La pipeline consiste in quattro stadi, tutti avvolti attorno a un backbone FactorizePhys non modificato (un modello leggero allo stato dell'arte che utilizza la fattorizzazione di matrici non negative per l'attenzione spazio-temporale-canale).

Canonicalizzazione tramite Omografia a 4 Punti:
- Viene applicata un'omografia a quattro punti differenziabile a ogni frame, mappando quattro anchor facciali (angoli esterni degli occhi sinistro/destro e angoli della bocca sinistra/destra) a posizioni target canoniche fisse.
- Questa deformazione (warp) è calcolata utilizzando landmark 2D (da MediaPipe) e risolta tramite un sistema lineare a forma chiusa (DLT).
- Vincolo Chiave: Questo modulo non introduce parametri addestrabili. Esso assorbe la componente dominante rigida e in-plane della posa della testa, ripristinando efficacemente una mappatura stabile tra anatomia e pixel.
- La stabilizzazione temporale è applicata calcolando l'omografia mediana su un chunk di video per ridurre il jitter derivante da landmark rumorosi.
Ponderazione Per-Pixel Informata dalla Fisica ( $w_{phys}$ ):
- Operando nel frame canonico, viene calcolata una ponderazione per pixel basata sul modello di riflessione dicromatica.
- Utilizzando le normali 3D canoniche dei landmark facciali e la matrice di rotazione facciale per frame, il metodo calcola il coseno dell'angolo tra la normale della pelle e l'asse della telecamera.
- Una funzione sigmoide aumenta il peso dei pixel rivolti verso la telecamera e riduce quello dei pixel con angoli radenti. Questo peso viene applicato moltiplicativamente al frame canonico prima della differenziazione temporale.
Loss di Coerenza Temporale Cross-ROI:
- Per imporre l'invarianza della fase del polso, viene applicata una loss auto-supervisionata alle mappe delle feature del backbone.
- Tre maschere Gaussiane morbide (fronte, guancia sinistra, guancia destra) sono definite nelle coordinate canoniche.
- La loss minimizza la distanza del coseno tra i segnali temporali estratti da queste tre ROI, garantendo che il backbone apprenda feature del polso spazialmente coerenti.
Loss di Distillazione della Conoscenza POS:
- L'algoritmo classico POS viene applicato alla traccia RGB mediata spazialmente della fronte canonica (che ora è stabile rispetto alla posa).
- Il pseudo-BVP risultante funge da segnale di insegnamento (teacher signal). Una loss di distillazione (correlazione di Pearson negativa) viene calcolata tra la predizione della rete e questo pseudo-BVP staccato.
- Questa loss viene applicata solo durante l'addestramento e non aggiunge parametri.

Contributi Chiave

Trasformazione delle Coordinate: Introduzione di un'omografia a quattro punti differenziabile e priva di parametri che mappa i frame in un sistema canonico, isolando la componente rigida della posa prima dell'elaborazione appresa.
Prior nello Spazio Canonico: Proposta di tre nuovi componenti abilitati da questo cambio di coordinate:
- Una mappa di ponderazione Lambertiana informata dalla fisica.
- Una loss di coerenza temporale cross-ROI che impone l'invarianza di fase.
- Distillazione della conoscenza da POS applicato a una stabile ROI della fronte.
- Fondamentalmente, nessuno di questi componenti aggiunge parametri addestrabili al backbone.
Valutazione Rigorosa: Un'analisi stratificata per posa sul dataset MMPD che isola gli effetti della posa da altri shift di distribuzione, insieme a valutazioni complete di trasferimento cross-dataset.

Risultati Sperimentali

Analisi Stratificata per Posa (MMPD):
- Il baseline FactorizePhys mostra un degrado di 1.60× nell'Errore Assoluto Medio (MAE) dal frontale ( $|yaw|<15^\circ$ ) ai frame con grande yaw ( $|yaw|\ge45^\circ$ ).
- CanonicalPhys riduce questo rapporto di degrado a 1.33×.
- Il degrado nel bin "mild-yaw" ( $15^\circ$ – $30^\circ$ ) viene appiattito da 1.32× a 1.07×.
Trasferimento Cross-Dataset:
- Addestrato su UBFC-rPPG e testato su target ricchi di pose, CanonicalPhys ottiene una riduzione del MAE del 32% su PURE e del 20% su MMPD rispetto a FactorizePhys.
- Vince 13 delle 16 celle della matrice di trasferimento cross-dataset 4×4 (UBFC, PURE, OBF, MMPD).
- Su MMPD, la correlazione di Pearson quasi raddoppia (da 0.18 a 0.33) e la varianza del seed è significativamente ridotta.
Ablation: La sola deformazione (warp) di canonicalizzazione spiega la maggior parte del guadagno di prestazione. Il peso Lambertiano e la loss di coerenza forniscono un'ulteriore uniformità, correggendo in particolare le anomalie nell'intervallo di yaw moderato.

Significatività e Rivendicazioni
Il paper sostiene che trattare la posa della testa come un problema di sistema di coordinate, piuttosto che come una sfida di data augmentation, permette la reintroduzione di prior fisici e fisiologici che altrimenti verrebbero compromessi dalla variazione della posa.

Efficienza: Il metodo ottiene questi guadagni senza aumentare il numero di parametri del backbone, rendendolo computazionalmente efficiente (overhead di tempo di esecuzione <10%).
Generalizzazione: I miglioramenti si trasferiscono attraverso diversi sensori e pool di soggetti, suggerendo che il metodo affronti un limite geometrico fondamentale piuttosto che l'overfitting su artefatti specifici del dataset.
Limitazioni: Gli autori notano esplicitamente che il metodo è robusto alla posa, non invariante alla posa. Le prestazioni degradano ancora in caso di yaw estremo ( $>60^\circ$ ) dove i landmark falliscono, e l'omografia 2D è insufficiente per rotazioni significative fuori piano senza un'estensione a mesh 3D. Inoltre, i prior ausiliari possono sovra-regolarizzare su set di addestramento altamente diversificati dal punto di vista del movimento (ad esempio, addestrare su MMPD per testare su PURE), suggerendo che la "ricetta" completa sia più adatta a set di addestramento compatti, mentre la sola canonicalizzazione rimane la componente più affidabile.

Sintesi Tecnica: CanonicalPhys

Articoli simili