🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

CanonicalPhys aborda la aguda degradación del rendimiento de la fotopletismografía remota profunda bajo variaciones en la pose de la cabeza mediante la introducción de una homografía diferenciable para mapear las regiones faciales a un marco canónico, permitiendo así la aplicación efectiva de prioris anatómicos como el modelo de reflexión dicromática y la invarianza de fase de pulso para reducir significativamente los errores de estimación de la frecuencia cardíaca a través de diversas condiciones de pose.

Autores originales: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Publicado 2026-07-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar escuchar el latido del corazón de un amigo sosteniendo un estetoscopio contra su pecho. Fácil, ¿verdad? Pero ahora, imagina que tienes que hacerlo usando solo una cámara de video, sin llegar a tocarlo. Esta es la magia de la fotopletismografía remota (rPPG). Es una forma elegante de decir "leer tu pulso desde un video". Cuando tu corazón late, bombea una diminuta onda de sangre a través de tu rostro, cambiando el color de tu piel apenas una fracción de un porcentaje. Las cámaras son tan sensibles hoy en día que pueden detectar estos minúsculos cambios de color y convertirlos en una frecuencia cardíaca. Esta tecnología es un gran avance porque podría permitir que los médicos revisen los corazones de los pacientes a kilómetros de distancia, ayuden a monitorear a recién nacidos sin necesidad de clavarles agujas, o incluso vigilar a conductores cansados.

Sin embargo, hay un inconveniente. Estas cámaras funcionan de maravilla cuando estás sentado quieto y mirando directamente a la lente. Pero en el momento en que giras la cabeza, el sistema se confunde. Piensa en ello como intentar leer un mapa donde las calles no dejan de moverse. Si giras la cabeza, el lugar en la pantalla que era tu frente podría convertirse repentinamente en tu mejilla o en tu sien. La computadora no sabe que el "píxel" al que está mirando se ha movido a una parte diferente de tu cuerpo, por lo que intenta encontrar un latido en el lugar equivido, y la lectura se vuelve errática. Los científicos han intentado solucionar esto alimentando a la computadora con más y más ejemplos de personas girando la cabeza, con la esperanza de que eventualmente "aprenda" el truco. Pero, ¿qué tal si el problema no es que la computadora no sea lo suficientemente inteligente, sino que está mirando el mundo desde el ángulo equivocado?

Este es exactamente el rompecabezas que aborda un nuevo método llamado CanonicalPhys. Los investigadores argumentan que el movimiento de la cabeza no es solo un problema de datos; es un problema de coordenadas. Se dieron cuenta de que cuando giras la cabeza, los píxeles en la pantalla se desordenan, pero tu rostro en sí no cambia. Así que, en lugar de enseñar a la computadora a adivinar a dónde van los píxeles, construyeron un ingenioso "enderezador digital" que coloca el rostro de nuevo en una posición perfecta y frontal antes de que la computadora intente siquiera leer el latido.

Así es como lo hicieron: Imagina que tienes la foto de un rostro que está girado hacia un lado. Los investigadores utilizan un truco matemático llamado homografía (piensa en ello como una herramienta de deformación digital) para agarrar cuatro puntos clave en el rostro —las esquinas de los ojos y las esquinas de la boca— y arrastrarlos hacia posiciones fijas y perfectas, como si la persona estuviera mirando directamente a la cámara. Una vez que el rostro ha sido "enderezado" en este marco canónico (o estándar), los píxeles permanecen en el lugar correcto. La frente se queda en la frente y las mejillas se quedan en las mejillas.

Una vez que el rostro está enderezado, el sistema puede utilizar tres reglas simples basadas en la física que antes eran imposibles de usar en un rostro en movimiento:

La Regla de la Luz: Sabe que la piel que mira hacia la cámara refleja la luz de manera diferente a la piel que se aleja. Le da más peso a las partes del rostro que miran directamente a la lente e ignora las partes que están de lado.
La Regla del Ritmo: Sabe que el latido es una onda única. Por lo tanto, comprueba si la frente y ambas mejillas pulsan en sincronía. Si no lo hacen, sabe que algo anda mal.
La Regla del Maestro: Utiliza un truco matemático clásico y tradicional (llamado POS) en la frente enderezada para crear una señal "maestra", lo que ayuda a entrenar al cerebro principal de la computadora para ser más preciso.

¿Lo mejor de todo? Todo este proceso no requiere que la computadora aprenda reglas nuevas y pesadas. Es como añadirle un par de gafas a una cámara; el cerebro de la cámara mantiene el mismo tamaño, pero ahora puede ver con claridad.

Los resultados son bastante impresionantes. Cuando probaron esto en un conjunto de datos lleno de personas girando la cabeza (llamado MMPD), los métodos antiguos empeoraban mucho a medida que la cabeza giraba. Por ejemplo, cuando la cabeza giraba más de 45 grados, la tasa de error aumentaba 1.60 veces en comparación con mirar de frente. Con CanonicalPhys, ese aumento se redujo a solo 1.33 veces. Mejor aún, para giros "leves" (entre 15 y 30 grados), el error apenas cambió, bajando de un aumento de 1.32 veces a solo 1.07 veces.

También probaron esto a través de diferentes cámaras y condiciones de iluminación. Cuando entrenaron el sistema en un conjunto de datos y lo probaron en otros, CanonicalPhys superó a los métodos antiguos en 13 de los 16 escenarios diferentes. En una prueba específica (PURE), redujo el error en un 32%, y en otra (MMPD), recortó el error en un 20%.

Sin embargo, los autores tienen cuidado en señalar que esto no es una varita mágica para todas las situaciones. Si alguien gira la cabeza demasiado (más de 60 grados), el sistema ya no puede encontrar los cuatro puntos clave y simplemente se rinde, rindiendo un desempeño no mejor que los métodos antiguos. Además, si el rostro se mueve salvajemente o si la iluminación es extraña, el sistema podría confundirse un poco. Pero para la gran mayoría de las situaciones del mundo real donde la gente simplemente está charlando o mirando alrededor, este "enderezador digital" hace que leer un latido desde un video sea mucho más confiable, demostiendo que, a veces, la mejor manera de resolver un problema no es hacer a la computadora más inteligente, sino hacer que el mundo sea un poco más fácil de entender para ella.

Resumen Técnico: CanonicalPhys

Planteamiento del Problema
Los modelos de fotopletismografía remota (rPPG) profunda logran una precisión de frecuencia cardíaca de sub-bpm en rostros frontales y estacionarios, pero sufren una degradación significativa del rendimiento cuando los sujetos presentan variaciones en la pose de la cabeza. Los autores argumentan que esta degradación no es meramente un problema de aumento de datos, sino un problema de estructura de coordenadas. En las coordenadas de imagen estándar, un píxel $(x, y)$ fijo se mapea a diferentes regiones anatómicas a medida que la cabeza rota (por ejemplo, desplazándose de la frente a la sien). Esta inestabilidad impide la aplicación de tres principios fundamentales de la rPPG:

Modelo de Reflexión Dicromática: El componente difuso, portador del pulso, de la reflectancia de la piel escala con el coseno del ángulo entre la normal de la piel y el eje de la cámara, una propiedad definida por ubicación anatómica, no por píxel.
Invarianza de Fase del Pulso: La fase del pulso debe permanecer consistente a través de las regiones de la piel (por ejemplo, frente y mejillas), lo que requiere una definición de Regiones de Interés (ROI) estable ante la pose.
Proyección de Cromaticidad (POS/CHROM): Los métodos clásicos proyectan las trazas RGB de ventana sobre una base de chromaticidad para suprimir componentes especulares y de iluminación, un proceso que solo es bien planteado en una ROI de piel fija.

Sin un mapeo estable de anatomía-a-píxel, estos principios no pueden utilizarse eficazmente, obligando a las arquitecturas de aprendizaje profundo a absorber el ruido de la pose únicamente mediante capacidad de modelo.

Metodología: CanonicalPhys
El marco propuesto CanonicalPhys aborda esto transformando el video de entrada en un sistema de coordenadas faciales canónicas antes de la extracción de características. El pipeline consta de cuatro etapas, todas ellas envueltas alrededor de un backbone FactorizePhys no modificado (un modelo ligero de vanguardia que utiliza factorización de matrices no negativas para la atención espacio-temporal-canal).

Canonicidad mediante Homografía de 4 Puntos:
- Se aplica una homografía diferenciable de cuatro puntos a cada fotograma, mapeando cuatro anclajes faciales (esquinas externas de los ojos izquierdo/derecho y esquinas de la boca izquierda/derecha) a posiciones canónicas fijas.
- Esta deformación (warp) se computa utilizando landmarks 2D (de MediaPipe) y se resuelve mediante un sistema lineal de forma cerrada (DLT).
- Restricción Clave: Este módulo no introduce parámetros entrenables. Absorbe el componente rígido dominante de rotación en el plano de la pose, restaurando efectivamente un mapeo estable de anatomía-a-píxel.
- Se aplica estabilización temporal computando la mediana de la homografía sobre un fragmento de video para reducir el jitter causado por landmarks ruidosos.
Ponderación por Píxel Informada por la Física ( $w_{phys}$ ):
- Operando en el marco canónico, se calcula un peso por píxel basado en el modelo de reflexión dicromática.
- Utilizando las normales 3D canónicas de los landmarks faciales y la matriz de rotación facial por fotograma, el método calcula el coseno del ángulo entre la normal de la piel y el eje de la cámara.
- Una función sigmoide pondera al alza los píxeles orientados hacia la cámara y penaliza los ángulos rasantes. Este peso se aplica multiplicativamente al marco canónico antes de la diferenciación temporal.
Pérdida de Consistencia Temporal entre ROIs:
- Para imponer la invarianza de fase del pulso, se aplica una pérdida autosupervisada a los mapas de características del backbone.
- Se definen tres máscaras suaves gaussianas (frente, mejilla izquierda, mejilla derecha) en coordenadas canónicas.
- La pérdida minimiza la distancia de coseno entre las señales temporales extraídas de estas tres ROIs, asegurando que el backbone aprenda características de pulso espacialmente consistentes.
Pérdida de Destilación de Conocimiento POS:
- El algoritmo clásico POS se aplica a la traza RGB promediada espacialmente de la frente canónica (que ahora es estable ante la pose).
- La señal pseudo-BVP resultante sirve como señal de profesor. Se computa una pérdida de destilación (correlación de Pearson negativa) entre la predicción de la red y este pseudo-BVP desvinculado.
- Esta pérdida se aplica solo durante el entrenamiento y no añade parámetros.

Contribuciones Clave

Transformación de Coordenadas: Introducción de una homografía de cuatro puntos diferenciable y sin parámetros que mapea los fotogramas a un sistema canónico, aislando el componente de pose rígida antes del procesamiento aprendido.
Principios en el Espacio Canónico: Propuesta de tres nuevos componentes habilitados por este cambio de coordenadas:
- Un mapa de ponderación lambertiana informado por la física.
- Una pérdida de consistencia temporal entre ROIs que impone la invarianza de fase.
- Destilación de conocimiento de POS aplicada a una ROI de la frente estable.
- Crucialmente, ninguno de estos componentes añade parámetros entrenables al backbone.
Evaluación Rigurosa: Un análisis estratificado por pose en el dataset MMPD que aisla los efectos de la pose de otros cambios de distribución, junto con evaluaciones de transferencia entre datasets completos.

Resultados Experimentales

Análisis Estratificado por Pose (MMPD):
- El baseline FactorizePhys muestra una degradación de 1.60× en el Error Absoluto Medio (MAE) desde fotogramas frontales ( $|yaw|<15^\circ$ ) hasta fotogramas de gran yaw ( $|yaw|\ge45^\circ$ ).
- CanonicalPhys reduce esta ratio de degradación a 1.33×.
- La degradación en el bin de "yaw leve" ( $15^\circ$ – $30^\circ$ ) se aplana de 1.32× a 1.07×.
Transferencia entre Datasets:
- Entrenado en UBFC-rPPG y probado en objetivos ricos en pose, CanonicalPhys logra una reducción del 32% en el MAE en PURE y un 20% en MMPD comparado con FactorizePhys.
- Gana 13 de las 16 celdas en la matriz completa de transferencia entre datasets de 4×4 (UBFC, PURE, OBF, MMPD).
- En MMPD, la correlación de Pearson casi se duplica (0.18 a 0.33) y la varianza de la semilla se reduce significamente.
Ablación: La deformación de canonicalización por sí sola explica la mayor parte de la ganancia de rendimiento. El peso de Lambert y la pérdida de consistencia proporcionan una mayor uniformidad, corrigiendo especialmente las anomalías en el rango de yaw moderado.

Significancia y Reivindicaciones
El artículo afirma que tratar la pose de la cabeza como un problema de sistema de coordenadas, en lugar de un desafío de aumento de datos, permite la reintroducción de principios físicos y fisiológicos que de otro modo se rompen por la variación de la pose.

Eficiencia: El método logra estas ganancias sin aumentar el número de parámetros del backbone, lo que lo hace computacionalmente eficiente (sobrecarga de tiempo de ejecución <10%).
Generalización: Las mejoras se transfieren a través de diferentes sensores y grupos de sujetos, lo que sugiere que el método aborda una limitación geométrica fundamental en lugar de sobreajustarse a artefactos específicos de un dataset.
Limitaciones: Los autores señalan explícitamente que el método es robusto a la pose, no invariante a la pose. El rendimiento sigue degradándose en yaw extremo ( $>60^\circ$ ) donde los landmarks fallan, y la homografía 2D es insuficiente para rotaciones fuera del plano significativas sin una extensión de malla 3D. Además, los principios auxiliares pueden sobre-regularizar en conjuntos de entrenamiento altamente diversos en movimiento (por ejemplo, entrenar con MMPD para probar con PURE), lo que sugiere que la "receta" completa es mejor para conjuntos de entrenamiento compactos, mientras que la canonicalización por sí sola es el componente más fiable.

Más como este