Reliability-Aware Weighted Multi-Scale Spatio-Temporal Maps for Heart Rate Monitoring

Resumen Técnico: Mapas WMST para rPPG

1. Planteamiento del Problema

La fotopletismografía remota (rPPG) permite estimar señales fisiológicas (como la frecuencia cardíaca) de manera no invasiva analizando cambios sutiles en el color de la piel facial en videos. Sin embargo, esta tecnología enfrenta desafíos críticos en entornos no controlados:

• Susceptibilidad al ruido: Las señales rPPG son extremadamente vulnerables a cambios de iluminación, movimiento, sombras y reflexiones especulares.
• Limitaciones de los métodos actuales:
  • Los enfoques tradicionales basados en procesamiento de señales dependen de características manuales y tienen un bajo rendimiento en condiciones variables.
  • Los métodos de aprendizaje profundo recientes requieren grandes cantidades de datos etiquetados (ground truth), lo cual es difícil de obtener.
  • Las técnicas de Aprendizaje Auto-supervisado (SSL) existentes utilizan mapas espacio-temporales (MST) que no modelan adecuadamente el ruido ambiental y emplean aumentos de datos negativos genéricos que no capturan bien la dinámica facial real o son triviales de separar.

2. Metodología Propuesta

Los autores proponen un marco de trabajo de Aprendizaje Auto-supervisado (SSL) basado en aprendizaje contrastivo que integra dos componentes innovadores:

A. Generación del Mapa WMST (Consciente de la Fiabilidad)
Se introduce una mejora sobre el mapa Multi-Escala Espacio-Temporal (MST) existente, llamado WMST (Weighted Multi-Scale Spatio-Temporal). En lugar de un promedio simple de los píxeles en las regiones de interés (ROI), el WMST asigna pesos a cada píxel basándose en su fiabilidad fisiológica:

• Modelado de ruido: Se utilizan estrategias de ponderación para suprimir áreas no fisiológicas:
  • Probabilidad de piel: Se calcula la distancia de Mahalanobis en el espacio de color YUV para identificar piel.
  • Bordes y movimiento: Se usa la Transformada de Ondículas Estacionaria (SWT) para suprimir texturas no fisiológicas y bordes de movimiento.
  • Reflejos especulares: Se penalizan píxeles brillantes y poco saturados en el espacio HSV.
  • Sombras: Se penalizan píxeles oscuros basándose en el canal de luminancia.
• Fusión adaptativa: Los pesos se combinan utilizando la varianza de cada cue de fiabilidad para generar un mapa final que maximiza la relación señal-ruido (SNR).

B. Aprendizaje Contrastivo con Aumento de Datos Específico
El marco utiliza una red Swin-Unet para aprender representaciones robustas sin etiquetas fisiológicas:

• Ancla: El mapa WMST generado.
• Pares Positivos: Se generan a partir de señales fisiológicas tradicionales (ICA, PCA, CHROM, etc.) y mapas WMST con mezclas temporales y de ROI.
• Pares Negativos (Novedad - Mapa HHH): Se introduce un nuevo mapa de onda High-High-High (HHH).
  • Se obtiene aplicando una Transformada de Ondículas 3D (SWT) al video.
  • Este mapa retiene la información de movimiento y estructura (ruido para rPPG) pero elimina la información fisiológica.
  • Funciona como un ejemplo negativo difícil y realista, forzando al modelo a distinguir entre la señal cardíaca y el movimiento/estructura facial.
• Función de Pérdida: Se utiliza una versión libre de temperatura de la pérdida InfoNCE, basada en el coeficiente de correlación de Pearson en el dominio de la frecuencia (0.5 - 3.0 Hz).

3. Contribuciones Clave

1. Mapa WMST: Una técnica de preprocesamiento avanzada que modela la fiabilidad de los píxeles mediante la supresión adaptativa de ruidos ambientales (reflejos, sombras, movimiento), logrando una SNR superior a los mapas MST tradicionales.
2. Mapa HHH como Negativo: El uso de un mapa de onda de alta frecuencia (HHH) como ejemplo negativo en el aprendizaje contrastivo. Este mapa modela explícitamente el movimiento y el ruido estructural, algo no explorado anteriormente en rPPG.
3. Marco SSL Robusto: Un enfoque que no requiere datos etiquetados, logrando una mayor robustez ante el movimiento y cambios de iluminación mediante la combinación de representaciones espacio-temporales ponderadas y aumentos de datos inteligentes.

4. Resultados Experimentales

El método fue evaluado en dos conjuntos de datos públicos de referencia: VIPL-HR (entornos no controlados, movimiento, iluminación variable) y UBFC-rPPG (entornos controlados).

• Análisis Estadístico: Se demostró mediante pruebas t pareadas y Wilcoxon que el mapa WMST mejora significativamente la SNR en comparación con el mapa MST estándar (valores p < 10⁻¹³).
• Rendimiento en VIPL-HR (Desafiante):
  • El método propuesto logró el MAE (Error Absoluto Medio) más bajo (4.32) y la correlación de Pearson más alta (0.86) entre todos los métodos SSL de última generación (SOTA).
  • Superó a métodos como RS+rPPG y Contrast-Phys, mostrando una mejor sincronización con la frecuencia cardíaca real (GT).
• Rendimiento en UBFC-rPPG (Controlado):
  • El método mantuvo un rendimiento comparable a los SOTA (MAE 0.50, Correlación 0.99), demostrando que las características aprendidas son generalizables incluso en entornos estables.
• Estudio de Ablación:
  • La eliminación del mapa WMST aumentó el error (MAE de 4.32 a 4.55).
  • La eliminación del mapa HHH redujo la correlación (de 0.86 a 0.80), confirmando que los ejemplos negativos específicos de movimiento son cruciales para la alineación temporal.

5. Significado e Impacto

Este trabajo representa un avance significativo en la monitorización fisiológica remota:

• Robustez en Entornos Reales: Al modelar explícitamente el ruido ambiental y el movimiento, el sistema es mucho más fiable para aplicaciones en la vida real (no solo en laboratorio).
• Eficiencia de Datos: Al eliminar la dependencia de grandes conjuntos de datos etiquetados mediante SSL, facilita la implementación de rPPG en escenarios donde la anotación de datos es costosa o imposible.
• Innovación en Representación: La introducción del mapa HHH como negativo y el mapa WMST ponderado establece un nuevo estándar para cómo se deben construir las representaciones espacio-temporales y los ejemplos negativos en el aprendizaje contrastivo para señales biomédicas.

En conclusión, la propuesta demuestra que una mejor modelización de la fiabilidad de los píxeles y el uso de aumentos de datos fisiológicamente informados pueden superar a los métodos actuales, ofreciendo una estimación de frecuencia cardíaca más precisa y estable.