MVRD-Bench: Multi-View Learning and Benchmarking for Dynamic Remote Photoplethysmography under Occlusion

1. Planteamiento del Problema

La fotopletismografía remota (rPPG) es una técnica no invasiva que estima señales fisiológicas (como la frecuencia cardíaca) analizando cambios sutiles en el color de la piel en videos faciales. Sin embargo, los métodos existentes presentan limitaciones críticas:

• Dependencia de una sola vista: La mayoría de los algoritmos actuales operan con videos de una sola cámara. En escenarios dinámicos con movimiento de la cabeza, esto provoca la pérdida de la región de interés (ROI) facial debido a oclusiones (ej. la mano cubriendo la cara, giro de la cabeza) y artefactos de movimiento.
• Falta de datos dinámicos multivista: Aunque existen algunos conjuntos de datos multivista, suelen estar restringidos a escenarios estáticos. No existen benchmarks que capturen la variación de vistas causada por movimientos naturales de la cabeza, lo que impide desarrollar estrategias de fusión robustas para compensar la pérdida de visibilidad en una vista específica.

2. Metodología Propuesta: MVRD-rPPG

Los autores proponen un marco de aprendizaje unificado llamado MVRD-rPPG, diseñado para fusionar información de múltiples vistas sincronizadas y mantener la cobertura de la piel facial incluso bajo movimiento. La arquitectura consta de los siguientes componentes clave:

A. Compensación Óptica Temporal Adaptativa (ATOC)

Para mitigar los artefactos causados por el movimiento no rígido:

• Genera una máscara de movimiento mediante sustracción de fondo.
• Estima parámetros afines locales basados en puntos clave faciales (landmarks) para modelar el movimiento.
• Realiza un "warping" (deformación) selectivo de píxeles en regiones de alta confianza para alinear temporalmente los frames y preservar la señal fisiológica.

B. Red de Doble Flujo (Rhythm-Visual Dual-Stream Network)

Para desentrañar las características rítmicas de las visuales, se utilizan dos flujos paralelos:

1. Flujo Estructural-Rítmico: Utiliza una arquitectura 3D CNN para capturar patrones espaciotemporales globales asociados a la propagación del pulso sanguíneo, siendo robusto a cambios de apariencia local.
2. Flujo Visual-Perceptivo: Preserva la evidencia de apariencia local (textura de la piel, variaciones de reflectancia) que puede ser crítica cuando una vista está parcialmente ocluida.

C. Atención Consciente de la Correlación Multivista (MVCA)

Este módulo fusiona las señales de las tres vistas (izquierda, centro, derecha) de manera adaptativa:

• Agregación sensible al ruido de flujo: Calcula una puntuación de "ruido de flujo" para cada vista basada en la magnitud del movimiento. Las vistas con mucho movimiento (y por tanto, señal corrupta) reciben menor peso.
• Atención Temporal Cruzada: Utiliza mecanismos de atención (tipo Transformer) para alinear y correlacionar las características entre las diferentes vistas en cada paso de tiempo.
• Fusión de Sinergia con Puerta (Gated Synergy Fusion): Combina dinámicamente las salidas de los dos flujos anteriores mediante un parámetro de puerta aprendible, equilibrando la contribución de la estructura rítmica global y la evidencia visual local.

D. Estrategia de Aprendizaje Adversarial de Frecuencia de Correlación (CFA)

Para entrenar el modelo, se utiliza una función de pérdida compuesta que asegura:

• Consistencia Temporal: Pérdida de correlación de Pearson entre la señal predicha y la real.
• Consistencia Espectral: Pérdida de densidad espectral de potencia (PSD) para asegurar que la frecuencia cardíaca estimada coincida con la banda fisiológica real.
• Realismo Perceptivo: Una pérdida adversarial (GAN) que utiliza un discriminador para forzar a la red a generar formas de onda de rPPG realistas y continuas.

3. Contribuciones Clave

1. Conjunto de Datos MVRD (Multi-View rPPG Dataset):

   • Un benchmark de alta calidad con 369 secuencias de video sincronizadas de 41 participantes.
   • Grabado desde tres vistas (izquierda, centro, derecha) simultáneamente.
   • Incluye tres escenarios: estático, hablando y movimiento de cabeza natural, cubriendo situaciones de oclusión inducida por movimiento.
   • Incluye señales de referencia de oximetría de pulso (PPG) sincronizadas.

2. Marco de Aprendizaje Unificado (MVRD-rPPG):

   • Es el primer marco que integra compensación de movimiento y fusión cruzada de vistas para rPPG dinámico.
   • Demuestra cómo la información complementaria de múltiples cámaras puede recuperar la señal cuando una vista falla.

3. Validación Experimental Exhaustiva:

   • Demostración de superioridad sobre métodos tradicionales (ICA, CHROM, POS) y redes neuronales avanzadas (PhysNet, PhysFormer) en escenarios de movimiento.
   • Evaluación de la robustez ante la pérdida de vistas (cuando una o dos cámaras no están disponibles).
   • Pruebas de generalización cruzada en conjuntos de datos públicos (PURE, UBFC-rPPG).

4. Resultados Experimentales

• Rendimiento en Escenario de Movimiento (MVRD):
  • El método propuesto alcanzó un MAE (Error Absoluto Medio) de 0.90 ppm y un coeficiente de correlación de Pearson (R) de 0.99.
  • Esto supera significativamente a los mejores métodos de una sola vista (que tuvieron un MAE de ~3.99 ppm y R de 0.63 en la misma condición).
• Robustez ante Oclusión:
  • El modelo mantiene un rendimiento alto incluso si falta la vista central (el más crítico), gracias a la compensación de las vistas laterales.
• Generalización:
  • Entrenado solo en el subconjunto de movimiento de MVRD, el modelo logró los mejores resultados en los conjuntos de datos públicos PURE (MAE 0.77) y UBFC-rPPG (MAE 0.83) sin ajuste fino (fine-tuning), demostrando una excelente capacidad de generalización de dominio.

5. Significado e Impacto

Este trabajo aborda una brecha fundamental en la investigación de rPPG: la falta de soluciones robustas para entornos del mundo real donde el movimiento y la oclusión son inevitables.

• Avance Científico: Establece un nuevo estándar (MVRD-Bench) para evaluar algoritmos de rPPG en condiciones dinámicas y multivista.
• Aplicabilidad Práctica: La capacidad de mantener la precisión fisiológica a pesar de la pérdida de visibilidad facial abre la puerta a aplicaciones críticas en monitoreo de salud en tiempo real, análisis de emociones en vehículos autónomos, y sistemas de vigilancia de bienestar en entornos laborales o domésticos, donde los sujetos no permanecen estáticos frente a una cámara.

En resumen, MVRD-Bench y el marco MVRD-rPPG representan un salto cualitativo hacia la viabilidad de la fotopletismografía remota en escenarios no controlados y dinámicos.