VideoPulse: Neonatal heart rate and peripheral capillary oxygen saturation (SpO2) estimation from contact free video

El artículo presenta VideoPulse, un conjunto de datos y una metodología de aprendizaje profundo que permite estimar de forma precisa y sin contacto la frecuencia cardíaca y la saturación de oxígeno en neonatos a partir de videos faciales, ofreciendo una alternativa no invasiva y de bajo costo para el monitoreo en unidades de cuidados intensivos.

Lo esencial

¡Hola! Imagina que tienes un bebé recién nacido en la incubadora. Normalmente, para saber si su corazón late bien o si tiene suficiente oxígeno, los médicos deben pegarle pequeños sensores adhesivos en la piel. Pero la piel de un bebé es tan delicada como la de una hoja de papel; esos sensores pueden irritarla, dolerle y hasta aumentar el riesgo de infecciones.

Los autores de este artículo, VideoPulse, tienen una idea brillante: "¿Y si pudiéramos medir la salud del bebé solo mirándolo a la cara a través de una cámara, sin tocarlo en absoluto?".

Aquí te explico cómo funciona su "magia" usando analogías sencillas:

1. El Problema: Ver lo invisible

El corazón de un bebé bombea sangre, lo que hace que la piel cambie de color muy, muy sutilmente cada vez que late. Es como intentar ver el latido de un corazón a través de una pared de ladrillos: es casi imposible a simple vista. Además, los bebés se mueven mucho, la luz de la habitación cambia y a veces la cámara está torcida. Los métodos antiguos (como los sensores pegados) son molestos, y los métodos de cámara viejos fallaban porque se confundían con el movimiento o la mala luz.

2. La Solución: VideoPulse (El "Super-Ojo" Digital)

Los investigadores crearon un sistema inteligente que actúa como un detective forense digital. En lugar de usar sensores pegados, usa una cámara normal (como la de tu laptop) para grabar al bebé.

• El "Gafas Mágicas" (Alineación de la cara): Los bebés no se quedan quietos mirando a la cámara; a veces duermen de lado o la cámara está torcida. El sistema primero "endereza" digitalmente la cara del bebé en el video, como si alguien ajustara el marco de una foto para que la cara quede perfecta, sin importar cómo esté el bebé en la cama.
• El "Filtro de Ruido" (Limpieza de señales): A veces, los sensores reales que usan los médicos para medir la verdad (el "ground truth") se ensucian porque el bebé se mueve y patalea. Imagina que intentas escuchar una canción suave mientras alguien golpea una mesa. El sistema usa una inteligencia artificial (llamada GAN) que actúa como un editor de audio profesional: escucha la señal ruidosa, identifica los golpes de la mesa (el movimiento) y los borra, dejando solo la melodía limpia del latido del corazón.
• El "Estudiante Inteligente" (Aprendizaje): El sistema aprendió viendo miles de videos de bebés. Pero como los bebés tienen la piel diferente y se mueven de formas distintas, los investigadores crearon un nuevo conjunto de datos llamado VideoPulse (grabado en Sri Lanka) para que el sistema aprenda de una variedad de bebés reales, no solo de adultos o de bebés en condiciones perfectas de laboratorio.

3. ¿Qué logra este sistema?

El sistema es capaz de hacer dos cosas mágicas en solo 2 segundos de video:

1. Contar el corazón (Frecuencia Cardíaca): Te dice cuántas veces late el corazón por minuto con una precisión increíble (casi tan buena como el sensor pegado, pero sin tocar al bebé).
2. Medir el oxígeno (SpO2): Te dice qué tan bien está respirando y si la sangre tiene suficiente oxígeno. ¡Esto es algo que nadie había logrado hacer tan bien solo con una cámara de video normal antes!

4. ¿Por qué es importante?

Imagina que este sistema es como un guardia de seguridad invisible que nunca duerme.

• Sin dolor: El bebé no sufre por sensores pegados.
• Sin infecciones: Menos cosas pegadas en la piel significa menos riesgo de que entren bacterias.
• En tiempo real: Como solo necesita 2 segundos de video, los médicos pueden ver los cambios en la salud del bebé casi al instante, como si tuvieran un superpoder para ver el futuro inmediato.

En resumen

VideoPulse es como enseñarle a una cámara de video a "escuchar" el corazón y "respirar" de un bebé solo mirando cómo cambia la luz en su piel. Es una herramienta barata, sin contacto y muy precisa que podría cambiar la forma en que cuidamos a los bebés más pequeños en los hospitales, haciendo que su estancia sea más cómoda y segura.

Es como pasar de tener que ponerle un parche doloroso al bebé, a simplemente ponerle una cámara y dejar que la inteligencia artificial cuide de él.

Resumen técnico

Resumen Técnico: VideoPulse

1. Planteamiento del Problema

La monitorización de signos vitales en neonatos (frecuencia cardíaca - HR y saturación de oxígeno - SpO2) es crítica en las Unidades de Cuidados Intensivos Neonatales (UCIN). Los métodos convencionales, como los electrodos adhesivos y las sondas de oximetría de pulso, requieren contacto prolongado con la piel, lo que puede irritar la piel frágil de los neonatos y aumentar la carga de control de infecciones.

La fotopletismografía remota (rPPG) ofrece una alternativa sin contacto, pero enfrenta desafíos significativos en neonatos:

• Escasez de datos: La mayoría de los modelos rPPG se entrenan con datos de adultos.
• Calidad de señal: Los neonatos tienen movimientos espontáneos, regiones faciales más pequeñas y variaciones de iluminación que degradan la señal.
• Falta de diversidad: Los conjuntos de datos públicos existentes (como NBHR) tienen limitaciones demográficas y de tono de piel.
• Estimación de SpO2: La estimación de SpO2 a partir de video RGB estándar es menos madura que la de la frecuencia cardíaca y carece de modelos de aprendizaje profundo específicos para neonatos.

2. Metodología

Los autores proponen VideoPulse, un sistema integral que combina un nuevo conjunto de datos con una tubería de aprendizaje profundo (deep learning) para estimar HR y SpO2.

A. Pipeline de Preprocesamiento:

• Detección y Alineación Facial: Se utiliza un detector YOLOv5 (entrenado en adultos) para localizar rostros. Dado que los neonatos a menudo aparecen rotados en los videos de la cama, el sistema prueba rotaciones de 90° hasta lograr una detección válida.
• Normalización: Se aplican clips de video de 2 segundos (60 cuadros a 30 fps). Se utiliza la normalización de la diferencia temporal para resaltar las variaciones de intensidad relacionadas con el pulso y suprimir el ruido estático y de iluminación.

B. Estimación de Frecuencia Cardíaca (HR):

• Modelo Base: Se utiliza PhysNet (una red neuronal 3D CNN), seleccionado por su eficiencia y robustez en ventanas temporales cortas, superando a arquitecturas más complejas como RhythmMamba en este contexto neonatal.
• Pérdida: Se emplea la pérdida de correlación de Pearson negativa para alinear la forma de onda predicha con la de referencia.
• Post-procesamiento: Se extrae la HR mediante análisis de densidad espectral de potencia (PSD) tras filtrar la señal con un filtro paso banda de Butterworth (0.4 Hz - 4 Hz).

C. Estimación de Saturación de Oxígeno (SpO2):

• Arquitectura: Se adapta PhysNet añadiendo una cabeza de regresión completamente conectada (capas ocultas de 60 y 32 neuronas) para predecir valores continuos de SpO2.
• Estrategias de Entrenamiento Avanzadas:
  1. Denoising de Señal de Referencia (Ground Truth): Se implementa un pipeline basado en GANs (Redes Generativas Antagónicas) y SVMs para reconstruir y limpiar las señales de PPG de referencia, eliminando artefactos de movimiento comunes en neonatos.
  2. Suavizado de Distribución de Etiquetas (Label Distribution Smoothing - LDS): Para mitigar el desequilibrio de etiquetas (la mayoría de los neonatos tienen SpO2 cercano al 100%), se aplica un kernel Beta para suavizar la distribución y generar pesos de muestra.
  3. Pérdida Ponderada (Weighted RMSE): Se utiliza una función de pérdida RMSE ponderada, asignando mayor peso a las etiquetas raras (bajas saturaciones) para mejorar la sensibilidad clínica.
  4. Aumento de Datos: Se emplea la reversión temporal de los clips de video como técnica de regularización para mejorar la generalización.

D. Transferencia de Dominio:
El modelo se entrena inicialmente en el conjunto de datos público NBHR y luego se ajusta fino (fine-tuning) en el nuevo conjunto de datos VideoPulse, congelando las primeras capas convolucionales para preservar las representaciones espaciotemporales aprendidas.

3. Contribuciones Clave

1. VideoPulse Dataset: Un nuevo conjunto de datos neonatal recopilado en Sri Lanka con 157 grabaciones de 52 neonatos (0-6 días). Incluye video facial sincronizado, HR, SpO2 y señales PPG de referencia. Aporta diversidad demográfica y de tonos de piel faltante en datasets previos.
2. Pipeline de Aprendizaje Profundo End-to-End: Primer sistema que estima simultáneamente HR y SpO2 en neonatos a partir de video RGB estándar, superando los métodos tradicionales de procesamiento de señales.
3. Estrategias de Supervisión Innovadoras:
   • Reconstrucción de señales PPG sucias mediante GANs.
   • Aplicación de LDS y regresión ponderada para manejar el desequilibrio de clases en SpO2.
4. Validación en Condiciones Realistas: El sistema demuestra robustez ante variaciones de iluminación, orientación de la cara (rotaciones) y movimiento, utilizando ventanas de predicción muy cortas (2 segundos).

4. Resultados

El rendimiento se evaluó utilizando Error Absoluto Medio (MAE), Raíz del Error Cuadrático Medio (RMSE) y Desviación Estándar (SD).

• Frecuencia Cardíaca (HR):
  • En el dataset NBHR: MAE de 2.97 bpm (con ventanas de 2s) y 2.80 bpm (con 6s). Supera a los modelos de última generación (NBHRnet).
  • En el dataset VideoPulse (evaluación cruzada): MAE de 5.34 bpm, demostrando capacidad de transferencia entre poblaciones.
• Saturación de Oxígeno (SpO2):
  • En NBHR: RMSE de 2.20% y MAE de 1.69%.
  • En VideoPulse (tras fine-tuning): RMSE de 2.18% y MAE de 1.68%.
  • En el dataset adulto PURE: RMSE de 0.96%, validando la arquitectura para adultos también.
• Latencia: El sistema genera predicciones en ventanas de 2 segundos, permitiendo una monitorización casi en tiempo real, crucial para la atención neonatal.

5. Significado e Impacto

• Avance Clínico: Este trabajo demuestra que es posible realizar una monitorización no invasiva, de bajo costo y sin contacto de signos vitales críticos en neonatos utilizando cámaras estándar (webcams).
• Seguridad del Paciente: Elimina la necesidad de sensores adhesivos, reduciendo el riesgo de irritación cutánea y la carga de trabajo de control de infecciones.
• Viabilidad en Entornos de Recursos Limitados: Al funcionar con hardware común y lograr alta precisión en ventanas cortas, el sistema es apto para su implementación en UCIN con recursos limitados.
• Fundamento para Futuras Investigaciones: La creación del dataset VideoPulse y la validación de técnicas de aprendizaje profundo para SpO2 neonatal abren nuevas vías para la investigación en monitorización remota de pacientes pediátricos.

En conclusión, VideoPulse representa un paso decisivo hacia la integración clínica de la monitorización basada en cámaras para neonatos, superando las limitaciones de los métodos actuales mediante un enfoque robusto de aprendizaje profundo y un nuevo conjunto de datos diverso.