💻 computer science

SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware

El artículo presenta SIR-PhysNet, un flujo de trabajo de rPPG ultraligero y consciente de los plazos de entrega que delega el procesamiento geométrico e de iluminación a operaciones de costo fijo y utiliza una máscara de Fourier analítica para la extracción de la frecuencia cardíaca, permitiendo el monitoreo en tiempo real y de alta precisión en dispositivos periféricos con recursos limitados como la Raspberry Pi 5, donde la detección facial, en lugar de la inferencia de red, es el principal cuello de botella del rendimiento.

Autores originales: Haochen Chai, Zining Liu, Wentao Zhang, Fangfang Jiang

Publicado 2026-09-08

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haochen Chai, Zining Liu, Wentao Zhang, Fangfang Jiang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde tu ritmo cardíaco pueda ser leído sin un solo cable, un solo sensor o un solo toque. Esta es la promesa del monitoreo de salud basado en cámaras, un campo que convierte un video ordinario en una ventana al ritmo más vital del cuerpo. La ciencia detrás de esto se basa en una verdad simple e invisible: cada vez que tu corazón late, bombea una pequeña oleada de sangre a través de tu rostro, cambiando el color de tu piel en una fracción de un porcentaje. Estos cambios son demasiado pequeños para que el ojo humano los vea, pero una cámara puede capturarlos. Al analizar estos sutiles cambios en la luz y el color, es posible calcular qué tan rápido late un corazón. Esta tecnología ya se está considerando para su uso en automóviles para monitorear la fatiga del conductor, en hospitales para rastrear pacientes y en hogares inteligentes para vigilar a las personas mayores. Sin embargo, para que esto funcione en el mundo real, la computadora que realiza los cálculos debe ser lo suficientemente rápida como para seguir el ritmo del video, y debe ser lo suficientemente pequeña y eficiente para ejecutarse en un dispositivo que quepa en un estante o en un bolsillo, no solo en un enorme centro de datos.

Un equipo de investigadores de la Universidad Northeastern ha construido un nuevo sistema diseñado específicamente para resolver este problema de velocidad y tamaño. Llaman a su creación SIR-PhysNet, un flujo de trabajo que actúa como un proceso completo para convertir un video bruto en un número de frecuencia cardíaca. El desafío central que enfrentaron no fue solo hacer que las matemáticas fueran precisas, sino asegurar que todo el proceso pudiera terminar su trabajo antes de que llegara el siguiente fotograma del video. En su configuración, el sistema debe procesar una transmisión de video, encontrar un rostro, limpiar la imagen y calcular un nuevo estimado de la frecuencia cardíaca cada 2.5 segundos. Si la computadora tarda demasiado, el sistema se queda atrás, los datos se vuelven inútiles y el monitoreo falla. Los investigadores descubrieron que el mayor cuello de botella no era el cerebro complejo del sistema, sino los ojos que buscaban el rostro.

Para construir un sistema que pudiera ejecutarse en una Raspberry Pi 5, una computadora pequeña y económica que suelen usar aficionados e ingenieros, el equipo tuvo que repensar cómo se dividía el trabajo. La mayoría de los intentos previos trataban de enseñar a un único programa de computadora masivo a hacer todo: encontrar el rostro, ignorar las sombras, manejar los movimientos de la cabeza y calcular la frecuencia cardíaca, todo a la vez. Este enfoque requería mucha memoria y potencia de procesamiento, lo que lo hacía demasiado lento para dispositivos pequeños. El nuevo enfoque, SIR-PhysNet, divide el trabajo en dos partes distintas. Primero, utiliza reglas simples y fijas para preparar la imagen. Antes de que la computadora siquiera mire el video para encontrar un patrón, utiliza herramientas de imagen estándar para fijarse en el rostro, corregir el ángulo de la cabeza y eliminar los efectos de la luz cambiante. Este paso es como poner un marco alrededor de una pintura y limpiar el vidrio antes de intentar analizar el arte; hace que el trabajo sea mucho más fácil para la computadora que sigue. Al realizar este trabajo pesado con herramientas simples, los investigadores pudieron reducir el tamaño de la parte compleja del sistema, la cual requiere solo una fracción de la memoria y la potencia de otros modelos.

La segunda parte del sistema es el calculador de la frecuencia cardíaca real. Debido a que la imagen ya fue limpiada y estabilizada por el primer paso, esta parte del sistema no necesita ser una red gigante y pesada. Es un modelo compacto con solo 0.26 millones de parámetros, un número que representa la cantidad de información que necesita recordar. En lugar de intentar reconstruir toda la forma de la onda del pulso sanguíneo, que es una tarea compleja e innecesaria para simplemente contar latidos, este modelo predice directamente la frecuencia dominante del latido del corazón. Luego, utiliza un filtro matemático para extraer la frecuencia de la señal. Esta elección de diseño significa que el sistema es increíblemente eficiente, utilizando solo 0.12 gigaflops de potencia de cómputo, que es una medida de cuántos cálculos realiza por segundo.

Los investigadores probaron su sistema en varios conjuntos de datos de video diferentes, incluyendo grabaciones de personas haciendo ejercicio en una cinta de correr, donde el movimiento de la cabeza y el sudor hacen que la tarea sea muy difícil. En un conjunto de datos estándar y controlado, el sistema logró una precisión que igualó o superó a modelos mucho más grandes y complejos. En el difícil conjunto de datos de la cinta de correr, produjo un error promedio de solo 3.39 latidos por minuto, un resultado que es comparable a sistemas que son diez veces más grandes. Esto demostró que, al limpiar la imagen primero, el sistema podía permanecer pequeño y rápido sin sacrificar la capacidad de manejar el caos del mundo real.

Para ver si el sistema realmente podía ejecutarse en el hardware pequeño para el que fue diseñado, el equipo lo instaló en una Raspberry Pi 5 con ventilación. Ejecutaron el sistema durante ocho horas seguidas, procesando más de 800,000 fotogramas de video. Los resultados fueron claros: el sistema mantuvo una velocidad constante de 34.60 fotogramas por segundo, superando cómodamente los 30 fotogramas por segundo requeridos para seguir el ritmo del video. La temperatura de la computadora alcanzó un pico de 68.85 grados Celsius, pero nunca se ralentizó ni se apagó debido al calor. El hallazgo más sorprendente provino de observar dónde se invertía el tiempo. El complejo cálculo de la frecuencia cardíaca, la parte que la mayoría de la gente asume que es la más difícil, ocupó solo alrededor del 13 por ciento del tiempo permitido para cada actualización. El otro 70 por ciento del tiempo se dedicó simplemente a encontrar el rostro y ajustar la imagen.

Este descubrimiento cambió la comprensión de lo que limita estos sistemas. Los investigadores descubrieron que la velocidad del monitor de frecuencia cardíaca no estaba limitada por la inteligencia del modelo de la computadora, sino por el esfuerzo requerido para encontrar y rastrear el rostro en el video. Probaron una estrategia en la que el sistema solo buscaba el rostro una vez cada pocos fotogramas y utilizaba un método más simple para adivinar hacia dónde se movía entre ellos. Este enfoque de "detectar y rastrear" permitió que el sistema acelerara a casi 47 fotogramas por segundo, demostando que hay mucho margen para hacer estos monitores aún más rápidos si se optimiza el paso de búsqueda del rostro.

El estudio concluye que, para el monitoreo de la frecuencia cardíaca basado en cámaras en dispositivos pequeños, la clave del éxito no es construir un cerebro más grande y más inteligente, sino construir unos mejores ojos y un flujo de trabajo más limpio. Al manejar las partes desordenadas del mundo real con herramientas simples y predecibles antes de que los datos lleguen al modelo complejo, el sistema puede permanecer lo suficientemente pequeño como para ejecutarse en un dispositivo del tamaño de una baraja de cartas. Los investigadores advierten cuidadosamente que, si bien su sistema funciona bien en los videos específicos que probaron, aún no se ha demostrado que funcione en todos los tipos de cámaras, condiciones de iluminación o tonos de piel. También señalan que su sistema está diseñado para dar un número general de la frecuencia cardíaca, no para diagnosticar afecciones cardíacas o detectar ritjes irregulares. Sin embargo, el trabajo proporciona un camino claro a seguir: para que el monitoreo de la salud sea verdaderamente portátil y accesible, el enfoque debe pasar de hacer los modelos más complejos a hacer que todo el proceso, desde la lente de la cámara hasta el número final, sea más eficiente y equilibrado.

Resumen Técnico: SIR-PhysNet

Planteamiento del Problema
El monitoreo de la frecuencia cardíaca (FC) basado en cámaras en dispositivos de borde (edge) está limitado no solo por el costo computacional de la inferencia de redes neuronales, sino por el presupuesto total de fotogramas de todo el flujo de procesamiento. Un sistema en tiempo real debe decodificar video, detectar y rastrear rostros, estandarizar regiones de la piel e inferir la FC dentro de un plazo estricto (por ejemplo, cada 2.5 segundos para una ventana de 150 fotogramas). Los enfoques existentes suelen centrarse en reducir los parámetros de la red o los FLOPs, descuidando el hecho de que las etapas de preprocesamiento —específicamente la detección de rostros y la estabilización de la región de interés (ROI)— pueden consumir la mayor parte del presupuesto de tiempo. Además, muchos modelos de aprendizaje profundo regresan formas de onda de pulso de volumen sanguíneo (BVP) densas, comprometiendo una capacidad significativa en detalles morfológicos que son innecesarios para el monitoreo de solo la tasa. El desafío es diseñar un flujo de trabajo que sea "consciente del plazo" (deadline-aware), asegurando que todo el sistema, no solo la red, se ajuste a las restricciones de hardware de dispositivos embebidos como la Raspberry Pi 5.

Metodología
SIR-PhysNet aborda estas restricciones a través de dos principios de diseño primarios: trasladar la invarianza de molestias al preprocesamiento de costo fijo y desacoplar la estimación de la tasa de la generación de la forma de onda.

Arquitectura del Flujo de Trabajo y Preprocesamiento:
- Invarianza de Costo Fijo: En lugar de aprender a manejar variaciones geométricas, regiones de la piel y derivas de iluminación dentro de la red, SIR-PhysNet impone estas restricciones mediante operaciones de imagen deterministas antes de la red.
- Estabilización de la ROI: Utiliza MediaPipe Face Mesh para extraer 468 puntos de referencia (landmarks), aplicando una transformación afín parcial para mapear los rostros a una ROI canónica de 200×200. Los fotogramas con rotación excesiva (>15°) o desplazamiento (>10 píxeles) se descartan o se manejan mediante continuidad temporal.
- Estandarización Informada por la Señal: Se genera una máscara de soporte de la piel a partir del envolvente convexo (convex hull) de los puntos de referencia (excluyendo ojos y labios). La deriva de iluminación se suprime utilizando un filtro guiado para estimar un componente de intensidad suave, creando un cociente de iluminación. La entrada final es una fusión ponderada del flujo RGB original y el flujo normalizado por iluminación.
- Características Basadas en Rejilla: Los fotogramas estandarizados se particionan en una rejilla de 8×8, computando los valores medios de RGB para formar un descriptor espaciotemporal compacto (192 dimensiones por fotograma), reduciendo la dimensionalidad de la entrada antes de la red.
Arquitectura de la Red (SIR-PhysNet):
- El núcleo es un modelo espaciotemporal compacto (0.26 M de parámetros, 0.12 GFLOPs) que procesa los descriptores de la rejilla.
- Emplea codificadores 3D multiescala (escalas de pirámide Gaussiana) seguidos de un refinamiento CBAM (Módulo de Atención de Bloque Convolucional) y un codificador Transformer temporal.
- HR-DFF (Filtro de Fourier Dinámico Guiado por la Frecuencia Cardíaca): En lugar de regredir una forma de onda densa, la red predice un prior de frecuencia cardíaca dominante ( $f_{hr}$ ). Este prior guía una máscara Gaussiana analítica en el dominio de Fourier para filtrar los tokens temporales. La señal subrogada se deriva mediante una transformada inversa. Este mecanismo de lectura introduce cero parámetros entrenables, ya que la máscara se computa analíticamente en lugar de ser aprendida.
Estrategia de Programación (Scheduling):
- El sistema emplea una política de programación de "detección y rastreo". Mientras que los benchmarks de precisión utilizan la detección de rostros por fotograma, los experimentos de perfilado comparan esto contra un esquema híbrido donde el detector se ejecuta cada $N$ -ésimo fotograma (por ejemplo, cada 5) y el flujo óptico propaga la ROI entre ellos.

Contribuciones Clave

Diseño de Flujo de Trabajo Consciente del Plazo: Los autores tratan el rPPG en el borde como una tarea de procesamiento de imágenes con un plazo explícito, organizando el flujo para mover la invarianza a operaciones de preprocesamiento de costo fijo, manteniendo la red aprendida extremadamente pequeña (0.26 M de parámetros).
Lectura Sin Parámetros (HR-DFF): Introducción de un mecanismo de lectura que separa la estimación de la tasa de la generación de la forma de onda utilizando una máscara de Fourier analítica condicionada por un prior aprendido. Esto elimina la necesidad de un decodificador denso, aportando cero parámetros entrenables a la etapa de lectura.
Perfilado de Embebidos Exhaustivo: A diferencia de los estudios que solo reportan FLOPs teóricos, este trabajo perfila el flujo completo de transmisión en una Raspberry Pi 5 con ventilador. Incluye tiempos por etapa, dos políticas de programación y una prueba de resistencia (soak test) de 8 horas para medir la estabilidad térmica y el rendimiento sostenido.
Evaluación de Sujetos Disjuntos: El método se evalúa en los conjuntos de datos UBFC-rPPG, MAHNOB-HCI y el conjunto de datos ECG-Fitness (intensivo en movimiento) bajo protocolos estrictos de sujetos disjuntos, separando las comparaciones de protocolos emparejados de los valores de la literatura contextual.

Resultados

Precisión:
- UBFC-rPPG: Logró un RMSE de 2.75 BPM y $r=0.98$ , comparable a modelos más grandes como PhysNet (3.51 BPM RMSE) pero con significativamente menos parámetros.
- ECG-Fitness (Robusto al Movimiento): Logró un MAE de 3.39 BPM y un RMSE de 4.80 BPM. Este rendimiento es comparable a arquitecturas mucho más grandes (por ejemplo, BigSmall, EfficientPhys) a pesar de usar una fracción de los parámetros.
- MAHNOB-HCI: Logró un MAE de 3.71 BPM y la correlación más alta ( $r=0.92$ ) entre los métodos comparados.
Desempeño Embebido (Raspberry Pi 5):
- Rendimiento (Throughput): El esquema de detección "cada fotograma" mantiene 34.60 fps, superando el requisito de entrada de 30 fps. El esquema de "detección y rastreo" (híbrido) alcanza los 46.97 fps.
- Uso de Recursos: La detección de rostros y la rectificación de la ROI representan aproximadamente el 70% del tiempo de preprocesamiento por fotograma, convirtiéndose en el cuello de botella principal en lugar de la red.
- Estabilidad: Durante una ejecución continua de 8 horas (814,576 fotogramas), el sistema mantuvo >30 fps con una temperatura máxima de la CPU de 68.85 °C y sin activar banderas de estrangulamiento (throttling).
- Latencia: La inferencia de la red (medida mediante un andamio de parámetros equivalentes) consume solo ~13% del presupuesto de paso (stride) de 2.5 segundos, dejando amplio margen para las pesadas etapas de preprocesamiento.

Significancia y Reivindicaciones
El artículo afirma que para el monitoreo de la FC por cámara en hardware embebido, la etapa de procesamiento facial, no la inferencia de la red, es la restricción vinculante para las tasas de fotogramas alcanzables. La significancia de SIR-PhysNet radica en su demostración de que:

La eficiencia se logra mediante la estandarización de la entrada: Al manejar las variaciones geométricas y de iluminación mediante operaciones de costo fijo, la red puede permanecer ultra ligera sin sacrificar la robustez.
La economía de parámetros es posible sin pérdida de precisión: La lectura HR-DFF demuestra que la regresión de la forma de onda densa es innecesaria para la estimación de la tasa, permitiendo un modelo que se ajusta cómodamente dentro de presupuestos de hardware estrictos.
El comportamiento en tiempo real requiere un perfilado a nivel de sistema: Los conteos de operación teóricos son insuficientes; el rendimiento real depende de la interacción entre las etapas del flujo de trabajo y el hardware específico (por ejemplo, la Raspberry Pi 5), donde el preprocesamiento domina el costo.

Los autores señalan modestamente que las afirmaciones de precisión están limitadas a protocolos de sujetos disjuntos intra-dataset y que el programado de "detección y rastreo", aunque es más rápido, no ha sido validado para la precisión de la FC bajo movimiento. El trabajo establece un punto de operación donde un modelo pequeño y un flujo de preprocesamiento pesado pueden coexistir para cumplir con los plazos de tiempo real en hardware de grado de consumo.

Resumen Técnico: SIR-PhysNet

Más como este