💻 computer science

SIR-PhysNet: a deadline-aware ultra-lightweight pipeline for camera-based heart-rate monitoring on embedded hardware

O artigo apresenta o SIR-PhysNet, um pipeline de rPPG ultraleve e consciente de prazos que transfere o processamento geométrico e de iluminação para operações de custo fixo e utiliza uma máscara de Fourier analítica para a extração da frequência cardíaca, permitindo o monitoramento em tempo real e de alta precisão em dispositivos de borda com recursos limitados, como o Raspberry Pi 5, onde a detecção facial, em vez da inferência de rede, é o principal gargalo de desempenho.

Autores originais: Haochen Chai, Zining Liu, Wentao Zhang, Fangfang Jiang

Publicado 2026-09-08

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haochen Chai, Zining Liu, Wentao Zhang, Fangfang Jiang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu batimento cardíaco pode ser lido sem um único fio, um único sensor ou um único toque. Esta é a promessa do monitoramento de saúde baseado em câmeras, um campo que transforma vídeos comuns em uma janela para o ritmo mais vital do corpo. A ciência por trás disso baseia-se em uma verdade simples e invisível: cada vez que o seu coração bate, ele bombeia uma pequena onda de sangue pelo seu rosto, alterando a cor da sua pele em uma fração de um percentual. Essas mudanças são pequenas demais para o olho humano ver, mas uma câmera pode capturá-las. Ao analisar essas sutis mudanças de luz e cor, é possível calcular a rapidez com que um coração está batendo. Esta tecnologia já está sendo considerada para uso em carros para monitorar a fadiga do motorista, em hospitais para acompanhar pacientes e em casas inteligentes para cuidar de idosos. No entanto, para que isso funcione no mundo real, o computador que faz os cálculos deve ser rápido o suficiente para acompanhar o vídeo, e deve ser pequeno e eficiente o suficiente para rodar em um dispositivo que caiba em uma prateleira ou no bolso, não apenas em um enorme centro de dados.

Uma equipe de pesquisadores da Universidade Northeastern construiu um novo sistema projetado especificamente para resolver este problema de velocidade e tamanho. Eles chamam sua criação de SIR-PhysNet, um pipeline que atua como um fluxo de trabalho completo para transformar vídeo bruto em um número de frequência cardíaca. O desafio central que enfrentaram não foi apenas tornar a matemática precisa, mas garantir que todo o processo pudesse terminar seu trabalho antes que o próximo quadro do vídeo chegasse. Em sua configuração, o sistema deve processar um fluxo de vídeo, encontrar um rosto, limpar a imagem e calcular uma nova estimativa de frequência cardíaca a cada 2,5 segundos. Se o computador demorar demais, o sistema fica atrasado, os dados tornam-se inúteis e o monitoramento falha. Os pesquisadores descobriram que o maior gargalo não era o cérebro complexo do sistema, mas os olhos que procuravam o rosto.

Para construir um sistema que pudesse rodar em um Raspberry Pi 5, um computador pequeno e acessível frequentemente usado por hobbistas e engenheiros, a equipe teve que repensar como o trabalho era dividido. A maioria das tentativas anteriores tentava ensinar um único programa de computador massivo a fazer tudo: encontrar o rosto, ignorar as sombras, lidar com movimentos de cabeça e calcular a frequência cardíaca, tudo de uma vez. Essa abordagem exigia muita memória e poder de processamento, tornando-a muito lenta para dispositivos pequenos. A nova abordagem, SIR-PhysNet, divide o trabalho em duas partes distintas. Primeiro, utiliza regras simples e fixas para preparar a imagem. Antes que o computador sequer olhe para o vídeo para encontrar um padrão, ele usa ferramentas de imagem padrão para travar no rosto, corrigir o ângulo da cabeça e remover os efeitos de mudanças de luz. Este passo é como colocar uma moldura em torno de uma pintura e limpar o vidro antes de tentar analisar a arte; torna o trabalho muito mais fácil para o computador que vem a seguir. Ao realizar esse trabalho pesado com ferramentas simples, os pesquisadores conseguiram reduzir a parte complexa do sistema para um tamanho minúsculo, exigindo apenas uma fração da memória e da energia de outros modelos.

A segunda parte do sistema é o próprio calculador de frequência cardíaca. Como a imagem já foi limpa e estabilizada pelo primeiro passo, esta parte do sistema não precisa de uma rede gigante e pesada. É um modelo compacto com apenas 0,26 milhões de parâmetros, um número que representa a quantidade de informação que ele precisa lembrar. Em vez de tentar reconstruir toda a forma da onda do pulso sanguíneo, que é uma tarefa complexa e desnecessária para simplesmente contar batimentos, este modelo prevê diretamente a frequência dominante do batimento cardíaco. Ele então usa um filtro matemático para extrair a taxa do sinal. Essa escolha de design significa que o sistema é incrivelmente eficiente, usando apenas 0,12 gigaflops de poder computacional, que é uma medida de quantos cálculos ele realiza por segundo.

Os pesquisadores testaram seu sistema em vários conjuntos de dados de vídeo diferentes, incluindo gravações de pessoas se exercitando em uma esteira, onde o movimento da cabeça e o suor tornam a tarefa muito difícil. Em um conjunto de dados padrão e controlado, o sistema alcançou uma precisidade que igualou ou superou modelos muito maiores e mais complexos. No conjunto de dados difícil da esteira, produziu um erro médio de apenas 3,39 batimentos por minuto, um resultado comparável a sistemas dez vezes maiores. Isso provou que, ao limpar a imagem primeiro, o sistema poderia permanecer pequeno e rápido sem sacrificar a capacidade de lidar com o caos do mundo real.

Para ver se o sistema poderia realmente rodar no pequeno hardware para o qual foi projetado, a equipe o instalou em um Raspberry Pi 5 com ventilação por cooler. Eles rodaram o sistema por oito horas seguidas, processando mais de 800.000 quadros de vídeo. Os resultados foram claros: o sistema manteve uma velocidade constante de 34,60 quadros por segundo, superando confortavelmente os 30 quadros por segundo necessários para acompanhar o fluxo de vídeo. A temperatura do computador subiu para um pico de 68,85 graus Celsius, mas nunca diminuiu a velocidade ou desligou devido ao calor. A descoberta mais surpreendente veio ao observar onde o tempo era gasto. O cálculo complexo da frequência cardíaca, a parte que a maioria das pessoas assume ser a mais difícil, ocupou apenas cerca de 13 por cento do tempo permitido para cada atualização. Os outros 70 por cento do tempo foram gastos simplesmente encontrando o rosto e ajustando a imagem.

Essa descoberta mudou a compreensão do que limita esses sistemas. Os pesquisadores descobriram que a velocidade do monitor de frequência cardíaca não era limitada pela inteligência do modelo de computador, mas pelo esforço necessário para encontrar e rastrear o rosto no vídeo. Eles testaram uma estratégia onde o sistema buscava o rosto apenas uma vez a cada poucos quadros e usava um método mais simples para adivinhar para onde ele se movia entre os quadros. Essa abordagem de "detectar e rastrear" permitiu que o sistema acelerasse para quase 47 quadros por segundo, provando que há muito espaço para tornar esses monitores ainda mais rápidos se a etapa de busca de rosto for otimizada.

O estudo conclui que, para o monitoramento de frequência cardíaca baseado em câmera em dispositivos pequenos, a chave para o sucesso não é construir um cérebro maior e mais inteligente, mas sim construir um conjunto de olhos melhor e um fluxo de trabalho mais limpo. Ao lidar com as partes bagunçadas do mundo real com ferramentas simples e previsíveis antes que os dados cheguem ao modelo complexo, o sistema pode permanecer pequeno o suficiente para rodar em um dispositivo do tamanho de um baralho de cartas. Os pesquisadores ressaltam cuidadosamente que, embora seu sistema funcione bem nos vídeos específicos que testaram, ainda não foi comprovado que funcione em todos os tipos de câmeras, condições de iluminação ou tons de pele. Eles também apontam que seu sistema é projetado para fornecer um número geral de frequência cardíaca, não para diagnosticar condições cardíacas ou detectar ritmos irregulares. No entanto, o trabalho oferece um caminho claro a seguir: para tornar o monitoramento de saúde verdadeiramente portátil e acessível, o foco deve mudar de tornar os modelos mais complexos para tornar todo o pipeline, da lente da câmera ao número final, mais eficiente e equilibrado.

Resumo Técnico: SIR-PhysNet

Definição do Problema
O monitoramento da frequência cardíaca (FC) baseado em câmera em dispositivos de borda é limitado não apenas pelo custo computacional da inferência de redes neurais, mas pelo orçamento total de quadros de todo o pipeline de processamento. Um sistema em tempo real deve decodificar vídeo, detectar e rastrear faces, padronizar regiões de pele e inferir a FC dentro de um prazo rigoroso (por exemplo, a cada 2,5 segundos para uma janela de 150 quadros). As abordagens existentes frequentemente focam na redução de parâmetros de rede ou FLOPs, negligenciando o fato de que os estágios de pré-processamento — especificamente a detecção de face e a estabilização da região de interesse (ROI) — podem consumir a maior parte do orçamento de tempo. Além disso, muitos modelos de aprendizagem profunda regridem formas de onda densas de pulso de volume sanguíneo (BVP), comprometendo uma capacidade significativa com detalhes morfológicos que são desnecessários para o monitoramento apenas de taxa. O desafio é projetar um pipeline que seja "consciente do prazo" (deadline-aware), garantindo que todo o sistema, não apenas a rede, caiba nas restrições de hardware de dispositivos embarcados como o Raspberry Pi 5.

Metodologia
O SIR-PhysNet aborda essas restrições através de dois princípios primários de design: mover a invariância de incômodos para o pré-processamento de custo fixo e desacoplar a estimativa de taxa da geração de forma de onda.

Arquitetura do Pipeline e Pré-processamento:
- Invariância de Custo Fixo: Em vez de aprender a lidar com variações geométricas, regiões de pele e deriva de iluminação dentro da rede, o SIR-PhysNet impõe essas restrições via operações de imagem determinísticas antes da rede.
- Estabilização de ROI: Utiliza o MediaPipe Face Mesh para extrair 468 marcos (landmarks), aplicando uma transformação afim parcial para mapear as faces para uma ROI canônica de 200×200. Quadros com rotação excessiva (>15°) ou deslocamento (>10 pixels) são descartados ou tratados via continuidade temporal.
- Padronização Informada pelo Sinal: Uma máscara de suporte de pele é gerada a partir do invólucro convexo (convex hull) dos marcos (excluindo olhos e lábios). A deriva de iluminação é suprimida usando um filtro guiado para estimar um componente de intensidade suave, criando um quociente de iluminação. A entrada final é uma fusão ponderada do fluxo RGB original e do fluxo normalizado pela iluminação.
- Recursos Baseados em Grade: Os quadros padronizados são particionados em uma grade 8×8, computando valores médios de RGB para formar um descritor espaço-temporal compacto (192 dimensões por quadro), reduzindo a dimensionalidade da entrada antes da rede.
Arquitetura de Rede (SIR-PhysNet):
- O núcleo é um modelo espaço-temporal compacto (0,26 M de parâmetros, 0,12 GFLOPs) que processa os descritores de grade.
- Emprega codificadores 3D multiescala (escalas de pirâmide Gaussiana) seguidos por refinamento CBAM (Módulo de Atenção de Bloco Convolucional) e um codificador Transformer temporal.
- HR-DFF (Filtro de Fourier Dinâmico Guiado pela Frequência Cardíaca): Em vez de regredir uma forma de onda densa, a rede prevê um prior de frequência cardíaca dominante ( $f_{hr}$ ). Este prior guia uma máscara Gaussiana analítica no domínio de Fourier para filtrar os tokens temporais. O sinal substituto é derivado via transformada inversa. Este mecanismo de leitura introduz zero parâmetros treináveis, pois a máscara é computada analiticamente em vez de aprendida.
Estratégia de Escalonamento:
- O sistema emprega uma política de escalonamento "detectar-e-rastrear". Enquanto os benchmarks de precisão usam detecção de face por quadro, os experimentos de perfilamento comparam isso contra um escalonamento híbrido onde o detector roda a cada $N$ -ésimo quadro (por exemplo, a cada 5 quadros) e o fluxo óptico propaga a ROI entre os intervalos.

Principais Contribuições

Design de Pipeline Consciente do Prazo: Os autores tratam o rPPG de borda como uma tarefa de processamento de imagem com um prazo explícito, organizando o pipeline para mover a invariância para o pré-processamento de custo fixo, mantendo a rede aprendida extremamente pequena (0,26 M de parâmetros).
Leitura Sem Parâmetros (HR-DFF): Introdução de um mecanismo de leitura que separa a estimativa de taxa da geração de forma de onda usando uma máscara de Fourier analítica condicionada a um prior aprendido. Isso elimina a necessidade de um decodificador denso, contribuindo com zero parâmetros treináveis para o estágio de leitura.
Perfilamento Abrangente em Sistemas Embarcados: Diferente de estudos que relatam apenas FLOPs teóricos, este trabalho perfila o pipeline de streaming completo em um Raspberry Pi 5 com ventilação. Inclui tempo por estágio, duas políticas de escalonamento e um teste de estresse de 8 horas para medir a estabilidade térmica e o throughput sustentado.
Avaliação de Sujeitos Disjuntos: O método é avaliado nos datasets UBFC-rPPG, MAHNOB-HCI e o intensivo em movimento ECG-Fitness, utilizando protocolos rigorosos de sujeitos disjuntos, separando comparações de protocolo correspondentes de valores da literatura contextual.

Resultos

Precisão:
- UBFC-rPPG: Alcançou 2,75 BPM RMSE e $r=0,98$ , comparável a modelos maiores como PhysNet (3,51 BPM RMSE), mas com significativamente menos parâmetros.
- ECG-Fitness (Robusto ao Movimento): Alcançou 3,39 BPM MAE e 4,80 BPM RMSE. Este desempenho é comparável a arquiteturas muito maiores (ex: BigSmall, EfficientPhys), apesar de usar uma fração dos parâmetros.
- MAHNOB-HCI: Alcançou 3,71 BPM MAE e a maior correlação ( $r=0,92$ ) entre os métodos comparados.
Desempenho Embarcado (Raspberry Pi 5):
- Throughput: O escalonamento de detecção "a cada quadro" sustenta 34,60 fps, excedendo o requisito de entrada de 30 fps. O escalonamento "detectar-e-rastrear" (híbrido) atinge 46,97 fps.
- Uso de Recursos: A detecção de face e a retificação de ROI representam aproximadamente 70% do tempo de pré-processamento por quadro, tornando-os o gargalo principal, em vez da rede.
- Estabilidade: Em uma execução contínua de 8 horas (814.576 quadros), o sistema manteve >30 fps com uma temperatura de pico da CPU de 68,85°C e nenhum sinal de estrangulamento (throttling) foi acionado.
- Latência: A inferência da rede (medida via scaffold pareado por parâmetros) consome apenas ~13% do orçamento de passo de 2,5 segundos, deixando margem ampla para os pesados estágios de pré-processamento.

Significância e Alegações
O artigo alega que, para o monitoramento de FC via câmera em hardware embarcado, o estágio de processamento de face, não a inferência da rede, é a restrição determinante para as taxas de quadros alcançáveis. A significância do SIR-PhysNet reside na demonstração de que:

A eficiência é alcançada através da padronização da entrada: Ao lidar com variações geométricas e de iluminação via operações de custo fixo, a rede pode permanecer ultra-leve sem sacrificar a robustez.
A economia de parâmetros é possível sem perda de precisão: O readout HR-DFF prova que a regressão de forma de onda densa é desnecessária para a estimativa de taxa, permitindo um modelo que se ajusta confortavelmente dentro de orçamentos rígidos de hardware.
O comportamento em tempo real requer perfilamento de sistema: Contagens operacionais teóricas são insuficientes; o desempenho real depende da interação entre os estágios do pipeline e o hardware específico (ex: Raspberry Pi 5), onde o pré-processamento domina o custo.

Os autores observam modestamente que as alegações de precisão são limitadas a protocolos de sujeitos disjuntos intra-dataset e que o escalonamento "detectar-e-rastrear", embora mais rápido, não foi validado para precisão de FC sob movimento. O trabalho estabelece um ponto de operação onde um modelo pequeno e um pipeline de pré-processamento pesado podem coexistir para atender aos prazos de tempo real em hardware embarcado de nível de consumo.

Mais como este