VideoPulse: Neonatal heart rate and peripheral capillary oxygen saturation (SpO2) estimation from contact free video

O artigo apresenta o VideoPulse, um novo conjunto de dados e uma pipeline de aprendizado profundo que permitem a estimativa precisa da frequência cardíaca e da saturação de oxigênio (SpO2) em neonatos a partir de vídeos faciais sem contato, oferecendo uma solução não invasiva e de baixo custo para monitoramento em unidades de terapia intensiva neonatal.

O essencial

Imagine que você precisa monitorar o coração e o oxigênio no sangue de um bebê recém-nascido. Normalmente, os médicos precisam colar adesivos e sensores na pele delicada do bebê, o que pode causar irritação e desconforto.

O artigo "VideoPulse" apresenta uma solução mágica: monitorar esses sinais vitais apenas olhando para o rosto do bebê através de uma câmera comum, sem tocar nele.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Pele Delicada e os Sensores

Pense na pele de um recém-nascido como uma folha de papel muito fina e frágil. Colar sensores (como adesivos de ECG ou oxímetros) é como tentar colar fita adesiva nessa folha: pode rasgar ou deixar marcas. Além disso, manter esses sensores presos o tempo todo é chato e pode causar infecções.

2. A Solução: O "Superpoder" da Câmera (rPPG)

Os pesquisadores criaram um sistema chamado VideoPulse. Ele funciona como um detetive de cores invisíveis.

• Como funciona: Quando o coração bate, um pouco mais de sangue flui para o rosto. Isso muda a cor da pele de forma muito sutil (como uma onda de cor vermelha passando), que nossos olhos não conseguem ver, mas a câmera consegue captar.
• A Analogia: Imagine que você está em uma sala escura e alguém pisca uma lanterna vermelha muito rápido. Você não vê a luz, mas se olhar para uma parede branca, verá uma sombra ou mudança de cor. O VideoPulse faz isso com o rosto do bebê, transformando essas mudanças de cor em dados de batimentos cardíacos e oxigênio.

3. O Desafio: Bebês Não Ficam Parados

Bebês não são adultos. Eles se mexem, viram a cabeça, e a luz do quarto muda.

• O Problema: Se a câmera estiver olhando de lado ou o bebê estiver deitado de barriga para cima, o sistema pode se confundir. É como tentar tirar uma foto nítida de alguém correndo e pulando.
• A Solução do VideoPulse: O sistema usa uma "inteligência artificial" que age como um guia de dança. Antes de analisar o coração, ela primeiro alinha a imagem do rosto (como se estivesse girando a foto até ficar reta) e limpa o "ruído" (como se estivesse tirando a poeira de uma lente).

4. A "Fábrica" de Dados: O Dataset VideoPulse

Para ensinar o computador a fazer isso, eles precisavam de muitos exemplos.

• O que eles fizeram: Eles criaram um novo banco de dados chamado VideoPulse, gravando 52 bebês em Sri Lanka.
• Por que é importante: Antes, os computadores só tinham aprendido com dados de adultos ou de um único hospital. Agora, eles têm um "livro de receitas" novo, com bebês de diferentes tons de pele e em diferentes posições, o que torna o sistema mais inteligente e justo para todos.

5. A Mágica da IA: Limpando o Sinal

Os sinais reais dos bebês são "sujos" porque eles se mexem muito.

• A Analogia: Imagine tentar ouvir uma música suave no meio de uma festa barulhenta.
• A Técnica: Eles usaram uma tecnologia chamada GAN (Redes Adversárias Generativas). Pense nisso como um editor de áudio superpoderoso que remove o barulho da festa e deixa apenas a música (o sinal do coração) limpa para o computador aprender.

6. Os Resultados: Preciso e Rápido

O sistema conseguiu:

• Medir o coração com um erro muito pequeno (menos de 3 batimentos por minuto).
• Medir o oxigênio (SpO2) com uma precisão impressionante, algo que nunca foi feito tão bem em bebês usando apenas uma câmera comum.
• Velocidade: Ele faz a conta em 2 segundos. É como se ele desse a resposta quase em tempo real, permitindo que os médicos saibam se o bebê está bem imediatamente, sem esperar.

Resumo Final

O VideoPulse é como dar um superpoder de visão para uma câmera comum. Ele permite que hospitais monitorem bebês de forma sem contato, sem dor e sem adesivos, usando apenas inteligência artificial para "ler" as cores da pele. É um passo gigante para tornar o cuidado com recém-nascidos mais humano, confortável e acessível.

Resumo técnico

Resumo Técnico: VideoPulse

1. Problema e Motivação

O monitoramento de sinais vitais em neonatos (recém-nascidos) é crítico, mas os métodos convencionais, como eletrodos adesivos e sondas de oximetria de pulso, exigem contato prolongado com a pele. Isso pode causar irritação na pele frágil dos neonatos e aumentar a carga de controle de infecções em Unidades de Terapia Intensiva Neonatal (UTIN).
A Fotopletismografia Remota (rPPG) oferece uma alternativa sem contato, utilizando câmeras padrão para estimar sinais vitais a partir de variações sutis de cor no vídeo facial. No entanto, existem desafios significativos:

• Escassez de Dados: A maioria dos modelos rPPG é desenvolvida para adultos. Dados neonatais públicos são limitados e frequentemente carecem de diversidade demográfica e de tons de pele.
• Condições de Captura: Gravações em UTIs envolvem movimento espontâneo, oclusão, variações de iluminação e orientações faciais não alinhadas (rotação), o que degrada a qualidade do sinal.
• Estimativa de SpO2: Enquanto a estimativa de Frequência Cardíaca (HR) em neonatos já foi explorada, a estimativa de Saturação de Oxigênio Periférico (SpO2) a partir de vídeo RGB padrão usando Deep Learning é praticamente inexplorada para essa população.

2. Metodologia

Os autores propõem o VideoPulse, um sistema end-to-end que combina um novo conjunto de dados com um pipeline de aprendizado profundo para estimar HR e SpO2.

A. Novo Conjunto de Dados: VideoPulse

• Coleta: 157 gravações de vídeo (totalizando 2,6 horas) de 52 neonatos (idade pós-natal de 0 a 6 dias) em um hospital no Sri Lanka.
• Diversidade: Inclui variações de orientação da cabeça (rotação no plano) para simular condições reais de UTI, além de diversidade de tons de pele e características faciais distintas dos conjuntos de dados públicos existentes (como o NBHR).
• Sincronização: Vídeos RGB sincronizados com sinais de referência de oximetria de pulso (PPG) e SpO2.

B. Pipeline de Processamento

1. Pré-processamento e Alinhamento Facial:
   • Uso de um detector YOLOv5 (pré-treinado em adultos) para localizar o rosto.
   • Estratégia de Rotação: Devido ao movimento dos neonatos, se a detecção falhar na orientação original, o vídeo é rotacionado em incrementos de 90° até que o rosto seja detectado.
   • Normalização: Aplicação de normalização de diferença temporal para enfatizar variações de intensidade pulsátil e suprimir viés de iluminação estática.
2. Denoising (Remoção de Ruído) do Sinal de Referência:
   • Os sinais PPG de referência (ground truth) em neonatos são frequentemente ruidosos devido ao movimento.
   • Um pipeline baseado em GANs (Redes Adversariais Generativas) é utilizado para reconstruir e limpar os segmentos ruidosos do PPG.
   • Um classificador SVM identifica segmentos ruidosos, que são então reconstruídos. Segmentos com variabilidade anormal (>15 bpm) são descartados para garantir consistência entre o vídeo e o sinal de referência.
3. Arquitetura do Modelo:
   • Base: Utiliza o PhysNet (uma rede 3D CNN) como backbone para extração de características espaço-temporais.
   • Previsão de HR: O modelo PhysNet original é utilizado, treinado com perda de correlação de Pearson negativa.
   • Previsão de SpO2: Uma camada totalmente conectada (3 camadas) é adicionada ao PhysNet para regressão contínua.
4. Estratégias de Treinamento para SpO2:
   • Suavização de Distribuição de Rótulos (LDS): Para mitigar o desequilíbrio de rótulos (a maioria dos valores de SpO2 está próxima de 100%), aplica-se um kernel Beta para suavizar a distribuição dos rótulos.
   • Regressão Ponderada (Weighted RMSE): As amostras com rótulos raros (valores de SpO2 mais baixos) recebem pesos maiores no cálculo da perda, garantindo que o modelo aprenda a prever corretamente toda a faixa de saturação.
   • Aumento de Dados: Técnica de reversão temporal (Time Reversal) para melhorar a robustez temporal.
   • Transfer Learning: O modelo é pré-treinado no conjunto de dados público NBHR e depois fine-tuned (ajustado) no conjunto VideoPulse.

3. Principais Contribuições

1. Sistema End-to-End: Primeira abordagem baseada em Deep Learning capaz de estimar simultaneamente HR e SpO2 em neonatos a partir de vídeo facial RGB padrão.
2. Conjunto de Dados VideoPulse: Introdução de um novo dataset neonatal com diversidade de orientação facial e condições de captura realistas, complementando o dataset NBHR.
3. Estratégias de Supervisão:
   • Reconstrução de sinais PPG de referência usando GANs para lidar com ruído de movimento.
   • Aplicação de Label Distribution Smoothing e regressão ponderada para resolver o desequilíbrio de classes na estimativa de SpO2.
4. Desempenho em Janelas Curtas: Demonstração de que estimativas precisas são possíveis com janelas de vídeo de apenas 2 segundos, reduzindo a latência para monitoramento em tempo real.

4. Resultados

Os resultados foram avaliados usando Erro Médio Absoluto (MAE) e Raiz do Erro Quadrático Médio (RMSE).

• Estimativa de Frequência Cardíaca (HR):
  • No dataset NBHR: MAE de 2,97 bpm (com janela de 2s) e 2,80 bpm (com janela de 6s). Superou o estado da arte (NBHRnet) e métodos de processamento de sinal tradicionais.
  • No dataset VideoPulse (avaliação cruzada): MAE de 5,34 bpm ao usar um modelo treinado no NBHR, demonstrando capacidade de transferência entre domínios.
• Estimativa de SpO2:
  • No dataset NBHR: RMSE de 2,20% e MAE de 1,69%.
  • No dataset VideoPulse (após fine-tuning): RMSE de 2,18% e MAE de 1,68%.
  • No dataset adulto PURE: RMSE de 0,96%, validando a arquitetura para diferentes populações.
• Comparação: O modelo superou todas as outras arquiteturas testadas (incluindo RhythmMamba, ViM e CNNs 2D) tanto para neonatos quanto para adultos.

5. Significado e Impacto

• Viabilidade Clínica: O trabalho prova que é viável monitorar neonatos de forma não invasiva e sem contato, reduzindo o risco de irritação da pele e infecções.
• Baixo Custo e Acessibilidade: A utilização de câmeras RGB padrão (webcams) torna a solução economicamente viável para UTINs com recursos limitados.
• Monitoramento em Tempo Real: A capacidade de gerar previsões precisas em janelas de 2 segundos permite uma resposta rápida a eventos críticos, superando a latência de métodos anteriores que exigiam janelas de 6 a 12 segundos.
• Avanço Científico: Preenche uma lacuna crítica na literatura ao fornecer dados e algoritmos robustos para a estimativa de SpO2 em neonatos, um domínio anteriormente negligenciado em comparação com a estimativa de frequência cardíaca.

Em conclusão, o VideoPulse estabelece as bases para a integração prática de tecnologias de rPPG baseadas em vídeo no cuidado neonatal de rotina, oferecendo uma ferramenta precisa, não invasiva e de baixo custo.