EMPD: An Event-based Multimodal Physiological Dataset for Remote Pulse Wave Detection

O artigo apresenta o EMPD, o primeiro conjunto de dados de referência multimodal baseado em câmeras de eventos, que utiliza um sistema de aquisição assistido por laser para capturar sinais fisiológicos não invasivos com alta precisão temporal, visando superar as limitações das câmeras tradicionais na detecção remota do pulso.

O essencial

Imagine que você quer medir o coração de alguém sem tocar nele. Até hoje, a tecnologia fazia isso usando câmeras comuns, como a do seu celular. Mas essas câmeras têm um problema: elas tiram fotos em "quadros", como um filme antigo. Se a pessoa se mexe um pouco rápido, a foto fica borrada, e o sinal do coração se perde. É como tentar ler um livro enquanto alguém balança a página rapidamente; você só vê borrões.

Os cientistas deste artigo criaram uma solução genial chamada EMPD. Eles não usaram uma câmera comum, mas sim uma "câmera de eventos" (event camera).

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: A Câmera de "Fotos" vs. O Coração

Pense na câmera comum como uma pessoa que pisca os olhos a cada 30 segundos para ver o que está acontecendo. Se algo acontece rápido entre um piscar e outro (como uma batida do coração ou um movimento brusco), a pessoa perde a informação. Além disso, se a pessoa se mexe, a foto fica tremida.

2. A Solução: A Câmera que "Sente" o Movimento

A nova câmera usada no EMPD é diferente. Ela não tira fotos. Ela é como um formigueiro super sensível.

• Como funciona: Em vez de esperar uma foto completa, ela avisa instantaneamente (em microssegundos!) sempre que um único pixel muda de cor ou brilho.
• A analogia: Imagine que a câmera comum é um fotógrafo que tira uma foto a cada segundo. A câmera de eventos é como um guarda-costas que grita "ALGUÉM PASSOU!" no exato milésimo de segundo em que alguém moveu um dedo. Ela não se importa com o movimento lento; ela só grita quando algo muda rápido. Isso elimina o borrão e captura batidas cardíacas super rápidas.

3. O Truque do Laser: A "Lanterna Mágica"

O coração bate dentro do corpo, e a pele não muda muito de cor para a câmera ver. Para ajudar, os cientistas usaram um laser vermelho (como uma ponteira de apresentador, mas muito preciso).

• A analogia: Imagine que a pele é uma montanha de areia. O coração é um tremor de terra leve lá embaixo. Com o laser, eles transformaram esse tremor leve em uma onda gigante de areia que a câmera consegue ver claramente. O laser faz a "dança" do sangue ficar visível para a câmera especial.

4. O Que Eles Criaram (O Dataset EMPD)

Eles reuniram um banco de dados gigante com 83 pessoas.

• Eles filmaram as pessoas em repouso e depois de fazerem agachamentos (para o coração bater muito rápido).
• Eles usaram três coisas ao mesmo tempo:
  1. A Câmera de Eventos (o formigueiro sensível).
  2. Uma Câmera Normal (para comparar e ver quem ganha).
  3. Um Oxímetro (aquele clipe no dedo que mede o coração de verdade, para servir de "resposta correta").

5. O Resultado: Quem Ganhou?

Quando eles testaram os algoritmos (os "cérebros" de computador que tentam adivinhar o batimento cardíaco):

• As câmeras comuns (mesmo as mais modernas) erraram um pouco, especialmente quando a pessoa se mexia.
• O sistema com a Câmera de Eventos foi um campeão. Ele foi muito mais preciso e rápido.
• A lição: A nova tecnologia consegue ver o coração batendo com tanta clareza que é como se ela tivesse "superpoderes" para ignorar o movimento e o borrão.

Por que isso é importante?

Hoje, se você quiser medir a saúde de alguém à distância (talvez em um robô ou em um carro autônomo), as câmeras normais falham se a pessoa se mexer. Com o EMPD, os cientistas agora têm o "mapa" perfeito para ensinar robôs e computadores a sentirem o coração humano com precisão cirúrgica, mesmo em movimento.

Resumo em uma frase:
Os cientistas trocaram a câmera de "fotos" por uma câmera de "sentimentos rápidos" e usaram um laser mágico para criar o primeiro manual do mundo que ensina computadores a lerem o coração humano sem tocar nele, mesmo quando a pessoa está se mexendo.

Resumo técnico

1. O Problema

A fotopletismografia remota (rPPG) baseada em câmeras tradicionais de quadro (frame-based) enfrenta limitações significativas para a detecção de sinais fisiológicos não invasivos:

• Artefatos de Movimento: Câmeras convencionais sofrem com desfoque de movimento devido à exposição integrada, tornando-se sensíveis a movimentos do sujeito.
• Resolução Temporal Limitada: Operam em taxas de quadros fixas e relativamente baixas (ex.: 30–60 fps), o que pode levar a subamostragem de micro-movimentos de alta frequência associados à atividade cardiovascular.
• Falta de Dados para Visão Neuromórfica: Embora as câmeras de eventos (event cameras) ofereçam resolução temporal de microssegundos e alto alcance dinâmico, a falta de conjuntos de dados de referência (benchmarks) dedicados impede o desenvolvimento e avaliação de algoritmos neuromórficos para monitoramento fisiológico.

2. Metodologia e Proposta (EMPD)

Para superar essas barreiras, os autores introduzem o EMPD (Event-based Multimodal Physiological Dataset), o primeiro conjunto de dados de referência projetado especificamente para sensoriamento fisiológico não invasivo usando câmeras de eventos.

Plataforma de Aquisição Assistida por Laser

O sistema de hardware integra múltiplos sensores sincronizados com precisão de microssegundos:

• Câmera de Eventos (Prophesee EVK4): Captura micro-movimentos e transientes de intensidade luminosa na artéria radial do pulso com resolução espacial de 1280×720 e precisão de tempo de 1 µs.
• Câmera RGB Industrial (FLIR): Grava vídeos faciais tradicionais (30 Hz) para servir como benchmark comparativo de rPPG.
• Oxímetro de Pulso Clínico (CONTEC CMS50E): Fornece o sinal PPG de contato como "verdade terrestre" (ground truth) a 60 Hz.
• Fonte de Luz Ativa (Laser 660 nm): Um laser de alta coerência modula as vibrações sutis da pele da artéria radial, convertendo-as em mudanças de intensidade de alto contraste detectáveis pela câmera de eventos, superando o baixo contraste natural.

Protocolo e Coleta de Dados

• Participantes: 83 voluntários saudáveis (57 homens, 26 mulheres), com idades entre 19 e 25 anos.
• Condições: Coleta realizada em ambiente interno com iluminação estável. Os sujeitos permaneceram sentados, com o pulso esquerdo imóvel.
• Variação Fisiológica: Inclui estados de repouso e pós-exercício (agachamentos profundos) para cobrir uma ampla faixa de frequência cardíaca (40–110 BPM).
• Estrutura do Dataset: 193 registros válidos, processados com uma janela deslizante (5s de janela, 1s de passo), resultando em 7.527 segmentos de dados (1.404 em repouso, 6.123 pós-exercício).

3. Contribuições Principais

1. Primeiro Dataset Neuromórfico para rPPG: Introduz o uso de câmeras de eventos para medição fisiológica remota, preenchendo uma lacuna crítica na literatura.
2. Sincronização de Alta Precisão: Oferece fluxos de eventos alinhados com precisão de microssegundos com vídeos RGB e sinais PPG de contato, permitindo validação rigorosa.
3. Aquisição Assistida por Laser: Desenvolveu uma metodologia para amplificar sinais fisiológicos microscópicos, tornando-os detectáveis por sensores neuromórficos.
4. Validação Física: Demonstra que os fluxos de eventos brutos contêm informações cardiovasculares extraíveis e fisicamente plausíveis, sincronizados com os picos sistólicos reais.

4. Resultados e Avaliação

Os autores propuseram um framework de baseline baseado em eventos composto por duas etapas:

1. Módulo de Agregação de Eventos (EAM): Converte o fluxo assíncrono em uma sequência temporal discreta, localiza a região de interesse (ROI) e aplica binning temporal.
2. Módulo de Reconstrução de Onda (WRM): Utiliza uma Rede Adversarial Generativa (GAN) com um U-Net 1D para mapear a sequência de eventos para uma onda de pulso de alta fidelidade, usando um discriminador baseado em densidade espectral de potência (PSD).

Comparação Quantitativa (Tabela 2):
O método baseado em eventos superou significativamente tanto os métodos tradicionais (POS, CHROM, ICA) quanto os métodos de aprendizado profundo de última geração (PhysNet, PhysFormer, RhythmFormer):

• MAE (Erro Absoluto Médio): 1,18 BPM (vs. 3,39 BPM do melhor método baseado em quadros, RhythmFormer).
• RMSE (Raiz do Erro Quadrático Médio): 3,76 BPM.
• PCC (Coeficiente de Correlação de Pearson): 0,94 (o mais alto entre todos).
• SNR (Relação Sinal-Ruído): 2,89 dB.

Os resultados confirmam que a resolução temporal de microssegundos elimina artefatos de movimento e problemas de subamostragem inerentes às câmeras RGB.

5. Significado e Impacto

O EMPD representa um avanço fundamental na área de monitoramento de sinais biomédicos:

• Superação de Limitações de Hardware: Demonstra que a visão neuromórfica pode capturar dinâmicas hemodinâmicas com uma fidelidade superior às câmeras convencionais.
• Catalisador para Pesquisa: Fornece a base necessária para o desenvolvimento de algoritmos robustos, de baixa latência e eficientes energeticamente para análise de ondas de pulso.
• Aplicações Futuras: Abre caminho para interações humano-robô multimodais, monitoramento em tempo real em cenários dinâmicos e o uso de redes neurais de pulsos (SNNs) para processamento fisiológico.

O conjunto de dados está publicamente disponível para a comunidade científica, visando acelerar a inovação no processamento de sinais biomédicos neuromórficos.