MVRD-Bench: Multi-View Learning and Benchmarking for Dynamic Remote Photoplethysmography under Occlusion

1. O Problema

A Fotopletismografia Remota (rPPG) é uma técnica não invasiva que estima sinais fisiológicos (como frequência cardíaca) analisando mudanças sutis de cor na pele a partir de vídeos faciais. No entanto, os métodos existentes enfrentam desafios significativos em cenários dinâmicos do mundo real:

• Oclusão e Artefatos de Movimento: A maioria dos métodos baseia-se em vídeos de vista única. Quando o sujeito move a cabeça, a região de interesse (ROI) facial pode ser ocluída ou sofrer distorções de movimento, degradando drasticamente a qualidade do sinal.
• Limitações de Dados Existentes: Conjuntos de dados públicos atuais são frequentemente estáticos ou de vista única. O único conjunto de dados multivista existente (MCD-rPPG) é restrito a cenários estáticos e não aborda a fusão dinâmica de múltiplas vistas durante movimentos naturais.
• Falta de Robustez: Não há um protótipo consolidado para fusão dinâmica multivista que utilize a visibilidade complementar das diferentes câmeras para superar a oclusão causada pelo movimento.

2. Metodologia

Os autores propõem uma abordagem completa composta por um novo conjunto de dados e um framework de aprendizado unificado chamado MVRD-rPPG.

A. Conjunto de Dados MVRD (Multi-View rPPG Dataset)

• Coleta: 369 vídeos sincronizados de 41 participantes, capturados por três câmeras (esquerda, centro e direita, em ângulos de -45°, 0° e +45°).
• Cenários: Inclui situações de repouso, fala e movimento natural da cabeça.
• Sincronização: Os vídeos estão alinhados temporalmente com sinais de ground-truth de oximetria de pulso (PPG) capturados a 60 Hz.
• Objetivo: Garantir cobertura completa da pele facial mesmo durante movimentos, permitindo o estudo da robustez sob oclusão.

B. Framework MVRD-rPPG

O modelo processa os três fluxos de vídeo sincronizados através de três módulos principais:

1. Compensação Óptica Temporal Adaptativa (ATOC):

   • Inspirado em modelagem de movimento de primeira ordem, este módulo gera máscaras de movimento e estima fluxo óptico.
   • Aplica um "warping" (deformação) seletivo de pixels baseado em modelos afinos locais para compensar o movimento não rígido, preservando o alinhamento temporal e suprimindo artefatos antes da extração de características.

2. Rede de Duplo Fluxo Rítmo-Visual (Rhythm-Visual Dual-Stream Network):

   • Fluxo Estrutural de Ritmo: Foca em padrões espaço-temporais estruturados relacionados à propagação do pulso, usando uma arquitetura 3D CNN para capturar dependências globais de longo alcance.
   • Fluxo Perceptual Visual: Preserva evidências de aparência local (textura da pele, variações de refletância) que podem ser robustas mesmo quando o ritmo global é perturbado.
   • O objetivo é desacoplar características de ritmo e aparência para evitar que o movimento interfira na estimativa.

3. Atenção Consciente de Correlação Multivista (MVCA):

   • Agregação Sensível a Ruído de Fluxo: Pondera a importância dos sinais de cada vista baseada na magnitude do fluxo óptico (vistas com muito movimento recebem menor peso).
   • Atenção Temporal Cruzada: Alinha e agrega características de aparência entre as três vistas para criar uma representação holística.
   • Fusão de Sinergia Porteira (Gated Synergy Fusion): Combina adaptativamente as saídas dos dois fluxos (Ritmo e Visual) usando um parâmetro de porta aprendível para equilibrar a contribuição de cada um.

C. Estratégia de Aprendizado Adversarial de Frequência de Correlação (CFA)

Para treinar o modelo, os autores utilizam uma função de perda composta que garante:

• Consistência Temporal e Espectral: Perda de correlação de Pearson e perda de consistência de Densidade Espectral de Potência (PSD) para garantir que o sinal predito tenha a frequência correta (batimentos cardíacos).
• Realismo do Sinal: Uma perda adversarial (GAN) que força o gerador a produzir formas de onda de pulso realistas e contínuas, enganando um discriminador.

3. Principais Contribuições

1. MVRD Dataset: O primeiro conjunto de dados de alta qualidade para rPPG multivista dinâmica, cobrindo cenários de movimento, fala e repouso com sincronização perfeita.
2. MVRD-rPPG Framework: A primeira estrutura unificada de aprendizado multivista que integra compensação de movimento e fusão adaptativa de vistas para lidar com oclusão.
3. Mecanismos Inovadores: Introdução de módulos específicos como ATOC (compensação de movimento), Rede Dupla (separação de ritmo/aparência) e MVCA (fusão inteligente baseada em ruído).
4. Estratégia CFA: Uma abordagem de aprendizado que une precisão temporal, consistência espectral e realismo perceptual.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto MVRD e em datasets públicos (PURE, UBFC-rPPG, MCD-rPPG).

• Desempenho no Cenário de Movimento (MVRD):
  • O método proposto alcançou um MAE (Erro Médio Absoluto) de 0,90 bpm e um coeficiente de correlação de Pearson (R) de 0,99.
  • Superou significativamente métodos tradicionais (ICA, CHROM, POS) e modelos de aprendizado supervisionado e não supervisionado de vista única (como PhysNet, PhysFormer, SiNC).
• Robustez à Falha de Vistas:
  • O modelo manteve alta performance mesmo quando uma ou duas câmeras estavam ausentes (simulando falhas de câmera), demonstrando a eficácia da compensação cruzada. A ausência da vista central causou a maior queda, mas o sistema ainda funcionou melhor que métodos de vista única.
• Generalização Cruzada:
  • Treinado apenas no subset de movimento do MVRD, o modelo alcançou os melhores resultados em datasets públicos não vistos (PURE e UBFC-rPPG) sem ajuste fino (fine-tuning), provando sua capacidade de generalização entre domínios.
• Estudos de Ablação:
  • A remoção de qualquer componente (ATOC, MVCA ou partes da função de perda) resultou em degradação significativa do desempenho, validando a necessidade de cada módulo.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na pesquisa de rPPG, que historicamente ignorou a complexidade de movimentos e oclusões em cenários do mundo real.

• Benchmarking: O MVRD estabelece um novo padrão para avaliar a robustez de algoritmos de rPPG em condições dinâmicas.
• Aplicabilidade Prática: A abordagem multivista proposta viabiliza o uso de rPPG em aplicações críticas onde o movimento é inevitável, como monitoramento de saúde em veículos autônomos, ambientes de trabalho ou durante o sono.
• Avanço Técnico: Demonstra que a fusão inteligente de múltiplas perspectivas, combinada com compensação de movimento e aprendizado adversarial, pode superar as limitações físicas de visão única, oferecendo sinais fisiológicos confiáveis mesmo sob condições adversas.

Em resumo, o MVRD-Bench e o framework MVRD-rPPG representam um avanço substancial rumo à implementação robusta e confiável de monitoramento fisiológico não invasivo em cenários dinâmicos e não controlados.