Reliability-Aware Weighted Multi-Scale Spatio-Temporal Maps for Heart Rate Monitoring

1. Problema e Contexto

A Fotopletismografia Remota (rPPG) permite a estimativa de sinais fisiológicos (como frequência cardíaca e saturação de oxigênio) a partir de vídeos faciais, analisando mudanças sutis de cor na pele. No entanto, em ambientes não controlados, os sinais rPPG são extremamente suscetíveis a ruídos ambientais, como:

• Mudanças de iluminação.
• Movimento da cabeça ou do corpo.
• Sombras e reflexos especulares.

Esses fatores degradam a relação sinal-ruído (SNR), resultando em estimativas imprecisas. Embora métodos de aprendizado profundo tenham melhorado o desempenho, eles geralmente dependem de grandes conjuntos de dados anotados (que são difíceis de obter) ou utilizam técnicas de pré-processamento e aumentação de dados que não modelam adequadamente esses ruídos ou usam exemplos negativos genéricos em aprendizado auto-supervisionado (SSL).

2. Metodologia Proposta

O artigo propõe um framework de Aprendizado Auto-Supervisionado (SSL) baseado em Aprendizado Contrastivo que introduz duas inovações principais para melhorar a robustez:

A. Mapa WMST (Weighted Multi-Scale Spatio-Temporal)

Em vez de usar o mapa MST tradicional (que faz pooling médio uniforme das regiões de interesse), os autores propõem o WMST, que modela a confiabilidade de cada pixel para suprimir ruídos ambientais. O processo envolve:

1. Modelagem de Probabilidade de Pele: Uso de um modelo de crominância (canais U e V) e a distância de Mahalanobis para ponderar pixels que pertencem à pele.
2. Supressão de Bordas e Movimento: Uso da Transformada Wavelet Estacionária (SWT) para identificar e penalizar pixels com forte resposta de borda (texturas não fisiológicas ou limites de movimento).
3. Detecção de Reflexos e Sombras: Uso do espaço de cor HSV para identificar reflexos especulares (pixels brilhantes e pouco saturados) e sombras (pixels escuros), aplicando funções de ponderação exponencial para suprimi-los.
4. Fusão Adaptativa: Os pesos são agregados com base na variância de cada fator de confiabilidade, resultando em um mapa onde regiões confiáveis têm maior peso e regiões ruidosas são atenuadas.

B. Aprendizado Contrastivo com Mapa HHH (High-High-High)

Para o treinamento contrastivo, o framework precisa de pares positivos e negativos:

• Âncora e Positivos: Mapas WMST e sinais fisiológicos tradicionais (ICA, PCA, CHROM, etc.).
• Negativos (Inovação): Além de amostras de vídeos diferentes, os autores introduzem o Mapa HHH. Este mapa é gerado aplicando uma Transformada Wavelet 3D ao vídeo e extraindo a sub-banda de alta frequência em todas as dimensões (Altura, Largura e Tempo).
  • Propósito: O mapa HHH retém o movimento e a estrutura facial (ruído para rPPG) mas remove a informação fisiológica de baixa frequência. Isso cria um exemplo negativo "difícil" e realista que força o modelo a distinguir entre dinâmica facial e sinais de pulso.

C. Arquitetura e Otimização

• Backbone: Utiliza Swin-Unet, aproveitando a atenção auto-regressiva para modelar dependências temporais de longo prazo.
• Estratégia de Treinamento:
  1. Pré-treinamento: O modelo é treinado para aprender pesos fisiologicamente relevantes usando uma combinação de distância L1 e correlação de Pearson com sinais tradicionais.
  2. Contrastive Learning: Otimização usando uma função de perda InfoNCE sem temperatura, baseada na correlação de Pearson no domínio da frequência (0.5 a 3.0 Hz), para maximizar a similaridade entre sinais fisiológicos e minimizar a similaridade com o ruído HHH.

3. Contribuições Principais

1. Técnica de Pré-processamento WMST: Um método determinístico e não iterativo que melhora a SNR ao modelar explicitamente ruídos (reflexos, sombras, movimento) através de ponderação de pixels, superando o mapa MST tradicional em testes estatísticos.
2. Mapa Negativo HHH: Introdução de um novo tipo de exemplo negativo para aprendizado contrastivo que preserva a dinâmica facial e estrutural, mas elimina a informação fisiológica, melhorando a capacidade de discriminação do modelo.
3. Framework SSL Robusto: Uma abordagem que não depende de rótulos de frequência cardíaca (ground truth) durante a fase principal de aprendizado, superando métodos anteriores que dependem de grandes quantidades de dados anotados.

4. Resultados Experimentais

O método foi avaliado em dois benchmarks públicos: VIPL-HR (ambiente não controlado, com movimento e iluminação variável) e UBFC-rPPG (ambiente controlado).

• Análise Estatística: Testes t pareados e Wilcoxon confirmaram que o mapa WMST fornece uma melhoria significativa na SNR em comparação ao mapa MST tradicional (valores p extremamente baixos, ~10⁻¹³).
• Desempenho Quantitativo (VIPL-HR):
  • O método proposto alcançou o menor Erro Absoluto Médio (MAE) entre todos os métodos SSL de última geração (SOTA), com 4.32 (vs. 4.40 do segundo melhor).
  • Alcançou a maior Correlação de Pearson (R = 0.86), indicando uma melhor sincronização temporal com a frequência cardíaca real.
• Desempenho (UBFC-rPPG): O método manteve alta precisão (MAE 0.50) e correlação (0.99), demonstrando generalização para ambientes controlados.
• Estudo de Ablação: A remoção do mapa HHH reduziu a correlação de Pearson, provando que os exemplos negativos específicos de movimento/estrutura são cruciais para a sincronização do sinal.

5. Significado e Conclusão

Este trabalho demonstra que a modelagem explícita de ruídos ambientais através de mapas de confiabilidade ponderados (WMST), combinada com exemplos negativos inteligentes baseados em wavelets (HHH), supera as limitações dos métodos de rPPG atuais.

A principal contribuição é a capacidade de obter estimativas de frequência cardíaca mais precisas e robustas em cenários do mundo real (com movimento e iluminação variável) sem a necessidade de grandes conjuntos de dados rotulados. O framework proposto estabelece um novo estado da arte em métodos auto-supervisionados para monitoramento fisiológico remoto, oferecendo uma solução viável para aplicações práticas onde a qualidade do sinal é frequentemente comprometida por fatores ambientais.