BTS-rPPG: Orthogonal Butterfly Temporal Shifting for Remote Photoplethysmography

Resumo Técnico: BTS-rPPG

1. Problema Identificado

A Fotopletismografia Remota (rPPG) permite a medição de sinais fisiológicos (como frequência cardíaca) a partir de vídeos faciais sem contato, analisando variações sutis de cor causadas pela circulação sanguínea. Embora métodos baseados em Deep Learning tenham melhorado significativamente a estimativa de rPPG, eles enfrentam um desafio fundamental: a modelagem das dinâmicas temporais.

• Limitação Atual: A maioria das arquiteturas existentes utiliza operadores de deslocamento temporal (temporal shifting) ou convoluções que agregam informações principalmente de quadros vizinhos imediatos.
• Consequência: Isso resulta em uma modelagem temporal predominantemente local e em campos receptivos temporais limitados. No entanto, as variações de aparência induzidas pelo coração evoluem em escalas de tempo mais longas e possuem dependências periódicas de longo alcance que os modelos atuais falham em capturar eficazmente.
• Redundância: Além disso, a troca direta de características (features) entre quadros frequentemente introduz informações redundantes, pois os quadros adjacentes são altamente correlacionados, levando a uma comunicação temporal ineficiente.

2. Metodologia Proposta

Os autores propõem o BTS-rPPG, um framework de modelagem temporal baseado em duas inovações principais: o Deslocamento Temporal de Borboleta Ortogonal (BTS) e o Mecanismo de Transferência de Características Ortogonais (OFT).

O sistema é construído sobre um backbone do Swin Transformer e consiste em três componentes principais:

1. Representação de Entrada: Criação de um Normalized Difference Frame (NDF) para enfatizar mudanças sutis, concatenado aos quadros RGB originais.
2. Backbone com BTS: Um Swin Transformer aprimorado onde as etapas de atenção são precedidas pelo operador de borboleta.
3. Cabeça de Predição: Agrega espacialmente as características e projeta linearmente para obter a forma de onda rPPG.

A. Deslocamento Temporal de Borboleta (BTS)
Inspirado no padrão de comunicação "borboleta" da Transformada Rápida de Fourier (FFT), o BTS estabelece interações estruturadas entre quadros não adjacentes.

• Agendamento de Pareamento: Em cada estágio $\ell$ da rede, o quadro $t$ interage com um quadro parceiro $\pi_\ell(t)$ definido por uma operação XOR: $\pi_\ell(t) = t \oplus 2^{\ell-1}$.
• Expansão Progressiva: Isso gera deslocamentos temporais de $1, 2, 4, \dots, 2^{L-1}$. À medida que a rede avança em profundidade (estágios), o campo receptivo temporal expande-se exponencialmente, permitindo que a informação flua de quadros distantes para quadros próximos de forma hierárquica (de curto para longo alcance).

B. Transferência de Características Ortogonais (OFT)
Para mitigar a redundância na troca de informações entre quadros, o OFT filtra as características antes do deslocamento.

• Decomposição: As características de um quadro são divididas em uma parte transferível ($u$) e uma parte retida ($r$).
• Filtragem Ortogonal: Antes de transferir a parte $u$ de um quadro parceiro para o quadro alvo, o método projeta a parte retida do alvo ($r$) no subespaço de transferência para definir um "contexto alvo".
• Seleção: Apenas o componente da fonte que é ortogonal ao contexto alvo é transmitido. Isso garante que apenas informações complementares (não redundantes) sejam compartilhadas entre os quadros, promovendo uma interação temporal mais eficaz.

3. Principais Contribuições

1. Mecanismo BTS: Introdução de um mecanismo de interação temporal estruturado baseado em um agendamento de pareamento de borboleta (XOR), que expande progressivamente o campo receptivo temporal sem adicionar parâmetros significativos.
2. Mecanismo OFT: Desenvolvimento de uma estratégia que filtra características redundantes antes do deslocamento temporal, mantendo apenas componentes ortogonais para transmissão, o que melhora a eficiência da comunicação entre quadros.
3. Desempenho Superior: Demonstração experimental de que a combinação de BTS e OFT captura dinâmicas fisiológicas de longo alcance com maior precisão do que as estratégias existentes.

4. Resultados Experimentais

O método foi avaliado em três conjuntos de dados de referência (benchmarks): PURE, UBFC-rPPG e MMPD.

• Desempenho Intra-dataset:
  • O BTS-rPPG superou consistentemente os métodos mais recentes (como RhythmFormer, PhysFormer, TS-CAN) em todos os conjuntos de dados.
  • No conjunto UBFC-rPPG (desafiador devido a variações de iluminação e movimento), o modelo reduziu o Erro Absoluto Médio (MAE) em 67,1% em relação ao melhor concorrente.
  • No conjunto MMPD (grande escala, multi-domínio), obteve o menor RMSE (9,74) e a maior correlação de Pearson (0,75).
• Desempenho Cross-dataset (Generalização):
  • O modelo demonstrou forte capacidade de generalização ao ser treinado em um conjunto de dados e testado em outro (ex: PURE $\to$ UBFC-rPPG), mantendo a melhor performance global. Isso indica que o modelo aprende representações fisiológicas transferíveis em vez de estatísticas visuais específicas do conjunto de dados.
• Eficiência Computacional:
  • Embora seja baseado em Transformers, o BTS-rPPG oferece um bom equilíbrio entre precisão e eficiência, alcançando uma taxa de inferência de 2,05 Kfps em uma GPU NVIDIA T4, superando em throughput outros modelos baseados em Transformers como PhysFormer e LSTS.

Análise de Ablação:

• Estudos mostraram que o agendamento "Borboleta" (progressivo de curto para longo alcance) é superior a agendamentos lineares ou reversos, sugerindo que a ordem hierárquica da interação temporal é crucial para sinais fisiológicos.
• A razão de "dobras" transferíveis (fold ratio) no OFT foi otimizada para 1/4, equilibrando a transferência de informação e a preservação do contexto específico do quadro.

5. Significado e Impacto

O trabalho BTS-rPPG representa um avanço significativo na modelagem temporal para visão computacional aplicada à saúde.

• Inovação Teórica: Adapta o conceito de FFT (butterfly) para a arquitetura de redes neurais profundas, criando uma forma eficiente de conectar quadros distantes no tempo, algo crítico para sinais periódicos como o batimento cardíaco.
• Robustez: Ao reduzir a redundância de informações através do OFT, o modelo torna-se mais robusto a ruídos e variações ambientais, um requisito essencial para aplicações de rPPG no mundo real (monitoramento contínuo, telemedicina).
• Aplicabilidade: A capacidade de operar em tempo real e generalizar bem entre diferentes condições de aquisição posiciona o BTS-rPPG como uma solução viável para sistemas de monitoramento de saúde não invasivos e de baixo custo.