Resumo Técnico: RhythmJEPA

1. Definição do Problema

A Fotopletismografia Remota (rPPG) estima sinais fisiológicos, como a frequência cardíaca, a partir de vídeos faciais ao analisar variações sutis na cor da pele induzidas pelo fluxo sanguíneo. Apesar dos avanços recentes, os métodos atuais de aprendizado autossupervisionado para rPPG enfrentam duas limitações primárias:

1. Viés de Representação: A maioria das abordagens autossupervisionadas baseia-se na reconstrução de pixels RGB mascarados ou de características visuais de baixo nível. Isso enviesa o modelo para aprender a aparência e a textura facial em vez da dinâmica fisiológica latente.
2. Restrições de Varredura Temporal: Modelos de estado de espaço recentes (por exemplo, abordagens baseadas em Mamba) tipicamente processam tokens de vídeo facial estritamente em ordem cronológica. Isso limita sua capacidade de explorar a natureza cíclica e quase periódica dos sinais de pulso, onde quadros temporalmente distantes podem compartilhar estados fisiológicos semelhantes, enquanto quadros adjacentes podem pertencer a diferentes fases cardíacas.

Consequentemente, os métodos atuais têm dificuldade em generalizar entre conjuntos de dados com diferentes câmeras, sujeitos e condições ambientais, e frequentemente falham em capturar as relações interperíodoais críticas para uma estimativa de rPPG robusta.

2. Metodologia: RhythmJEPA

Os autores propõem o RhythmJEPA, um framework de aprendizado preditivo de incorporação conjunta estruturado em ritmo. Em vez de reconstruir quadros de entrada, o modelo prevê representações latentes do professor a partir de vídeos faciais mascarados, incentivando o aprendizado de embeddings conscientes da fisiologia. A arquitetura consiste em quatro módulos principais:

A. Misturador de Pulso Espacial (SPM)

Para evitar a complexidade computacional da modelagem espacial baseada em Transformers, o RhythmJEPA emprega um SPM leve.

• Função: Ele captura pistas espaciais sensíveis ao pulso combinando a aparência RGB com diferenças temporais de curto prazo.
• Mecanismo: Utiliza ramos de convolução horizontal, vertical e de profundidade local (depth-wise), seguidos por agrupamento espacial atento (attentive spatial pooling). Isso produz tokens de pulso compactos por quadro ($Z$) que equilibram complexidade e desempenho.

B. Planejador de Estado de Ritmo Cíclico (CRSP)

Para modelar explicitamente a estrutura temporal dos sinais de pulso, o CRSP atribui estados fisiológicos latentes aos quadros.

• Estimativa de Estado: Uma Rede de Análise de Fourier (FAN) prevê os logits de estado de ritmo por quadro.
• Decodificação de Caminho: O modelo decodifica o caminho de estado cíclico mais plausível ($s^*$) usando programação dinâmica (estilo Viterbi) restringida por uma gramática de transição. Esta gramática impõe que um estado pode permanecer inalterado ou transitar para o próximo estado no ciclo ($A(i) = \{i, (i+1) \mod K\}$).
• Regularização: Duas perdas são introduzidas para garantir atribuições de estado estáveis:
  • Perda de Transição Cíclica ($L_{cyc}$): Incentiva a adesão à gramática de transição cíclica.
  • Perda de Equilíbrio de Estado ($L_{bal}$): Previne o colapso de estado garantindo uma distribuição uniforme do uso de estados ao longo do ciclo de pulso.

C. Codificador Mamba de Ordem Dupla (DOM)

O DOM aborda a limitação da varredura exclusivamente cronológica ao processar a sequência de tokens em duas ordens complementares:

1. Ramo Cronológico: Escaneia os tokens em sua ordem temporal original para capturar a continuidade local.
2. Ramo de Estado de Ritmo: Reordena os tokens com base nos estados cíclicos decodificados ($s^*$) antes da varredura. Isso permite que o módulo Mamba capture dependências de longo alcance entre quadros que compartilham fases fisiológicas semelhantes, independentemente de sua distância temporal.

• Fusão: As saídas de ambos os ramos são fundidas via um mecanismo de portão (gating) por token para produzir características temporais conscientes do ritmo ($Y$).

D. Cabeça de Predição e Estratégia de Treinamento

• Pré-treinamento: O modelo é pré-treinado usando um objetivo de Arquitetura de Aprendizado Preditivo de Incorporação Conjunta (JEPA). Um ramo estudante processa vídeos mascarados, enquanto um professor de Média Móvel Exponencial (EMA) processa o vídeo original. O estudante prevê as representações latentes do professor nas posições mascaradas.
• Ajuste Fino (Fine-tuning): O modelo pré-treinado é ajustado para regressão de forma de onda usando uma perda de correlação de Pearson negativa para alinhar a forma de onda rPPG prevista com a verdade fundamental (ground truth).

3. Principais Contribuições

O artigo descreve quatro contribuições principais:

1. Framework RhythmJEPA: Um framework de aprendizado preditivo de incorporação conjunta que aprende representações fisiológicas latentes a partir de vídeos faciais mascarados, evitando o viés da reconstrução de pixels.
2. Misturador de Pulso Espacial (SPM): Um módulo de modelagem espacial leve que captura efetivamente pistas sensíveis ao pulso sem o overhead de atenção espacial baseada em Transformers.
3. Modelagem Temporal Consciente do Ritmo: A introdução do CRSP e do Codificador Mamba de Ordem Dupla (DOM) para modelar a recorrência fisiológica cíclica. Isso vai além da varredura cronológica convencional para capturar relações interperíodois, regularizadas por perdas de consistência de ciclo e equilíbrio de estado.
4. Validação Empírica: Experimentos extensos intra-dataset e cross-dataset demonstrando a eficácia e robustez do framework.

4. Resultados Experimentais

Os autores avaliaram o RhythmJEPA em três benchmarks: PURE, UBFC-rPPG e MMPD.

• Desempenho Intra-dataset: O RhythmJEPA alcançou resultados de estado da arte em todas as métricas (MAE, MAPE, RMSE e Pearson's $r$).
  • No PURE, alcançou uma correlação perfeita ($r=1.00$) e reduziu o MAE em 20,0% em comparação ao melhor anterior (LSTS).
  • No UBFC-rPPG, reduziu o MAE de 0,51 para 0,21 (uma melhoria de 58,8%).
  • No desafiador dataset MMPD, melhorou a correlação de 0,74 para 0,76 e reduziu o MAE em 4,9%.
• Generalização Cross-dataset: O modelo demonstrou transferibilidade superior ao ser treinado em um dataset e testado em outro (ex: PURE $\to$ UBFC-rPPG). Ele superou consistentemente os baselines como PhysNet e RhythmFormer, sugerindo que aprende representações fisiológicas invariantes ao domínio em vez de estatísticas de aparência específicas do dataset.
• Eficiência: Com 3,20M de parâmetros e 33,50G MACs, o RhythmJEPA é significativamente mais leve que os métodos recentes baseados em Transformer (ex: PhysFormer, LSTS), mantendo um desempenho superior. Ele oferece um compromisso favorável entre precisão e eficiência, sendo o segundo modelo mais eficiente em termos de parâmetros e latência, enquanto alcança a maior precisão.

5. Significância e Alegações

O artigo afirma que o RhythmJEPA representa uma mudança da reconstrução baseada em aparência para o aprendizado de representação consciente da fisiologia. Ao prever embeddings latentes do professor em vez de pixels RGB, o modelo é incentivado a focar no sinal de pulso subjacente.

A significância do trabalho reside na modelagem explícita da natureza cíclica dos sinais de rPPG. Os autores argumentam que a continuidade cronológica sozinha é insuficiente para uma estimativa robusta porque quadros com estados fisiológicos semelhantes podem estar temporalmente distantes. A integração do CRSP e do DOM permite que o modelo "reordene" a sequência temporal com base em estados de ritmo latentes, capturando assim dependências interperíodo que os modelos sequenciais padrão perdem.

Os autores observam modestamente que, embora os estados de ritmo aprendidos sejam eficazes para a estimativa, eles permanecem implícitos e podem não corresponder diretamente a fases cardíacas clinicamente interpretáveis. Sugere-se que trabalhos futuros investiguem a modelagem de ritmo mais interpretável e a avaliação sob condições do mundo real mais diversas.