HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation

Título: HOT: Transporte Ótimo com Restrições Harmônicas para Adaptação de Domínio em Fotopletismografia Remota (rPPG)

1. O Problema

A Fotopletismografia Remota (rPPG) é uma técnica não invasiva que estima sinais fisiológicos (como o pulso de volume sanguíneo e a frequência cardíaca) a partir de vídeos faciais, explorando variações sutis de cor causadas pelo fluxo sanguíneo.

Apesar dos avanços recentes em métodos baseados em aprendizado profundo, a aplicação prática da rPPG enfrenta um desafio crítico: degradação de desempenho devido a mudanças de domínio (domain shift). Modelos treinados em um conjunto de dados específico (domínio fonte) frequentemente falham ao serem aplicados em novos ambientes (domínio alvo) devido a variações em:

• Iluminação.
• Características da câmera (resposta espectral).
• Aparência do sujeito (tom de pele).
• Protocolos de gravação.

A maioria dos métodos atuais tenta lidar com isso através de regularização de características ou design arquitetural, mas raramente aborda explicitamente a transformação de dados no nível da aparência, especialmente preservando a integridade do sinal fisiológico sutil.

2. Metodologia Proposta

Os autores propõem o framework HOT (Harmonic-Constrained Optimal Transport), que combina duas estratégias principais para adaptação de domínio:

A. Adaptação no Domínio da Frequência (FDA - Frequency Domain Adaptation)

Para simular variações de aparência realistas sem corromper o sinal fisiológico, o método utiliza a transformada de Fourier:

1. Separação Espectral: Os quadros do vídeo são convertidos para o domínio da frequência.
2. Substituição de Baixa Frequência: A amplitude do espectro de baixa frequência (que codifica características de aparência global, como iluminação e cor da pele) do vídeo de origem é substituída pela amplitude de baixa frequência de um vídeo de referência do domínio alvo.
3. Preservação de Fase: A fase original do vídeo de origem é mantida intacta. Como a fase contém a informação temporal e estrutural (incluindo as variações de cor sutis da rPPG), o sinal fisiológico permanece preservado.
4. Resultado: Gera-se um vídeo "estilizado" que possui a aparência do domínio alvo, mas a dinâmica fisiológica do domínio fonte.

B. Transporte Ótimo com Restrições Harmônicas (HOT)

A simples similaridade entre os embeddings do vídeo original e do vídeo estilizado pode levar a alinhamentos geometricamente consistentes, mas fisiologicamente incompatíveis. Para resolver isso, os autores introduzem o HOT:

1. Tokenização Temporal: Os mapas de características espaciais-temporais são agregados em tokens temporais.
2. Descritor Harmônico Local: Para cada token, calcula-se um descritor baseado na estrutura espectral do sinal cardíaco local. O sinal cardíaco é periódico e harmônico; portanto, a relação entre a frequência fundamental e seus harmônicos (ex: segundo harmônico) serve como uma assinatura fisiológica robusta.
3. Função de Custo no Transporte Ótimo: O problema de alinhamento entre os tokens da fonte e os tokens estilizados é formulado como um problema de Transporte Ótimo (OT). O custo de transporte ($C_{ij}$) é composto por:
   • Dissimilaridade geométrica (cosseno entre vetores de características).
   • Penalidade de Inconsistência Harmônica: Uma penalidade baseada na diferença entre os descritores harmônicos locais ($r_i$ e $\tilde{r}_j$).
4. Algoritmo: O problema é resolvido usando o algoritmo Sinkhorn com regularização de entropia, garantindo que o plano de transporte priorize correspondências que mantêm a coerência fisiológica (ritmo cardíaco) sob variações de aparência.

3. Contribuições Principais

1. Primeira aplicação de FDA em rPPG: Introduz a adaptação de domínio baseada em frequência para rPPG, gerando dados de treinamento que mimetizam variações de aparência do domínio alvo enquanto preservam a dinâmica fisiológica.
2. HOT (Harmonic-Constrained Optimal Transport): Propõe uma nova função de perda que impõe restrições harmônicas ao transporte ótimo, forçando o modelo a alinhar representações que são consistentes fisiologicamente, não apenas visualmente.
3. Validação Robusta: Demonstra que a combinação FDA + HOT melhora consistentemente a generalização cruzada entre diversos datasets, independentemente da arquitetura base (CNNs ou Transformers).

4. Resultados Experimentais

Os experimentos foram realizados em três datasets populares: PURE, UBFC-rPPG e MMPD (este último sendo o mais desafiador devido à grande variação de domínios).

• Desempenho Geral: O framework HOT superou consistentemente os métodos base line (DeepPhys, PhysNet, TSCAN, PhysFormer, EfficientPhys, RhythmFormer) em cenários de transferência cruzada (ex: PURE $\to$ UBFC-rPPG, UBFC-rPPG $\to$ MMPD).
• Métricas: Houve reduções significativas no Erro Médio Absoluto (MAE), Erro Quadrático Médio (RMSE) e aumento no Coeficiente de Correlação de Pearson ($r$).
  • Exemplo: No cenário UBFC-rPPG $\to$ PURE, o modelo PhysNet + HOT reduziu o MAE de 7.87 para 5.38 e aumentou a correlação de 0.81 para 0.87.
  • Exemplo: No cenário desafiador UBFC-rPPG $\to$ MMPD, o PhysNet + HOT reduziu o MAE de 11.25 para 10.36 e melhorou a correlação de 0.34 para 0.38.
• Análise de Ablação:
  • A taxa de substituição de baixa frequência ($\beta$) ótima foi encontrada em 0.05, equilibrando a adaptação de aparência e a preservação da estrutura facial.
  • O peso da penalidade harmônica ($\lambda_h$) ótimo foi 0.3.
• Custo Computacional: O HOT adiciona custo apenas durante o treinamento (aumento de ~11% no tempo e ~98% no uso de memória GPU devido ao cálculo do Sinkhorn), mas não afeta a eficiência de inferência, pois o módulo HOT não é usado na fase de teste.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na robustez da rPPG para cenários do mundo real. Ao tratar explicitamente a variação de aparência através da adaptação espectral e garantir a consistência fisiológica através de restrições harmônicas no alinhamento de dados, os autores oferecem uma solução eficaz para o problema de generalização cruzada.

A metodologia HOT demonstra que incorporar conhecimento de domínio fisiológico (a natureza harmônica do sinal cardíaco) diretamente no processo de otimização de aprendizado de máquina é crucial para superar as limitações atuais dos modelos de rPPG, permitindo sua aplicação em dispositivos de consumo e monitoramento de saúde em condições não controladas.

Limitações Futuras: O método ainda depende de amostras de referência não rotuladas do domínio alvo durante o treinamento e introduz hiperparâmetros adicionais. Trabalhos futuros visam reduzir essa dependência e melhorar a eficiência computacional.