🤖 machine learning

CanonicalPhys: Pose-Robust Remote Photoplethysmography via Canonical-Space Priors

O CanonicalPhys aborda a acentuada degradação de desempenho da fotopletismografia remota profunda sob variações de pose da cabeça ao introduzir uma homografia diferenciável para mapear regiões faciais para um quadro canônico, permitindo assim a aplicação eficaz de priors anatômicos, como o modelo de reflexão dicromática e a invariância de fase de pulso, para reduzir significativamente os erros de estimativa de frequência cardíaca através de diversas condições de pose.

Autores originais: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Publicado 2026-07-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hui Wei, Seyedata Jodeiri Seyedian, Xiaobai Li, Guoying Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar ouvir o batimento cardíaco de um amigo segurando um estetoscópio contra o peito dele. Fácil, certo? Mas agora, imagine que você tem que fazer isso usando apenas uma câmera de vídeo, sem nunca tocá-lo. Isso é a magia da fotopletismografia remota (rPPG). É uma forma sofisticada de dizer "ler seu pulso através de um vídeo". Quando seu coração bate, ele bombeia uma pequena onda de sangue pelo seu rosto, mudando a cor da sua pele em uma fração minúscula de um por cento. As câmeras são tão sensíveis hoje em dia que conseguem detectar essas pequenas mudanças de cor e transformá-las em uma frequência cardíaca. Esta tecnologia é um grande avamanho porque poderia permitir que médicos verificassem os corações dos pacientes a quilômetros de distância, ajudassem a monitorar recém-nascidos sem espetá-los com agulhas ou até mesmo vigiar motoristas cansados.

No entanto, há um porém. Essas câmeras são ótimas quando você está sentado imóvel e olhando diretamente para a lente. Mas no momento em que você vira a cabeça, o sistema fica confuso. Pense nisso como tentar ler um mapa onde as ruas ficam se movendo. Se você virar a cabeça, o ponto na tela que era sua testa pode subitamente se tornar sua bochecha ou sua têmpora. O computador não sabe que o "pixel" que ele está observando se moveu para uma parte diferente do seu corpo, então ele tenta encontrar um batimento cardíaco no lugar errado, e a leitura fica maluca. Cientistas têm tentado consertar isso alimentando o computador com cada vez mais exemplos de pessoas virando a cabeça, esperando que ele eventualmente "aprenda" o truque. Mas e se o problema não for que o computador não é inteligente o suficiente, mas sim que ele está olhando para o mundo pelo ângulo errado?

Este é exatamente o enigma abordado por um novo método chamado CanonicalPhys. Os pesquisadores argumentam que o movimento da cabeça não é apenas um problema de dados; é um problema de coordenadas. Eles perceberam que, quando você vira a cabeça, os pixels na tela se misturam, mas o seu rosto em si não muda. Então, em vez de ensinar o computador a adivinhar para onde os pixels estão indo, eles construíram um "endireitador digital" inteligente que coloca o rosto de volta em uma posição perfeita, voltada para a frente, antes mesmo de o computador tentar ler o batimento cardíaco.

Veja como eles fizeram isso: Imagine que você tem a foto de um rosto virado para o lado. Os pesquisadores usam um truque matemático chamado homografia (pense nisso como uma ferramenta de deformação digital) para agarrar quatro pontos-chave no rosto — os cantos dos olhos e os cantos da boca — e arrastá-los para posições fixas e perfeitas, como se a pessoa estivesse olhando diretamente para a câmera. Uma vez que o rosto é "endireitado" para este quadro canônico (ou padrão), os pixels permanecem no lugar certo. A testa permanece na testa, e as bochechas permanecem nas bochechas.

Uma vez que o rosto está endireitado, o sistema pode usar três regras simples baseadas na física que eram anteriormente impossíveis de usar em um rosto em movimento:

A Regra da Luz: Ele sabe que a pele voltada para a câmera reflete a luz de forma diferente da pele voltada para longe. Ele dá mais peso às partes do rosto que estão olhando diretamente para a lente e ignora as partes que estão voltadas para o lado.
A Regra do Ritmo: Ele sabe que o batimento cardíaco é uma onda única. Portanto, ele verifica se a testa e ambas as bochechas estão pulsando em sincronia. Se não estiverem, ele sabe que algo está errado.
A Regra do Professor: Ele usa um truque matemático clássico e antigo (chamado POS) no rosto endireitado para criar um sinal "professor", que ajuda a treinar o cérebro principal do computador para ser mais preciso.

A melhor parte? Todo esse processo não exige que o computador aprenda novas regras pesadas. É como adicionar um par de óculos a uma câmera; o cérebro da câmera permanece do mesmo tamanho, mas agora ela consegue enxergar claramente.

Os resultados são bastante impressionantes. Quando testaram isso em um conjunto de dados cheio de pessoas virando a cabeça (chamado MMPD), os métodos antigos pioravam muito conforme a cabeça virava. Por exemplo, quando a cabeça virava mais de 45 graus, a taxa de erro saltava 1,60 vezes em comparação com olhar diretamente para a frente. Com o CanonicalPhys, esse salto foi reduzido para apenas 1,33 vezes. Melhor ainda, para curvas "leves" (entre 15 e 30 graus), o erro quase não mudou, caindo de um aumento de 1,32 vezes para apenas 1,07 vezes.

Eles também testaram isso em diferentes câmeras e condições de iluminação. Quando treinaram o sistema em um conjunto de dados e o testaram em outros, o CanonicalPhys superou os métodos antigos em 13 de 16 diferentes cenários. Em um teste específico (PURE), reduziu o erro em 32%, e em outro (MMPD), cortou o erro em 20%.

No entanto, os autores são cuidadosos ao apontar que isso não é uma varinha mágica para todas as situações. Se alguém virar a cabeça demais (mais de 60 graus), o sistema não consegue mais encontrar os quatro pontos-chave e simplesmente desiste, não performando melhor do que os métodos antigos. Além disso, se o rosto estiver se movendo desordenadamente ou se a iluminação for estranha, o sistema pode ficar um pouco confuso. Mas para a grande maioria das situações do mundo real, onde as pessoas estão apenas conversando ou olhando ao redor, este "endireitador digital" torna a leitura de um batimento cardíaco a partir de um vídeo muito mais confiável, provando que, às vezes, a melhor maneira de resolver um problema não é tornar o computador mais inteligente, mas sim tornar o mundo um pouco mais fácil para ele entender.

Resumo Técnico: CanonicalPhys

Definição do Problema
Modelos de fotopletismografia remota (rPPG) profunda alcançam precisão de frequência cardíaca sub-bpm em rostos frontais e estáticos, mas sofrem uma degradação significativa de desempenho quando os sujeitos exibem variações de pose da cabeça. Os autores argumentam que essa degradação não é meramente um problema de aumento de dados (data-augmentation), mas sim um problema de coordenação estrutural. Em coordenadas de imagem padrão, um pixel $(x, y)$ fixo mapeia diferentes regiões anatômicas conforme a cabeça rotaciona (por exemplo, deslocando-se da testa para a têmpora). Essa instabilidade impede a aplicação de três fundamentos de rPPG:

Modelo de Reflexão Dicromática: O componente difuso de reflexão da pele, que carrega o pulso, escala com o cosseno do ângulo entre a normal da pele e o eixo da câmera, uma propriedade definida por localização anatômica, não por pixel.
Invariância de Fase do Pulso: A fase do pulso deve permanecer consistente entre as regiões da pele (ex: testa e bochechas), exigindo uma definição de Regiões de Interesse (ROIs) estável à pose.
Projeção de Cromaticidade (POS/CHROM): Métodos clássicos projetam traços RGB de janelas sobre uma base de cromaticidade para suprimir componentes especulares e de iluminação, um processo que só é bem definido em uma ROI de pele fixa.

Sem um mapeamento estável entre anatomia e pixel, esses fundamentos não podem ser efetivamente utilizados, forçando os backbones de aprendizado profundo a absorver o incômodo da pose apenas através da capacidade do modelo.

Metodologia: CanonicalPhys
O framework proposto, CanonicalPhys, aborda isso transformando o vídeo de entrada em um sistema de coordenadas facial canônico antes da extração de características. O pipeline consiste em quatro estágios, todos envolvendo um backbone FactorizePhys não modificado (um modelo leve de última geração que utiliza fatoração de matrizes não negativas para atenção espaço-temporal-canal).

Canonicidade via Homografia de 4 Pontos:
- Uma homografia de quatro pontos diferenciável é aplicada a cada quadro, mapeando quatro âncoras faciais (cantos externos dos olhos esquerdo/direito e cantos da boca esquerdo/direito) para posições canônicas alvo fixas.
- Este warp é computado usando landmarks 2D (do MediaPipe) e resolvido via um sistema linear de forma fechada (DLT).
- Restrição Chave: Este módulo não introduz parâmetros treináveis. Ele absorve o componente rígido e intraplano dominante da pose da cabeça, efetivamente restaurando um mapeamento estável de anatomia-para-pixel.
- A estabilização temporal é aplicada computando a homografia mediana sobre um bloco de vídeo para reduzir o jitter causado por landmarks ruidosos.
Ponderação por Pixel Informada pela Física ( $w_{phys}$ ):
- Operando no quadro canônico, um peso por pixel é computado com base no modelo de reflexão dicromática.
- Utilizando as normais 3D canônicas dos landmarks faciais e a matriz de rotação facial por quadro, o método calcula o cosseno do ângulo entre a normal da pele e o eixo da câmera.
- Uma função sigmoide aumenta o peso de pixels voltados para a câmera e diminui o de ângulos rasos. Este peso é aplicado multiplicativamente ao quadro canônico antes da diferenciação temporal.
Perda de Consistência Temporal entre ROIs:
- Para impor a invariância de fase do pulso, uma perda autossupervisionada é aplicada aos mapas de características do backbone.
- Três máscaras suaves Gaussianas (testa, bochecha esquerda, bochecha direita) são definidas em coordenadas canônicas.
- A perda minimiza a distância de cosseno entre os sinais temporais extraídos dessas três ROIs, garantindo que o backbone aprenda características de pulso espacialmente consistentes.
Perda de Destilação de Conhecimento POS:
- O algoritmo clássico POS é aplicado ao traço RGB de média espacial da testa canônica (que agora é estável à pose).
- O pseudo-BVP resultante serve como um sinal de professor. Uma perda de destilação (correlação de Pearson negativa) é computada entre a previsão da rede e este pseudo-BVP destacado.
- Esta perda é aplicada apenas durante o treinamento e não adiciona parâmetros.

Principais Contribuições

Transformação de Coordenadas: Introdução de uma homografia de quatro pontos diferenciável e sem parâmetros que mapeia os quadros para um sistema canônico, isolando o componente de pose rígida antes do processamento aprendido.
Priors no Espaço Canônico: Proposta de três novos componentes possibilitados por esta mudança de coordenadas:
- Um mapa de ponderação Lambertiana informado pela física.
- Uma perda de consistência temporal entre ROIs que impõe invariância de fase.
- Destilação de conhecimento de POS aplicado a uma ROI de testa estável.
- Crucialmente, nenhum desses componentes adiciona parâmetros treináveis ao backbone.
Avaliação Rigorosa: Uma análise estratificada por pose no dataset MMPD que isola efeitos de pose de outras mudanças de distribuição, juntamente com avaliações completas de transferência entre datasets.

Resultos Experimentais

Análise Estratificada por Pose (MMPD):
- O baseline FactorizePhys mostra uma degradação de 1,60× no Erro Absoluto Médio (MAE) de quadros frontais ( $|yaw|<15^\circ$ ) para quadros de grande yaw ( $|yaw|\ge45^\circ$ ).
- O CanonicalPhys reduz essa razão de degradação para 1,33×.
- A degradação no bin de "yaw suave" ( $15^\circ$ – $30^\circ$ ) é achatada de 1,32× para 1,07×.
Transferência entre Datasets:
- Treinado no UBFC-rPPG e testado em alvos ricos em pose, o CanonicalPhys alcança uma redução de 32% no MAE no PURE e 20% no MMPD comparado ao FactorizePhys.
- Vence 13 de 16 células na matriz completa de transferência cross-dataset 4×4 (UBFC, PURE, OBF, MMPD).
- No MMPD, a correlação de Pearson quase dobra (0,18 para 0,33) e a variância da semente é significativamente reduzida.
Ablação: O warp de canonicidade sozinho responde pela maior parte do ganho de desempenho. O peso Lambertiano e a perda de consistência fornecem maior uniformidade, corrigindo particularmente anomalias na faixa de yaw moderado.

Significância e Alegações
O artigo alega que tratar a pose da cabeça como um problema de sistema de coordenadas, em vez de um desafio de aumento de dados, permite a reintrodução de fundamentos físicos e fisiológicos que de outra forma seriam quebrados pela variação de pose.

Eficiência: O método alcança esses ganhos sem aumentar a contagem de parâmetros do backbone, sendo computacionalmente eficiente (overhead de tempo de execução <10%).
Generalização: As melhorias transferem-se entre diferentes sensores e grupos de sujeitos, sugerindo que o método aborda uma limitação geométrica fundamental em vez de um overfitting a artefatos específicos de datasets.
Limitações: Os autores explicitamente observam que o método é robusto à pose, não invariante à pose. O desempenho ainda degrada em yaw extremo ( $>60^\circ$ ) onde os landmarks falham, e a homografia 2D é insuficiente para rotação significativa fora do plano sem uma extensão de malha 3D. Além disso, os priors auxiliares podem regularizar excessivamente em conjuntos de treinamento altamente diversos em movimento (ex: treinar no MMPD para testar no PURE), sugerindo que a "receita" completa é melhor adequada para conjuntos de treinamento compactos, enquanto a canonicidade sozinha é o componente mais confiável.

Mais como este