Resumo Técnico: RhythmFormer: Uma Análise Sistemática de XAI para Atenção Esparsa Periódica em Fotopletismografia Remota

Declaração do Problema

A fotopletismografia remota (rPPG) utilizando aprendizagem profunda, particularmente arquiteturas baseadas em transformers como o RhythmFormer, alcançou um baixo erro de frequência cardíaca em benchmarks. No entanto, à medida que esses sistemas avançam para a implantação clínica, seus processos de tomada de decisão permanecem opacos. As abordagens existentes de XAI (IA Explicável) para rPPG são limitadas por:

1. Dominância Qualitativa: Dependência da inspeção visual de mapas de calor sem métricas de fidelidade quantitativas.
2. Falta de Fundamentação Fisiológica: Ausência de validação contra fontes de sinais fisiológicos conhecidos (ex: regiões de pele facial).
3. Lacunas Metodológicas: Mapas de atenção brutos são contestados como proxies fiéis para o foco do modelo, pois regiões destacadas podem não ser as que realmente impulsionam as previsões.
4. Complexidade da Atenção Esparsa: O RhythmFormer utiliza um mecanismo de "roteamento bi-nível" com seleção top-k, criando matrizes de atenção esparsas. Métodos de atribuição cumulativa padrão (como o attention rollout) podem falar em considerar como essas restrições de esparsidade interagem entre as camadas.

Metodologia

Modelo e Arquitetura

O estudo foca no RhythmFormer, um transformer de fluxo único para rPPG. Sua inovação central é o mecanismo de Atenção Esparsa Periódica dentro dos blocos de Transformer Periódico Temporal (TPT) Hierárquico:

• Roteamento Bi-Nível: Queries e keys são projetadas e agrupadas para gerar pontuações grosseiras. Uma seleção top-k (k=40) filtra as regiões, retendo apenas as áreas de maior pontuação.
• Atenção Refinada: A atenção de produto escalar pontuado padrão é aplicada apenas aos pares chave-valor coletados.
• Estrutura: O modelo consiste em três níveis TPT hierárquicos, cada um contendo dois blocos, totalizando seis camadas de atenção.

Estrutura de XAI

Os autores adaptam e aplicam quatro métodos de atribuição à arquitetura esparsa do RhythmFormer:

1. Atenção Bruta (Raw Attention): Agregação por coluna dos pesos de atenção.
2. Attention Rollout: Multiplicação recursiva de matrizes de atenção aumentadas para capturar relações de tokens transitivos.
3. Attention Flow: Modelagem da atenção como uma rede de fluxo para computar o fluxo máximo entre os tokens de entrada e saída.
4. Além da Intuição (Beyond Intuition - BI): Um método híbrido que combina attention rollout com gradientes integrados. Ele decompõe a atribuição em:
   • $P(L)$: Attention rollout corrigido por W — reponderando os tokens pela magnitude de sua projeção de valor para corrigir a distorção do fluxo de informação.
   • $F^c$: Máscara de gradiente integrado do erro em relação à última camada de atenção.
   • Atribuição final: $T = P(L) \odot F^c$.

Adaptações para o RhythmFormer: Os autores reconstroem matrizes esparsas como matrizes densas $N \times N$ (com zeros para regiões excluídas) para permitir operações matriciais. Eles também adaptam o baseline para gradientes integrados para um vídeo de intensidade média por clip, em vez de uma tela preta, para manter a validade distributiva para rPPG.

Métricas de Avaliação

Dois novos critérios quantitativos são introduzidos para ir além da inspeção visual:

1. Cobertura de Pele (Skin Coverage): A razão entre a massa de atenção que cai em regiões de pele fisiologicamente válidas (rosto e pescoço) versus a massa total de atenção. Isso é calculado usando um parser de rosto BiSeNet pré-treinado.
2. Fidelidade SaCo: Adaptado de classificação para regressão rPPG. Mede a consistência entre o ranking de saliência de grupos de pixels e o impacto na previsão (medido como Erro Médio Absoluto, MAE, entre as formas de onda rPPG originais e perturbadas). Um score SaCo mais alto indica que mascarar regiões de alta saliência causa um maior erro de previsão, confirmando a fidelidade da explicação.

Principais Resultados

1. Vazamento Multi-Hop na Atenção Esparsa

Uma descoberta crítica é o efeito de "vazamento multi-hop" (multi-hop leakage) no attention rollout padrão.

• Observação: Embora as camadas individuais de atenção refinada excluam explicitamente cerca de 50% das entradas fora da diagonal via seleção top-k, o produto cumulativo do rollout restaura essas conexões.
• Quantificação: Aproximadamente 48% da massa de atribuição fora da diagonal no plain rollout provém de entradas que foram zeradas em pelo menos uma camada.
• Consequência: Este vazamento faz com que o rollout refinado tenha uma cobertura de pele menor do que o estágio de "pré-atenção", contradizendo a intuição de que a esparsidade deveria melhorar o foco na pele.

2. Desempenho do "Beyond Intuition"

O Beyond Intuition (BI) emerge como o candidato mais forte para este cenário:

• Mitigação de Vazamento: A correção por W no componente $P(L)$ do BI atenua o vazamento multi-hop.
• Cobertura de Pele: O BI atinge a maior cobertura de pele mediana refinada (0.83) comparado ao vanilla rollout (0.57) e ao attention flow (0.46).
• Fidelidade: O BI atinge o maior score de fidelidade SaCo mediana (0.92) no dataset UBFC-rPPG.
• Mecanismo: A combinação do peso de projeção de valor com a máscara suportada pelo gradiente efetivamente restringe a atribuição às regiões das quais o modelo genuinamente depende, evitando os zeros "repreenchidos" do *roll

3. Correlação com a Qualidade da Previsão

• Cobertura de Pele vs. Qualidade da Forma de Onda: Existe uma correlação positiva significativa entre a cobertura de pele e a fidelidade da reconstrução da forma de onda (Pearson $r$).
• Cobertura de Pele vs. Erro de Frequência Cardíaca: Existe uma tendência negativa fraca entre a cobertura de pele e o Erro Médio Absoluto (MAE) da Frequência Cardíaca (FC). Os autores atribuem a fraqueza dessa correlação ao desempenho saturado do dataset UBFC-rPPG (condições controladas, alto SNR), onde mesmo formas de onda imperfeitas geram estimativas de FC precisas, mascarando o impacto da atenção espacial.
• Fidelidade vs. Precisão: Scores de fidelidade SaCo não correlacionam significativamente com a precisão da previsão (MAE ou $r$ da forma de onda). Isso sugere que um modelo pode ser fiel (dependendo de regiões específicas) mesmo que essas regiões não gerem a previsão mais precisa, ou vice-versa.

4. Estudo de Caso: Ablação de Artefato

Em um estudo de caso envolvendo um clip com oclusão de mão (Sujeito 46, Clip 11), o BI inicialmente produziu um score SaCo fortemente negativo ($F = -0.53$). Após substituir os frames ocluídos por frames vizinhos estáveis:

• Todos os quatro métodos mostraram uma recuperação nos scores SaCo para $F \approx 0.8$.
• A cobertura de pele também melhorou.
• Essa consistência entre métodos algoritmicamente distintos sugere que o SaCo se comporta robustamente como uma métrica para detectar desalinhamento de atribuição causado por artefatos.

Significância e Alegações

O artigo afirma preencher a laciga entre plausibilidade visual e evidência auditável em XAI para rPPG. Suas principais contribuições são:

1. Estrutura Sistemática: Fornecer a primeira comparação quantitativa de múltiplos métodos de atribuição especificamente adaptados para transformers de roteamento top-k esparsos em rPPG.
2. Identificação de Vazamento: Demonstrar que métodos de atribuição cumulativa padrão (rollout, flow) sofrem de "vazamento multi-hop" em arquiteturas esparsas, potencialmente induzindo a interpretações errôneas sobre o foco do modelo.
3. Recomendação de Método: Identificar o Beyond Intuition como o método mais robusto para o RhythmFormer, pois ele mitiga explicitamente o vazamento e atinge uma supervisão superior em relação aos vieses fisiológicos (cobertura de pele) e métricas de fidelidade.
4. Adaptação de Métrica: Adaptar com sucesso o coeficiente de fidelidade SaCo de classificação para regressão rPPG, permitindo a avaliação quantitativa da qualidade da explicação.

Os autores mantêm uma postura modesta, observando que suas descobertas são específicas para o dataset UBFC-rPPG e a arquitetura RhythmFormer. Eles enfatizam que a fraca correlação entre a cobertura de pele e o erro de FC pode ser um artefato da alta qualidade do dataset, e que mais validações em datasets diversos e ruidosos são necessárias para generalizar esses achados.