Resumo Técnico: MiRA para Compreensão de Expressões Faciais

Declaração do Problema

A compreensão de expressões faciais em vídeos não estruturados requer a modelagem de dinâmicas espaço-temporais sutis, localizadas e transitórias (ex: micro-rugas, franzir de testa). No entanto, os modelos de vídeo baseados em Vision Transformer (ViT) existentes, mesmo aqueles pré-treinados com objetivos auto-supervisionados de larga escala como Masked Autoencoders (MAE), apresentam dificuldades neste domínio. Esses modelos tendem a otimizar movimentos globais dominantes (ex: movimentos de cabeça) e dinâmicas de nível de cena grosseiras. Consequentemente, variações intra-faciais sutis são frequentemente tratadas como redundantes ou ofuscadas pelo movimento global, levando a uma modelagem insuficiente de pistas expressivas de grão fino. Além disso, os mecanismos de atenção padrão muitas vezes carecem de sensibilidade para alocar seletivamente o foco a momentos faciais informativos enquanto suprimem quadros dominados por movimento ou redundantes.

Metodologia: MiRA (Redistribuição de Atenção Marginal-por-Quadro)

Para abordar essas limitações, os autores propõem o MiRA, um framework de redistribuição de atenção marginal-por-quadro plug-in projetado para backbones ViT. O MiRA melhora a seletividade espaço-temporal em relação a dinâmicas faciais sutis sem introduzir parâmetros treináveis adicionais. O método opera derivando estatísticas de nível de quadro a partir de mapas de auto-atenção para estimar a importância marginal e redistribuir a atenção adequadamente.

1. Mecanismo Central: Reponderação Marginal-por-Quadro

O método computa duas estatísticas complementares a partir da matriz de atenção média por cabeça $\bar{A}$:

• Confiança de Nível de Quadro ($c_t$): Mede a massa total de atenção atribuída a um quadro específico $t$ ao longo de toda a sequência, indicando a força com que o quadro é atendido como uma chave.
• Concentração Intra-Quadro ($H_t$): Quantifica a concentração espacial da atenção dentro de um quadro usando entropia inversa. Uma alta concentração indica atenção localizada (favorável para pistas faciais), enquanto uma baixa concentração sugere padrões globais difusos.

Essas estatísticas são combinadas em um escore de importância marginal-por-quadro $f_t$. Este escore é normalizado e transformado em uma distribuição a priori alvo $\pi_t$ usando uma função power-softmax. Para redistribuir a atenção sem destruir a estrutura aprendida de query-key, o MiRA aplica um alinhamento baseado em razão. Ele computa fatores de escala $\alpha_t$ baseados na razão entre a a priori alvo e a confiança atual, limitando os valores para evitar desvios extremos. Esses fatores reescalonam o mapa de atenção, seguido por uma pequena mistura uniforme e normalização por linha para garantir distribuições de probabilidade válidas.

2. Dois Modos Operacionais

O artigo introduz dois modos para equilibrar eficácia e eficiência computacional:

• Modo Exato (Exact Mode): Esta é a formulação principiológica que realiza a reponderação no mapa de atenção pós-softmax. Requer a materialização do mapa de atenção completo ($O(L^2)$), realização de normalização por linha e retenção das ativações pós-softmax para retropropagação. Embora eficaz, isso acarreta um overhead significativo de I/O de memória e é incompatível com kernels fundidos como o FlashAttention.
• Modo FlashLite: Para melhorar a eficiência, este modo integra a redistribuição diretamente nos kernels FlashAttention. Em vez da reescalonagem pós-softmax, ele aproxima as estatísticas necessárias de nível de quadro usando proxies de chave (especificamente, a norma $L_2$ ao quadrado dos tokens de chave) computados pré-softmax. Esses proxies estimam a saliência e a concentração do quadro. Os fatores de escala resultantes são convertidos em vieses aditivos ($\log \alpha_t$) aplicados aos logits de atenção ($Z = QK^\top/\sqrt{d_K}$) antes da operação softmax. Isso permite que a redistribuição ocorra dentro da computação de fluxo do FlashAttention, evitando a materialização do mapa de atenção completo e reduzindo significativamente o I/O de memória.

Principais Contribuições

1. Redistribuição de Atenção Plug-in: Um novo módulo para backbones ViT que aumenta a sensibilidade a dinâmicas faciais sutis ao redistribuir a atenção com base na confiança de nível de quadro e na concentração intra-quadro, não exigindo parâmetros treináveis adicionais.
2. Aproximação FlashLite: Uma aproximação leve pré-softmax que integra o mecanismo de redistribuição aos kernels FlashAttention. Isso preserva a precisão da formulação exata enquanto reduz o I/O de memória e melhora o throughput, tornando-o adequado para treinamento em larga escala.
3. Robustez a Condições Não Estruturadas: A abordagem demonstra melhorias consistentes sobre fortes baselines de ViT em benchmarks desafiadores de Reconhecimento de Expressão Facial (FER) sem depender de heurísticas específicas da tarefa (ex: alinhamento facial rigoroso ou recorte), que são frequentemente impraticáveis em pré-treinamento escalável e ambientes do mundo real.

Resultados Experimentais

Os autores avaliaram o MiRA utilizando o VideoMAE como backbone, pré-treinado no VoxCeleb2 e ajustado (finetuned) em benchmarks de FER de larga escala em ambiente natural: DFEW, MAFW e FERV39k.

• Ganhos de Desempenho: O MiRA supera consistentemente fortes baselines de ViT (incluindo VideoMAE, VideoMAEv2 e outras variantes de MAE) em todos os datasets. Por exemplo, no DFEW (Fold 1), o modelo ViT-B FlashLite alcançou um Recall Médio Não Ponderado (UAR) de 65,11% e um Recall Médio Ponderado (WAR) de 76,25%, superando o baseline vanilla do VideoMAE (59,94% UAR).
• Comparação com SOTA: O método atinge o desempenho de estado da arte (SOTA) entre métodos apenas de vídeo e permanece competitivo com abordagens multimodais que utilizam áudio ou supervisão de linguagem. Notavelmente, alcança esses resultados sem o pré-processamento de alinhamento facial.
• Eficiência: O modo FlashLite proporciona uma redução de 20% na latência (400,6 ms $\to$ 318,7 ms) e um ganho de 26% no throughput em uma GPU H100 em comparação ao modo exato, com um desempenho de reconhecimento quase idêntico.
• Qualidade de Representação: O teste de sondagem k-NN em datasets de microexpressões (SAMM, MMEW) com características congeladas mostrou que o MiRA aprende representações que capturam melhor as dinâmicas temporais sutis em comparação com modelos de vídeo genéricos e outros baselines específicos de FER.
• Análise Qualitativa: As visualizações indicam que, enquanto os modelos baseline focam em movimentos globais dominantes (ex: giros de cabeça, bordas de fundo), o MiRA consegue deslocar a atenção para regiões faciais localizadas e momentos temporais informativos.

Significância e Alegações

O artigo afirma que a modelagem eficaz de dinâmicas faciais em vídeos é crítica para representar o contexto afetivo, mesmo sem entradas multimodais. A significância do MiRA reside em sua capacidade de revisitar o mecanismo de auto-atenção para endereçar especificamente o viés em direção a movimentos globais dominantes inerentes aos transformers de vídeo genéricos.

Ao introduzir um mecanismo de redistribuição marginal-por-quadro, os autores demonstram que é possível aumentar a seletividade espaço-temporal para pistas sutis sem comprometer a eficiência dos pipelines de treinamento modernos (via FlashLite). O trabalho sugere que a supressão de movimentos globais incômodos e a redução da redundância permitem que os modelos generalizem melhor para dados diversos, de larga escala e não estruturados, onde o alinhamento explícito é impraticável. Os autores posicionam isso como um passo em direção a modelos de fundação de vídeo mais escaláveis e eficientes, capazes de compreensão de grão fino.