Resumo Técnico: AdaTosk – Máscara Temporal Suave Adaptativa para Reconhecimento Eficiente de Expressões Faciais Dinâmicas

Declaração do Problema

O Reconhecimento de Expressões Faciais Dinâmicas (DFER) visa identificar intenções psicológicas por meio da comunicação não verbal em sequências de vídeo. Embora eficazes, os métodos existentes enfrentam desafios significativos relacionados à eficiência e redundância. Os dados de vídeo contêm inerentemente substancial redundância temporal devido à continuidade, levando ao processamento de informações irrelevantes, como ruído de fundo e quadros estáticos semanticamente repetitivos. As abordagens atuais, incluindo aquelas inspiradas em Autoencoders Mascarados (MAE), frequentemente lutam para distinguir entre dinâmicas de expressão críticas e tokens redundantes. Consequentemente, os modelos podem calcular características desnecessárias em quadros irrelevantes ou falhar em capturar mudanças sutis e difíceis de detectar nas expressões, resultando em altos custos computacionais sem ganhos proporcionais em precisão.

Metodologia: AdaTosk

Os autores propõem o AdaTosk, uma nova rede autoencoder temporal suave supervisionada projetada para abordar essas ineficiências. A arquitetura integra dois ramos paralelos: um ramo de reconstrução auto-supervisionado e um ramo de classificação supervisionado.

1. Arquitetura de Ramos Duplos

• Ramo de Reconstrução Auto-supervisionado: Este ramo utiliza uma Máscara Rígida Binária Aleatória (inspirada no VideoMAE) para mascarar uma grande porção de tokens de vídeo. O modelo é treinado para reconstruir os tokens mascarados a partir dos visíveis usando um decodificador leve. Esse processo incentiva o codificador a aprender representações de características significativas a partir dos tokens visíveis restantes.
• Ramo de Classificação Supervisionado: Este ramo processa os tokens visíveis ótimos ($X_{opt}$) para realizar a classificação de expressões. Diferentemente da máscara rígida, este ramo emprega uma Máscara Temporal Suave Adaptativa ($S$) que atribui graus variados de mascaramento aos tokens visíveis com base em sua importância temporal e redundância semântica.

2. Mecanismo de Máscara Temporal Suave Adaptativa

A inovação central do AdaTosk é a máscara suave adaptativa, que ajusta dinamicamente a influência dos tokens. Ela combina duas estratégias distintas:

• Máscara Suave Dinâmica Agnóstica à Classe:

  • Objetivo: Capturar momentos-chave das dinâmicas de expressão sem viés de categorias predefinidas.
  • Mecanismo: Calcula as diferenças de características quadro a quadro ($\tau$) entre quadros visíveis adjacentes. Os pares de quadros top-$K$ com as maiores diferenças são identificados como "quadros ativados". Uma unidade de interação de informação por canal (padrão Squeeze-and-Excitation) aprimora esses quadros, e uma unidade de interação de informação temporal gera uma máscara suave ($S_{agnostic}$) que prioriza essas mudanças dinâmicas em toda a sequência.

• Máscara Suave Similar Semântica à Classe:

  • Objetivo: Reduzir o acúmulo de tokens semanticamente similares, mas redundantes, ao longo do tempo, preservando informações essenciais.
  • Mecanismo: Modela a probabilidade de mascarar tokens usando uma pontuação acumulativa temporal ($M$). Para lidar com a continuidade, uma cadeia de Markov transfere pontuações entre quadros, excluindo os top-$r$ tokens para reduzir a carga computacional. Crucialmente, essa pontuação é reponderada por uma pontuação semântica ($A$) derivada da supervisão de classe (somando ativações absolutas). Isso garante que tokens com alto valor semântico sejam mantidos, mesmo que exibam redundância temporal.
  • Máscara Final: A máscara adaptativa final ($S$) é o produto elemento a elemento das máscaras agnóstica à classe e similar semântica à classe ($S = S_{agnostic} \odot S_{semantic}$).

3. Objetivo de Treinamento

A função de perda total ($L$) combina a perda de reconstrução ($L_{rec}$) do ramo auto-supervisionado e a perda de classificação ($L_{cls}$) do ramo supervisionado, equilibradas pelos pesos $\lambda_{rec}$ e $\lambda_{cls}$.

Contribuições Principais

O artigo descreve três contribuições primárias:

1. Integração de VideoMAE Supervisionado: O AdaTosk é o primeiro a integrar uma estrutura de VideoMAE supervisionado na tarefa de DFER, otimizando tokens visíveis para aprimorar significativamente a eficiência do reconhecimento.
2. Máscara Temporal Suave Adaptativa: Os autores propõem uma estratégia de mascaramento inovadora que ajusta adaptativamente os graus de mascaramento. Seus dois componentes — máscaras suaves dinâmicas agnósticas à classe e similares semânticas à classe — visam especificamente a ativação de dinâmicas de expressão chave e a supressão de redundância semântica temporal.
3. Ganhos de Eficiência e Desempenho: O modelo alcança um equilíbrio de alto desempenho e baixo custo computacional, reduzindo o tamanho do modelo e os FLOPs enquanto mantém ou melhora a precisão em comparação com métodos state-of-the-art.

Resultados Experimentais

Os autores avaliaram o AdaTosk em três benchmarks amplamente utilizados de DFER "in-the-wild": DFEW, FERV39K e MAFW.

• Desempenho: O AdaTosk (com a máscara suave, denotado como AdaTosk†) supera os modelos supervisionados existentes em 9–10% tanto no Recall Médio Não Ponderado (UAR) quanto no Recall Médio Ponderado (WAR) em todos os conjuntos de dados. Também supera métodos baseados em grandes modelos de linguagem e outras abordagens baseadas em VideoMAE (por exemplo, MAE-DFER, MMA-DFER) por margens que variam de 2,1% a 4,8%.
• Eficiência:
  • Em comparação com o VideoMAE de base, o AdaTosk reduz os parâmetros em aproximadamente 12M e os FLOPs em 38G.
  • A adição da máscara temporal suave (AdaTosk†) reduz ainda mais os parâmetros em 2M e os FLOPs em 4G em comparação com a versão sem a máscara suave (AdaTosk), enquanto melhora simultaneamente o UAR e o WAR em cerca de 2%.
  • No geral, o modelo reduz os custos computacionais em 6G FLOPs e o tamanho do modelo em 10M parâmetros em comparação com os métodos state-of-the-art atuais.

Significado e Alegações

O artigo afirma que o AdaTosk aborda com sucesso a limitação crítica dos métodos existentes: a tendência de omitir dinâmicas sutis de expressão ao processar informações redundantes. Ao introduzir a Máscara Temporal Suave Adaptativa, o modelo foca efetivamente em momentos-chave da evolução da expressão e reduz o acúmulo de tokens semanticamente similares.

Os autores afirmam que essa abordagem permite reconhecimento eficiente de expressões dinâmicas que não sacrifica o desempenho. Os resultados demonstram que, ao gerenciar inteligentemente a redundância temporal por meio de mascaramento suave, o modelo alcança precisão competitiva e, frequentemente superior, com sobrecarga computacional significativamente menor. Os resultados de visualização confirmam ainda que o modelo identifica corretamente regiões faciais chave (por exemplo, boca, bochechas, sobrancelhas) e ajusta dinamicamente a intensidade do mascaramento com base nas mudanças de expressão e na importância semântica.