End-to-End Facial Expression Detection in Long Videos

Resumo Técnico: Detecção de Expressão Facial de Ponta a Ponta em Vídeos Longos

Definição do Problema
A análise de expressões faciais em vídeos longos é tradicionalmente dividida em duas tarefas distintas: detecção de eventos (spotting — identificando os limites temporais precisos de início e fim de uma expressão) e reconhecimento (classificando a categoria emocional dentro desses limites). Apesar de sua interdependência, as abordagens existentes tratam essas tarefas de forma isolada. Os modelos de spotting são otimizados para localização temporal refinada, enquanto os modelos de reconhecimento assumem clipes pré-segmentados. Essa separação leva a um desempenho subótimo porque o reconhecimento preciso depende de limites temporais confiáveis, e a compreensão semântica de uma expressão pode ajudar a resolver ambiguidades de início e fim. Além disso, os frameworks de detecção existentes frequentemente dependem de CNNs 3D computacionalmente caras ou fluxo óptico, que têm dificuldade com os sinais temporais sutis, transitórios e esparsos característicos das expressões faciais.

Metodologia: FEDN
Os autores propõem o FEDN (Facial Expression Detection Network), o primeiro modelo a unificar o spotting e o reconhecimento em uma única tarefa de detecção paralela e de ponta a ponta. A arquitetura consiste em três componentes primários:

1. Backbone (Estrutura Base):

   • Em vez de CNNs 3D, o FEDN emprega uma arquitetura separável espaço-temporal usando um extrator de características faciais 2D pré-treinado (ex: ResNet18 no AffectNet) para codificar quadros faciais alinhados.
   • Para lidar com vídeos longos de forma eficiente, é utilizado um mecanismo de janela deslizante. Cada janela é dividida em segmentos sobrepostos.
   • Dois novos módulos de atenção temporal são introduzidos:
     • Atenção ao nível de segmento: Captura a dinâmica local refinada agregando quadros dentro de cada segmento usando atenção de múltiplas cabeças (multi-head attention) e pooling médio.
     • Atenção de janela deslizante: Captura o contexto temporal mais amplo aplicando atenção através da sequência de segmentos dentro da janela deslizante.
   • Esses módulos permitem que o modelo aprenda representações compartilhadas que aproveitam informações de ambas as tarefas simultaneamente.

2. Neck (Pescoço):

   • Uma pirâmide de características temporais multiescala é construída para acomodar expressões de durações variadas.
   • A saída do backbone é processada através de camadas convolucionais 1D com stride 2 para gerar sequências de características em quatro níveis de resolução diferentes ($s/4, s/8, s/16, s/32$).

3. Head (Cabeça):

   • A cabeça prevê intervalos de expressão (posições de início/fim), pontuações de confiança e rótulos de emoção em cada escala temporal.
   • Utiliza uma estratégia de predição híbrida: um intervalo livre de âncoras (anchor-free, regredindo diretamente as localizações de início/fim) e cinco intervalos baseados em âncoras (usando templates predefinidos baseados nas estatísticas do conjunto de dados).
   • A Supressão de Não-Máximos (NMS) é aplicada ao nível do vídeo para consolidar predições sobrepostas.

Objetivos de Aprendizado
O modelo é treinado com uma função de perda conjunta que combina:

• Perda de Intervalo ($L_b$): Perda de Distância IoU 1D (DIoU) para intervalos positivos para alinhar os limites previstos com o ground truth.
• Perda de Reconhecimento ($L_c$): Perda de Entropia Cruzada Binária (BCE) para classificação de emoção.
• A perda total é uma soma ponderada desses componentes, permitindo a otimização conjunta onde os rótulos de emoção guiam os mecanismos de atenção para focar em quadros semanticamente significativos.

Principais Contribuições

1. Framework Unificado: O FEDN é o primeiro modelo a tratar o spotting e o reconhecimento de expressões faciais como tarefas paralelas dentro de uma única rede de detecção de ponta a end-to-end, permitindo o aprendizado de características conjunto e coadaptação.
2. Métricas de Avaliação Inovadoras: Os autores realizam a primeira avaliação da análise de expressão facial usando métricas de detecção (especificamente Mean Average Precision, mAP) que avaliam simultaneamente a localização temporal e a precisão da classificação de emoção, indo além da avaliação separada de spotting e reconhecimento.
3. Arquitetura Eficiente: A introdução dos módulos de atenção de nível de segmento e de janela deslizante captura a dinâmica facial de curto e longo prazo sem o custo computacional de CNNs 3D ou fluxo óptico.
4. Insights de Benchmarking: O estudo revela uma discrepância sistemática entre os rótulos de emoção anotados por especialistas e os autorrelatados no conjunto de dados CAS(ME)2, destacando um desafio na validade do ground truth atual.

Resultos

• Desempenho: O FEDN alcança resultados de estado da arte em três benchmarks públicos (CAS(ME)2, CAS(M)3 e SAMM-Long). No CAS(ME)2, ele melhora o mAP de detecção em 3,9 vezes em relação à linha de base STR (de 13,4 para 51,6) e atinge os maiores escores F1 de spotting e reconhecimento.
• Eficiência: O FEDN supera os backbones baseados em I3D com menos parâmetros (24,98M vs. 30,52M) e sem exigir fluxo óptico.
• Ablação: A remoção dos módulos de atenção degrada significativamente o desempenho (queda do mAP de 51,6 para ~38-47), confirmando sua necessidade. O treinamento conjunto com rótulos de reconhecimento melhora a precisão do spotting em comparação ao treinamento apenas com rótulos de spotting.
• Discrepância de Rótulos: Experimentos mostram que modelos treinados em rótulos autorrelatados frequentemente alcançam maior precisão em limiares de IoU estritos, sugerindo que os autorrelatos podem refletir melhor os estados emocionais internos, enquanto as anotações de especialistas podem introduzir ruído ou limites excessivamente estendidos.

Significância
O artigo argumenta que unificar o spotting e o reconhecimento permite uma avaliação mais realista de quão bem um modelo identifica e interpreta expressões em vídeos contínuos. Ao demonstrar que representações compartilhadas melhoram tanto a localização quanto a classificação, o FEDN desafia o isolamento histórico dessas tarefas. Além disso, a identificação de discrepâncias entre rótulos de especialistas e autorrelatados ressalta a necessidade de protocolos de anotação mais matizados em futuros conjuntos de dados, sugerindo que os benchmarks atuais podem não capturar totalmente a complexidade da expressão emocional humana. O trabalho estabelece um novo padrão para avaliar a análise de expressão facial como um problema de detecção holístico, em vez de uma sequência de tarefas desconectadas.