Multimodal Emotion Recognition via Bi-directional Cross-Attention and Temporal Modeling

Este artigo apresenta um framework de reconhecimento multimodal de emoções para o desafio ABAW 10, que combina modelos pré-treinados de áudio e vídeo com uma rede de convolução temporal e um módulo de atenção cruzada bidirecional para superar as limitações de abordagens unimodais em ambientes não controlados.

O essencial

Imagine que você está tentando entender o que uma pessoa está sentindo apenas olhando para ela em um vídeo. Às vezes, é fácil: ela está sorrindo e parece feliz. Mas e se o vídeo estiver escuro? E se ela estiver com a cabeça virada? E se ela estiver gritando de alegria, mas com uma cara de "bravo" por causa do vento?

É aí que a coisa fica difícil. O cérebro humano é ótimo em juntar pistas: a expressão do rosto, o tom de voz, o contexto. Mas para uma inteligência artificial (IA), fazer isso sozinha é um pesadelo.

Este artigo descreve uma nova "receita" de IA criada por pesquisadores da Coreia do Sul para resolver exatamente esse problema: como fazer um computador entender emoções humanas em vídeos do mundo real, bagunçados e imprevisíveis.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: O Detetive Cego

Antes, as IAs tentavam adivinhar emoções olhando apenas para o rosto (como um detetive que só vê a foto) ou apenas ouvindo a voz (como um detetive que só ouve o áudio).

• O problema: Às vezes, o rosto não mostra nada (pode ser um "poker face"), mas a voz está tremendo de raiva. Ou a voz está calma, mas o rosto está suando de nervosismo. Se a IA olhar só para um lado, ela perde a pista.

2. A Solução: A Dupla de Detetives Experientes

Os pesquisadores decidiram não criar uma IA do zero. Em vez disso, eles pegaram dois "gênios" já treinados e os colocaram para trabalhar juntos:

• O Olho (CLIP): Um modelo superinteligente que já viu milhões de fotos e sabe o que é uma "cara de feliz" ou "cara de triste".
• O Ouvido (Wav2Vec 2.0): Um modelo que já ouviu milhões de horas de áudio e entende a diferença entre um grito de dor e um grito de alegria.

Eles mantiveram esses dois "gênios" congelados (não os treinaram de novo), pois eles já são mestres em suas áreas.

3. O Segredo: Como eles conversam entre si?

Aqui está a parte mais criativa do trabalho. Normalmente, você juntaria a foto e o áudio e diria "agora decida". Mas esses pesquisadores criaram uma conversa de mão dupla.

Imagine que o Olho e o Ouvido estão em uma sala de interrogatório:

• O Olho pergunta ao Ouvido: "Ei, essa cara parece triste, mas você ouviu algo que confirme isso?"
• O Ouvido pergunta ao Olho: "Ei, essa voz parece feliz, mas você viu algo no rosto que contradiga isso?"

Eles usam uma técnica chamada Atenção Cruzada Bidirecional. É como se eles tivessem um "olho" um no outro o tempo todo, preenchendo as lacunas. Se o vídeo está escuro (ruído visual), o Ouvido ajuda a decidir. Se o áudio tem barulho de trânsito, o Olho ajuda. Eles se complementam.

4. O Tempo: Não é só uma foto, é um filme

Emoções não acontecem num piscar de olhos; elas evoluem. Alguém não fica "triste" instantaneamente; a tristeza se instala.

• A analogia: Se você tirar uma foto de alguém rindo, parece feliz. Mas se for um vídeo de 10 segundos onde a pessoa começa séria, ri e depois chora, a IA precisa entender essa história.
• A solução: Eles usaram uma rede chamada TCN (Rede Convolucional Temporal). Pense nela como um filme em câmera lenta que analisa a sequência de movimentos. Ela diz: "Espere, essa cara de bravo começou devagar e virou um sorriso rápido. Isso não é raiva, é brincadeira!"

5. O "Guru" de Texto: O Tradutor de Significados

Para ajudar ainda mais, eles usaram o texto como um guia.

• A analogia: Imagine que você está tentando ensinar uma criança a identificar emoções. Você não mostra só a foto; você diz: "Olha, essa é uma cara de alegria".
• A solução: O sistema usa palavras (como "feliz", "triste", "raivoso") para ensinar a IA a alinhar o que ela vê com o significado real da palavra. Isso ajuda a IA a não se perder em detalhes técnicos e focar no sentido da emoção.

O Resultado: Quem ganhou?

Eles testaram essa "dupla de detetives" em uma competição mundial chamada ABAW (uma espécie de Olimpíada para IAs que analisam emoções).

• O antigo método (o baseline oficial): Acertou cerca de 25% das vezes (quase um chute).
• O novo método deles: Acertou cerca de 53% a 54% das vezes.

Isso pode parecer pouco para nós, mas para uma IA tentando entender emoções humanas em vídeos reais (com luz ruim, barulho e pessoas se mexendo), é um salto gigantesco.

Resumo Final

Esses pesquisadores criaram um sistema que:

1. Usa dois especialistas (um para ver, um para ouvir).
2. Faz eles conversarem ativamente entre si para não perderem pistas.
3. Analisa o vídeo como uma história contínua, não como fotos soltas.
4. Usa palavras para garantir que a IA entenda o significado, não apenas os pixels.

É como ter um detetive que não só vê e ouve, mas que também entende o contexto, a história e o significado do que está acontecendo, tornando-o muito melhor em adivinhar o que você está sentindo, mesmo em um dia caótico e cheio de ruídos.

Resumo técnico

Resumo Técnico: Reconhecimento Multimodal de Emoções via Atenção Cruzada Bidirecional e Modelagem Temporal

1. Problema e Contexto

O reconhecimento de emoções em dados de vídeo "no mundo real" (in-the-wild) permanece um desafio significativo devido a variações complexas como aparência facial, pose da cabeça, iluminação, ruído de fundo e a natureza dinâmica inerente dos afetos humanos.

• Limitações Atuais: A dependência de uma única modalidade (apenas expressões faciais ou apenas fala) é frequentemente insuficiente para capturar pistas emocionais complexas.
• Desafios Específicos:
  1. Muitas estratégias de fusão existentes não modelam completamente as interações bidirecionais entre os fluxos visual e auditivo.
  2. Representações apenas ao nível do quadro (frame-level) falham em capturar o contexto temporal necessário, já que as expressões emocionais evoluem ao longo do tempo.

O trabalho foi desenvolvido para a tarefa de Reconhecimento de Expressão (EXPR) do 10º Desafio ABAW (Affective Behavior Analysis in-the-wild).

2. Metodologia Proposta

Os autores propõem um framework multimodal unificado que integra representações visuais e auditivas pré-treinadas em grande escala. A arquitetura consiste em cinco componentes principais:

A. Extração de Recursos com Backbones Congelados

• Fluxo Visual: Utiliza o modelo CLIP (ViT-B/32) para codificar quadros de vídeo, gerando uma sequência de características visuais. O backbone permanece congelado durante o treinamento.
• Fluxo Auditivo: Utiliza o Wav2Vec 2.0 (Base) para aprender representações contextuais a partir de ondas sonoras brutas (resampleadas para 16 kHz).
• Prompts de Texto: Gera prompts textuais ("A face expressando [Emoção]") codificados pelo CLIP para servir como supervisão semântica.

B. Modelagem Temporal e Adaptação

• Rede Convolutiva Temporal (TCN): Para o fluxo visual, aplica-se uma TCN de 6 camadas com convoluções causais dilatadas. Isso permite agregar contexto temporal e capturar dependências nas sequências de expressões faciais sem sacrificar a resolução temporal.
• Adaptador de Áudio: As características de áudio são projetadas para a mesma dimensão das características visuais (512 dimensões) através de uma camada linear, normalização em lote (LayerNorm), ativação ReLU e Dropout.

C. Fusão por Atenção Cruzada Bidirecional

• Introduz-se um módulo de atenção cruzada simétrica onde as modalidades interagem em ambas as direções:
  1. Visual para Áudio: As características visuais consultam (query) as características de áudio.
  2. Áudio para Visual: As características de áudio consultam as características visuais.
• Isso permite que uma modalidade complemente a outra quando uma delas é menos informativa (ex: áudio em ambientes ruidosos ou rosto ocluído), melhorando a contextualização cruzada.

D. Pooling Temporal e Classificação

• Após a fusão, realiza-se pooling médio ao longo da dimensão temporal para obter representações fixas.
• As representações visuais e auditivas fundidas são concatenadas e alimentadas em um classificador MLP (Multilayer Perceptron) para prever as 8 classes de emoção.

E. Aprendizado Contrastivo Guiado por Texto

• Adiciona-se uma função de perda contrastiva baseada nos embeddings de texto do CLIP. O objetivo é alinhar semanticamente as representações visuais com os conceitos textuais das emoções, encorajando representações visuais mais significativas.
• A função de perda total combina a perda de classificação (Cross-Entropy) e a perda contrastiva.

3. Principais Contribuições

1. Modelagem Visual Temporal com TCN: Uso de Redes Convolutivas Temporais para capturar dependências dinâmicas nas sequências de expressões faciais, superando limitações de métodos estáticos.
2. Fusão Multimodal Bidirecional: Mecanismo de atenção cruzada simétrica que permite uma integração mais eficaz e contextualizada entre áudio e vídeo.
3. Alinhamento Semântico Guiado por Texto: Incorporação de um objetivo contrastivo usando embeddings de texto do CLIP para refinar as representações visuais, alinhando-as semanticamente às categorias de emoção.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de validação do desafio ABAW 10th EXPR.

• Métrica Principal: Macro F1-score (a métrica oficial do desafio).
• Comparação: O modelo proposto foi comparado com a Official Baseline (baseada em VGGFace pré-treinado).
• Desempenho:
  • Baseline Oficial: Macro F1 = 0.2500.
  • Modelo Proposto (30 quadros): Macro F1 = 0.3224.
  • Modelo Proposto (60 quadros): Macro F1 = 0.3334 (Melhor desempenho).
• Análise: A configuração de 60 quadros obteve a melhor precisão (53,71%) e o melhor Macro F1, demonstrando que um contexto temporal mais amplo é benéfico para o reconhecimento robusto em ambientes não controlados.

5. Significância e Conclusão

Este trabalho demonstra a eficácia de combinar:

1. Modelagem temporal visual avançada (TCN).
2. Aprendizado de representação de áudio auto-supervisionado (Wav2Vec 2.0).
3. Fusão multimodal simétrica e inteligente (Atenção Cruzada Bidirecional).
4. Alinhamento semântico via texto (CLIP).

O framework proposto estabelece uma nova baseline forte para o reconhecimento de emoções em cenários do mundo real, superando significativamente abordagens unimodais e métodos de fusão tradicionais. Os resultados validam que a integração de contexto temporal e interação cruzada bidirecional é crucial para lidar com a variabilidade e o ruído presentes em dados de vídeo in-the-wild. Para trabalhos futuros, os autores planejam explorar estratégias de modelagem temporal ainda mais eficazes e arquiteturas mais eficientes.