Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

Este artigo apresenta a abordagem multimodal da equipe LEYA para a 10ª Competição ABAW, que integra cenas, rosto, áudio e texto para reconhecimento de ambivalência e hesitação, alcançando uma pontuação de 71,43% em testes finais através de um ensemble de modelos de fusão aprimorados.

O essencial

Imagine que você está tentando adivinhar se uma pessoa está realmente decidida a fazer algo ou se ela está dudando (hesitando) e dividida (ambivalente) sobre o assunto.

Esse é o desafio que a equipe LEYA enfrentou na 10ª Competição Mundial de Análise de Comportamento (ABAW). Eles criaram um "detetive digital" chamado LEYA para assistir a vídeos e descobrir se a pessoa está confusa ou indecisa.

Aqui está a explicação de como eles fizeram isso, usando analogias do dia a dia:

1. O Problema: O "Dilema" Humano

Quando alguém está indeciso, raramente mostra isso de um jeito óbvio. Não é como um sorriso de felicidade ou uma cara de raiva. É algo sutil.

• A pessoa pode dizer "sim" (texto), mas a voz pode tremer (áudio).
• O rosto pode parecer neutro, mas o corpo está inquieto (cena).
• É como tentar ouvir uma conversa em uma festa barulhenta onde todos estão falando coisas diferentes ao mesmo tempo.

2. A Solução: A Equipe de Quatro Especialistas

Em vez de confiar em apenas uma pista, a equipe LEYA criou um sistema que funciona como uma equipe de detetives, onde cada um olha para uma parte diferente da história. Eles usam quatro "sentidos" (modos) ao mesmo tempo:

• 🎥 O Detetive da Cena (Vídeo): Ele não olha apenas para o rosto, mas para o cenário inteiro. É como se ele estivesse observando a "energia" do ambiente. Se a pessoa está se mexendo muito, se o fundo muda, isso ajuda a entender a dinâmica. Ele usa uma tecnologia avançada (VideoMAE) que aprendeu a ver vídeos como se fosse um aluno de cinema muito estudioso.
• 👤 O Detetive do Rosto (Face): Este foca apenas no rosto. Ele usa uma lupa digital para pegar cada microexpressão. Ele não olha para o rosto inteiro de uma vez, mas tira "fotos" rápidas, analisa a emoção de cada uma e depois faz uma média estatística (como um professor que tira a média das notas de um aluno para ver o desempenho geral).
• 🎤 O Detetive da Voz (Áudio): Ele ouve a voz, mas não apenas as palavras. Ele analisa o tom, o ritmo e a emoção na voz. É como um cantor que consegue dizer se você está nervoso só pelo jeito que você canta, mesmo que você diga "estou calmo". Eles usam uma IA chamada Mamba para entender a sequência de sons, como se estivesse lendo uma partitura musical.
• 📝 O Detetive das Palavras (Texto): Este lê o que a pessoa diz. Ele sabe que, às vezes, o que dizemos é o oposto do que sentimos. Ele usa modelos de linguagem (como um tradutor superinteligente) para entender o contexto e as nuances das frases.

3. A Grande Reunião: O "Fusão"

Aqui está a mágica. Ter quatro detetives é bom, mas eles precisam conversar entre si.

• O sistema pega as conclusões de cada um e as coloca em uma sala de reuniões virtual.
• Eles usam uma técnica especial chamada "Protótipos". Imagine que, antes da reunião, o sistema tem em mente dois "arquétipos" (modelos ideais): um de uma pessoa 100% decidida e outro de uma pessoa 100% indecisa.
• Durante a análise, o sistema pergunta: "A combinação do que o Detetive da Voz, do Rosto, da Cena e do Texto disseram, se parece mais com o modelo de 'Decidido' ou com o de 'Indeciso'?"

4. O Resultado: A Vantagem da Equipe

O que eles descobriram foi fascinante:

• Sozinho, o texto era o melhor detetive. Ler o que a pessoa diz era a pista mais forte.
• Mas juntos, eles eram imparáveis. Quando os quatro trabalhavam juntos, a precisão subiu drasticamente.
• O Segredo Final: Para ganhar a competição, eles não confiaram em apenas um "modelo final". Eles criaram 5 versões ligeiramente diferentes dessa equipe de detetives e pediram que todas votassem. A decisão final foi a média desses 5 votos. Isso é como ter 5 juízes em um concurso de culinária; se todos concordam, a nota é muito mais confiável.

Resumo em uma frase

A equipe LEYA venceu mostrando que, para entender a indecisão humana, não basta olhar para o rosto ou ouvir a voz; você precisa ouvir, ver, ler e sentir o ambiente ao mesmo tempo, e depois deixar que uma "inteligência coletiva" de várias IAs tome a decisão final.

Onde está o código?
Eles são generosos e deixaram todo o "manual de instruções" (o código) disponível publicamente para que outros pesquisadores possam aprender com eles e criar seus próprios detetives digitais!

Resumo técnico

Resumo Técnico: Abordagem Multimodal para Reconhecimento de Ambivalência/Hesitação

1. Problema e Contexto

O artigo aborda o desafio do reconhecimento de ambivalência e hesitação (A/H) em vídeos não restritos (do mundo real). Diferente de emoções básicas (como alegria ou surpresa), a ambivalência é um estado comportamental sutil, dependente do contexto e frequentemente caracterizado por inconsistências entre modalidades (ex.: o que a pessoa diz vs. como ela diz vs. sua expressão facial).

O trabalho foi desenvolvido para a 10ª Competição ABAW (Affective & Behavior Analysis in-the-Wild), especificamente no desafio de reconhecimento de A/H no nível de vídeo. O objetivo é classificar se um vídeo contém ou não sinais de ambivalência/hesitação, uma tarefa crucial para intervenções em saúde comportamental digital, onde identificar a incerteza na tomada de decisão é fundamental.

2. Metodologia Proposta

A equipe LEYA propôs uma arquitetura multimodal que integra quatro modalidades complementares: Cena, Rosto, Áudio e Texto. O pipeline segue uma estratégia de dois estágios: treinamento unimodal independente seguido de fusão multimodal.

A. Modelos Unimodais (Extratores de Características):

1. Modelo Visual Baseado em Cena (Scene):

   • Utiliza a arquitetura VideoMAE (Masked Autoencoder para Vídeo), pré-treinado no corpus Kinetics-400.
   • Processa sequências de 16 frames para capturar a dinâmica comportamental e o contexto ambiental.
   • Gera um embedding compacto via global average pooling.

2. Modelo Visual Baseado em Rosto (Face):

   • Detecta rostos usando YOLO e extrai características emocionais frame a frame.
   • Utiliza um EfficientNetB0 (fine-tuned no corpus AffectNet+), denominado EmotionEfficientNetB0.
   • Agregação: Em vez de usar apenas embeddings brutos, aplica-se Statistical Pooling (média e desvio padrão) sobre os embeddings de todos os frames do vídeo, concatenando-os e passando por uma MLP (Rede Neural Perceptron Multicamadas).

3. Modelo Acústico (Áudio):

   • Extrai características emocionais de áudio usando o Emotion-Wav2Vec2.0 (fine-tuned no corpus MSP-Podcast).
   • Processa a sequência temporal de embeddings usando um codificador baseado em Mamba (uma arquitetura de estado espacial eficiente para sequências longas), seguido de mean pooling para obter um embedding acústico compacto.

4. Modelo Linguístico (Texto):

   • Utiliza transcrições automáticas do áudio.
   • O modelo principal é o EmotionDistilRoBERTa, fine-tuned diretamente para a tarefa de reconhecimento de A/H.
   • O embedding de saída passa por uma cabeça de classificação MLP.

B. Modelo de Fusão Multimodal:

• Projeção: Os embeddings de cada modalidade são projetados em um espaço latente compartilhado.
• Fusão com Transformer: Um módulo baseado em Transformer processa os tokens das modalidades, permitindo modelar dependências inter-modais diretamente no nível do vídeo.
• Máscaras de Modalidade: O sistema lida com a ausência de dados (ex.: áudio não disponível) usando máscaras binárias durante a atenção do Transformer.
• Objetivo de Protótipos (Prototype-Augmented): Uma contribuição chave é o uso de uma cabeça auxiliar baseada em protótipos aprendíveis. O embedding fundido é comparado com protótipos de classe específicos. Isso adiciona um termo de perda auxiliar (auxiliary loss) durante o treinamento para regularizar o modelo, embora a previsão final venha do classificador linear principal.
• Ensemble: Para a submissão final, foi utilizado um ensemble (conjunto) de cinco modelos de fusão com cabeças de protótipos, treinados com diferentes sementes aleatórias para aumentar a robustez.

3. Resultados Experimentais

Os experimentos foram realizados no corpus BAH (1.427 vídeos, 300 participantes), utilizando a métrica MF1 (Macro F1-Score).

• Desempenho Unimodal:

  • O modelo de Texto (EmotionDistilRoBERTa) foi o mais forte entre as modalidades individuais, alcançando 70,02% de MF1 médio.
  • O modelo de Áudio atingiu 69,03%, enquanto Rosto e Cena tiveram desempenho inferior (~62-63%), confirmando que pistas linguísticas são dominantes, mas insuficientes sozinhas.

• Desempenho Multimodal:

  • A fusão multimodal superou consistentemente todas as bases unimodais.
  • O melhor modelo de fusão único (com cabeça de protótipos) atingiu 83,25% de MF1 no conjunto de desenvolvimento/validação.
  • Resultado Final no Teste: O ensemble de cinco modelos de fusão com protótipos alcançou 71,43% de MF1 no teste privado, superando significativamente os modelos unimodais e as fusões sem ensemble.

• Estudo de Ablação:

  • A combinação de Cena + Texto mostrou a melhor sinergia entre pares de modalidades.
  • A fusão de todas as quatro modalidades (Cena, Rosto, Áudio, Texto) produziu o melhor resultado global, validando a importância de integrar pistas contextuais (cena) com as emocionais.

4. Contribuições Principais

1. Integração de Quatro Modalidades: Demonstração de que a inclusão da modalidade de cena (além das tradicionais rosto, áudio e texto) melhora a detecção de ambivalência, capturando o contexto comportamental.
2. Arquitetura Híbrida de Fusão: Uso de um Transformer para fusão de tokens de modalidades, combinado com um objetivo de classificação baseado em protótipos para melhorar a representação latente e a generalização.
3. Estratégia de Ensemble Robusta: A demonstração de que, embora modelos únicos com protótipos tenham alto desempenho de validação, um ensemble é crucial para maximizar a performance em dados de teste não vistos (robustez).
4. Validação no Corpus BAH: Estabelecimento de novos baselines (linhas de base) para o desafio ABAW 10, mostrando ganhos claros sobre abordagens anteriores que usavam fusões mais simples.

5. Significado e Conclusão

O trabalho de Team LEYA destaca que o reconhecimento de estados afetivos complexos como a ambivalência exige não apenas a análise de emoções isoladas, mas a modelagem de inconsistências e interações entre modalidades. A abordagem proposta prova que:

• Pistas linguísticas são fortes, mas a fusão multimodal é essencial para capturar a nuance da hesitação.
• Estratégias de fusão avançadas (Transformers + Protótipos) e técnicas de ensemble são vitais para lidar com a variabilidade de vídeos não restritos.
• O código-fonte foi disponibilizado publicamente, permitindo a reprodutibilidade e o avanço futuro na área de computação afetiva.

Em suma, a abordagem multimodal integrada com estratégias de fusão robustas representa um avanço significativo na capacidade de sistemas de IA interpretarem a incerteza humana em interações naturais.