💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

Este artigo apresenta um framework multimodal para o reconhecimento de ambivalência e hesitação em vídeo, que funde características de texto, áudio e visuais via atenção cruzada bidirecional e uma Unidade Multimodal com Portão (Gated Multimodal Unit) para alcançar um Macro F1 score de 0,7394, superando significativamente tanto os baselines unimodais quanto os modelos zero-shot no desafio ABAW11 na ECCV 2026.

Autores originais: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Publicado 2026-07-20

📖 3 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Oussama Berhili, Yassine Ouzar, Larbi Boubchir

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar o que um amigo está sentindo apenas observando-o. Às vezes, é fácil: um grande sorriso significa felicidade, uma carranca significa tristeza. Mas e quanto àqueles momentos complicados quando alguém está dividido? Talvez a pessoa esteja dizendo "estou bem" com uma voz que soa trêmula, enquanto seu rosto parece que está prestes a chorar. Esse mix confuso de sentimentos é chamado de ambivalência ou hesitação. É aquele cabo de guerra interno entre querer fazer algo e ter medo de fazê-lo. Cientistas que estudam computadores e o comportamento humano (um campo chamado computação afetiva) estão tentando ensinar máquinas a detectar esses sinais sutis e confusos. Eles sabem que olhar para apenas uma pista — como apenas ouvir a voz ou apenas observar o rosto — muitas vezes não é suficiente. Para realmente entender uma pessoa, um computador precisa agir como um detetive superinteligente, juntando peças de palavras, tom e expressões de uma só vez para resolver o mistério do que alguém está realmente sentindo.

Neste artigo, uma equipe de pesquisadores chamada Oussama, Yassine e Larbi decidiu construir um computador superdetetive para resolver exatamente esse quebra-cabeça. Eles participaram de uma competição chamada ABAW11, onde o objetivo era detectar ambivalência e hesitação em gravações de vídeo. Eles começaram testando três "sentidos" diferentes individualmente: um cérebro que lê transcrições de texto, um cérebro que ouve o áudio e um cérebro que observa vídeos faciais. Eles descobriram que o leitor de texto era o melhor detetive solo, acertando cerca de 66,6% das respostas (medido por uma pontuação chamada Macro F1). O ouvinte de áudio ficou logo atrás, com 62,8%, e o observador de vídeo foi um pouco mais fraco, com 57,3%. Curiosamente, eles testaram uma IA famosa de "zero-shot" (uma que não foi treinada especificamente para esses dados) e ela acertou apenas 28,3%, provando que você realmente precisa treinar sua IA especificamente para este trabalho difícil.

Mas a verdadeira mágica aconteceu quando eles pararam de deixar os detetives trabalharem sozinhos e os fizeram trabalhar como uma equipe. Os pesquisadores construíram um sistema especial onde os cérebros de texto, áudio e vídeo poderiam conversar entre si. Eles usaram uma técnica chamada atenção cruzada (cross-attention), que é como dar a cada detetive um walkie-talkie para perguntar aos outros: "Ei, eu vejo uma voz trêmula aqui, o seu rosto vê uma expressão nervosa?" e "Eu vejo uma palavra hesitante, o seu áudio ouve uma pausa?". Isso permitiu que eles detectassem contradições, como quando alguém diz "sim", mas soa incerto. Eles também adicionaram uma Unidade Multimodal com Portão (Gated Multimodal Unit), que atua como um gerente inteligente. Se um detetive estiver olhando para um rosto borrado ou ouvindo um áudio ruim, o gerente pode dizer: "Ignore esse sinal ruidoso por um segundo, vamos focar no texto claro em vez disso".

Após treinar essa equipe com uma ferramenta de busca inteligente chamada Optuna para encontrar as configurações perfeitas, os resultados foram impressionantes. A equipe de três trabalhando junta obteve 73,9% em seu teste, o que representa uma melhoria de 11,0% sobre o melhor detetive individual. Isso sugere que, ao permitir que os diferentes sentidos se verifiquem mutuamente, o computador consegue captar as pistas sutis e conflitantes que compõem a ambivalência muito melhor do que qualquer sentido sozinho poderia. Os pesquisadores estão confiantes de que este método de trabalho em equipe explícito entre texto, som e vídeo é a chave para desbloquear essas emoções humanas difíceis, e eles disponibilizaram seu código publicamente para que outros também possam testá-lo.

Resumo Técnico: Reconhecimento de Ambivalência e Hesitação Multimodal via Atenção Cruzada e Fusão com Portão (Gated Fusion)

Definição do Problema
Este trabalho aborda o desafio da detecção automática de Ambivalência e Hesitação (A/H) em gravações de vídeo, uma tarefa central para o desafio ABAW11 na ECCV 2026. A/H representa um estado afetivo sutil onde um indivíduo experimenta emoções ou motivações conflitantes, frequentemente levando a atrasos na mudança comportamental. O desafio reside no fato de que a A/H se manifesta através de pistas complexas e, por vezes, conflitantes em múltiplas modalidades: o hedging lexical em transcrições, variações prosódicas no áudio e microexpressões no vídeo facial. Os autores utilizam o conjunto de dados BAH, que contém 1.427 gravações de vídeo com rótulos binários indicando a presença ou ausência de A/H, para desenvolver uma solução que vá além da simples análise unimodal ou da fusão ingênua.

Metodologia
A abordagem proposta é um pipeline estruturado envolvendo extração de características, estabelecimento de baselines unimodais e uma arquitetura de fusão multimodal inovadora.

Extração de Características: Para preservar a dinâmica temporal fina, os autores evitam o pooling global durante a extração. Em vez disso, eles extraem sequências completas de representações de tokens usando três codificadores pré-treinados de última geração:
- Texto: O F2LLM-v2-0.6B (baseado no Qwen3-0.6B) processa as transcrições, retendo a sequência completa do last_hidden_state ( $N_t \times 1024$ ).
- Áudio: O WavLM-Large processa áudio mono de 16 kHz, extraindo a sequência temporal completa ( $N_a \times 1024$ ) para capturar nuances prosódicas.
- Visual: O VideoMAE V2 (Base) processa quadros faciais alinhados (256x256). Os vídeos são divididos em blocos de 16 quadros, e as sequências de tokens de nível de patch são concatenadas para preservar o contexto espaço-temporal ( $N_v \times 768$ ).
Baselines Unimodais: Antes da fusão, os autores estabelecem baselines robustos treinando classificadores clássicos (MLP, Random Forest e GBDT) em cada modalidade de forma independente. Esses modelos são otimizados via Optuna (100 tentativas por classificador) utilizando o Macro F1 como métrica.
Arquitetura de Fusão Multimodal: A principal contribuição é um modelo de fusão que combina atenção cruzada bidirecional e uma Unidade Multimodal com Portão (GMU):
- Projeção e Codificação Posicional: Sequências de comprimento variável de todas as modalidades são projetadas linearmente para uma dimensão de embedding compartilhada ( $d_{model}$ ) e aumentadas com codificações posicionais senoidais.
- Atenção Cruzada Bidirecional: Um módulo MultimodalCrossAttention implementa seis pilhas de atenção direcional (ex: texto atendendo ao áudio, áudio ao vídeo, etc.). Isso permite que cada modalidade consulte e atenda às representações das outras, resolvendo ambiguidades ao aproveitar pistas complementares.
- Pooling: As sequências de tokens contextualizadas são reduzidas a vetores únicos usando uma estratégia de pooling configurável (média, máximo ou atenção aprendida).
- Fusão com Portão (GMU): Os vetores agrupados são concatenados e processados por uma GMU. Esta unidade calcula um vetor de contexto para gerar um portão sigmoide para cada modalidade, escalonando dinamicamente a contribuição de cada fluxo. Este mecanismo permite que o modelo suprima modalidades ruidosas ou pouco informativas (ex: rostos ocluídos) para instâncias específicas.
- Classificação: A representação fundida final passa por um MLP para gerar uma predição binária.

Principais Contribuições

Benchmarks Unimodais Abrangentes: O artigo estabelece fortes baselines unimodais usando configurações específicas de F2LLM, WavLM e VideoMAE, demonstrando que o treinamento específico de domínio supera significativamente os basplexes zero-shot.
Avaliação Sistemática de Classificadores: Uma análise comparativa de classificadores MLP, Random Forest e GBDT através das modalidades, otimizados via Optuna.
Arquitetura de Fusão Inovadora: A integração de atenção cruzada bidirecional com uma Unidade Multimodal com Portão (GMU), especificamente ajustada via uma busca Optuna de 50 tentativas, para modelar interações intra e intermodais.
Pipeline Reproduzível: Um framework modular de código aberto que preserva sequências de tokens de comprimento variável ao longo do pipeline, facilitando extensões futuras para atenção cruzada ou LLMs multimodais.

Resultos

Desempenho Unimodal: As características de texto provaram ser as mais discriminativas isoladamente, com um classificador Random Forest alcançando um Macro F1 de 0,6659 no conjunto de teste. Isso superou substancialmente o baseline zero-shot Video-LLaVA (Macro F1: 0,2827). As modalidades de áudio e visual seguiram com pontuações de Macro F1 de 0,6275 e 0,5727, respectivamente.
Desempenho Multimodal: O modelo proposto de Cross-Attention + GMU alcançou um Macro F1 de 0,7394 no conjunto de validação. Isso representa uma melhoria relativa de 11,0% sobre o melhor baseline unimodal e um ganho significativo sobre o baseline zero-shot.
Otimização de Hiperparâmetros: A melhor configuração utilizou uma dimensão de embedding compartilhada de 256, uma cabeça de atenção, duas camadas de atenção cruzada por par de modalidade e pooling de média.

Significância e Alegações
Os autores afirmam que seus resultados confirmam a hipótese de que a interação explícita entre modalidades é essencial para detectar A/H. O ganho de desempenho sobre os modelos unimodais sugere que a A/H envolve pistas complementares que não são capturadas por qualquer modalidade isolada. Além disso, a análise de erro indica que, embora os modelos unimodais (particularmente o de texto) sejam sensíveis a marcadores, eles podem disparar excessivamente em características neutras; a arquitetura multimodal ajuda a refinar a fronteira de decisão ao utilizar pistas ortogonais dos fluxos de áudio e visual.

O artigo posiciona sua abordagem como um passo fundamental à frente na computação afetiva, demonstrando que modelar interações dentro e entre modalidades produz resultados superiores em comparação com a fusão tardia (late fusion) ingênua ou a dependência de modalidades únicas. Embora o desempenho (0,7394) se aproxime dos resultados do sistema vencedor BROTHER do ABAW10, os autores observam que a comparação direta é cautelosa devido às diferenças nas versões dos conjuntos de dados e edições do desafio. O trabalho conclui que melhorias futuras podem residir em uma modelagem temporal mais rica, personalização e ajuste fino eficiente de parâmetros (parameter-efficient fine-tuning) de LLMs multimodais.

Mais como este