💻 computer science

Two-Stage Multimodal Framework for Emotion Mimicry Intensity Prediction

Este artigo apresenta uma estrutura multimodal em duas etapas que treina independentemente codificadores de texto, áudio, visão e movimento antes de fundi-los por meio de um regressor leve para prever seis dimensões contínuas de intensidade emocional, alcançando o terceiro lugar no Desafio de Intensidade de Mímica Emocional Hume-ABAW10 com uma correlação de Pearson de 0,57 no conjunto de teste.

Autores originais: Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Publicado 2026-05-22

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar como uma pessoa está se sentindo apenas assistindo a um vídeo dela. Mas aqui está a reviravolta: você não está apenas adivinhando "feliz" ou "triste". Você precisa adivinhar a intensidade de seis sentimentos muito específicos: Admiração, Divertimento, Determinação, Dor Empática, Excitação e Alegria.

Este artigo descreve a tentativa de uma equipe de resolver esse quebra-cabeça para uma competição chamada desafio Hume-ABAW10. Eles construíram um sistema de computador que age como um detetive, reunindo pistas de diferentes fontes para fazer sua melhor suposição.

Veja como o sistema deles funciona, explicado de forma simples:

1. O Problema: Um Conjunto de Dados Bagunçado e Selvagem

A equipe recebeu milhares de clipes de vídeo gravados "no mundo real" (não em um estúdio). Esses clipes eram bagunçados:

Diferentes Durações: Alguns vídeos tinham apenas um segundo de duração; outros tinham mais de 10.000 quadros.
Pistas Faltando: Às vezes, o texto (o que a pessoa disse) estava ausente, mas o áudio e o vídeo estavam presentes.
Emoções Raras: Alguns sentimentos, como "Dor Empática" (sentir dor por outra pessoa), quase nunca apareciam nos dados. Era como tentar aprender a reconhecer um pássaro raro quando você só tem fotos de pardais.

2. A Solução: Uma Equipe de Especialistas em "Duas Etapas"

Em vez de tentar ensinar um único cérebro gigante a fazer tudo de uma vez, a equipe construiu uma estrutura de duas etapas. Pense nisso como contratar uma equipe de especialistas antes de reuni-los para uma reunião em grupo.

Etapa 1: Os Especialistas Treinam Sozinhos
Primeiro, eles treinaram quatro "especialistas" separados (redes neurais) em apenas um tipo de pista:

O Especialista em Texto: Lê a transcrição do que foi dito.
O Especialista em Áudio: Ouve o tom de voz e o som.
O Especialista Visual: Observa as expressões faciais.
O Especialista em Movimento: (Opcional) Observa os movimentos sutis da cabeça e do rosto.

Cada especialista aprendeu a adivinhar as emoções usando apenas sua pista específica. Os especialistas em Texto e Áudio acabaram sendo os adivinhadores individuais mais fortes. Os especialistas Visual e em Movimento foram mais fracos sozinhos, mas tinham insights únicos.

Etapa 2: A Reunião em Grupo (Fusão)
Uma vez que os especialistas foram treinados, a equipe os reuniu. Eles não apenas deixaram que gritassem uns sobre os outros; usaram um Regressor de Fusão "leve" (um gerente inteligente).

O Trabalho do Gerente: Ele pega as anotações de todos os especialistas, combina-as e faz a previsão final.
A Rede de Segurança: Para garantir que o sistema não fique preguiçoso e dependa apenas do especialista em Texto, eles usaram um truque chamado "Dropout de Modalidade". Durante o treinamento, eles escondiam aleatoriamente as pistas de Texto ou Áudio, forçando o gerente a aprender a usar as pistas Visuais ou de Movimento quando as principais estavam faltando.

3. O Experimento de "Movimento"

A equipe adicionou um quarto especialista que observava o movimento (como o rosto se move ao longo do tempo).

O Resultado: Este especialista em movimento não mudou muito a pontuação. Era como adicionar uma quinta pessoa a um comitê que tinha um pouquinho de informação extra. Ajudou ligeiramente, mas não foi a estrela do show. O artigo observa que, embora o ganho fosse pequeno, estudar como o movimento ajuda é interessante para o futuro.

4. Os Resultados: Como Eles Se Saíram?

A Melhor Estratégia: O sistema funcionou melhor quando alimentado com todas as quatro pistas (Texto, Áudio, Visão e Movimento) e usou uma quantidade maior de dados de treinamento (misturando alguns dos dados de teste no conjunto de treinamento).
A Pontuação: Na competição, o sistema deles alcançou uma correlação média de 0,57 no teste final. Isso significa que suas suposições estavam moderadamente alinhadas com as pontuações dos juízes humanos.
Classificação: Eles ficaram em 3º lugar entre todas as equipes no desafio.

5. Principais Conclusões

Palavras e Voz Vencem: Se você tivesse que escolher apenas uma pista, ler a transcrição ou ouvir a voz era a maneira mais poderosa de adivinhar a intensidade da emoção.
Rostos e Movimentos Ajudam: Ver o rosto e o movimento não funcionou tão bem sozinho, mas adicionaram um pouco de valor extra quando combinados com palavras e voz.
Simples é Bom: O método deles foi relativamente simples em comparação com os vencedores. Eles não usaram máquinas complexas e pesadas; apenas treinaram bem os especialistas e depois deixaram que trabalhassem juntos.

Em resumo: A equipe construiu um sistema que primeiro treina especialistas individuais em texto, som e vídeo separadamente, depois combina suas opiniões para adivinhar quão intensas são as emoções de uma pessoa. Eles ficaram em terceiro lugar, provando que uma abordagem simples e em etapas funciona bem para essa tarefa complicada.

Resumo Técnico: Framework Multimodal em Duas Etapas para Previsão da Intensidade de Mímica Emocional

Definição do Problema

O artigo aborda a tarefa de previsão da Intensidade de Mímica Emocional (IME), um desafio dentro da competição Hume-ABAW10. Diferentemente do reconhecimento categórico de emoções, a IME exige a previsão de valores contínuos de intensidade em seis dimensões afetivas específicas: Admiração, Divertimento, Determinação, Dor Empática, Empolgação e Alegria. A tarefa é complicada pelas características de dados "in-the-wild" (no mundo real), incluindo variações temporais fortes, ausência parcial de modalidades (especificamente texto) e distribuições-alvo altamente desbalanceadas (por exemplo, a Dor Empática é predominantemente de valor zero).

Metodologia

Os autores propõem um framework multimodal em duas etapas projetado para lidar com a escassez de dados e o desequilíbrio de modalidades, garantindo ao mesmo tempo uma aprendizagem robusta de características.

1. Características dos Dados e Pré-processamento

Conjunto de Dados: 12.660 amostras (8.072 para treinamento, 4.588 para validação) com comprimentos de sequência altamente variáveis (mediana ~65 quadros, mas com outliers de cauda longa até 12.500 quadros).
Tratamento de Modalidades:
- Texto: Derivado de transcrições usando um modelo GTE-base pré-treinado. Embeddings de texto ausentes (aproximadamente 6% das amostras) são tratados substituindo-os por vetores nulos.
- Áudio: Extraído usando um Wav2Vec 2.0 personalizado (amostragem de 16kHz).
- Visual: Extraído de quadros de rostos recortados usando DINOv2.
- Movimento: Um ramo opcional usando unidades de ação facial (AU) derivadas do OpenFace e características de pose da cabeça, resumidos como uma sequência temporal de 23 dimensões.
Descobertas Exploratórias: O conjunto de dados exibe distribuições de sequência de cauda longa, esparsidade significativa de rótulos (especialmente para Dor Empática) e deslocamentos de distribuição entre os conjuntos de treinamento e validação.

2. Estratégia de Treinamento em Duas Etapas

Em vez de treinar um único modelo de ponta a ponta, o framework emprega uma abordagem em etapas:

Etapa 1: Pré-treinamento Unimodal: Codificadores específicos de modalidade (Texto, Áudio, Visão e Movimento opcional) são treinados independentemente até a convergência.
- Codificadores: Texto usa um MLP; Áudio, Visão e Movimento usam agrupamento temporal baseado em atenção para lidar com sequências de comprimento variável.
- Objetivo: Uma função de perda combinada de Coeficiente de Correlação de Concordância (CCC) e Erro Quadrático Médio (MSE) ( $L = 0,7 L_{CCC} + 0,3 L_{MSE}$ ) é usada para abordar o desequilíbrio de rótulos e garantir tanto a precisão de magnitude quanto o acordo de tendência.
Etapa 2: Fusão e Ajuste Fino:
- As cabeças de previsão unimodal são removidas, retendo as representações penúltimas aprendidas.
- Um Regressor de Fusão leve (MLP) concatena os embeddings de modalidade para prever as seis pontuações de intensidade.
- Adaptação: Durante a fusão, a cabeça de fusão é treinada na taxa de aprendizado base, enquanto os codificadores pré-treinados são ajustados finamente com uma taxa de aprendizado significativamente reduzida (5% da taxa base) para permitir adaptação intermodal sem desestabilizar as representações unimodais.
- Robustez: Dropout de modalidade (probabilidade $p=0,3$ ) é aplicado durante o treinamento de fusão para evitar dependência excessiva de qualquer canal único e simular cenários de dados ausentes.

3. Configurações Experimentais

Os autores enviaram cinco sistemas variando por:

Composição de Modalidades: Texto-Áudio-Visão (T+A+V) vs. Texto-Áudio-Visão-Movimento (T+A+V+M).
Divisão de Dados: Divisão padrão 2:1 treino/validação vs. uma divisão expandida 4:1 (incorporando amostras originais de validação no treinamento para aumentar o volume de dados).
Estratégia de Codificador: Ajuste fino conjunto vs. codificadores congelados.

Resultados Principais

Desempenho Unimodal: Texto e Áudio forneceram os sinais individuais mais fortes.
- Texto: Alcançou a maior correlação de Pearson média ( $\bar{r} = 0,395$ ), particularmente forte para Admiração e Dor Empática.
- Áudio: Desempenhou em segundo lugar ( $\bar{r} = 0,350$ ) com desempenho equilibrado entre as dimensões.
- Visão e Movimento: Desempenharam significativamente pior isoladamente ( $\bar{r} \approx 0,15$ e $0,13$, respectivamente), mas mostraram valor complementar para dimensões específicas como Alegria, Divertimento e Empolgação.
Desempenho de Fusão:
- O modelo Texto-Áudio-Visão-Movimento (T+A+V+M) na divisão expandida 4:1 alcançou o melhor desempenho de validação com uma correlação de Pearson média de 0,4722.
- Adicionar o ramo de movimento forneceu ganhos marginais apenas (por exemplo, de 0,4717 para 0,4722 na validação), sugerindo que atua como um aprimoramento auxiliar em vez de um sinal dominante.
- O melhor desempenho no conjunto de teste foi alcançado pelo modelo Texto-Áudio-Visão (T+A+V) na divisão 4:1, alcançando uma correlação de Pearson média de 0,57.
Classificação: A equipe ficou em terceiro lugar no Desafio Hume-ABAW10 de IME.

Contribuições e Significado

O artigo reivindica três contribuições principais:

Uma Estratégia Prática de Treinamento em Etapas: Um pipeline reproduzível que estabiliza a aprendizagem multimodal em alvos afetivos esparsos e desbalanceados, desacoplando o pré-treinamento unimodal da fusão intermodal.
Análise Empírica de Modalidades: Uma detalhada decomposição de como diferentes modalidades contribuem para eixos emocionais específicos, revelando que pistas semânticas (texto) e acústicas (áudio) são os principais impulsionadores, enquanto pistas visuais e de movimento oferecem informações complementares seletivas.
Exploração de Pistas de Movimento: Uma submissão destacando o papel do movimento na fusão multimodal. Embora os ganhos tenham sido leves, os autores postulam que o movimento permanece uma direção promissora para exploração futura na captura de dinâmicas faciais temporais.

Os autores enfatizam que seu framework oferece uma linha de base simples e reproduzível para previsão de IME. Eles reconhecem que, embora seu método seja estruturalmente mais simples que os concorrentes de melhor classificação (que utilizaram mecanismos complexos de atenção cruzada e otimização multi-objetivo), sua abordagem em etapas aborda efetivamente os desafios específicos de escassez de dados e ausência de modalidades inerentes ao conjunto de dados.