💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Este artigo apresenta um sistema de reconhecimento de emoções mistas e previsão de saliência relativo para o desafio BLEMORE, que combina seis famílias de codificadores multimodais (incluindo face, áudio, corpo e o novo Gemini Embedding 2.0) através de fusão tardia de probabilidades, alcançando a 6ª colocação com uma pontuação de 0,279 e destacando a eficácia de camadas de prosódia congeladas e a necessidade de limiares de saliência personalizados.

Autores originais: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Publicado 2026-03-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar o que uma pessoa está sentindo apenas olhando para ela. Às vezes, é fácil: ela está rindo (alegria) ou chorando (tristeza). Mas, na vida real, as emoções são como um coquetel complexo. Alguém pode estar feliz, mas com um pouco de medo, ou bravo, mas com um pouco de tristeza.

O desafio BLEMORE é como uma competição de detetives emocionais. O objetivo não é apenas dizer "qual emoção existe", mas também dizer quão forte é cada uma delas (a "salência"). Por exemplo: "70% de raiva e 30% de medo".

Este artigo descreve como uma equipe da Universidade de Zurique criou um "super-detetive" artificial para vencer essa competição. Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Time de Especialistas (O Ensemble)

Em vez de confiar em apenas um cérebro artificial, eles criaram um time de especialistas, onde cada um olha para a pessoa de um ângulo diferente:

O Especialista em Rostos (S4D-ViTMoE): Ele foca apenas no rosto, cortando o fundo da imagem. É como ter um fotógrafo que só tira fotos do rosto, garantindo que ele veja cada expressão muscular com clareza.
Os Especialistas em Corpo (TimeSformer e VideoMAE): Às vezes, o rosto mente, mas o corpo não. Esses especialistas olham para os ombros, gestos e postura. Se alguém está nervoso, pode estar sorrindo, mas com as mãos trêmulas. Eles capturam essa "linguagem corporal".
O Especialista em Voz (Wav2Vec2): Aqui está um truque genial. A maioria das pessoas fala palavras, mas neste desafio, os atores fazem sons não-verbais (risos, gemidos, suspiros). O modelo de voz deles foi "congelado" e ajustado para ouvir apenas a melodia e o ritmo da voz (prosódia), ignorando as palavras. É como ouvir a música de fundo de um filme para saber se é uma cena de terror ou comédia, sem precisar entender o diálogo.
O "Oráculo" Futurista (Gemini Embedding 2.0): Esta foi a grande novidade. Eles usaram um modelo de inteligência artificial gigante (o Gemini) que nunca foi treinado especificamente para emoções. Foi como pegar um polímata que sabe de tudo e perguntar: "O que você sente vendo este vídeo?". O incrível é que ele conseguiu acertar muito bem olhando apenas para os primeiros 2 segundos do vídeo, provando que ele entende a "alma" da cena rapidamente.

2. Como Eles Juntam Tudo (A Fusão)

Cada especialista dá uma opinião em forma de porcentagem. O sistema final funciona como um julgamento coletivo:

Eles combinam todas as opiniões, dando mais peso para quem tem mais experiência em tarefas específicas (os especialistas treinados no desafio) do que para os modelos genéricos.
No final, eles têm uma "probabilidade final" de cada emoção.

3. O Grande Problema: O "Gatilho" da Decisão (Thresholds)

Aqui está a parte mais interessante e difícil. O sistema precisa transformar números (ex: 45% de raiva) em uma decisão final (ex: "Sim, é raiva"). Para isso, eles usam dois "gatilhos" (limites):

Limite de Presença: "A emoção precisa ter pelo menos X% para ser considerada."
Limite de Salência: "Se a diferença entre a emoção principal e a secundária for pequena, vamos considerar que elas estão equilibradas (50/50)."

A Descoberta Chocante:
Os pesquisadores descobriram que esses gatilhos não são universais. O que funciona para o "ator A" não funciona para o "ator B".

Imagine que o "ator A" é muito expressivo e precisa de um gatilho baixo para ser detectado.
O "ator B" é muito contido e precisa de um gatilho alto.
O sistema tentou ajustar esses gatilhos para cada pessoa, mas descobriu que o estilo pessoal de cada pessoa é o maior obstáculo. Não é que a máquina seja burra; é que as pessoas expressam emoções de formas únicas e imprevisíveis.

4. O Resultado

O sistema deles ficou em 6º lugar no desafio.

Eles conseguiram identificar corretamente quais emoções estavam presentes com uma precisão muito alta.
O uso do modelo gigante (Gemini) foi uma surpresa positiva, mostrando que modelos de IA gerais podem ser ótimos para tarefas emocionais específicas, mesmo com pouco tempo de vídeo.
Eles provaram que, para dados pequenos e não-verbais (como risos e gritos), não é melhor treinar o modelo do zero, mas sim escolher as "camadas" certas de um modelo já treinado e usá-las com cuidado.

Resumo em uma Frase

A equipe criou um time de detetives de IA que olha para o rosto, o corpo e a voz, e usa um "gênio" da IA geral para ajudar, descobrindo que o maior desafio não é a tecnologia, mas sim a personalidade única de cada pessoa ao expressar seus sentimentos mistos.

Resumo Técnico: Reconhecimento de Emoções Mistas com Fusão Multimodal

1. Problema e Contexto

O artigo aborda o Desafio BLEMORE (Blended Emotion Recognition with Relative Salience Prediction), focado na detecção de emoções mistas (blended emotions) e na previsão de sua salência relativa.

Complexidade: As expressões humanas frequentemente envolvem múltiplas emoções coexistindo com diferentes níveis de proeminência (ex: 70% raiva, 30% medo).
Dataset: O conjunto de dados BLEMORE contém 3.050 clipes de vídeo de 58 atores, exibindo 6 emoções básicas e 10 combinações, anotados com proporções de salência (50/50, 70/30 ou 30/70).
Desafio Técnico: O sistema deve resolver dois problemas acoplados:
1. Reconhecimento de Presença: Quais emoções estão presentes.
2. Reconhecimento de Salência: Qual a proporção relativa de cada emoção.
Métrica de Avaliação: A pontuação final (Score) é a média ponderada da acurácia de presença (ACCP) e da acurácia de salência (ACCS), convertendo saídas contínuas em previsões discretas através de dois limiares ( $\alpha$ para presença e $\beta$ para salência).

2. Metodologia

A equipe propôs um sistema de fusão tardia (late fusion) que combina as probabilidades de saída de seis famílias de codificadores (encoders) diferentes. O pipeline geral é ilustrado na Figura 1 do artigo e detalhado abaixo:

A. Codificadores Visuais (Face e Corpo)

S4D-ViTMoE (Rosto): Adaptação do framework S4D (Vision Transformer com Mixture-of-Experts).
- Pré-processamento: Recortes de rosto alinhados (MTCNN) para manter a distribuição do domínio de pré-treinamento (VoxCeleb2).
- Treinamento: Uso de KL Divergence com rótulos suaves (soft-labels) para preservar o sinal de proporção da mistura (ex: [0.7, 0, 0.3...]), substituindo a entropia cruzada tradicional.
- Estratégia: Congelamento das camadas 0-5 e ajuste fino (fine-tuning) apenas nos adaptadores MoE e cabeças de classificação.
TimeSformer e VideoMAE (Corpo): Codificadores de vídeo ajustados para frames de corpo inteiro (sem recorte facial) para capturar gestos e postura, que são cruciais para emoções mistas onde a linguagem corporal pode ser mais expressiva que o rosto.

B. Codificador de Áudio

Wav2Vec2 (Camadas Seletivas): Uma descoberta crítica foi que o áudio do BLEMORE é não-verbal (risos, choro, gemidos), tornando as camadas superiores do Wav2Vec2 (otimizadas para fonética) irrelevantes.
- Abordagem: Extração de características das camadas intermediárias (6–12), que codificam prosódia e paralinguagem.
- Estratégia: Uso de características congeladas (frozen) com um classificador MLP leve, em vez de fine-tuning completo. Isso evitou o overfitting em um conjunto de dados pequeno.

C. Embeddings de Modelos Fundamentais (LMM)

Gemini Embedding 2.0: Primeira aplicação de embeddings de um Modelo Multimodal Grande (LMM) para reconhecimento de emoções.
- Limitação: O modelo aceita apenas 2 segundos de vídeo de entrada.
- Resultado: Apesar da restrição temporal, os embeddings capturaram semântica emocional rica, superando codificadores específicos treinados em clipes completos.

D. Fusão e Pós-Processamento

Fusão Tardia: As probabilidades de 6 a 12 codificadores são combinadas via média ponderada ( $p_{fused} = \sum w_m p_m$ ), onde os pesos são otimizados via busca em grade nas dobras de validação.
Pós-Processamento: Conversão das probabilidades em previsões discretas usando os limiares $\alpha$ (presença) e $\beta$ (salência), seguidos de regras de mascaramento (top-2) e colapso para emoção única se necessário.

3. Principais Contribuições

Adaptação do S4D-ViTMoE: Desenvolvimento de um pipeline completo para adaptar transformadores de vídeo pré-treinados em expressões categóricas para o reconhecimento de emoções mistas com salência relativa, utilizando treinamento com rótulos suaves.
Extração Seletiva de Camadas de Áudio: Demonstração de que extrair camadas intermediárias (6-12) de modelos de fala pré-treinados e congelá-los supera o fine-tuning end-to-end em 22% para dados não-verbais pequenos.
Uso de LMMs (Gemini 2.0): Introdução pioneira de embeddings de modelos fundamentais multimodais para classificação de emoções mistas, mostrando eficácia mesmo com janelas temporais curtas (2s).
Análise de Sensibilidade de Limiares: Quantificação da instabilidade dos limiares de pós-processamento, revelando que o limiar de salência ( $\beta$ ) varia drasticamente (de 0.05 a 0.43) dependendo do ator, indicando que o estilo de expressão pessoal é o principal gargalo.

4. Resultados

O sistema final (12 codificadores) alcançou os seguintes resultados no conjunto de teste:

Score Total: 0.279 (6º lugar no desafio).
ACCP (Acurácia de Presença): 0.391 (superando significativamente o melhor baseline de 0.332).
ACCS (Acurácia de Salência): 0.168.

Insights dos Resultados:

Pesos da Fusão: Os codificadores adaptados para a tarefa receberam 62% do peso total da ensemble, contra 38% para os baselines pré-extraídos.
Desempenho do Gemini: O Gemini Embedding 2.0 recebeu o maior peso individual (0.192) na ensemble de 12 codificadores, apesar de processar apenas 2 segundos de vídeo.
Áudio: A abordagem de camadas congeladas do Wav2Vec2 obteve um Score de 0.207, enquanto o fine-tuning completo obteve apenas 0.161.

5. Significado e Conclusão

O trabalho destaca três lições fundamentais para o campo de computação afetiva:

Seleção de Camadas vs. Ajuste Fino: Para conjuntos de dados pequenos e não-verbais, selecionar as camadas pré-treinadas corretas é mais eficaz do que adaptar todo o modelo.
Potencial dos LMMs: Embeddings de modelos fundamentais grandes podem capturar semântica emocional complexa mesmo com janelas temporais muito curtas, abrindo novas direções de pesquisa.
O Gargalo da Personalidade: A grande variação no limiar ótimo de salência ( $\beta$ ) entre os atores revela que a variabilidade individual na expressão emocional é o principal obstáculo para o reconhecimento de emoções mistas, mais do que a capacidade do modelo. Isso sugere que futuras soluções devem focar em normalização adaptativa ao ator ou regressão contínua de salência, em vez de depender de limiares fixos.

O código do projeto está disponível publicamente no repositório GitHub dos autores.