Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

A equipe Team RAS propõe uma abordagem multimodal para estimativa contínua de valência e excitação em condições do mundo real, combinando embeddings faciais, análise de comportamento com Qwen3-VL e modelagem temporal com Mamba, além de processamento de áudio com WavLM, alcançando um coeficiente de correlação concordante (CCC) de 0,658 no conjunto de desenvolvimento do Aff-Wild2 durante a 10ª competição ABAW.

O essencial

Imagine que você está tentando adivinhar o que uma pessoa está sentindo apenas olhando para ela em um vídeo. Às vezes, ela está sorrindo, mas os ombros estão tensos. Às vezes, ela está gritando, mas é de alegria, não de raiva. Fazer isso em um ambiente real (com luzes ruins, pessoas se movendo, barulho de fundo) é como tentar ouvir uma conversa em uma festa lotada: é muito difícil separar o que é importante do que é apenas ruído.

Este artigo descreve como uma equipe de pesquisadores russos (Team RAS) criou um "detetive digital" superpoderoso para resolver esse problema. Eles participaram de uma grande competição chamada ABAW (Análise de Comportamento Afetivo na Natureza) e criaram um sistema que combina três "sentidos" diferentes para entender as emoções humanas com muito mais precisão.

Aqui está a explicação do funcionamento deles, usando analogias simples:

1. Os Três "Detetives" (Os Modos)

Em vez de confiar em apenas uma câmera ou um microfone, o sistema deles contrata três especialistas diferentes, cada um com uma habilidade única:

• O Detetive Visual (Rosto):
  Este especialista olha apenas para o rosto. Ele usa uma tecnologia chamada GRADA para analisar cada quadro do vídeo, como se fosse um fotógrafo que observa micro-expressões (um leve sobe de sobrancelha, um piscar de olhos rápido). Ele é muito bom em ver o que está acontecendo no momento exato.

  • Analogia: É como um fotógrafo profissional que tira fotos de alta velocidade para capturar o momento exato de uma emoção.

• O Detetive Comportamental (O "Cérebro" que entende o contexto):
  Este é o diferencial da equipe. Eles usaram uma Inteligência Artificial muito avançada chamada Qwen3 (um modelo de linguagem visual). Em vez de apenas olhar para pixels, essa IA "assiste" ao vídeo e escreve uma pequena descrição do que está acontecendo. Ela pensa: "A pessoa está gesticulando muito, o corpo está tenso e o cenário é um escritório, então provavelmente é estresse, não apenas agitação."

  • Analogia: Imagine um psicólogo que não só vê o rosto, mas lê a linguagem corporal e o ambiente para entender a história por trás da expressão.

• O Detetive Sonoro (A Voz):
  Este especialista foca no áudio. Mas ele é esperto: ele sabe que em vídeos reais, muitas vezes a pessoa não está falando, ou o microfone capta barulho de trânsito. Por isso, ele usa um filtro inteligente para ignorar os momentos em que a boca está fechada ou o som é apenas ruído, focando apenas nos momentos de fala real. Ele usa um modelo chamado WavLM para entender o tom e a intensidade da voz.

  • Analogia: É como um engenheiro de som que usa fones de ouvido com cancelamento de ruído para ouvir apenas a voz da pessoa, ignorando o barulho da festa.

2. A Reunião de Equipe (A Fusão)

Agora, como esses três detetives trabalham juntos? A equipe testou duas formas de fazer essa "reunião":

• Estratégia 1: O "Mestre das Sombras" (MoE Direcionado)
  Imagine uma mesa de reunião onde cada especialista pode falar com qualquer outro. O sistema cria "pontes" entre eles. Se o Detetive Visual diz "ela está chorando", o Detetive Sonoro pode confirmar "sim, o choro é audível". Um "gerente" (um mecanismo de controle) decide, a cada segundo, quem está mais confiável. Se a câmera estiver embaçada, ele dá mais peso ao som. Se o som estiver cortado, ele confia mais no rosto.

  • Metáfora: É como um maestro de orquestra que ajusta o volume de cada instrumento em tempo real para garantir que a música (a emoção) soe perfeita, mesmo que um instrumento falhe.

• Estratégia 2: O "Filtro de Confiabilidade" (RAAV)
  Nesta abordagem, o sistema foca principalmente no visual (rosto e comportamento) para definir o ritmo da emoção. O áudio entra como um "conselheiro" que dá dicas extras quando necessário. Se o visual é claro, o sistema ignora o áudio. Se o visual é ambíguo, ele pede ajuda ao áudio.

  • Metáfora: É como dirigir um carro à noite. Você olha para a estrada (visual) o tempo todo, mas usa os faróis de neblina (áudio) apenas quando a visibilidade está ruim para ter certeza de que não há obstáculos.

3. O Resultado

O sistema foi testado em um banco de dados gigante de vídeos reais (Aff-Wild2), onde as pessoas estão em situações do dia a dia, não em estúdios perfeitos.

• O que eles descobriram?
  A combinação dos três "detetives" funcionou muito melhor do que qualquer um trabalhando sozinho.
  • O "Detetive Comportamental" (o que usa a IA para descrever a cena) provou ser surpreendentemente útil, muitas vezes entendendo melhor a emoção do que apenas olhar para o rosto.
  • A melhor estratégia foi a RAAV (a segunda opção), que conseguiu um índice de precisão de 0,658 (em uma escala onde 1 é perfeito). Isso é um resultado muito competitivo, mostrando que a equipe está no topo do mundo nessa tecnologia.

Resumo Final

A equipe Team RAS criou um sistema que não apenas "vê" e "ouve", mas também "compreende" o contexto. Ao misturar a análise de rostos, a leitura de linguagem corporal por uma IA avançada e a análise de voz, eles conseguiram ensinar o computador a entender as emoções humanas de forma muito mais humana e precisa, mesmo em situações caóticas e reais. É como dar ao computador um "olho clínico" e um "ouvido treinado" para sentir o que as pessoas estão sentindo.

Resumo técnico

Título: Abordagem Multimodal para Estimativa de Valência e Arousal na 10ª Competição ABAW

Autores: Equipe RAS (Centro Federal de Pesquisa de São Petersburgo da Academia Russa de Ciências e Universidade ITMO).

---

1. O Problema

O reconhecimento contínuo de emoções, especificamente a estimativa de Valência (prazer/desprazer) e Arousal (intensidade), em condições "in-the-wild" (ITW - no mundo real), permanece um desafio significativo. As principais dificuldades incluem:

• Grandes variações na aparência, pose da cabeça, iluminação e oclusões.
• Padrões de expressão afetiva específicos de cada sujeito.
• A necessidade de modelar dinâmicas temporais complexas.
• A subutilização de Modelos de Linguagem Visual (VLMs) para extrair representações comportamentais orientadas ao contexto, apesar de seu potencial para capturar pistas situacionais.

2. Metodologia Proposta

A equipe propôs um pipeline multimodal que integra três fontes de informação complementares: Rosto, Comportamento e Áudio. O sistema opera sob o protocolo da 10ª edição do desafio ABAW utilizando o conjunto de dados Aff-Wild2.

A. Modalidade de Rosto (Face)

• Detecção e Curadoria: Uso de um detector baseado em YOLO, seguido de curadoria manual de identidade para garantir que o fluxo de vídeo corresponda a um único sujeito.
• Extração de Características: Utilização do modelo GRADA (baseado em EfficientNet-B1), pré-treinado no ImageNet e ajustado finamente para reconhecimento de expressão facial. Gera embeddings de nível de quadro (frame-level) de 256 dimensões.
• Modelagem Temporal: Um modelo de regressão baseado em Transformer processa as sequências de embeddings para prever valência e arousal.

B. Modalidade de Comportamento (Behavior)

• Baseada em VLM: Utilização do modelo Qwen3-VL-4B-Instruct para analisar segmentos de vídeo (16 quadros) junto com um prompt textual orientado à afetividade. O modelo descreve expressões faciais, postura, gestos e contexto da cena.
• Embeddings: Extração de embeddings de nível de segmento (visual ou multimodal).
• Modelagem Temporal: Os embeddings são processados por um modelo baseado em Mamba (State-Space Model), que combina filtragem temporal local com modelagem de sequências de estado para capturar flutuações de curto e longo prazo.

C. Modalidade de Áudio

• Pré-processamento: Filtragem cruzada baseada na dinâmica de abertura da boca (usando MediaPipe) para remover segmentos onde a fala é improvável, mitigando ruído.
• Extração de Características: Uso do modelo WavLM-Large (pré-treinado no MSP-Podcast). Apenas as 4 camadas superiores são ajustadas finamente para evitar overfitting.
• Agregação: Pooling de estatísticas de atenção (média e desvio padrão ponderados) em janelas temporais de 4 segundos.

D. Estratégias de Fusão Multimodal

O artigo investiga duas estratégias distintas para combinar as modalidades:

1. Fusão Direta de Mixture-of-Experts (DCMMOE):
   • Cria "especialistas" de atenção cruzada para todos os pares ordenados de modalidades (ex: Rosto perguntando ao Áudio, Áudio perguntando ao Comportamento).
   • Utiliza um mecanismo de gating (porta) adaptativo para ponderar dinamicamente a importância de cada interação inter-modal baseada na qualidade do sinal.
2. Fusão Áudio-Visual Consciente de Confiabilidade (RAAV):
   • Foca na fusão de nível de quadro para características visuais (Rosto + Comportamento) usando gating mascarado.
   • Trata o áudio como evidência contextual auxiliar (representações de gargalo) que atende à sequência visual fusionada.

3. Contribuições Principais

• Integração de VLMs: Aplicação pioneira de um modelo VLM (Qwen3) para extrair embeddings comportamentais de nível de segmento para estimativa contínua de emoção, superando abordagens puramente visuais.
• Arquitetura Híbrida: Combinação de arquiteturas modernas (Transformers, Mamba, WavLM) em um pipeline unificado.
• Novas Estratégias de Fusão: Proposta de mecanismos de fusão assimétrica (RAAV) e baseada em especialistas direcionados (DCMMOE) que lidam melhor com incertezas e desalinhamentos entre modalidades.
• Filtragem Cruzada: Implementação de um estágio de filtragem de áudio baseado em pistas visuais (boca) para melhorar a robustez em dados ruidosos.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados Aff-Wild2 (conjuntos de desenvolvimento e teste). A métrica principal foi o Coeficiente de Correlação de Concordância (CCC).

• Desempenho Unimodal: O modelo de vídeo (GRADA + Transformer) foi o mais forte individualmente (CCC médio de 0.6189 no desenvolvimento). O modelo de áudio e o modelo visual puro do Qwen3 tiveram desempenho inferior.
• Impacto do VLM Multimodal: O modelo de comportamento baseado em Qwen3 multimodal (com texto e vídeo) superou significativamente sua contraparte puramente visual, demonstrando que embeddings comportamentais ricos em contexto agregam valor.
• Fusão Multimodal:
  • A fusão de todas as três modalidades (Rosto + Comportamento Qwen3 + Áudio) usando DCMMOE alcançou um CCC médio de 0.6487 no conjunto de desenvolvimento.
  • A estratégia RAAV obteve os melhores resultados gerais, alcançando um CCC médio de 0.6576 no conjunto de desenvolvimento e 0.62 no conjunto de teste.
  • A fusão multimodal consistentemente superou os modelos unimodais, especialmente na estimativa de Arousal (onde o RAAV atingiu 0.7073).

5. Significância e Conclusão

O trabalho demonstra que a integração de representações comportamentais extraídas por VLMs com características faciais e acústicas tradicionais é altamente eficaz para o reconhecimento de emoções em condições reais.

• A estratégia RAAV provou ser superior, destacando a importância de tratar modalidades visuais e comportamentais como o núcleo temporal, com o áudio atuando como contexto complementar.
• O desempenho competitivo (CCC ~0.62 no teste) confirma a eficácia do framework proposto em relação aos métodos State-of-the-Art (SOTA) anteriores nos desafios ABAW.
• O estudo valida que a modelagem de interações direcionadas entre modalidades e a adaptação de modelos de linguagem visual para tarefas de afetividade são direções promissoras para o futuro da análise de comportamento afetivo.