GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos

Resumo Técnico: GAViD e CAGNet

1. O Problema

O reconhecimento de afeto de grupo (GAR - Group Affect Recognition) é um subcampo da computação afetiva focado em analisar padrões emocionais coletivos em interações sociais. Embora o reconhecimento de emoções individuais seja bem estabelecido, a análise em nível de grupo em ambientes reais (in-the-wild) enfrenta desafios significativos:

• Complexidade Contextual: O afeto de grupo emerge de interações dinâmicas, influências contextuais e pistas comportamentais, tornando a modelagem computacional difícil.
• Falta de Dados Abrangentes: A maioria dos conjuntos de dados existentes carece de anotações multimodais (vídeo, áudio e contexto) simultâneas. Muitos focam apenas em imagens estáticas ou vídeos com rótulos limitados (apenas valência ou apenas emoções discretas), sem metadados contextuais ricos.
• Limitações de Modelos Atuais: Métodos existentes dependem frequentemente apenas de características visuais, ignorando pistas contextuais e verbais essenciais para uma análise robusta em cenários não controlados.

2. Metodologia e Contribuições Principais

Os autores apresentam duas contribuições centrais: um novo conjunto de dados de grande escala e uma nova arquitetura de rede neural.

A. O Conjunto de Dados GAViD (Group Affect from ViDeos)
O GAViD é um conjunto de dados multimodal "in-the-wild" projetado para preencher as lacunas existentes.

• Escala e Composição: Contém 5.091 clipes de vídeo (média de 5 segundos cada), extraídos de vídeos do YouTube com licença Creative Commons.
• Modalidades: Cada amostra inclui:
  • Vídeo: Sequências de quadros.
  • Áudio: Segmentos de áudio alinhados.
  • Contexto: Metadados gerados por Modelos de Linguagem Multimodal (MLLMs) e verificados por humanos, descrevendo o cenário, tipo de evento e interações.
• Anotações Ricas:
  • Valência Ternária: Positiva, Neutra, Negativa.
  • Emoções Discretas: Feliz, Triste, Medo, Raiva, Neutro.
  • Intensidade Emocional: Alta, Média, Baixa.
  • Tipos de Interação: Cooperativa, Hostil, Neutra.
  • Pistas de Ação: Rótulos como "sorrindo", "batendo palmas", "gritando", "dançando", etc.
• Processo de Anotação: Envolveu 108 anotadores humanos. Cada clipe foi rotulado por três pessoas independentes, com decisão por maioria de votos (ou um quarto anotador para desempate), garantindo alta concordância inter-anotadores (Kappa de Cohen: 0,72 para valência e 0,65 para emoções discretas).

B. O Modelo CAGNet (Context-Aware Group Affect Recognition Network)
Para explorar o potencial do GAViD, os autores propõem o CAGNet, uma arquitetura multimodal que integra vídeo, áudio e contexto.

• Codificação Específica por Modalidade:
  • Visão: DINOv2 (backbone congelado).
  • Áudio: Wav2Vec 2.0 (backbone congelado).
  • Texto (Contexto): XLM-RoBERTa (backbone congelado).
• Alinhamento Cross-Modal: Utiliza blocos de atenção cruzada mascarada (cross-attention) para processar pares bimodais (Vídeo-Áudio, Vídeo-Texto, Áudio-Texto). Isso permite que cada modalidade "consulte" as outras para obter pistas que lhe faltam.
• Fusão Porteira (Gated Fusion): As representações alinhadas são concatenadas e passadas por um mecanismo de "squeeze-excitation". Este mecanismo aprende pesos de importância para cada canal, permitindo que o modelo dê mais peso, por exemplo, ao áudio se o rosto estiver ocluído, ou ao texto se a cena visual for ambígua.
• Classificação: Um MLP (Perceptron Multicamadas) leve processa o vetor fundido para prever a valência e as emoções discretas.
• Robustez: O modelo foi treinado com modality dropout (desligando aleatoriamente uma modalidade durante o treinamento) para garantir robustez em cenários onde dados podem estar faltando.

3. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de teste do GAViD, comparando o CAGNet com modelos baseline e com o estado da arte (SOTA) baseado em LLMs de vídeo.

• Desempenho Quantitativo:
  • O CAGNet com fusão tri-modal (Vídeo + Áudio + Contexto) alcançou 63,20% de acurácia no conjunto de teste para classificação de valência.
  • Ao treinar com a combinação de dados de treino e validação, a acurácia subiu para 66,21%.
  • O modelo superou consistentemente os baselines (fusão simples e fusão hierárquica) e modelos SOTA genéricos como Video-GPT e LLaVA-NeXT, que obtiveram acurácias inferiores a 55%.
• Análise Qualitativa:
  • A inclusão do contexto (C) mostrou-se crucial em casos onde pistas visuais e auditivas eram ambíguas.
  • Exemplo: Distinguir entre uma conversa em tom "áspero" (negativo) e uma conversa "calorosa" (positivo) muitas vezes requer a compreensão do contexto da interação, algo que o modelo CAGNet consegue capturar melhor do que modelos puramente visuais/auditivos.
• Robustez a Modalidades Faltantes: Simulações de ausência de modalidades mostraram quedas de desempenho modestas, indicando que o CAGNet se adapta bem a dados incompletos.

4. Significado e Impacto

• Avanço em Dados: O GAViD é o primeiro conjunto de dados em grande escala que combina simultaneamente vídeo, áudio, metadados contextuais gerados por IA e anotações humanas detalhadas (intenções, ações, interações) para reconhecimento de afeto de grupo.
• Validação de Contexto: O trabalho demonstra empiricamente que o contexto semântico é uma modalidade crítica para o reconhecimento de afeto em grupo, superando a dependência exclusiva de características visuais.
• Aplicações Práticas: O dataset e o modelo têm potencial para aplicações em análise de produtividade em equipes, segurança pública, marketing, entretenimento imersivo e sistemas de interação homem-máquina mais empáticos.
• Reprodutibilidade: O código, os dados e as ferramentas de anotação foram disponibilizados publicamente, promovendo transparência e pesquisa futura na área de sistemas sociais computacionais.

Em suma, o artigo estabelece um novo padrão para a pesquisa de afeto de grupo, provando que a integração de contexto multimodal via arquiteturas de atenção cruzada é essencial para modelar dinâmicas sociais complexas em ambientes do mundo real.