A Baseline Multimodal Approach to Emotion Recognition in Conversations

Resumo Técnico: Uma Abordagem Multimodal de Linha de Base para o Reconhecimento de Emoções em Conversas

Definição do Problema
O reconhecimento de emoções em conversas (ERC - Emotion Recognition in Conversations) é uma tarefa crítica na computação afetiva, porém as abordagens unimodais tradicionais (baseadas apenas em texto ou áudio) frequentemente falham em capturar a interação matizada entre pistas verbais e não verbais. As emoções humanas são dinâmicas e dependentes de contexto; por exemplo, o sarcasmo ou emoções reprimidas podem ser transmitidos através de um tom de voz que contradiz o conteúdo semântico. Embora pesquisas recentes defendam a integração multimodal, há uma necessidade de implementações de referência acessíveis e transparentes que estabeleçam uma linha de base para comparações futuras, particularmente no conjunto de dados SemEval-2024 Task 3 derivado da série Friends.

Metodologia
Os autores apresentam um sistema de linha de base multimodal leve, projetado para transparência e reprodutibilidade, em vez de desempenho de estado da arte. A metodologia consiste em três componentes principais:

1. Conjunto de Dados e Pré-processamento: O estudo utiliza o conjunto de dados SemEval-2024 Task 3, que contém diálogos de Friends anotados com pares causa-emoção. O pré-processamento envolveu o alinhamento dos dados textuais e de áudio para cada enunciado e a padronização dos sinais de áudio para uma taxa de amostragem de 16kHz. O conjunto de dados foi dividido em 80% para treinamento e 20% para teste.
2. Arquitetura do Modelo (Linhas de Base Unimodais):
   • Modalidade de Texto: Quatro modelos baseados em transformer foram ajustados (fine-tuned): RoBERTa, DistilBERT, DeBERTa e DistilRoBERTa (especificamente uma variante ajustada para sentimento). Estes modelos utilizaram embeddings pré-treinados para capturar nuances semânticas e contextuais.
   • Modalidade de Áudio: Três modelos de representação de fala autossupervisionados foram empregados: HuBERT, Wav2Vec2 e Wav2Vec2-large-robust. Estes modelos codificam características temporais e espectrais para extrair pistas paralinguísticas, como tom e entonação.
3. Estratégia de Fusão: O sistema utiliza uma abordagem de fusão tardia de conjunto (late-fusion ensemble). As previsões do melhor modelo de texto (RoBERTa) e do melhor modelo de áudio (Wav2Vec2) foram combinadas para gerar a classificação final. Esta estratégia aproveita as forças complementares da compreensão semântica e das pistas vocais sem exigir um alinhamento intermediário complexo.

Principais Contribuições

• Implementação de Referência: O artigo fornece uma linha de base documentada e acessível para ERC usando o conjunto de dados SemEval-2024 Task 3, evitando explicitamente propostas arquitetônicas inovadoras em favor de uma configuração "direta".
• Comparação Empírica: Relata resultados empíricos comparando modelos de texto unimodais, modelos de áudio unimodais e um conjunto multimodal sob um protocolo de treinamento limitado (ajuste mínimo de hiperparâmetros).
• Transparência: Os autores delineiam claramente as limitações do seu estudo, enquadrando os resultados como um ponto de referência em vez de um benchmark definitivo. O código e os materiais são disponibilizados publicamente para apoiar comparações rigorosas futuras.

Resultos
O estudo avaliou os modelos com base na acurácia e no tempo de execução (wall-clock):

• Modelos de Texto: O RoBERTa alcançou a maior acurácia entre os modelos de texto com 50,68%, seguido pelo DistilBERT (49,82%), DeBERTa (48,29%) e DistilRoBERTa (41,83%). O RoBERTa também exigiu o maior tempo de execução (74,6s), enquanto o DistilRoBERTa foi o mais rápido (5,61s), porém o menos acurado.
• Modelos de Áudio: Os modelos puramente de áudio tiveram um desempenho significativamente inferior aos modelos de texto. O Wav2Vec2 alcançou a maior acurácia de áudio com 35,43%, seguido pelo Wav2Vec2-large-robust (32,54%) e HuBERT (31,08%).
• Modelo de Conjunto (Ensemble): O conjunto de fusão tardia, combinando RoBERTa e Wav2Vec2, alcançou uma acurácia de 62,97%. Este resultado superou significativamente ambos os modelos unimodais individuais, demonstrando a eficácia da integração das modalidades textual e de áudio.

Significância e Alegações
Os autores posicionam este trabalho como um relatório técnico de linha de base derivado de um projeto de conclusão de curso de graduação e de um esforço de replicação interna. Eles declaram explicitamente que o sistema não tem a intenção de ser estado da arte. A significância do artigo reside em:

1. Estabelecer um Ponto de Referência: Fornecer um benchmark claro e reprodutível para o conjunto de dados SemEval-2024 Task 3 para facilitar comparações futuras.
2. Validar a Fusão Multimodal: Demonstrar que, mesmo com uma estratégia simples de fusão tardia e ajuste limitado, a integração multimodal (62,97%) melhora substancialmente o desempenho unimodal (máximo de 50,68% para texto, 35,43% para áudio).
3. Destacar Limitações: Os autores alertam que seus resultados não são diretamente comparáveis às submissões oficiais do ranking do SemEval devido a diferenças nos cortes de dados e protocolos de treinamento. Eles observam que a origem do conjunto de dados (Friends) pode limitar a generalização para outros domínios, idiomas ou estilos de interação, e que o estudo exclui modalidades visuais.

Em conclusão, o artigo afirma o potencial dos sistemas multimodais para o reconhecimento de emoções, mantendo uma postura modesta, instando pesquisas futuras a abordar vieses de conjuntos de dados, incorporar modalidades adicionais (ex: visual, fisiológica) e desenvolver métodos mais eficientes para aplicações em tempo real.