Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models

Resumo Técnico: Além do Reconhecimento de Emoções Acústicas

Declaração do Problema
A análise da expressão emocional no discurso político enfrenta uma lacuna metodológica crítica: os modelos existentes de Reconhecimento Automático de Emoções na Fala (SER) dependem fortemente de características acústicas derivadas de corpora encenados (por exemplo, EMO-DB, IEMACAP), que podem carecer de validade ecológica para a fala política naturalística. Dentro do quadro TRUST, a dimensão Pathos (apelo emocional) é definida não apenas pelo tom afetivo, mas pelo impacto social da linguagem emocional, incluindo ironia, sarcasmo e estratégia retórica. A questão central de pesquisa é saber se os modelos acústicos de SER podem servir como proxies válidos para este Pathos definido politicamente, ou se a análise multimodal baseada em Modelos de Linguagem de Grande Escala (LLM) oferece uma abordagem superior ao integrar compreensão semântica e contextual.

Metodologia
O estudo emprega uma abordagem de estudo de caso utilizando um discurso plenário de 232 segundos proferido por Felix Banaszak (Bündnis 90/Die Grünen) no Bundestag alemão, segmentado em 51 enunciados. A análise compara três modalidades distintas:

1. SER Acústico (emotion2vec): O modelo emotion2vec_plus_large processa o áudio para gerar probabilidades para oito categorias discretas de emoção. Como o modelo não gera nativamente dimensões contínuas, os autores aplicam uma projeção pós-hoc do Círculo de Russell. Isso envolve mapear as probabilidades de classes discretas para valores contínuos de Excitação (Arousal) e Valência, utilizando somas ponderadas baseadas nas normas de Russell [14] e Warriner et al. [15].
2. Análise Multimodal Baseada em LLM (Gemini 2.5 Flash): O áudio completo do discurso e sua transcrição são submetidos ao Gemini 2.5 Flash. O modelo realiza uma anotação aberta (sem categorias de escolha forçada) para gerar rótulos de emoção primária/secundária, escores contínuos de Excitação/Valência (intervalo [-1, +1]) e classificações de função retórica.
3. Pontuação TRUST-Pathos: Um ensemble de três LLMs (Gemini, GPT, Claude) supervisionado por um mecanismo de consenso mediano atribui pontuações de Pathos em uma escala ordinal de cinco pontos (−2 a +2), representando o impacto social da linguagem emocional (de divisivo a unificador).

Adicionalmente, os autores realizam uma avaliação sistemática de qualidade do corpus de referência EMO-DB utilizando o Gemini como anotador aberto para avaliar a validade dos dados de treinamento padrão de SER.

Principais Contribuições

1. Validade Comparativa: O estudo demonstra que a análise multimodal baseada em LLM correlaciona-se significativamente melhor com a métrica TRUST-Pathos do que o SER acústico isolado.
2. Crítica ao Corpus: Uma avaliação sistemática do EMO-DB revela limitações estruturais, incluindo a incapacidade dos modelos de distinguir "Nojo" sem contexto visual, a má classificação sistemática de "Tédio" como fala neutra, e a confusão entre prosódia específica de emoção e estruturas de frases fixas, o que infla a precisão dependente de texto.
3. Operacionalização: O artigo introduz e critica a "projeção pós-hoc do Círculo de Russell" como um método para derivar Excitação/Valência contínuas a partir de probabilidades discretas de SER, destacando suas suposições não verificadas quanto à transferência interlinguística e intercontextual.

Resultados

• Correlação com Pathos: A análise de correlação de postos de Spearman revela uma correlação positiva forte e significativa entre Valência do Gemini e TRUST-Pathos ($\rho = +0.664, p < 0.001$). Por outro lado, a Valência do emotion2vec não mostra associação significativa com TRUST-Pathos ($\rho = +0.097, p = 0.499$).
• Dinâmicas de Excitação: Enquanto a Excitação do Gemini correlaciona-se moderadamente com TRUST-Pathos ($\rho = -0.535$), a Excitação do emotion2vec não mostra correlação significativa ($\rho = -0.155$).
• Discrepância nos Construtos: As duas modalidades capturam dimensões fundamentalmente diferentes. Por exemplo, o enunciado "Das ist wirklich peinlich" ("Isso é realmente embaraçoso") é classificado acusticamente pelo emotion2vec como "feliz" (alta Valência positiva) devido à energia e ao tom, enquanto o Gemini identifica corretamente como forte desaprovação (Valência negativa) por meio da compreensão semântica.
• Achados do EMO-DB: Na avaliação do EMO-DB, o Gemini alcançou uma confiança média de 0,82, mas apenas uma taxa de correspondência semântica de 30,1% com a verdade fundamental. Notavelmente, "Nojo" teve uma taxa de correspondência de 0,0%, e "Tédio" foi mal identificado em 87,7% das vezes, frequentemente com alta confiança.

Significado e Alegações
O artigo conclui que o SER acústico é insuficiente como um proxy autônomo para a dimensão Pathos na comunicação política, pois captura a Valência Acústica (qualidade da voz, contorno de F0) em vez da Valência Político-Retórica (impacto social, ironia e estratégia). Os autores argumentam que a análise baseada em LLM é superior para esta tarefa específica, pois integra conteúdo lexical, estrutura retórica e contexto político.

No entanto, os autores mantêm uma postura modesta quanto ao papel das características acústicas. Eles não afirmam que os modelos acústicos estão obsoletos; ao contrário, sugerem que as características acústicas permanecem informativas para a estimação de Excitação de baixo nível, enquanto os LLMs são necessários para a análise emocional definida semanticamente. O estudo postula que o futuro da análise de afeto político reside em representações multimodais complementares que combinam características acústicas com compreensão semântica baseada em LLM, em vez de substituir uma pela outra. As descobertas estão atualmente limitadas a um único falante e ao contexto político alemão, com trabalhos futuros propostos para estender a corpora de múltiplos falantes e análise baseada em vídeo (expressão facial e olhar).