Resumo Técnico: Além da Classificação de Sentimento: Um Framework Generativo para Avaliação de Intensidade Emocional em Texto

1. Declaração do Problema

O Processamento de Linguagem Natural (PLN) afetivo atual trata predominantemente a modelagem de emoções como um problema de classificação discreto, visando identificar a presença ou ausência de emoções categóricas (por exemplo, raiva, alegria) dentro de um texto. Embora eficaz para detecção, esse paradigma obscurece a intensidade da expressão emocional — uma variável crítica em domínios aplicados como finanças, ciência comportamental e psicologia, onde a magnitude da emoção, e não apenas sua mera existência, impulsiona a interpretação e a tomada de decisão.

Além disso, benchmarks e modelos existentes frequentemente falham em modelar conjuntamente as dimensões circulares do afeto: valência (avaliação positiva-negativa) e excitação (intensidade de ativação). A maioria das arquiteturas baseadas apenas em codificadores (por exemplo, BERT, RoBERTa) é ajustada para objetivos de classificação e carece da flexibilidade representacional para produzir escores de intensidade contínuos e graduados para múltiplas emoções e dimensões simultaneamente.

2. Metodologia

Construção do Conjunto de Dados

Os autores construíram um novo conjunto de dados de 1.177 frases conversacionais curtas para suportar a modelagem de intensidade de granularidade fina.

• Anotação: Dois falantes nativos de inglês avaliaram independentemente cada frase em uma escala contínua.
• Dimensões: O conjunto de dados inclui escores para oito categorias de emoção (raiva, ansiedade, medo, tristeza, nojo, otimismo, excitação, surpresa), valência (–100 a +100) e excitação (0 a 100).
• Escala: Emoções são pontuadas de 0 a 100 (0 = ausência, 100 = intensidade máxima).
• Controle de Qualidade: Os escores finais são a média de duas anotações independentes, com concordância entre anotadores verificada.

Arquitetura do Modelo e Treinamento

O estudo propõe uma mudança da classificação para a geração estruturada de texto para avaliação de intensidade.

• Modelos: Dois Modelos de Linguagem (LLMs) generativos de pesos abertos e ajustados por instrução foram utilizados: Mistral-7B e Mistral-24B.
• Ajuste Fino: Ambos os modelos foram adaptados usando Adaptação de Baixo Rank (LoRA) (rank $r=16$, $\alpha=32$) aplicada às camadas de projeção de consulta e valor.
• Formulação da Tarefa: Os modelos são treinados para mapear o texto de entrada $x$ para uma saída JSON contendo previsões de valor real para todas as oito emoções, valência e excitação.
• Configuração de Treinamento: Os dados foram divididos em conjuntos de treinamento (706), validação (176) e teste (295). O treinamento utilizou quantização de 4 bits e o otimizador AdamW por 10 épocas.
• Baselines: O desempenho foi comparado com:
  • LLMs pré-treinados zero-shot (GPT-4, GPT-4o, Mistral-7B, Mistral-24B).
  • Regressores baseados em RoBERTa ajustados finamente (treinados por emoção com perda MSE).
  • O modelo de classificação amplamente utilizado samLowe/roberta-base-go_emotions.

Métricas de Avaliação

Para abordar as limitações das métricas de regressão padrão, os autores empregaram:

1. Coeficiente de Correlação de Concordância (CCC): Mede tanto a consistência de classificação quanto a precisão na escala, penalizando erros sistemáticos na média e variância.
2. F1-Score de Correspondência Zero: Uma métrica de classificação binária que avalia a capacidade do modelo de identificar corretamente a ausência completa de uma emoção (escore = 0), crucial para minimizar falsos positivos em aplicações subsequentes.

3. Resultados Principais

Comparação de Desempenho

• Modelos Generativos vs. Modelos Codificadores: Modelos generativos ajustados finamente superaram significativamente tanto os LLMs zero-shot quanto as baselines baseadas em RoBERTa.
  • Mistral-24B-FT alcançou o maior CCC em 8 de 10 categorias, superando o GPT-4 em todas as emoções.
  • Limitações do RoBERTa: Mesmo regressores RoBERTa ajustados finamente lutaram para capturar nuances graduais, com a maioria dos valores de CCC permanecendo abaixo de 50%. O modelo de classificação samLowe mostrou alinhamento inconsistente e falhou em prever valência/excitação.
• Ganhos de Intensidade: O ajuste fino produziu melhorias substanciais, particularmente para categorias difíceis como Medo (CCC aumentou de 58,0% para 80,5%) e Surpresa (41,6% para 62,3%).

Generalização para Emoções Inéditas

Em um experimento Leave-One-Out (LOO), os modelos foram treinados em $k-1$ emoções e testados na emoção retida.

• Mistral-24B demonstrou forte generalização, com escores LOO (por exemplo, 70,6% para Medo) aproximando-se do desempenho totalmente supervisionado (80,5%) e superando amplamente as baselines zero-shot (58,0%).
• Mistral-7B mostrou mais variabilidade, ocasionalmente falhando em estruturar corretamente as saídas para emoções inéditas, sugerindo que a escala do modelo é um fator crítico na robustez da generalização.

Transferência para Dimensões Afetivas

O estudo testou se o treinamento apenas em intensidades de emoções discretas (excluindo valência e excitação da supervisão) se transferiria para essas dimensões.

• Mistral-24B alcançou uma transferência notável: sem supervisão direta, atingiu 95,2% de CCC em Valência e 67,5% em Excitação, quase igualando o modelo totalmente supervisionado.
• Isso indica que as dimensões afetivas são aprendidas como representações latentes através de correlações com rótulos de emoções específicas.

4. Contribuições e Significado

O artigo argumenta por uma mudança de paradigma no PLN afetivo, da classificação discreta para a avaliação contínua de intensidade. Suas principais contribuições incluem:

1. Um Framework Unificado: A introdução de um framework generativo que produz simultaneamente escores de intensidade calibrados para múltiplas emoções e dimensões afetivas (valência/excitação) em uma única etapa de inferência.
2. Expressividade Superior: Demonstrar que modelos generativos ajustados finamente capturam magnitude e nuances emocionais mais efetivamente do que classificadores tradicionais baseados apenas em codificadores, que frequentemente falham em tarefas de regressão contínua.
3. Generalização e Transferência: Mostrar que modelos treinados em intensidades de emoções específicas podem generalizar para categorias de emoções inéditas e aprender implicitamente dimensões afetivas abstratas (valência/excitação) sem supervisão direta.
4. Alinhamento de Domínio: Posicionar essa abordagem como melhor alinhada com as necessidades de campos aplicados (por exemplo, finanças), onde o grau do conteúdo emocional é central para a interpretação, e não apenas a presença binária de uma emoção.

Os autores concluem que, embora desafios permaneçam para emoções sutis como "Surpresa" e "Nojo", e a subjetividade do conjunto de dados seja um fator, essa abordagem generativa oferece uma base mais flexível, interpretável e cientificamente robusta para análise afetiva em contextos interdisciplinares.