Resumo Técnico: Um Estudo Comparativo sobre Pistas Afetivas em Embeddings de Texto Através de Teorias Psicológicas de Emoção

Declaração do Problema

Embora os codificadores de texto tenham se tornado fundamentais para tarefas de processamento de linguagem natural, como similaridade semântica e recuperação, sua capacidade de capturar teorias de afeto bem definidas permanece subexplorada. Especificamente, não está claro até que ponto as representações latentes (embeddings) produzidas por codificadores de texto modernos e de última geração — particularmente modelos sensíveis a instruções (instruction-aware) e de pesos abertos (open-weight) — codificam pistas emocionais definidas por estruturas psicológicas estabelecidas. Além disso, o desempenho comparativo de modelos proprietários versus modelos de pesos abertos, e de modelos sensíveis a instruções versus modelos ajustados para tarefas (task-tuned) ou agnósticos a prompts, em cenários de computação afetiva zero-shot não é totalmente compreendido.

Metodologia

Os autores conduziram uma avaliação abrangente de doze codificadores de texto lançados recentemente (nove de pesos abertos e três proprietários) usando uma abordagem de extração de características zero-shot. O estudo utilizou três conjuntos de dados distintos fundamentados em diferentes teorias psicológicas da emoção:

1. NRC-VAD: Um léxico de aproximadamente 55 mil amostras de palavras únicas e múltiplas anotadas com pontuações contínuas de valência, excitação (arousal) e dominância (modelo PAD de Mehrabian).
2. NRC-EIL: Um léxico de aproximadamente 6 mil palavras únicas com intensidades de emoção para oito emoções primárias (modelo de Plutchik).
3. GoEmotions: Um conjunto de dados de nível de sentença de comentários do Reddit mapeados para as "seis grandes" emoções de Ekman, além de uma categoria neutra.

Pipeline Experimental:

• Extração de Características: Os embeddings foram gerados para todas as palavras e sentenças nos conjuntos de dados usando os doze codificadores. Esses embeddings foram então congelados.
• Preditores Downstream: Quatro modelos preditivos distintos foram treinados nos embeddings congelados para resolver tarefas de regressão (para NRC-VAD e NRC-EIL) e classificação multilabel (para GoEmotions):
  • Regressão Linear (LR) com elastic net.
  • k-Nearest Neighbors (k-NN).
  • XGBoost (XGB).
  • Perceptron Multicamadas (MLP).
• Prevenção de Vazamento de Dados: Para garantir uma avaliação robusta nos conjuntos de dados baseados em léxico (NRC-VAD e NRC-EIL), os autores empregaram uma técnica inovadora de prevenção de vazamento semântico. Isso envolveu o agrupamento de lexemas com base na similaridade semântica (usando WordNet e a métrica Wu-Palmer) e a atribuição de clusters inteiros a folds específicos de validação cruzada. Isso evitou que os modelos explorassem similaridades morfológicas ou semânticas entre os conjuntos de treino e teste (por exemplo, distinguir "prazer" de "prazeroso" ou "calma" de "pacífico"). Uma divisão morfológica também foi testada para comparação.
• Otimização de Hiperparâmetros: Uma extensa otimização de hiperparâmetros foi realizada usando Optuna para cada combinação de codificador, conjunto de dados, estratégia de divisão e preditor.

Contribuições Principais

1. Benchmarking Sistemático: O artigo fornece uma comparação rigorosa de doze codificadores de texto diversos através de três grandes estruturas psicológicas de emoção, avaliando dados de nível de palavra e de nível de sentença.
2. Mitigação de Vazamento Semântico: Os autores introduzem e aplicam uma estratégia de divisão consciente da semântica para conjuntos de dados baseados em léxico, abordando uma fonte comum de superestimação em avaliações de computação afetiva, onde palavras relacionadas vazam entre divisões de treino/teste.
3. Análise de Tipo de Modelo: O estudo categoriza e compara explicitamente os codificadores por seu paradigma de treinamento: sensíveis a instruções (otimizados via prompts), ajustados para tarefas (task-tuned) e agnósticos a prompts/sem suporte a prompts, bem como modelos de pesos abertos versus proprietários.
4. Insights Qualitativos e Quantitativos: Além das métricas de regressão e classificação, o artigo inclui uma análise visual qualitativa usando UMAP para observar como as pistas afetivas se agrupam no espaço latente de diferentes codificadores.

Resultados

Achados Quantitativos

• Desempenho ao Nível de Palavra (Léxicos):

  • Dominância de Instrução: Nos conjuntos de dados NRC-VAD e NRC-EIL, codificadores de pesos abertos sensíveis a instruções (especificamente KaLM v2 e Linq Mistral) alcançaram as pontuações de desempenho mais altas. O KaLM v2 atingiu um $R^2$ de 0,677 no NRC-VAD (backend MLP) e 0,540 no NRC-EIL.
  • Aberto vs. Proprietário: Modelos de pesos abertos sensíveis a instruções superaram significativamente os equivalentes proprietários (ex: OpenAI Text v3 Large, Gemini 001) em tarefas de regressão ao nível de palavra.
  • Sensibilidade do Preditor: Preditores não lineares, particularmente o MLP, renderam consistentemente os melhores resultados em todos os codificadores, sugerindo que as pistas afetivas nesses embeddings são frequentemente acessíveis via transformações não lineares. A regressão linear (LR) foi um forte segundo colocado.

• Desempenho ao Nível de Sentença (GoEmotions):

  • Superioridade de Modelos Proprietários e Ajustados para Tarefas: Em contraste com os resultados de nível de palavra, a tarefa de classificação de nível de sentença do GoEmotions foi melhor executada pelo modelo proprietário Gemini 001 e pelo modelo de pesos abertos ajustado para tarefas EmbeddingGemma.
  • Limitações de Modelos Sensíveis a Instruções: Modelos sensíveis a instruções não mantiveram sua dominância nos dados de nível de sentença; em alguns casos, apresentaram desempenho inferior aos modelos ajustados para tarefas ou proprietários.
  • Teto de Desempenho: O melhor F1 score alcançado foi 0,600 (Gemini 001 com MLP), que é inferior aos 0,64 reportados no artigo original do GoEmotions usando BERT ajustado (fine-tuned), sugerindo que a extração de embeddings zero-shot pode se beneficiar de maior ajuste fino.

Achados Qualitativos

• Padrões de Agrupamento: Visualizações UMAP revelaram que, embora os codificadores não conseguissem formar clusters distintos para o espaço tridimensional VAD (NRC-VAD), eles separaram com sucesso emoções positivas e negativas no espaço de Plutchik (NRC-EIL).
• Nuance de Instrução: Modelos sensíveis a instruções mostraram uma capacidade superior de evitar o "envenenamento" de clusters de emoções positivas com pontos negativos intensos na visualização NRC-EIL.
• Complexidade do GoEmotions: No conjunto de dados GoEmotions, emoções como nojo, medo e tristeza agruparam-se, enquanto raiva, alegria e surpresa permaneceram dispersas, provavelmente devido à amplitude semântica e maior variância desses rótulos.

Significância e Alegações

O artigo alega que os manifolds latentes de codificadores de texto modernos encerram informações afetivas, mas a extensão e a acessibilidade dessa informação dependem fortemente da granularidade dos dados e do paradigma de treinamento do codificador.

• Para Tarefas ao Nível de Palavra: O estudo fornece evidências de que codificadores de pesos abertos sensíveis a instruções são altamente eficazes na captura de pistas afetivas, muitas vezes superando modelos proprietários. Isso sugere que a capacidade de seguir instruções específicas (ex: "Recupere a emoção...") otimiza o espaço de embedding para tarefas afetivas sem a necessidade de ajuste fino específico para a tarefa.
• Para Tarefas ao Nível de Sentença: Os achados indicam que modelos ajustados para tarefas ou proprietários podem atualmente deter uma vantagem para a classificação de emoções complexas ao nível de sentença, onde os modelos sensíveis a instruções não superam automaticamente as alternativas.
• Rigor Metodológico: O artigo enfatiza que divisões aleatórias padrão podem levar a estimativas infladas de desempenho em computação afetiva devido ao vazamento semântico. A estratégia de divisão consciente da semântica proposta oferece um protocolo de avaliação mais robusto para pesquisas futuras.

Os autores concluem que, embora os codificadores de texto sejam capazes de representar pistas emocionais, o "melhor" modelo é dependente do contexto: modelos abertos sensíveis a instruções se destacam na regressão ao nível de palavra, enquanto modelos ajustados para tarefas ou proprietários podem ser preferíveis para a classificação ao nível de sentença. Eles também observam que trabalhos futuros podem estender esta análise para recursos multimodais e outras estruturas psicológicas.