Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?

Este estudo demonstra que, ao prever a persuasividade de argumentos, os modelos de emoção baseados em avaliações (appraisals) superam os modelos categóricos ao capturar a natureza subjetiva da resposta emocional do receptor.

O essencial

Imagine que você está em um tribunal, mas em vez de um juiz, você é o júri. Um advogado (o argumento) está tentando convencê-lo de algo. O que faz você dizer "sim, ele tem razão"?

Geralmente, pensamos em três coisas:

1. A lógica: Os fatos batem? (Logos)
2. O advogado: Ele parece confiável? (Ethos)
3. O sentimento: Como isso me faz sentir? (Pathos)

Este artigo de pesquisa pergunta: Como podemos ensinar computadores a entender essa parte do "sentimento" para saber se um argumento é convincente?

Os autores compararam duas formas de medir esse sentimento:

1. A Abordagem "Rótulo de Cor" (Emoções Categóricas)

Imagine que você tenta descrever como um argumento te faz sentir usando apenas cores básicas.

• "Isso me deixa Raivoso."
• "Isso me deixa Triste."
• "Isso me deixa Feliz."

É como tentar descrever um quadro complexo apenas dizendo "é azul" ou "é vermelho". É simples, mas perde muitos detalhes. A pesquisa mostrou que essa abordagem ajuda um pouco os computadores a entenderem a persuasão, mas é limitada.

2. A Abordagem "Raio-X Mental" (Teorias de Avaliação)

Agora, imagine que, em vez de apenas dar um nome à emoção, o computador faz um "raio-x" da sua mente para entender por que você sente aquilo. A teoria diz que antes de sentir raiva ou alegria, seu cérebro faz uma série de avaliações rápidas:

• "Isso é bom ou ruim para mim?" (Prazer)
• "Quem é o culpado?" (Responsabilidade)
• "Isso é novo ou familiar?" (Familiaridade)
• "Posso lidar com as consequências?" (Controle)
• "Isso exige muito esforço mental?" (Esforço Cognitivo)

É como se o computador não apenas perguntasse "Você está triste?", mas sim: "Você está triste porque achou injusto? Porque foi inesperado? Porque você não tem controle sobre isso?".

O Grande Teste

Os pesquisadores pegaram milhares de argumentos reais e usaram Inteligência Artificial (modelos de linguagem como Llama, Mistral e Gemma) para tentar prever o quanto cada argumento era convincente. Eles testaram duas estratégias:

1. Dizer à IA apenas a emoção: "Este argumento gera Raiva."
2. Dizer à IA as avaliações mentais: "Este argumento gera Raiva porque o receptor achou que foi injusto, inesperado e incontrolável."

O Resultado Surpreendente

A IA funcionou melhor com a segunda estratégia!

Pense assim: Se eu te disser apenas "Este argumento é triste", você pode não saber se é convincente ou não. Mas se eu te disser "Este argumento é triste porque ele mostra consequências terríveis que o receptor não consegue controlar e que violam suas normas morais", você entende exatamente por que o argumento é poderoso e convincente.

As Avaliações (Appraisals) funcionaram como um manual de instruções detalhado, enquanto as Emoções (Categorias) foram apenas um resumo vago.

O Que Isso Significa na Vida Real?

• Para a Tecnologia: Para criar sistemas que entendam argumentos humanos (como em debates políticos, marketing ou notícias), não basta apenas detectar se o texto é "positivo" ou "negativo". Precisamos entender a lógica por trás do sentimento.
• Para a Psicologia: Isso confirma que nossa mente funciona como um juiz interno que avalia eventos antes de sentir emoções.
• O Desafio: A IA ainda é um pouco "tonta" quando tenta prever essas avaliações sozinha (sem ajuda humana). Ela precisa de mais treino para entender essas nuances complexas.

Em resumo: Para convencer alguém (ou um computador), não basta apenas tocar no coração com uma emoção bruta. É preciso entender a história mental que levou a essa emoção. As "Avaliações" contaram essa história muito melhor do que os simples "Rótulos de Emoção".

Resumo técnico

Título: Emoções Categóricas ou Avaliações (Appraisals) – Qual Modelo Emocional Explica Melhor a Persuasividade de um Argumento?

1. Problema e Motivação

A persuasividade (ou "convincingness") de um argumento não depende apenas da sua estrutura lógica (logos) ou da credibilidade do emissor (ethos), mas também do apelo emocional (pathos) que causa no receptor. Embora a intensidade e as categorias emocionais em argumentos tenham sido amplamente estudadas, a natureza subjetiva da emoção gerada por um argumento é frequentemente negligenciada.

A emoção em um argumento depende do contexto cognitivo do receptor (seus objetivos, conhecimentos prévios e posturas). A maioria dos trabalhos anteriores trata a emoção como uma variável binária ou como categorias discretas (ex: raiva, alegria), ignorando os processos cognitivos subjacentes que geram essas emoções. O artigo propõe investigar se as Teorias de Avaliação (Appraisal Theories), que descrevem a avaliação cognitiva de eventos e sua relação com emoções, são mais eficazes do que os modelos de emoções categóricas (como o modelo básico de Ekman) para prever a persuasividade subjetiva de um argumento.

2. Metodologia

Dados:
O estudo utiliza o corpus ContArgA, que contém 800 argumentos anotados por cinco participantes em um cenário de "role-playing" (simulando uma reunião de conselho). Cada argumento possui anotações para:

• Persuasividade (CVC): Escala de 1 a 5.
• Emoções: Categorias discretas (ex: raiva, confiança, alívio).
• Avaliações (Appraisals): 15 dimensões cognitivas (ex: familiaridade, prazer, urgência de resposta, controle, consequências).

Configuração Experimental:
Os autores realizaram experimentos de zero-shot prompting com três Grandes Modelos de Linguagem (LLMs): Mistral-Small-2407, LLaMA3.3:70B e Gemma-3-27B-IT. Foram comparadas quatro configurações de prompt:

1. Linha de Base (CVC): O modelo prevê a persuasividade apenas com o texto do argumento.
2. Pipeline (Unidirecional):
   • Emoção → CVC: O modelo recebe o texto + a categoria de emoção anotada (gold) e prevê a persuasividade.
   • Avaliação → CVC: O modelo recebe o texto + as 15 dimensões de avaliação anotadas (gold) e prevê a persuasividade.
3. Modelo Conjunto (Bidirecional): O modelo deve prever simultaneamente as emoções/avaliações e a persuasividade, permitindo fluxo de informação em ambas as direções.

Métricas:
A qualidade da previsão de persuasividade foi medida pela correlação de Spearman ($\rho$) entre as previsões do modelo e as anotações humanas. A qualidade das previsões de emoção e avaliação foi medida por Precisão, Recall e F1-score.

3. Principais Contribuições

• Primeira Comparação Sistemática: Este trabalho apresenta a primeira comparação sistemática entre modelos de emoção categórica e modelos baseados em avaliação cognitiva para a tarefa de prever a persuasividade de argumentos.
• Validação de Teorias Cognitivas: Demonstra empiricamente que a avaliação cognitiva subjetiva (appraisals) é um preditor mais forte da persuasividade do que as categorias emocionais brutas.
• Análise de Arquiteturas de Prompt: Investiga se a previsão conjunta (multitarefa) supera abordagens em pipeline, descobrindo que, no contexto de zero-shot, a abordagem em pipeline com dados de avaliação é superior.
• Insights sobre Modelos LLM: Revela diferenças significativas na sensibilidade de diferentes modelos (Mistral, Llama, Gemma) a informações emocionais e cognitivas.

4. Resultados Chave

Desempenho na Previsão de Persuasividade (RQ1):

• Melhoria Geral: Tanto as informações de emoção categórica quanto as de avaliação melhoraram a previsão de persuasividade em comparação à linha de base para a maioria dos modelos.
• Superioridade das Avaliações (Appraisals): O uso de dimensões de avaliação (Appraisals) resultou em melhorias mais pronunciadas do que o uso de categorias de emoção.
  • Para o modelo Llama, a melhoria foi de +0.15 ao usar avaliações (chegando a $\rho = 0.42$), comparado a +0.09 com emoções.
  • Para o Mistral, a melhoria foi de +0.08 com avaliações.
  • Nota: O modelo Gemma não se beneficiou das avaliações (desempenhou pior que a base), sugerindo que diferentes arquiteturas de LLM processam informações cognitivas de forma distinta.
• Falha do Modelo Conjunto (RQ2): A previsão conjunta (onde o modelo tenta inferir emoções/avaliações e persuasividade ao mesmo tempo) não superou a abordagem em pipeline que usa dados anotados (gold). Na verdade, a maioria dos modelos teve desempenho pior na configuração conjunta, indicando que a tarefa de inferir as avaliações cognitivas a partir do texto é muito difícil para zero-shot prompting e que o ruído gerado prejudica a previsão final de persuasividade.

Desempenho nas Tarefas Auxiliares:

• Classificação de Emoção: O desempenho geral foi baixo (F1 médio de ~0.12-0.14), com os modelos tendo dificuldade em distinguir categorias, embora tenham melhor recall para emoções negativas (raiva, medo).
• Previsão de Avaliações: A previsão das 15 dimensões de avaliação também foi desafiadora, mas dimensões como "Prazer" (Pleasantness) e "Desprazer" (Unpleasantness) apresentaram correlações mais altas (~0.30).

5. Significado e Conclusão

O estudo conclui que modelos baseados em avaliação cognitiva (Appraisals) são superiores aos modelos de emoções categóricas para explicar e prever a persuasividade de argumentos computacionais. Isso valida a hipótese de que a persuasão é um processo subjetivo de avaliação cognitiva (como o receptor julga a relevância, o controle e as consequências do argumento) e não apenas uma reação emocional binária.

Implicações Práticas:

• Para aplicações em Argument Mining e geração de argumentos, é crucial incorporar dimensões cognitivas e de avaliação, não apenas rótulos emocionais.
• A abordagem de pipeline (usando preditores robustos de avaliação para guiar a previsão de persuasividade) é mais eficaz atualmente do que a previsão conjunta em zero-shot.
• Há uma necessidade urgente de desenvolver preditores de avaliação mais robustos (possivelmente via fine-tuning), já que os modelos atuais de zero-shot ainda lutam para inferir essas dimensões complexas com precisão.

Limitações:
O estudo focou apenas em zero-shot prompting sem fine-tuning ou few-shot learning, e utilizou apenas argumentos em inglês e curtos. O desempenho limitado dos modelos na tarefa de inferir avaliações sugere que métodos mais avançados de treinamento serão necessários para aplicações em larga escala.