Resumo Técnico: Sarc7 – Avaliando a Detecção e Geração de Sarcasmo com Sete Tipos e Técnicas Informadas por Emoção

Declaração do Problema

O sarcasmo é um fenômeno pragmático complexo onde as expressões transmitem significados contrários às suas interpretações literais, dependendo fortemente da intenção do falante, do tom emocional e do contexto compartilhado. Os Modelos de Linguagem de Grande Escala (LLMs) atuais têm dificuldade tanto na classificação quanto na geração de sarcasmo devido à sua sutileza e dependência de contexto. Interpretar incorretamente o sarcasmo na colaboração humano-IA pode levar a falhas críticas de segurança, como uma IA executando ações não pretendidas baseadas em comandos irônicos ou falhando em reconhecer avisos ocultos na ironia. Os benchmarks existentes frequentemente dependem da classificação binária (sarcástico vs. não sarcástico), o que falha em capturar o espectro matizado da intenção sarcástica. Além disso, os métodos de geração tradicionais têm dificuldade em controlar os níveis de sarcasmo e alinhar as saídas com incongruências contextuais, valores de choque e estados emocionais específicos.

Metodologia

Construção do Benchmark (Sarc7)

Os autores introduzem o Sarc7, um novo benchmark derivado do conjunto de dados MUStARD, aprimorado com anotações detalhadas.

• Taxonomia: O benchmark define sete tipos distintos de sarcasmo baseados em características linguísticas e pragmáticas (adaptadas de Qasim, 2021):
  1. Autodepreciativo (Self-deprecating): Ridicularizar a si mesmo.
  2. Sombrio (Brooding): Frustração passivo-agressiva mascarada por polidez.
  3. Sem expressão (Deadpan): Entregue em um tom monótono e sem emoção.
  4. Polido (Polite): Elogios insinceros ou comentários excessivamente corteses.
  5. Obnóximo (Obnoxious): Sarcasmo rude ou provocativo direcionado a outros.
  6. Irritado (Raging): Sarcasmo intenso e exagerado expressando raiva.
  7. Maníaco (Manic): Sarcasmo entusiasta, errático, com um tom caótico.
• Anotação: 690 enunciados foram rotulados independentemente por quatro anotadores treinados. Um consenso foi alcançado via voto majoritário (acordo de 3-de-4), com um quinto anotador validando os rótulos. O Cohen's $\kappa$ resultante de 0,6694 indica um acordo substancial.
• Tarefas: O benchmark suporta duas tarefas principais: classificação de sarcasmo multiclasse e geração condicionada ao tipo de sarcasmo.

Estratégias de Prompting

O estudo avalia múltiplas estratégias de prompting em cinco grandes LLMs (GPT-4o, Claude 3.5 Sonnet, Gemini 2.5, Qwen 2.5, Llama-4 Maverick):

1. Baselines: Prompting zero-shot, few-shot e Chain-of-Thought (CoT).
2. Prompting Baseado em Emoção (Novo): Esta técnica vai além da análise de sentimento grosseira positiva/negativa. Ela utiliza as seis emoções básicas de Paul Ekman (felicidade, tristeza, raiva, medo, nojo, surpresa) através de um processo de três etapas:
   • Categorizar a emoção do contexto.
   • Classificar a emoção do enunciado.
   • Identificar o sarcasmo baseado na incongruência entre os dois.
   • Racional: Esta abordagem captura descompassos pragmáticos (ex: parear "felicidade" com uma situação neutra para sarcasmo polido) que divisões simples de sentimento perdem.

Estrutura de Geração

Para a geração, os autores projetaram prompts estruturados condicionando o modelo a quatro dimensões controláveis:

• Incongruência: Grau de descompasso semântico (1–10).
• Valor de Choque: Intensidade do sarcasmo.
• Dependência de Contexto: Dependência do histórico conversacional.
• Emoção: Emoção básica alvo.
  Valores fixos para essas dimensões foram atribuídos a cada subtipo de sarcasmo (ex: "Irritado" é mapeado para alto valor de choque, baixa dependência de contexto e raiva) para guiar o tom e a intensidade.

Principais Resultados

Desempenho de Classificação

• Acurácia: O prompting Chain-of-Thought (CoT) alcançou consistentemente a maior acurácia bruta na maioria dos modelos (ex: 57,10% para o Claude 3.5 Sonnet).
• F1 Médio-Macro: O prompting baseado em emoção superou todos os outros métodos nos escores de F1 médio-macro, que melhor contabilizam o desequilíbrio de classes. O Gemini 2.5 alcançou o maior F1 geral de 0,3664 usando o prompting baseado em emoção, superando seu desempenho em CoT (0,3141).
• Sensibilidade ao Subtipo: O prompting baseado em emoção mostrou melhorias relativas significativas sobre o CoT para subtipos específicos, particularmente Polido (+23,0%), Sem expressão (+17,47%) e Irritado (+16,67%). Isso sugere que pistas emocionais ajudam a desambiguar tons sutis onde o raciocínio CoT pode falhar.
• Análise de Confusão: Os modelos frequentemente recorriam a rotular conteúdo ambíguo como "Sem expressão" ou "Não Sarcástico". O prompting baseado em emoção ajudou a reduzir essa "armadilha do padrão", embora lacunas significativas ainda existam para a nuance de nível humano nas categorias "Sombrio" e "Polido".

Desempenho de Geração

• Acurácia: Usando o Claude 3.5 Sonnet, a abordagem de geração baseada em emoção alcançou uma taxa de sucesso 38,46% maior na geração de saídas alinhadas ao subtipo em comparação com os baselines zero-shot (72/100 vs. 52/100).
• Melhoria Qualitativa: Os prompts estruturados baseados em emoção geraram com sucesso o sarcasmo "Irritado" com as pistas de raiva apropriadas, enquanto os baselines zero-shot frequentemente produziam respostas neutras ou sem expressão que careciam da intensidade pretendida.

Significância e Alegações

O artigo alega que o Sarc7 fornece um passo fundamental em direção à avaliação da compreensão de sarcasmo matizado e da geração controlável em LLMs, indo além da classificação binária em direção a uma modelagem de linguagem interpretável e informada por emoção.

• Raciocínio Pragmático: O trabalho demonstra que modelar explicitamente a hipótese pragmática do ouvinte (via incongruência emocional) pode melhorar o desempenho do modelo em subtipos de sarcasmo de baixa frequência.
• Segurança e Responsabilidade: Ao distinguir entre tipos de sarcasmo e fornecer justificativas interpretáveis (via pistas emocionais ou etapas de CoT), o benchmark apoia estratégias para calibrar a confiança na IA. Ele ajuda a sinalizar quando a intenção irônica torna uma interpretação literal perigosa, mitigando riscos de excesso de confiança ou subconfiança em configurações de alto risco (ex: aconselhamento médico, negociações).
• Limitações: Os autores reconhecem que, embora os prompts baseados em emoção melhorem o desempenho, eles não preenchem totalmente a lacuna para a nuance de nível humano, particularmente para subtipos que dependem fortemente de pistas prosódicas e interpessoais (Sombrio, Sem expressão, Polido) que o prompting apenas de texto não consegue capturar totalmente.

Em resumo, o Sarc7 estabelece que integrar o raciocínio emocional discreto em estratégias de prompting oferece um caminho viável para uma detecção e geração de sarcasmo mais robustas e responsáveis em sistemas colaborativos humano-IA.