Resumo Técnico: CAREBench

Declaração do Problema

A compreensão emocional é uma capacidade crítica para Modelos de Linguagem de Grande Escala (LLMs) em computação afetiva e interação humano-IA. No entanto, os paradigmas de avaliação existentes dependem predominantemente da previsão de rótulos de emoções discretas, o que falha em capturar os processos cognitivos subjacentes à geração de emoções. Embora trabalhos recentes tenham recorrido à teoria da avaliação (appraisal theory) para fundamentar a compreensão emocional, os conjuntos de dados baseados em avaliação existentes sofrem de três limitações principais:

1. Falta de Raciocínio: Eles tratam as classificações de dimensões de avaliação como a única representação da avaliação cognitiva, ignorando o processo inferencial sobre estados mentais (crenças, desejos) que precede essas classificações.
2. Modelagem de Emoção Simplista: Eles dependem de rótulos de emoção únicos, falhando em capturar a natureza mista e co-ocorrente das experiências emocionais do mundo real.
3. Viés de Perspectiva: A maioria dos conjuntos de dados fornece apenas anotações de terceira pessoa, tornando difícil analisar como as diferenças de perspectiva entre experienciadores e observadores influenciam os julgamentos.

Consequentemente, permanece incerto se os modelos realmente compreendem os estados mentais do experienciador ou meramente aprendem mapeamentos superficiais de situações para classificações.

Metodologia

O Conjunto de Dados CAREBench

Os autores introduzem o CAREBench, um benchmark projetado para avaliar o Raciocínio de Avaliação Cognitiva na compreensão de emoções. O conjunto de dados é fundamentado na teoria da avaliação e construído através de um processo de coleta de dados em duas fases envolvendo 1.000 narrativas emocionais do mundo real:

• Fase 1 (Primeira Pessoa): Participantes recordaram eventos emocionalmente significativos. Usando um framework de "micro-narrativas" assistido por um LLM, eles forneceram raciocínio aberto para cinco dimensões centrais de avaliação (relevância, certeza, congruência, controle, responsabilidade), classificações hierárquicas para 22 sub-dimensões e anotações de emoção multirrotuladas (intensidade e rótulos).
• Fase 2 (Terceira Pessoa): Anotadores independentes leram as narrativas e realizaram a mesma tarefa de anotação em três camadas sem acesso às respostas de primeira pessoa.

Características Principais:

• Cadeia Inferencial: O conjunto de dados estabelece uma cadeia completa $s \to r \to a \to e$: Situação ($s$) $\to$ Raciocínio ($r$) $\to$ Classificações de Avaliação ($a$) $\to$ Emoção ($e$).
• Dupla Perspectiva: Existem anotações tanto para o experienciador de primeira pessoa quanto para múltiplos observadores de terceira pessoa.
• Multirrotulagem e Intensidade: As emoções são anotadas com pontuações de intensidade e múltiplos rótulos co-ocorrentes.
• Dados de Subjetividade: Demografia dos anotadores e traços de personalidade Big Five são coletados para analisar a heterogeneidade subjetiva.

Framework de Avaliação

Os autores propõem um framework de avaliação em nível de processo que cobre a cadeia inferencial completa, indo além da previsão de etapa única. Seis LLMs foram avaliados (GPT-5.2, Claude-Sonnet-4.6, Llama 3.1, Qwen 3.5, PsyLLM e EmoLLaMa) em quatro Questões de Pesquisa (RQs):

1. RQ1 (Desempenho da Cadeia): Quão bem os modelos realizam cada etapa ($s \to r$, $s \to a$, $s \to e$)?
2. RQ2 (Utilidade do Raciocínio): A injeção de raciocínio de avaliação ($r$) ou classificações ($a$) melhora a previsão a jusante?
3. RQ3 (Sensibilidade): Os modelos são sensíveis a intervenções estruturadas de avaliação (por exemplo, trocar raciocínio de primeira pessoa por de terceira pessoa)?
4. RQ4 (Subjetividade): Os modelos podem capturar a heterogeneidade distribucional dos julgamentos humanos de avaliação?

As métricas incluíram BLEU/ROUGE para raciocínio, RMSE para classificações/intensidade, pontuações F1 para rótulos e distância de Wasserstein/correlação de Spearman para modelagem de subjetividade.

Principais Resultados

1. Disparidades de Desempenho ao Longo da Cadeia

• A Jusante vs. A Montante: Modelos mais fortes (por exemplo, Claude, GPT) igualam ou superam observadores humanos de terceira pessoa em classificações de avaliação e identificação de rótulos de emoção negativa. No entanto, eles consistentemente ficam aquém na geração de raciocínio de avaliação e na identificação de emoção positiva.
• Lacuna de Emoção Positiva: Os modelos exibem desequilíbrio significativo entre precisão e recall para emoções positivas, levando a pontuações F1 substancialmente mais baixas em comparação com humanos.
• Dissociação: Modelos ajustados especificamente para domínio (PsyLLM, EmoLLaMa) mostraram vantagens em tarefas específicas a montante (por exemplo, métricas de raciocínio de avaliação), mas não traduziram esses ganhos para a seleção de rótulos de emoção a jusante, sugerindo que um bom desempenho a jusante não implica raciocínio mediado por avaliação correto.

2. O Papel do Raciocínio

• Raciocínio Humano: A injeção de texto de raciocínio de avaliação de primeira pessoa melhorou significativamente a previsão de avaliação e o reconhecimento de emoção (particularmente o recall) em todos os modelos.
• Raciocínio do Modelo: Quando os modelos geraram seu próprio raciocínio ($\hat{r}$) para injetar de volta no prompt, o desempenho frequentemente degradou-se. A análise qualitativa revelou que os modelos tendem a usar linguagem emocional exagerada em raciocínios auto-gerados, introduzindo ruído que se propaga para erros a jusante.

3. Sensibilidade a Intervenções

• Os modelos mostraram graus variados de sensibilidade a intervenções estruturadas de avaliação. Modelos mais fortes (Claude, GPT, Qwen) exibiram correlações positivas moderadas a fortes entre mudanças induzidas por intervenção no raciocínio e mudanças nas classificações/emoções previstas, alinhando-se com a teoria da avaliação.
• No entanto, alguns modelos com desempenho razoável a jusante (por exemplo, Llama, PsyLLM) mostraram sensibilidade direcional fraca, indicando que podem depender de padrões associativos em vez de raciocínio de avaliação genuíno.

4. Modelagem de Subjetividade

• Embora a injeção de raciocínio de avaliação central tenha ajudado os modelos a aproximar as distribuições de avaliação humanas, os modelos atuais não internalizaram os mecanismos necessários para capturar autonomamente o desacordo entre observadores.
• Os modelos falharam em reproduzir a variância nos julgamentos humanos, sugerindo que ainda não podem modelar a heterogeneidade distribucional inerente à compreensão emocional humana.

Significância e Alegações

O artigo alega que o CAREBench fornece uma fundação para uma avaliação mais diagnosticamente informativa das capacidades cognitivas afetivas dos LLMs. A significância principal reside na descoberta de que as métricas de previsão de emoção a jusante podem superestimar a verdadeira compreensão emocional. Ao avaliar a cadeia inferencial completa, os autores revelam lacunas de capacidade — especificamente na geração de raciocínio e no reconhecimento de emoção positiva — que os paradigmas de avaliação de etapa única ignoram.

O trabalho sugere que os LLMs atuais ainda não adquiriram as capacidades cognitivas necessárias para diferenciação emocional de alta granularidade, particularmente aquelas envolvendo atribuição causal complexa (controle, responsabilidade) e estados emocionais positivos. O framework expõe os pontos cegos de confiar apenas na precisão de saída, oferecendo uma base metodológica para o desenvolvimento de modelos afetivos mais interpretáveis cognitivamente.

Limitações

Os autores notam várias limitações:

• Escopo Cultural: Os dados são limitados a participantes falantes de inglês nos EUA e no Reino Unido, potencialmente limitando a generalização para outras culturas.
• Desequilíbrio Narrativo: A auto-seleção de eventos levou a um viés em direção a emoções negativas.
• Custo de Anotação: O subconjunto de terceira pessoa (500 narrativas) limita a precisão das estimativas distribucionais para variação subjetiva.
• Assistência de LLM: O uso de LLMs para auxiliar na composição de narrativas, embora mitigado por revisão, introduz o risco de incorporar detalhes extraneos.