Large language models show fragile cognitive reasoning about human emotions

O estudo apresenta o benchmark CoRE, baseado na teoria da avaliação cognitiva, e revela que, embora os grandes modelos de linguagem capturem relações sistemáticas entre avaliações cognitivas e emoções, eles exibem desalinhamento com julgamentos humanos e instabilidade em diferentes contextos.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a entender os sentimentos humanos. Você acha que, por ele ter lido quase tudo na internet, ele já sabe o que é "tristeza", "raiva" ou "alegria"?

Este artigo científico diz: não exatamente.

Os pesquisadores descobriram que, embora os grandes modelos de linguagem (como o GPT, LLaMA, etc.) consigam dizer qual é a emoção correta em uma história, eles não estão realmente "pensando" sobre os sentimentos da mesma forma que os humanos. É como se eles estivessem decorando as respostas de um teste, sem entender a matéria.

Aqui está a explicação simplificada, usando algumas analogias:

1. O "Cérebro" do Robô vs. O "Cérebro" Humano

Para entender uma emoção, os humanos não apenas olham para o que aconteceu; nós fazemos uma avaliação cognitiva. É como se nosso cérebro fosse um juiz que analisa vários fatores antes de decidir se estamos felizes ou bravos:

• Isso foi justo?
• Foi culpa minha ou de outra pessoa?
• Eu consegui controlar a situação?
• Foi difícil ou fácil?

Os pesquisadores criaram um "teste de prova" chamado CoRE (que significa "Coração" em inglês, mas aqui é um acrônimo para Raciocínio Cognitivo para Emoções). Eles deram cerca de 70.000 situações emocionais para 6 robôs diferentes e pediram que eles avaliassem esses fatores.

2. Onde os Robôs "Quebram" (A Fragilidade)

Os pesquisadores descobriram três problemas principais, que podemos comparar com um aluno que estuda para a prova, mas de forma errada:

• O "Trabalho Duro" (Esforço) é um Falso Amigo:
  Para os humanos, o quanto nos esforçamos não é o fator mais importante para definir a maioria das emoções. Mas para os robôs, o "esforço" parece ser a chave de tudo! Eles acham que, se algo exigiu muito esforço, é automaticamente uma emoção forte. É como se o robô pensasse: "Se você correu muito para pegar o ônibus, você deve estar muito feliz (ou muito bravo), porque correu muito!", ignorando se você estava feliz ou cansado.

• A "Justiça" some do Mapa:
  Para os humanos, saber se algo foi justo ou injusto é crucial para sentir raiva ou desprezo. Mas os robôs parecem ignorar essa dimensão. Eles não conseguem conectar a ideia de "injustiça" com a emoção de "raiva" da mesma forma profunda que nós fazemos.

• A "Máscara" da Personalidade vs. A "Máscara" Cultural:
  Os pesquisadores pediram para os robôs agirem como se fossem de diferentes países (cultura) ou tivessem diferentes personalidades (ex: alguém muito ansioso vs. alguém calmo).

  • Cultura: Os robôs falharam miseravelmente. Não importa se você diz "aja como um japonês" ou "aja como um brasileiro", o robô responde quase igual. Eles não entendem que a cultura muda como sentimos as coisas. É como se todos os robôs tivessem a mesma "alma" cultural, independentemente do país.
  • Personalidade: Aqui, eles funcionaram melhor! Se você diz "aja como alguém muito ansioso", o robô muda sua avaliação para parecer mais estressado. Eles conseguem simular a personalidade individual, mas não a cultura.

3. O "Mapa" das Emoções

Os pesquisadores olharam como os robôs organizam as emoções na "cabeça" deles.

• Humanos: Temos um mapa complexo. Sabemos que "surpresa" pode ser boa ou ruim, e que "desafio" é diferente de "tédio".
• Robôs: O mapa deles é muito simples. Eles basicamente separam tudo em "Bom" (Positivo) e "Ruim" (Negativo). Se você tentar pedir para eles distinguirem emoções muito parecidas (como "vergonha" de "culpa"), eles se confundem e erram. É como se eles vissem o mundo apenas em preto e branco, enquanto nós vemos em todas as cores.

4. Por que isso importa?

Imagine um robô tentando ajudar um terapeuta ou um assistente social a entender a dor de uma pessoa.

• Se o robô não entende que a cultura muda o que é "justo", ele pode dar conselhos errados para alguém de outra nacionalidade.
• Se ele acha que todo "esforço" gera uma emoção forte, ele pode interpretar mal uma situação simples.

Conclusão: O Robô é um Ator, não um Sentidor

O artigo conclui que os robôs atuais são ótimos atores. Eles podem recitar o roteiro de como uma pessoa deve reagir a uma situação triste. Mas eles não são sentidores. Eles não têm a "inteligência emocional" real que vem de entender as nuances, a justiça, a cultura e a complexidade do pensamento humano.

Para que a Inteligência Artificial seja realmente útil em áreas sensíveis (como saúde mental), ela precisa aprender a pensar sobre as emoções, e não apenas a memorizar as palavras certas.

Resumo técnico

Título: Grandes Modelos de Linguagem (LLMs) Demonstram Raciocínio Cognitivo Frágil sobre Emoções Humanas

1. Problema e Motivação

O campo da computação afetiva busca capacitar máquinas a interagir com emoções humanas. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido treinados e avaliados em tarefas relacionadas a emoções, essas avaliações tradicionais focam predominantemente em fenômenos superficiais, como o reconhecimento de rótulos de emoções discretas (ex: "alegria", "raiva") através de aprendizado supervisionado.

O problema central identificado é que não está claro se esses sistemas realizam um raciocínio cognitivo significativo sobre as emoções. A maioria dos modelos falha ao generalizar para cenários novos, ambíguos ou culturalmente matizados, pois são treinados apenas em pares de "estímulo emocional – rótulo", sem compreender os processos cognitivos subjacentes (como objetivos, normas e responsabilidades) que geram essas emoções. Além disso, estudos anteriores focaram na "avaliação de outros" (prever o que um agente externo sente), o que pode ser confundido por estereótipos sociais, em vez de investigar a autoavaliação cognitiva (como o modelo processa internamente a emoção).

2. Metodologia: O Benchmark CoRE

Os autores introduzem o CoRE (Cognitive, Reasoning for Emotions), um benchmark de grande escala projetado para sondar as estruturas cognitivas implícitas que os LLMs utilizam ao interpretar situações carregadas emocionalmente.

• Base Teórica: O estudo baseia-se na Teoria da Avaliação Cognitiva (Cognitive Appraisal Theory), que postula que a reação emocional depende de como um estímulo é interpretado ao longo de dimensões específicas (ex: congruência com objetivos, responsabilidade, prazer, esforço).
• Conjunto de Dados:
  • Foram criados ~70.000 prompts (incluindo variações de contexto).
  • Baseado em um estudo psicológico seminal, o dataset cobre 15 categorias de emoções discretas (ex: Felicidade, Raiva, Vergonha, Desgosto).
  • Cada cenário é avaliado em 17 dimensões cognitivas agrupadas em 8 categorias principais (ex: Prazer, Controle, Responsabilidade, Esforço, Justiça Percebida).
  • Os dados foram validados por especialistas humanos para garantir qualidade e relevância.
• Modelos Avaliados: O estudo analisou 6 LLMs de ponta de famílias diversas (proprietários e open-source), variando em tamanho e capacidades de raciocínio: GPT-o4, Gemini 2.5 Flash, DeepSeek R1, LLaMA 3, Phi-4 e QwQ-32B.
• Abordagem de Análise:
  1. Avaliação Implícita vs. Explícita: Comparação entre as dimensões que o modelo usa implicitamente para gerar ratings (análise estatística) e as dimensões que ele diz serem mais importantes quando questionado diretamente.
  2. Análise Distribucional: Uso de métricas como a Distância de Wasserstein para mapear como as emoções são organizadas no espaço interno do modelo.
  3. Predição de Emoção: Uso de regressão logística e SynthTree (uma estrutura de árvore sintética interpretável) para verificar se as avaliações cognitivas podem prever com precisão a categoria da emoção.
  4. Influência Contextual: Teste de robustez ao introduzir "personas" de cultura (nacionalidade) e personalidade (Big Five) nos prompts.

3. Principais Contribuições

• Primeiro Benchmark de Autoavaliação Cognitiva: O CoRE é a primeira análise em larga escala focada em como os LLMs avaliam suas próprias reações emocionais através de dimensões cognitivas, em vez de apenas prever emoções de terceiros.
• Análise de Fragilidade e Inconsistência: O estudo revela que, embora os LLMs capturem algumas relações sistemáticas, seu raciocínio emocional é "frágil", inconsistente e desalinhado com padrões humanos, especialmente em dimensões complexas.
• Investigação de Viés de Contexto: É a primeira análise sistemática do impacto de fatores contextuais (cultura e personalidade) nas avaliações cognitivas de LLMs, mostrando uma assimetria clara entre a sensibilidade a traços de personalidade e a insensibilidade a nuances culturais.

4. Resultados Chave

A. Desalinhamento nas Dimensões Cognitivas:

• Dimensões Implícitas vs. Explícitas: Existe uma lacuna significativa. Modelos frequentemente citam "Responsabilidade" e "Controle" como as dimensões mais importantes quando questionados explicitamente. No entanto, implicitamente, eles dependem excessivamente de "Esforço" (Effort) e "Problema", dimensões que raramente são citadas como cruciais na avaliação explícita.
• Falta de Justiça Percebida: Diferente dos humanos, para quem a "Justiça Percebida" é uma dimensão central, a maioria dos LLMs ignora essa dimensão ou a correlaciona erroneamente com outras (como certeza ou engajamento).
• Estrutura de Variância: Modelos proprietários mostram estruturas de avaliação mais coerentes (80% da variância explicada por 6 componentes principais), enquanto modelos open-source (exceto Phi-4) exibem representações mais difusas e menos estruturadas.

B. Representação Distribucional das Emoções:

• Separação Baseada em Valência: Os modelos organizam as emoções principalmente pelo eixo de Valência (positivo vs. negativo), falhando em capturar distinções cognitivas mais profundas.
• Emoções de Fronteira: Emoções como "Desafio" e "Surpresa" aparecem como fronteiras ambíguas, não se encaixando bem na divisão binária, refletindo uma estrutura emocional menos matizada do que a humana.
• Inconsistência Inter-modelo: Mesmo para emoções consideradas universais (como "Raiva"), diferentes modelos avaliam as situações de forma estatisticamente distinta, indicando falta de um consenso interno sobre o que constitui essas emoções.

C. Capacidade Preditiva e Robustez:

• Previsão Seletiva: Os modelos conseguem prever bem emoções simples ou baseadas em valência clara (ex: Felicidade, Medo, Desafio), mas falham consistentemente em emoções complexas ou relacionadas a autoavaliação (ex: Vergonha, Desgosto, Tristeza).
• Fragilidade em Granularidade: Quando a tarefa exige distinções finas entre emoções relacionadas (ex: Vergonha vs. Culpa), o desempenho cai drasticamente. A estrutura de raciocínio se deteriora conforme a granularidade da tarefa aumenta.

D. Influência de Contexto (Cultura vs. Personalidade):

• Personalidade: Os modelos respondem de forma plausível psicologicamente a personas de personalidade (ex: personas "negativas" aumentam a percepção de esforço e obstáculos; personas "positivas" aumentam o controle e a compreensão).
• Cultura: Surpreendentemente, não houve variação significativa nas avaliações cognitivas quando se alterava a nacionalidade/cultura do persona. Isso sugere que os LLMs internalizam traços individuais de personalidade, mas carecem de uma representação estável e diferenciada de nuances culturais.

5. Significado e Implicações

• Limitações para Aplicações de Alto Risco: A fragilidade e a inconsistência no raciocínio emocional dos LLMs representam riscos significativos para aplicações em saúde mental, triagem de crises ou intervenção social, onde respostas enviesadas ou não confiáveis podem ser prejudiciais.
• Necessidade de Novos Paradigmas de Treinamento: O fato de que o aprendizado supervisionado e por reforço (focado em rótulos) não gera modelos de mundo emocional robustos sugere a necessidade de explorar abordagens alternativas, como aprendizado evolutivo, desenvolvimental ou alinhamento direto no espaço latente.
• Mudança de Foco na Avaliação: O trabalho defende que a avaliação de IA afetiva não deve focar apenas na precisão do rótulo final, mas na qualidade do processo de raciocínio subjacente. Se o modelo não raciocina como um humano (usando as mesmas dimensões cognitivas), sua "inteligência emocional" é superficial.
• Desafio Cultural: A incapacidade dos modelos de capturar nuances culturais limita sua acessibilidade e eficácia em contextos globais, destacando a necessidade de dados e treinamento mais diversificados culturalmente.

Em resumo, o artigo demonstra que, embora os LLMs possam simular a identificação de emoções, seu raciocínio interno sobre por que essas emoções ocorrem é estruturalmente frágil, desalinhado da cognição humana e sensível apenas a certos tipos de contexto (personalidade), mas não a outros (cultura).