Human-like Affective Cognition in Foundation Models

Título: Cognição Afetiva Humana em Modelos de Base (Foundation Models)

1. Problema e Motivação

O entendimento de emoções é fundamental para a interação humana e para sistemas de IA que interagem com pessoas. O problema central abordado pelo artigo é que a compreensão de emoções por modelos de IA vai além do reconhecimento básico (como identificar sentimentos em texto ou expressões faciais). Trata-se de cognição afetiva: a capacidade de raciocinar sobre como os indivíduos subjetivamente interpretam suas situações com base em crenças, objetivos e contextos (avaliação cognitiva).

Embora modelos de linguagem grandes (LLMs) sejam frequentemente usados em conversas afetivas (conselhos, suporte emocional), não havia um método padronizado e principiado para avaliar se esses modelos realmente compreendem a causalidade entre:

• Avaliações (Appraisals): Como a pessoa julga o evento (ex: congruência com objetivos, controle, segurança).
• Emoções: O estado emocional resultante.
• Expressões: Sinais comportamentais (faciais).
• Resultados: O desfecho da situação.

A questão de pesquisa é: Os modelos de IA modernos podem realizar inferências sobre emoções humanas tão bem quanto os humanos, integrando múltiplas fontes de informação e raciocínio causal?

2. Metodologia

Os autores propõem um framework de avaliação sistemático baseado na teoria psicológica da cognição afetiva. O processo envolve três etapas principais:

• Geração de Estímulos (Pipeline Procedural):

  • Foi definido um modelo causal abstrato (Figura 1) onde Resultados e Avaliações causam Emoções, que por sua vez causam Expressões.
  • Foram criados 1.280 cenários diversificados variando sistematicamente as relações entre essas variáveis.
  • O pipeline utilizou LLMs para preencher um "template causal" com histórias de fundo (ex: um estudante aplicando para faculdade), variando dois tipos de dimensões de avaliação:
    1. Congruência de Objetivo e Controle: (Estudos 1a e 2a).
    2. Segurança e Expectativa: (Estudos 1b e 2b).
  • Para os estudos multimodais (2a e 2b), foram geradas imagens de expressões faciais baseadas em Unidades de Ação Facial (FACS) usando o Unreal Engine.

• Validação Humana:

  • Foram coletadas respostas de 567 participantes humanos nativos de língua inglesa.
  • O objetivo foi estabelecer uma "verdade fundamental" (ground truth) baseada no consenso humano (resposta modal) e medir a concordância entre participantes, em vez de confiar apenas em rótulos teóricos pré-definidos.

• Avaliação dos Modelos:

  • Três modelos foram testados: GPT-4, Claude-3.5 e Gemini-1.5.
  • Duas estratégias de prompting foram utilizadas:
    1. Zero-shot: Resposta direta.
    2. Zero-shot Chain-of-Thought (CoT): O modelo é instruído a "pensar passo a passo" antes de responder.
  • As tarefas de inferência incluíam prever: Emoção (dado o contexto), Resultado (dado a emoção e avaliações), ou Avaliações (dado o resultado e emoção).

3. Contribuições Principais

1. Framework de Avaliação Principiado: Introdução de um método rigoroso para testar a cognição afetiva em IA, indo além da simples classificação de sentimentos para testar o raciocínio causal sobre estados mentais.
2. Dataset Sintético e Diverso: Criação de 1.280 itens de teste que variam sistematicamente variáveis psicológicas, permitindo o isolamento de tipos específicos de inferência.
3. Validação Empírica: Demonstração de que a concordância entre humanos é um métrico mais robusto do que rótulos teóricos para tarefas subjetivas de afeto.
4. Análise de Multimodalidade: Inclusão de expressões faciais geradas sinteticamente para testar modelos multimodais.

4. Resultados Chave

• Concordância com Intuições Humanas:

  • Os modelos (GPT-4, Claude, Gemini) demonstraram alta concordância com as respostas modais humanas.
  • Em várias tarefas, os modelos igualaram ou superaram a concordância entre participantes humanos (inter-participant agreement). Por exemplo, na inferência de resultados com base em emoções e avaliações, o GPT-4 atingiu 80-90% de concordância, superando a concordância humana em certos cenários.
  • Os modelos foram particularmente bons em inferir congruência de objetivos e resultados, mas tiveram mais dificuldade com avaliações de segurança e expectativa.

• Impacto do Raciocínio (Chain-of-Thought):

  • O uso de Chain-of-Thought (CoT) melhorou significativamente o desempenho de todos os modelos.
  • Aumento médio de 6,9 pontos percentuais na concordância com humanos ao usar CoT.
  • Em alguns casos, o CoT permitiu que os modelos superassem a concordância humana em tarefas complexas de inferência de avaliações.

• Integração Multimodal:

  • A adição de expressões faciais geralmente aumentou a precisão na inferência de emoções (+8,9 pontos percentuais).
  • No entanto, para a inferência de resultados a partir de expressões, o desempenho variou entre modelos (o Claude teve queda de desempenho, enquanto o GPT-4 manteve ou superou o desempenho humano).
  • Inferir avaliações (como "controle") a partir de expressões foi mais difícil para os modelos do que inferir emoções.

• Distribuição de Respostas:

  • Ao analisar a distribuição completa das respostas (não apenas a mais comum), os modelos conseguiram capturar a variabilidade das respostas humanas, superando o acaso em todas as tarefas.

5. Significado e Implicações

• Capacidade de Raciocínio Emocional: Os resultados sugerem que os modelos de base atuais adquiriram uma compreensão conceitual de emoções humanas e são capazes de raciocinar sobre como crenças e objetivos moldam os sentimentos, indo além do reconhecimento de padrões superficiais.
• Potencial para Aplicações: Isso abre caminho para assistentes de IA mais empáticos e eficazes em suporte à saúde mental, terapia e interação social.
• Riscos e Ética: A capacidade de os modelos superarem a média humana na compreensão de emoções levanta questões éticas sobre manipulação e o uso indevido dessas capacidades.
• Futuro da Pesquisa: O trabalho sugere que a melhoria nas capacidades de raciocínio dos modelos (via CoT e arquiteturas futuras) levará a julgamentos afetivos ainda mais precisos. Também levanta questões sobre como essas representações afetivas emergem nas redes neurais e se são resultado de pré-treinamento ou alinhamento pós-treinamento.

Em resumo, o artigo fornece evidências robustas de que os LLMs modernos possuem uma forma de "teoria da mente" afetiva, capaz de integrar contexto, crenças e sinais visuais para inferir estados emocionais complexos de maneira alinhada com a intuição humana.