Resumo Técnico: HEART-BENCH

Declaração do Problema

Enquanto agentes de Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades significativas em planejamento orientado a tarefas, raciocínio e ação, a pesquisa atual predominantemente os trata como ferramentas funcionais, em vez de personalidades humanas completas. Os benchmarks existentes focam em contexto conversacional, recuperação de memória e precisão factual, frequentemente negligenciando as dimensões emocionais e orientações de valor que constituem a psicologia humana. À medida que os LLMs são cada vez mais integrados em aplicações de companheirismo, entretenimento e clonagem de persona, as expectativas dos usuários estão mudando para sistemas que exibam interações persistentes, personalizadas e psicologicamente consistentes. No entanto, há uma falta de frameworks de avaliação padronizados capazes de avaliar se agentes de LLM podem simular perfis psicológicos coerentes e humanos, fundamentados em traços de personalidade estáveis e memória autobiográfica.

Metodologia

Os autores introduzem o HEART-BENCH (Teste de Emoção e Reação de Agente Humanóides), um benchmark novo projetado para avaliar sistematicamente a consistência psicológica de agentes de LLM. A metodologia envolve três componentes principais: construção de personagens, geração de cenários e criação de instâncias de avaliação.

1. Construção de Personagens

O benchmark define 11 personagens humanos distintos fundamentados no framework de personalidade Big Five (OCEAN) e na teoria dos valores de Schwartz.

• Design Ortogonal: Para garantir interpretabilidade, os personagens são construídos usando um design ortogonal, onde cada um dos 11 arquétipos é ancorado a um único traço dominante em um valor extremo (seja alto em 0,95 ou baixo em 0,10), com uma linha de base neutra. Isso isola traços específicos (por exemplo, um personagem com alto Neuroticismo versus um personagem com baixo Neuroticismo) para minimizar variáveis de confusão.
• Memória Autobiográfica: Cada personagem é equipado com 1.000 memórias episódicas estruturadas abrangendo estágios de vida do desenvolvimento, dos 6 aos 50 anos. Esses estágios são mapeados para os estágios psicossociais de Erikson e as estações adultas de Levinson.
• Estrutura de Memória: As memórias são geradas usando o Modelo de Sistemas Básicos de Rubin, garantindo que cada narrativa integre cinco dimensões: detalhe sensorial, reconstrução de diálogo, monólogo interno, resposta somática e consequências. Isso vai além da simples recuperação de fatos para simular a textura subjetiva da experiência vivida.
• Controle de Qualidade: Um processo rigoroso de auditoria envolvendo detecção automatizada de defeitos (por exemplo, desvio de perspectiva, duplicação semântica) e validação humana garante a fidelidade das memórias.

2. Construção de Cenários

O benchmark utiliza 64 cenários agnósticos a personagens projetados para desencadear decisões comportamentais.

• Taxonomia DIAMONDS: Os cenários são estruturados em torno das oito dimensões do framework DIAMONDS: Duty (Dever), Intellect (Intelecto), Adversity (Adversidade), Mating (Acasalamento), pOsitivity (Positividade), Negativity (Negatividade), Deception (Engano) e Sociality (Socialidade).
• Design Agnóstico a Personagens: Os cenários são escritos como descrições situacionais universais, sem atribuir identidades específicas ao protagonista. Isso garante que o perfil de personalidade interno do agente seja a única variável independente que impulsiona a resposta comportamental.
• Validação: Os cenários são validados por especialistas em psicologia para garantir que cubram o espaço situacional psicológico e se alinhem com pares de valores opostos no circulo de Schwartz.

3. Criação de Instâncias de Avaliação

O benchmark consiste em 673 perguntas de múltipla escolha (MCQs).

• Geração de Verdade Terrena: Para cada par (personagem, cenário), um pipeline automatizado recupera as 50 memórias mais relevantes do corpus de 1.000 memórias do personagem. Em seguida, um LLM interpreta o personagem para gerar uma decisão comportamental fundamentada tanto no perfil de personalidade quanto nas memórias ativadas.
• Validação por Especialistas: Uma equipe de especialistas em psicologia valida essas anotações. Pares considerados inadequados são descartados. A verdade terrena final é a decisão validada por especialistas.
• Seleção de Distratores: Para cada pergunta, a opção correta é a resposta do personagem-alvo. Três distratores são selecionados a partir das respostas validadas de outros personagens ao mesmo cenário, garantindo que sejam semanticamente distintos o suficiente para evitar ambiguidade, mas relevantes o suficiente para desafiar o modelo.

Contribuições Principais

1. Benchmark HEART-BENCH: O primeiro benchmark abrangente dedicado a avaliar a psicologia humanóide em agentes de LLM, compreendendo 11 perfis de personagens validados, 11.000 memórias episódicas, 64 cenários psicológicos e 673 MCQs anotados por especialistas.
2. Fundamentação Psicológica: Diferentemente de benchmarks anteriores que tratam a personalidade como um prompt estático ou focam na recuperação factual, o HEART-BENCH condiciona decisões a uma interação dinâmica entre vetores de traços estáveis (Big Five), orientações de valor e uma história longitudinal de memórias autobiográficas.
3. Framework de Avaliação Sistemática: O artigo fornece uma metodologia estruturada para avaliar agentes em três configurações interativas (Naive-RAG, Mem0 e PersonaDB) para testar como diferentes arquiteturas de memória impactam a consistência psicológica.

Resultados

Os autores avaliaram 12 LLMs de ponta (incluindo as famílias GPT, Claude, Gemini, DeepSeek e Qwen) nas três configurações interativas.

• Teto de Desempenho: Mesmo o modelo mais forte, Gemini-3.1-Pro, alcançou uma precisão máxima de 63,3%. A maioria dos modelos performou significativamente abaixo, com muitos permanecendo abaixo de 40%.
• Capacidade do Modelo vs. Recuperação: Os resultados indicam que a capacidade do modelo é o principal gargalo. A lacuna de desempenho entre os melhores e os piores modelos (mais de 30%) supera amplamente a lacuna entre diferentes métodos de recuperação (lacuna média < 1,7%). Isso sugere que os LLMs atuais lutam com o raciocínio intrínseco necessário para mapear memórias episódicas para decisões consistentes com a personalidade, independentemente da arquitetura de backend de memória.
• Dificuldade por Traço e Estágio:
  • Traços de Baixa Extremidade: Personagens com traços de baixa extremidade (por exemplo, baixo Conscienciosidade, baixa Abertura) foram mais difíceis para os modelos simularem com precisão, provavelmente porque seus sinais comportamentais (restraint, evitação) são menos distintos do que os traços de alta extremidade.
  • Estágios de Vida: A precisão geralmente declinou em estágios posteriores da vida (por exemplo, Transição da Meia-Idade), atribuído ao aumento da complexidade contextual e à menor densidade de memória nesses estágios dentro do design do benchmark.

Significado

O artigo postula que o HEART-BENCH fornece um campo de testes principiado e escalável para estudar emoções humanóides, consistência de personalidade e tomada de decisão comportamental alinhada a valores em agentes baseados em LLM. Ao deslocar o foco da avaliação da conversa superficial ou da recuperação factual para a tomada de decisão comportamental fundamentada em traços, o benchmark aborda uma lacuna crítica no desenvolvimento de IA de "alta IE" (Inteligência Emocional). Os autores argumentam que realizar o potencial da IA em companheirismo e clonagem de persona requer sistemas que possam manter a coerência de identidade a longo prazo e exibir consistência psicológica, uma capacidade que os modelos atuais ainda não dominaram totalmente. O benchmark serve como um passo fundamental em direção a uma inteligência emocional artificial de nível superior.