HEART: A Unified Benchmark for Assessing Humans and LLMs in Emotional Support Dialogue

Título: HEART: Um Benchmark Unificado para Avaliar Humanos e LLMs em Diálogos de Suporte Emocional

1. O Problema

Apesar dos avanços rápidos nos Modelos de Linguagem (LLMs) em raciocínio e geração de texto, existe uma lacuna significativa na compreensão de como essas máquinas se comparam aos humanos em competências interpessoais, especificamente no fornecimento de suporte emocional.

• Limitações Atuais: Benchmarks anteriores focam em tarefas cognitivas (classificação, sumarização) ou em marcadores discretos de emoção (como previsão de rótulos), falhando em avaliar a interação contínua, a adaptação a sinais emocionais complexos e a capacidade de navegar resistências ou angústia.
• A Necessidade: Em contextos de alto risco (saúde, aconselhamento), a comunicação de suporte exige mais do que a correção factual; requer sintonia, validação e ajuste de tom. Não há, até então, um framework unificado que coloque humanos e modelos lado a lado na mesma tarefa de diálogo multi-turno para medir essa competência.

2. Metodologia

O paper introduz o HEART, um framework de avaliação que compara diretamente respostas humanas e de LLMs em cenários de suporte emocional.

• Conjunto de Dados:

  • Baseado em ESConv (diálogos de suporte emocional), com 300 histórias de diálogo.
  • 280 itens regulares: Cenários comuns (luto, estresse, conflito).
  • 20 itens adversários: Cenários onde o buscador de ajuda expressa raiva, ceticismo ou resistência explícita, testando a adaptação do sistema a tensões interpessoais.
  • Para cada contexto, foram geradas respostas por 3 humanos independentes e por 16 LLMs (de 5 famílias diferentes, incluindo GPT-5, Claude 4.5, Gemini, Polaris 4, etc.).

• Métricas de Avaliação (As 5 Dimensões HEART):
  As respostas foram avaliadas com base em uma rubrica fundamentada na ciência da comunicação interpessoal:

  1. Alinhamento Humano (Human Alignment): O tom e o fluxo soam naturais e humanos?
  2. Resposta Empática (Empathic Responsiveness): O suporte valida os sentimentos sem julgamento?
  3. Sintonia (Attunement): A resposta rastreia detalhes específicos e sinais emocionais do contexto, evitando generalidades?
  4. Ressonância (Resonance): A resposta move a conversa para frente de forma útil (ex: próximos passos concretos)?
  5. Seguimento de Tarefa (Task-following): O modelo respeita limites de segurança e papéis (ex: não dar conselhos médicos)?

• Protocolo de Julgamento:

  • Comparação em Pares (A/B): Juízes humanos e um ensemble de LLMs (como juízes) compararam pares de respostas (Humano vs. Modelo ou Modelo vs. Modelo).
  • Juízes Humanos: Não receberam a rubrica HEART para garantir uma avaliação natural, apenas instruídos a escolher a resposta mais empática.
  • Juízes LLM: Receberam a rubrica estruturada para testar o alinhamento de critérios.
  • Análise Estatística: Uso do modelo Bradley-Terry para gerar classificações estilo Elo, agregando milhares de comparações.

3. Principais Contribuições

1. Primeiro Benchmark Unificado Humano-LLM: O HEART é a primeira avaliação que coloca humanos e modelos no mesmo pé de igualdade em diálogos de suporte emocional multi-turno, incluindo cenários adversários.
2. Rubrica Baseada em Ciência: Define cinco dimensões validadas por literatura de psicologia e comunicação, indo além da simples análise de sentimento.
3. Análise de Alinhamento de Avaliação: Compara não apenas quem ganha, mas por que ganha, analisando se humanos e LLMs usam os mesmos critérios (rationales) para julgar a qualidade do suporte.
4. Estudo de Latência vs. Qualidade: Investiga a relação entre a capacidade do modelo (proxy por latência TTFT - Time-to-First-Token) e a qualidade do suporte emocional, crucial para agentes de voz em tempo real.

4. Resultados Chave

• Desempenho dos Modelos vs. Humanos:

  • Modelos de ponta (frontier models) frequentemente superam a média de respostas humanas em percepção de empatia e consistência.
  • Em comparações diretas, juízes humanos escolheram respostas de modelos em 46,8% dos casos, contra 35,8% para respostas humanas (17,4% empatia).
  • Modelos como GPT-5 (Elo 1611.8) e GPT-o3 (Elo 1587.5) atingiram pontuações superiores à média humana.

• Alinhamento de Avaliação (Human-LLM Agreement):

  • Há uma convergência notável: juízes humanos e LLMs concordam em ~78,7% das comparações, um índice próximo ao acordo entre humanos (79,5%).
  • Quando concordam, ambos destacam características semelhantes (ex: nomear sentimentos, oferecer próximos passos), sugerindo que os LLMs internalizaram padrões de julgamento social humano.

• Diferenças Estratégicas (Humanos vs. LLMs):

  • Humanos: Usam um repertório mais diversificado de estratégias (validação, reestruturação cognitiva, definição de limites) e adaptam o tom dinamicamente, especialmente em situações adversas.
  • LLMs: Tendem a depender de um conjunto mais estreito de estratégias de alta frequência (reassentimento, reconhecimento, encorajamento). São consistentemente polidos e fluentes, mas podem carecer de "sintonia profunda" em momentos de resistência.
  • Cenários Adversários: Em diálogos com resistência ou raiva, os humanos são melhores em definir limites e nomear tensões. Os LLMs tendem a manter a polidez e a validação, falhando em lidar com a hostilidade de forma adaptativa.

• Latência e Agentes de Voz:

  • Existe uma correlação positiva entre latência (TTFT) e pontuação HEART: modelos maiores e mais lentos tendem a ter melhor desempenho.
  • Polaris 4 (Hippocratic AI) destaca-se como uma exceção: alcança pontuação de Elo superior à média humana (1604.0) com latência de ~400ms, tornando-o viável para agentes de voz em tempo real, onde atrasos >500ms degradam a percepção de empatia.

• Raciocínio Afetivo vs. Geral:

  • A competência em suporte emocional correlaciona-se positivamente com benchmarks de inteligência geral (r = 0,70), mas não é determinística. Modelos com pontuação de IA similar podem divergir drasticamente no HEART devido a diferenças em controle de tom e sintonia.

5. Significado e Implicações

• Reenquadramento da Empatia: O estudo sugere que a "empatia" em IA pode ser dividida em duas dimensões:
  1. Empatia Percebida (Superficial): Consistência, fluidez e tom caloroso (onde os LLMs brilham).
  2. Empatia Experiencial (Contextual): Julgamento situacional, adaptação a nuances e gestão de limites (onde humanos ainda são superiores).
• Riscos de Segurança: A preferência por respostas de IA pode levar a uma dependência excessiva de usuários vulneráveis, especialmente se os sistemas forem implantados sem transparência sobre suas limitações clínicas. A "empatia simulada" não substitui o cuidado real.
• Futuro da IA Social: O HEART fornece uma base empírica para entender onde a IA alinha com o julgamento social humano e onde diverge. Ele indica que o desenvolvimento futuro deve focar não apenas em "ser gentil", mas em raciocínio adaptativo, gestão de conflitos e diversidade estratégica, além de otimizar a latência para interações de voz naturais.

Em resumo, o HEART demonstra que os LLMs de ponta já conseguem imitar a forma da comunicação empática com alta fidelidade, mas ainda precisam evoluir para compreender a função complexa e adaptativa do suporte emocional humano, especialmente em situações de crise ou resistência.