Resumo Técnico: ENPMR-Bench

Declaração do Problema

Embora agentes de linguagem aumentados por memória estejam cada vez mais implantados em aplicações afetivas, como suporte emocional, a pesquisa existente trata predominantemente a memória como um mecanismo para recuperação factual. Essa abordagem negligencia o papel crítico da memória na formação das experiências emocionais dos usuários. Em cenários de suporte emocional, os usuários frequentemente expressam necessidades de forma indireta, exigindo que os agentes inferam necessidades emocionais latentes e recuperem proativamente memórias que sejam emocionalmente salientes, em vez de meramente semanticamente similares. Os benchmarks atuais falham em avaliar essa capacidade, pois geralmente dependem de paradigmas de Perguntas e Respostas (QA) onde os usuários declaram explicitamente os alvos de recuperação, ou utilizam modelagem de usuário estática que carece de representações abrangentes de objetivos de vida e experiências pessoais. Consequentemente, há uma falta de avaliação sistemática para Recuperação Proativa de Memória Consciente de Necessidade Emocional (ENPMR), um componente central da inteligência emocional definido como a capacidade de inferir necessidades latentes e recuperar memórias apropriadas para fomentar interação empática.

Metodologia

Os autores introduzem o ENPMR-Bench, um benchmark projetado para avaliar sistematicamente a capacidade dos agentes de realizar ENPMR. A metodologia fundamenta-se na hierarquia das necessidades de Maslow e envolve os seguintes componentes-chave:

• Estrutura Teórica: O benchmark define mapeamentos estruturados entre quatro níveis de necessidades não atendidas do usuário (Fisiológicas, Amor e Pertencimento, Estima e Autorrealização) e tipos específicos de memórias de suporte (por exemplo, Preferências, Relacionamentos, Destaques, Objetivos, Poderes).
• Construção de Dados:
  • Perfis de Usuário: Gerados usando um repositório de personas, enriquecidos com dez temas de vida distintos e entradas de memória estruturadas categorizadas em Destaques, Poderes, Relacionamentos, Objetivos e Preferências.
  • Diálogos: Mais de 1.800 diálogos de suporte emocional aumentados por memória foram construídos. Estes simulam cenários onde um agente deve inferir uma necessidade latente a partir de uma expressão de angústia do usuário e recuperar proativamente uma memória específica para fornecer suporte.
  • Amostragem Negativa: Para garantir especificidade, o processo de construção emprega amostragem negativa, selecionando entradas de memória com temas similares, mas detalhes diferentes, como distratores para evitar alinhamento temático genérico.
  • Validação: A qualidade dos dados foi assegurada por meio de um processo de filtragem em duas etapas usando GPT-4o (baseado na escala BLRI) e validação humana por especialistas, verificando adequação, relevância e correção.
• Protocolo de Avaliação: O benchmark avalia tanto a Recuperação de Memória (selecionar a memória correta de um banco) quanto a Geração de Resposta (produzir uma resposta empática fundamentada na memória selecionada).
  • Modelos Testados: O estudo avalia vários modelos de incorporação (por exemplo, Qwen3, gte-Qwen2), LLMs de última geração (GPT-4o, DeepSeek-v3, Qwen-Max, Gemini-2.5-Flash) e sistemas de Memória Agente (Mem0, MemOS, Memu).
  • Métricas: O desempenho de recuperação é medido por meio de Recall, Precisão e nDCG. A geração de resposta é avaliada quanto à Fluência, Humanidade, Informação e Empatia (adaptadas de escalas psicológicas). Uma métrica nova, Taxa de Correspondência de Tipo de Memória (TMR), avalia se o tipo de memória recuperada está alinhado com a necessidade emocional inferida.

Resultados Principais

Os resultados experimentais revelam deficiências substanciais nos paradigmas de recuperação atuais e seu impacto no desempenho empático a jusante:

• Limitações de Recuperação: Mesmo os modelos de incorporação de melhor desempenho alcançam apenas 46,41% de Recall@10, com a precisão Top-1 permanecendo abaixo de 10% em todos os modelos. Isso indica que a similaridade semântica por si só é insuficiente para identificar memórias emocionalmente salientes.
• Impacto na Empatia: A qualidade da memória recuperada dita significativamente a pontuação de empatia da resposta gerada. Por exemplo, o DeepSeek-v3 pontua 4,38 em empatia com memórias recuperadas, mas melhora para 4,91 quando fornecido com memórias "douradas" (verdadeiras).
• Vieses Sistemáticos: Os LLMs exibem vieses sistemáticos na seleção de memória. Para necessidades de "Amor e Pertencimento", os modelos frequentemente super-selecionam memórias de "Destaque" em vez das memórias de "Relacionamento" mais apropriadas. Esse desalinhamento correlaciona-se com pontuações de empatia mais baixas para essa dimensão específica de necessidade.
• Efeito do CoT: O prompting de Cadeia de Pensamento (CoT) melhora o alinhamento entre necessidades inferidas e memórias recuperadas até certo ponto, mas uma lacuna de desempenho significativa permanece em comparação com o limite superior de memória dourada.
• Sistemas Agentes: Embora os sistemas de memória agente (por exemplo, MemOS) mostrem melhorias moderadas em relação às abordagens baseadas em RAG ao agregar interações históricas, eles ainda ficam aquém do desempenho alcançado com memórias douradas.

Significado e Alegações

O artigo afirma que o ENPMR-Bench fornece uma ferramenta diagnóstica crítica para identificar limitações na inteligência emocional dos agentes atuais. Os autores afirmam que:

1. A Adequação da Memória é Paramount: A capacidade de selecionar o tipo certo de memória com base nas necessidades emocionais inferidas é mais crucial para o suporte empático do que capacidades de geração de superfície ou recuperação semântica simples.
2. Agentes Atuais são Inadequados: Apesar dos avanços na recuperação de memória e geração de resposta, os agentes atuais falham em alinhar as necessidades emocionais do usuário com tipos de memória apropriados, frequentemente devido a vieses sistemáticos de seleção em vez de erros aleatórios.
3. Necessidade de Benchmark: Benchmarks existentes que dependem de consultas explícitas do usuário falham em capturar as nuances do suporte emocional. O ENPMR-Bench preenche essa lacuna ao avaliar a recuperação proativa e consciente de necessidades em cenários de longo prazo e personalizados.

Os autores concluem que a pesquisa futura deve ir além da recuperação factual para desenvolver mecanismos de memória sensíveis a necessidades que possam alinhar-se dinamicamente com o estado psicológico do usuário para facilitar um suporte emocional verdadeiramente personalizado.