Résumé Technique : ENPMR-Bench

Énoncé du Problème

Bien que les agents linguistiques enrichis par la mémoire soient de plus en plus déployés dans des applications affectives telles que le soutien émotionnel, la recherche existante traite principalement la mémoire comme un mécanisme de récupération factuelle. Cette approche néglige le rôle crucial de la mémoire dans la formation des expériences émotionnelles des utilisateurs. Dans les scénarios de soutien émotionnel, les utilisateurs expriment souvent leurs besoins indirectement, ce qui oblige les agents à inférer des besoins émotionnels latents et à récupérer de manière proactive des souvenirs saillants sur le plan émotionnel, plutôt que de se contenter de souvenirs sémantiquement similaires. Les benchmarks actuels échouent à évaluer cette capacité, car ils reposent généralement sur des paradigmes de Questions-Réponses (QA) où les utilisateurs énoncent explicitement les cibles de récupération, ou bien ils utilisent une modélisation utilisateur statique qui manque de représentations complètes des objectifs de vie et des expériences personnelles. Par conséquent, il existe un manque d'évaluation systématique de la Récupération Proactive de Mémoire Consciente des Besoins Émotionnels (ENPMR), un composant central de l'intelligence émotionnelle défini comme la capacité à inférer des besoins latents et à récupérer des souvenirs appropriés pour favoriser une interaction empathique.

Méthodologie

Les auteurs présentent ENPMR-Bench, un benchmark conçu pour évaluer systématiquement la capacité des agents à réaliser l'ENPMR. La méthodologie est ancrée dans la hiérarchie des besoins de Maslow et comprend les composants clés suivants :

• Cadre Théorique : Le benchmark définit des mappings structurés entre quatre niveaux de besoins utilisateurs non satisfaits (Physiologiques, Amour et Appartenance, Estime de soi, et Réalisation de soi) et des types spécifiques de souvenirs de soutien (par exemple, Préférences, Relations, Moments Forts, Objectifs, Compétences).
• Construction des Données :
  • Profils Utilisateurs : Générés à l'aide d'un référentiel de personnalités, enrichis de dix thèmes de vie distincts et structurés en entrées de mémoire catégorisées en Moments Forts, Compétences, Relations, Objectifs et Préférences.
  • Dialogues : Plus de 1 800 dialogues de soutien émotionnel enrichis par la mémoire ont été construits. Ceux-ci simulent des scénarios où un agent doit inférer un besoin latent à partir d'une expression de détresse de l'utilisateur et rappeler de manière proactive un souvenir spécifique pour apporter un soutien.
  • Échantillonnage Négatif : Pour garantir la spécificité, le processus de construction utilise un échantillonnage négatif, sélectionnant des entrées de mémoire aux thèmes similaires mais aux détails différents comme leurres afin d'éviter un alignement thématique générique.
  • Validation : La qualité des données a été assurée par un processus de filtrage en deux étapes utilisant GPT-4o (basé sur l'échelle BLRI) et une validation humaine par des experts, vérifiant l'adéquation, la pertinence et l'exactitude.
• Protocole d'Évaluation : Le benchmark évalue à la fois la Récupération de Mémoire (sélectionner le bon souvenir dans une banque) et la Génération de Réponse (produire une réponse empathique ancrée dans le souvenir sélectionné).
  • Modèles Testés : L'étude évalue divers modèles d'embedding (par exemple, Qwen3, gte-Qwen2), des LLMs de pointe (GPT-4o, DeepSeek-v3, Qwen-Max, Gemini-2.5-Flash) et des systèmes de mémoire agentique (Mem0, MemOS, Memu).
  • Métriques : La performance de récupération est mesurée via le Rappel, la Précision et le nDCG. La génération de réponse est évaluée sur la Fluidité, l'Humanité, l'Information et l'Empathie (adaptées d'échelles psychologiques). Une métrique novatrice, le Taux de Correspondance de Type de Mémoire (TMR), évalue si le type de mémoire récupérée correspond au besoin émotionnel inféré.

Résultats Clés

Les résultats expérimentaux révèlent des déficiences substantielles dans les paradigmes de récupération actuels et leur impact sur la performance empathique en aval :

• Limites de la Récupération : Même les modèles d'embedding les plus performants n'atteignent que 46,41 % de Rappel@10, avec une précision Top-1 restant inférieure à 10 % pour tous les modèles. Cela indique que la similarité sémantique seule est insuffisante pour identifier les souvenirs saillants sur le plan émotionnel.
• Impact sur l'Empathie : La qualité du souvenir récupéré dicte significativement le score d'empathie de la réponse générée. Par exemple, DeepSeek-v3 obtient un score de 4,38 en empathie avec des souvenirs récupérés, mais s'améliore jusqu'à 4,91 lorsqu'il est fourni avec des souvenirs « golden » (vérités terrain).
• Biais Systématiques : Les LLMs présentent des biais systématiques dans la sélection de mémoire. Pour les besoins « Amour et Appartenance », les modèles sélectionnent fréquemment des souvenirs de type « Moment Fort » plutôt que des souvenirs de type « Relation », plus appropriés. Ce désalignement corrèle avec des scores d'empathie plus bas pour cette dimension spécifique de besoin.
• Effet de la Chaîne de Pensée (CoT) : L'incitation par Chaîne de Pensée (CoT) améliore l'alignement entre les besoins inférés et les souvenirs récupérés dans une certaine mesure, mais un écart de performance significatif subsiste par rapport à la borne supérieure des mémoires golden.
• Systèmes Agentiques : Bien que les systèmes de mémoire agentiques (par exemple, MemOS) montrent des améliorations modérées par rapport aux approches basées sur RAG en agrégeant les interactions historiques, ils restent en deçà des performances obtenues avec des mémoires golden.

Importance et Revendications

L'article revendique qu'ENPMR-Bench fournit un outil diagnostique critique pour identifier les limites de l'intelligence émotionnelle des agents actuels. Les auteurs affirment que :

1. L'Adéquation de la Mémoire est Primordiale : La capacité à sélectionner le bon type de mémoire basé sur les besoins émotionnels inférés est plus cruciale pour le soutien empathique que les capacités de génération de surface ou la simple récupération sémantique.
2. Les Agents Actuels sont Inadéquats : Malgré les progrès en matière de récupération de mémoire et de génération de réponse, les agents actuels échouent à aligner les besoins émotionnels des utilisateurs avec les types de mémoire appropriés, souvent en raison de biais de sélection systématiques plutôt que d'erreurs aléatoires.
3. Nécessité du Benchmark : Les benchmarks existants reposant sur des requêtes explicites des utilisateurs échouent à capturer les nuances du soutien émotionnel. ENPMR-B comble cette lacune en évaluant la récupération proactive et consciente des besoins dans des scénarios à long terme et personnalisés.

Les auteurs concluent que la recherche future doit aller au-delà de la récupération factuelle pour développer des mécanismes de mémoire sensibles aux besoins, capables de s'aligner dynamiquement avec l'état psychologique de l'utilisateur afin de faciliter un soutien émotionnel véritablement personnalisé.