Résumé Technique : Acquisition Active de Connaissances Sensible à l'Utilisateur pour le Dialogue de Soutien Émotionnel

1. Formulation du Problème

Les systèmes de dialogue de soutien émotionnel font face à un défi critique : les besoins des utilisateurs sont souvent faiblement signalés, implicites et évoluent dynamiquement au cours des interactions multi-tours. Bien que les grands modèles de langage (LLM) possèdent de solides capacités de raisonnement, les méthodes existantes peinent à acquérir et à généraliser efficacement des connaissances émotionnellement pertinentes (connaissances EQ) dans ces conditions.

Les approches actuelles souffrent de trois limitations principales :

1. Inadéquation des Besoins : Les réponses de soutien génériques ou l'inférence d'intention autonome échouent souvent à s'aligner sur les besoins réels et évolutifs de l'utilisateur, entraînant un « rejet » (par exemple, un utilisateur cherchant de l'empathie reçoit des conseils).
2. Acquisition Passive de Connaissances : Les méthodes de mémoire de stratégie et de planification de type agent suivent souvent passivement les comportements des LLM, ce qui se traduit par des retours d'information redondants et une couverture limitée de l'espace des connaissances EQ.
3. Modélisation Statique de l'Utilisateur : Le stockage des connaissances EQ sous des formes agnostiques à l'action ignore que le feedback de l'utilisateur est conditionné par la réponse choisie par l'assistant. Des émotions de surface similaires peuvent nécessiter des stratégies sensibles à l'utilisateur différentes, pourtant les systèmes existants ne parviennent pas à distinguer ces nuances.

Le problème central est défini comme un dialogue de soutien émotionnel multi-tours piloté par les connaissances dans un contexte de besoins utilisateurs incertains. Le système doit simultanément fournir un soutien utile et interagir d'une manière qui améliore sa capacité à inférer les besoins latents de l'utilisateur et à acquérir des connaissances EQ réutilisables, le tout sans dépendre de mises à jour de politiques basées sur le gradient.

2. Méthodologie : Acquisition Active de Connaissances Sensible à l'Utilisateur (UKA)

Les auteurs proposent UKA, un cadre d'apprentissage de dialogue actif sans gradient qui traite le soutien émotionnel à la fois comme un processus de soutien et comme un processus d'acquisition active de connaissances. UKA fonctionne via un pipeline en trois étapes :

A. Représentation de la Base de Connaissances EQ

Le système maintient une mémoire externe $K$ d'entrées de connaissances EQ sous une forme état-action $k = (a, v)$ :

• Ancre ($a$) : Un résumé conscient des croyances décrivant l'état du dialogue saillant sur le plan émotionnel et les besoins utilisateurs inférés.
• Valeur ($v$) : Une stratégie de réponse ou un comportement actionnable distillé à partir du feedback d'interaction.
  Contrairement aux connaissances factuelles, les connaissances EQ sont évaluées par l'efficacité de l'interaction plutôt que par la vérité objective.

B. Étape 1 : Mise à Jour de la Croyance Utilisateur (Théorie de l'Esprit)

UKA maintient un ensemble d'hypothèses explicites $U_t = \{u^{(1)}_t, \dots, u^{(M)}_t\}$ représentant les besoins utilisateurs plausibles.

• Notation des Hypothèses : Pour chaque hypothèse, le système calcule un score de compatibilité « forcé par l'enseignant » en simulant la probabilité que la réponse utilisateur observée se produise sous ce besoin spécifique.
• Distribution de Croyance : Ces scores sont normalisés pour former une distribution de croyance $p_t(u|H_t)$.
• Mécanisme de Rafraîchissement : L'ensemble d'hypothèses est dynamiquement rafraîchi (étendu ou élagué) si l'ensemble actuel est incomplet, ambigu, ou si une nouvelle hypothèse génère un score de compatibilité plus élevé.

C. Étape 2 : Récupération de Connaissances Consciente des Croyances

Au lieu de récupérer des connaissances uniquement sur la base de l'historique du dialogue, UKA construit une ancre de résumé $s_t$ qui se conditionne à la fois sur le contexte du dialogue et sur la distribution de croyance actuelle concernant les besoins utilisateurs. Cette ancre récupère les $K$ entrées de connaissances EQ les plus pertinentes depuis la mémoire externe.

D. Étape 3 : Sélection de Réponse Active Pilotée par l'Incertitude

La sélection de réponse est formulée comme un problème d'apprentissage actif, avec des objectifs distincts pour l'entraînement et le test :

1. Génération de Candidats : Le modèle génère un ensemble de réponses candidates $C_t$ conditionné par l'historique et les connaissances récupérées.
2. Métriques de Notation :
   • Soutien par les Connaissances ($S_k$) : Mesure dans quelle mesure une candidate est ancrée dans les connaissances récupérées (similarité cosinus).
   • Incertitude ToM ($S_u$) : Mesure la « valeur diagnostique » d'une réponse. Elle quantifie le désaccord dans les réactions utilisateurs simulées à travers les hypothèses de besoins utilisateurs en concurrence. Une $S_u$ élevée indique que la réponse est susceptible de susciter des feedbacks distincts, aidant à désambiguïser le besoin latent de l'utilisateur.
3. Stratégie de Sélection :
   • Entraînement (Exploration) : Sélectionne des réponses pour maximiser $S_u - S_k$. Cela privilégie les réponses qui exposent les lacunes des connaissances actuelles et suscitent des feedbacks informatifs pour étendre la mémoire EQ.
   • Test (Exploitation) : Sélectionne des réponses pour maximiser $S_k + \gamma S_u$. Cela privilégie les réponses ancrées dans les connaissances pour un soutien stable tout en conservant une valeur diagnostique modérée pour gérer l'incertitude.

3. Contributions Clés

1. Cadre UKA : Introduction d'un cadre de dialogue actif sans gradient qui sépare explicitement l'acquisition exploratoire de connaissances EQ de l'utilisation des connaissances au moment du test.
2. Mécanisme d'Incertitude ToM : Une méthode novatrice d'estimation de l'incertitude diagnostique qui suit les hypothèses de besoins utilisateurs et guide la sélection de réponses via le désaccord de réactions conditionné par l'hypothèse, permettant au système de susciter activement des feedbacks informatifs.
3. Validation Empirique : Démonstration que UKA surpasse systématiquement des bases de référence solides (incluant le prompting, les approches basées sur la mémoire et multi-agents ToM) sur plusieurs benchmarks de soutien émotionnel (ESConv, ExTES, Sentient Eval) et divers backbones de LLM.

4. Résultats Expérimentaux

Le cadre a été évalué sur quatre backbones de LLM (Qwen3-32B, Seed-1.6-36B, Qwen3-235B, GPT-OSS-120B) sur trois benchmarks.

• Performance : UKA a constamment obtenu le taux de réussite (SR) le plus élevé sur ESConv et ExTES, ainsi que les scores émotionnels moyens les plus élevés sur Sentient Eval, y compris dans des paramètres de persona « Négatif » difficiles où les utilisateurs sont résistants ou sceptiques.
• Études d'Ablation :
  • La suppression de l'acquisition de Connaissances a entraîné la plus forte baisse de performance, confirmant que les gains proviennent de l'acquisition/réutilisation de connaissances EQ plutôt que du seul prompting.
  • La suppression de la sélection de Réponse Active ou de l'Incertitude ToM a considérablement dégradé les performances, en particulier sur les personas négatifs, soulignant la nécessité d'une exploration au niveau des candidats et d'un suivi explicite des croyances.
• Robustesse : UKA a maintenu une performance supérieure lors de l'évaluation avec différents simulateurs d'utilisateurs (Robustesse Inter-Simulateur), suggérant que les connaissances acquises capturent des stratégies transférables plutôt qu'un surapprentissage à un simulateur spécifique.
• Évaluation Humaine : Des évaluations de préférence humaine en aveugle par paires ont montré que UKA était préféré aux bases de référence dans la majorité des cas (taux de victoire moyen d'environ 57-65 %), avec un accord inter-annotateurs modéré.
• Dynamique des Connaissances : L'analyse a montré que la performance s'améliore de manière monotone à mesure que la base de connaissances grandit, les gains les plus significatifs se produisant dans les premières étapes de l'accumulation de connaissances.

5. Signification et Revendications

L'article revendique que l'interaction consciente de l'incertitude est un mécanisme prometteur pour permettre aux agents de dialogue d'acquérir, d'affiner et d'utiliser des connaissances d'intelligence émotionnelle dans des environnements simulés sans nécessiter de mises à jour de paramètres.

• Actif vs Passif : Contrairement aux systèmes de mémoire passifs qui se contentent de stocker des interactions, UKA sélectionne activement des réponses pour désambiguïser les besoins utilisateurs et étendre sa base de connaissances, conduisant à des répertoires d'actions plus larges et plus diversifiés.
• Alignement Utilisateur : En modélisant les besoins utilisateurs comme une distribution de croyance et en utilisant l'incertitude ToM pour guider l'exploration, le système atteint un meilleur alignement avec les préférences utilisateurs implicites et évolutives.
• Praticité : Le cadre est sans gradient, ce qui le rend applicable à divers backbones de LLM sans le coût computationnel du fine-tuning.

Limites et Directions Futures :
Les auteurs reconnaissent plusieurs limites :

• Modélisation Approchée : L'utilisation d'un petit ensemble d'hypothèses en langage naturel est une approximation des motivations utilisateurs réelles et complexes.
• Biais de Simulation : La dépendance aux simulateurs et critiques d'utilisateurs basés sur des LLM peut introduire des biais et ne pas capturer les mécanismes de défense psychologiques réels ou les dynamiques émotionnelles à long terme.
• Efficacité : Le cadre engendre des coûts d'inférence supplémentaires pour le suivi des hypothèses et l'estimation de l'incertitude ToM, et la mémoire externe peut accumuler des connaissances bruyantes, nécessitant un travail futur sur l'élagage et la validation.

L'article conclut que bien que UKA démontre des améliorations significatives en matière d'alignement utilisateur et de qualité du dialogue, un déploiement clinique réel nécessiterait une validation de sécurité supplémentaire, un filtrage des connaissances et des garde-fous impliquant des humains dans la boucle.