Résumé Technique : PUMA – Modélisation Prospective de l'État Utilisateur pour la Sélection d'Actions

Énoncé du Problème

Les systèmes de dialogue personnalisés ont progressé en intégrant une mémoire à long terme, des profils utilisateurs et des historiques d'interaction récupérés pour réutiliser des informations explicites sur l'utilisateur. Cependant, ces méthodes existantes traitent principalement la personnalisation comme un problème de récupération ou de conditionnement sur des registres textuels observables. Elles échouent à modéliser les états utilisateurs latents (par exemple, l'anxiété, l'engagement, la préparation à l'action) qui évoluent dynamiquement au cours de l'interaction et ne sont que partiellement exprimés dans le langage. Par conséquent, les systèmes actuels ne peuvent pas raisonner efficacement sur la manière dont des actions spécifiques du système influencent l'évolution future de l'état d'un utilisateur. Cette limitation empêche le dialogue personnalisé de dépasser le simple rappel passif de la mémoire pour atteindre une prise de décision active et consciente de l'état, en particulier dans des domaines à haut risque comme le conseil en santé, où la même énonciation peut nécessiter des réponses fondamentalement différentes selon la condition interne cachée de l'utilisateur.

Méthodologie : Le Cadre PUMA

Les auteurs proposent PUMA (Modélisation Prospective de l'État Utilisateur pour la Sélection d'Actions), un cadre fondé sur le Principe de l'Énergie Libre (FEP) et l'inférence active. PUMA reformule le dialogue personnalisé comme une prise de décision sous observabilité partielle, où l'utilisateur est modélisé comme un système dynamique latent.

Composants Clés

1. Représentation de l'Utilisateur :

   • État Utilisateur ($s_t$) : Une variable latente représentant la condition interne pertinente pour la décision de l'utilisateur (par exemple, le stade motivationnel), qui n'est pas directement observable.
   • Modèle du Monde : Un modèle prédictif factorisé en deux composantes :
     • Modèle de Transition $p_\theta(s_t | s_{t-1}, a_{t-1})$ : Capture comment l'état de l'utilisateur évolue en réponse aux actions du système.
     • Modèle d'Observation $p_\theta(o_t | s_t)$ : Capture comment l'état latent génère des énoncés observables.
   • Mémoire Sémantique : Un système de mémoire à deux niveaux (à court terme et à long terme) qui stocke le contenu concret (préférences, historique) pour ancrer la génération de réponses, maintenu distinct du suivi de l'état latent.

2. Processus de Minimisation de l'Énergie Libre :

   • Mise à Jour des Croyances (Rétrospective) : Après réception d'un énoncé utilisateur ($o_t$), le système met à jour sa croyance variationnelle $q_\phi(s_t)$ sur l'état utilisateur caché. Cela est réalisé en minimisant l'Énergie Libre Variationnelle ($F_t$), qui équilibre la cohérence avec la dynamique d'état prédite (a priori) et le pouvoir explicatif de l'observation actuelle (vraisemblance).
   • Raffinement du Modèle du Monde : Le système affine continuellement les modèles de transition et d'observation en optimisant l'écart entre les réponses utilisateur prédites et observées, permettant au modèle d'apprendre les dynamiques spécifiques de l'utilisateur individuel.
   • Sélection d'Actions (Prospective) : Pour sélectionner la prochaine action de dialogue ($a_t$), PUMA minimise l'Énergie Libre Attendue ($G_t$). Cet objectif évalue les actions candidates en fonction de leurs conséquences anticipées :
     • Valeur Épistémique : Actions qui réduisent l'incertitude sur l'état futur de l'utilisateur (exploration).
     • Valeur Pragmatique : Actions dont les résultats prédits s'alignent sur les objectifs désirés (exploitation).
   • Génération de Réponse : L'action sélectionnée, combinée à la croyance mise à jour et à la mémoire récupérée, conditionne un modèle de langage pour générer une réponse en langage naturel.

Contributions Clés

1. Modélisation de l'État Utilisateur Latent : Introduction d'un modèle d'état utilisateur qui capture explicitement les états latents et leur évolution conditionnée par l'action, se distinguant des représentations statiques de persona ou basées sur la mémoire.
2. Formulation Fondée sur le FEP : La première formulation du dialogue personnalisé sous le Principe de l'Énergie Libre, unifiant la mise à jour des croyances et la sélection d'actions via l'Énergie Libre Attendue pour permettre un raisonnement prospectif sur les trajectoires utilisateurs.
3. Validation Empirique : Une évaluation rigoureuse sur des benchmarks de conseil orientés santé (CAMI et AnnoMI) démontrant que la modélisation des dynamiques d'état utilisateur améliore à la fois le suivi des croyances et les résultats de dialogue à long horizon par rapport à des bases de référence solides basées sur les LLM.

Résultats Expérimentaux

Les auteurs ont évalué PUMA sur le jeu de données CAMI (Counseling and Motivational Interviewing) et le jeu de données AnnoMI, en utilisant un simulateur de client ancré dans un profil (DynPatient) pour une évaluation dynamique.

• Efficacité du Conseil Dynamique : PUMA a significativement surpassé les bases de référence (y compris DIIR, CoS et les conseillers CAMI standards) en termes de Rehaussement de Stade (amélioration du stade motivationnel), de Taux de Préparation (pourcentage de clients atteignant le stade de préparation) et de Couverture des Déclencheurs. Notamment, PUMA a obtenu ces résultats avec moins de tours de dialogue, indiquant une efficacité supérieure.
• Qualité de la Réponse : En termes de qualité côté conseiller (mesurée par les Scores Globaux MITI), PUMA a obtenu des scores comparables aux réponses de référence humaines et significativement plus élevés que les autres méthodes automatisées, maintenant un style collaboratif et empathique.
• Estimation et Prédiction d'État : PUMA a démontré une précision supérieure tant dans l'Estimation de l'État Actuel (Curr-Acc) que dans la Prédiction de l'État Suivant (Next-Acc) par rapport aux bases de référence à long prompt.
• Généralisabilité : Une étude inter-jeux de données sur AnnoMI a montré que PUMA, même avec un modèle de base plus petit (Qwen3-8B), a obtenu une meilleure estimation et prédiction d'état qu'une base de référence à long prompt beaucoup plus grande (Qwen3-32B), suggérant la robustesse et la transférabilité du cadre.
• Études d'Ablation : La suppression de composants tels que la mise à jour des croyances, le modèle du monde ou la sélection d'actions basée sur l'EFE a entraîné une dégradation significative des performances, confirmant que tous les éléments contribuent à la capacité du système à orienter les dialogues vers les résultats souhaités.

Importance et Revendications

L'article revendique que PUMA représente un passage du rappel passif de mémoire à la prise de décision basée sur un modèle de l'évolution utilisateur. En traitant l'utilisateur comme un système dynamique partiellement observable et en appliquant le Principe de l'Énergie Libre, le cadre permet aux agents de dialogue de :

• Inférer des états utilisateurs cachés qui ne sont pas explicitement énoncés.
• Raisonner sur la manière dont des interventions spécifiques (actions de dialogue) façonneront l'état futur de l'utilisateur.
• Équilibrer le besoin de réduire l'incertitude (épistémique) avec le besoin d'atteindre des objectifs de conseil spécifiques (pragmatique) sous un critère unifié.

Les auteurs concluent que cette approche permet aux systèmes de dialogue personnalisés de dépasser la réutilisation de contexte statique pour atteindre un contrôle d'interaction actif et conscient de l'état, offrant une fondation rationnelle pour la personnalisation à long terme dans des interactions complexes et multi-tours.