Résumé Technique : Débloquer la Proactivité dans le Dialogue Orienté Tâche

1. Définition du Problème

L'article aborde le défi du Dialogue Orienté Tâche (TOD) Proactif, spécifiquement dans des scénarios tels que les ventes sortantes, où un agent doit initier des interactions, identifier des préoccupations utilisateurs latentes et orienter les conversations vers un objectif prédéfini (par exemple, l'acceptation) dans un nombre limité de tours.

Les auteurs identifient deux lacunes structurelles dans les approches existantes :

1. Absence de modélisation des préoccupations implicites dans les simulateurs : Les simulateurs d'utilisateurs actuels modélisent généralement uniquement les traits de surface (ton, politesse), échouant à capturer les préoccupations latentes qui déterminent réellement les décisions des utilisateurs. Cela se traduit par des trajectoires homogènes et des décisions de simulateur faiblement ancrées.
2. Réactivité inhérente des LLM : Les grands modèles de langage (LLM) standards sont alignés pour être utiles et réactifs, ce qui les rend inadaptés à l'initiative requise dans le TOD proactif. Les méthodes de post-entraînement comme le Fine-Tuning Supervisé (SFT) manquent de données de haute qualité, tandis que les méthodes d'Apprentissage par Renforcement (RL) (par exemple, GRPO) peinent à attribuer le crédit aux tours spécifiques où la persuasion a lieu, s'appuyant souvent sur des récompenses d'issue éparses ou des scores de qualité génériques plutôt que sur les progrès réels vers l'acceptation.

Une étude pilote démontre que si l'augmentation à l'exécution (Pass@16) et le RL standard de mise en forme des récompenses n'apportent que des améliorations marginales, la conditionnement des agents sur les préoccupations latentes des utilisateurs débloque un saut significatif tant dans la proactivité que dans les taux d'acceptation, faisant passer les agents d'un « plateau réactif » à un régime de haute performance.

2. Méthodologie

Le cadre proposé, SI-AVPO (Optimisation de Politique à Vue Asymétrique Induite par Simulateur), se compose de deux composants principaux conçus pour modéliser les préoccupations latentes et les convertir en signaux d'entraînement.

A. Simulateur d'Utilisateur Cognitif (CUS)

Le CUS est un simulateur d'utilisateurs stratifié qui modélise chaque utilisateur comme une persona composée de trois couches :

• Contexte ($P_{bg}$) : Cadres situationnels (par exemple, données démographiques).
• Persona Externe ($P_{ext}$) : Traits de surface observables (ton, courtoisie, style de communication).
• Persona Interne ($P_{int}$) : Préoccupations latentes cachées couvrant les aspects financiers, psychologiques et opérationnels. Chaque préoccupation inclut un point de résistance, des conditions de déblocage et des anti-modèles.

Le CUS maintient un système de dynamique d'état synchrone qui suit un état scalaire de « volonté » et le statut de résolution de chaque préoccupation (Non résolu $\to$ Partiellement traité $\to$ Résolu). Cela produit :

• Signal Privé : La persona interne $P_{int}$, invisible pour l'agent déployé.
• Retour de Simulation : Décisions binaires finales (Accepter/Rejeter) et transitions d'état par tour (changements de volonté $\Delta w$).

B. Optimisation de Politique à Vue Asymétrique Induite par Simulateur

Ce module convertit les signaux du CUS en deux objectifs d'entraînement complémentaires :

1. Distillation Auto-Asymétrique en Ligne (AOPD) :

   • Évalue la même politique $\pi_\theta$ sous deux vues : une vue enseignant privilégiée (conditionnée par $P_{int}$) et une vue étudiant déployable (conditionnée uniquement par l'historique du dialogue).
   • Minimise la divergence KL entre la distribution consciente des préoccupations de l'enseignant et la distribution de l'étudiant.
   • Objectif : Distiller des stratégies ciblées et conscientes des préoccupations dans la politique déployable sans nécessiter de modèle enseignant séparé.

2. Raffinement de Politique par Transition d'État (STPR) :

   • Utilise la dynamique d'état du simulateur pour fournir une attribution de crédit fine.
   • Avantage au niveau de la trajectoire : Dérivé de la récompense terminale finale ($r$).
   • Crédit au niveau du tour : Ajusté par les changements de volonté par tour ($\Delta w$). Si le changement de volonté d'un tour s'aligne avec l'issue finale, le crédit est renforcé ; s'il est contradictoire, il est supprimé.
   • Objectif : Guider l'agent à équilibrer l'initiative avec des réponses conscientes du contexte, garantissant que les mouvements proactifs sont ancrés dans la réceptivité réelle de l'utilisateur.

La fonction de perte totale est :
$$\mathcal{L}_{SI-AVPO} = \mathcal{L}_{AOPD}(P_{int}) + \lambda_{st} \mathcal{L}_{STPR}(d, \{\Delta w_k\})$$

3. Contributions Clés

1. Simulateur d'Utilisateur Cognitif (CUS) : Un cadre de persona stratifié calibré sur plus de 100 000 journaux d'appels sortants réels, qui modélise explicitement les préoccupations internes cachées et la dynamique d'état synchrone, produisant des interactions fidèles et comportementalement diversifiées.
2. Cadre SI-AVPO : Un paradigme d'entraînement novateur qui exploite l'asymétrie d'information ($P_{int}$ privilégiée) et les transitions d'état pour créer des objectifs complémentaires (AOPD et STPR) sans modèles de récompense externes, juges ou modèles enseignants séparés.
3. Validation Empirique : Succès démontré sur deux benchmarks réels de livraison de nourriture (Promotion Marchand et Bonus Régional Coursier), montrant une robustesse à travers différents simulateurs d'utilisateurs basés sur des LLM.

4. Résultats Expérimentaux

La méthode a été évaluée sur les architectures Qwen3-4B et Qwen3-8B par rapport à :

• Lignes de base RL : GRPO, PPO, DAPO et SEAD.
• LLM Propriétaires : GPT-4.1, DeepSeek-V3.2, GLM-5.1, Kimi-K2.5 et Claude-Sonnet-4.5.

Principales Constatations :

• Performance : SI-AVPO surpasse systématiquement toutes les lignes de base RL. Sur le scénario Marchand avec Qwen3-8B, il a amélioré le Taux de Résolution des Préoccupations (CSR) de +12,2 % et le Taux d'Acceptation (Acc) de +12,2 % par rapport à la meilleure ligne de base RL (SEAD).
• Comparaison avec les modèles phares : SI-AVPO égale ou dépasse les modèles propriétaires leaders. Avec Qwen3-8B, il a surpassé Claude-Sonnet-4.5 en CSR (52,6 % contre 51,1 %) et en Proactivité (3,18 contre 3,09) sur le scénario marchand.
• Généralisation : La méthode se généralise efficacement à travers six simulateurs d'utilisateurs basés sur différents LLM (y compris des versions strictes comme DeepSeek-V3.2), montrant des améliorations constantes en CSR et en Acc indépendamment de la sévérité inhérente du simulateur.
• Ablation : La suppression de AOPD a provoqué une chute brutale de la Proactivité (-0,76), confirmant son rôle dans l'impulsion de l'initiative. La suppression de STPR a conduit à un comportement trop agressif, soulignant son rôle dans l'ancrage des actions dans le contexte.

5. Signification et Revendications

L'article revendique que les préoccupations utilisateurs latentes sont la variable manquante critique pour le TOD proactif. En modélisant explicitement ces préoccupations dans un simulateur et en les convertissant en signaux d'entraînement via des vues asymétriques et des transitions d'état, les auteurs démontrent que :

• La capacité proactive ne peut être récupérée simplement par l'échantillonnage ou la mise en forme standard des récompenses ; elle nécessite un signal au moment de l'entraînement ancré dans le processus de décision de l'utilisateur.
• Une politique de taille déployable entraînée avec SI-AVPO peut égaler ou dépasser des modèles propriétaires beaucoup plus grands et à usage général dans les tâches de dialogue proactif.
• Le cadre offre une voie vers des agents proactifs haute fidélité et rentables sans dépendre de modèles de récompense externes ou de juges humains.

Les auteurs soulignent que leur approche comble le fossé entre l'alignement réactif des LLM et l'initiative requise pour les scénarios réels de ventes sortantes, offrant une solution évolutive pour les systèmes de dialogue persuasifs.