Résumé technique : RECON : Synthèse de raisonnement guidée par la reconstruction pour la modélisation des utilisateurs

Énoncé du problème

La modélisation des utilisateurs vise à simuler le comportement individuel des utilisateurs à l'aide de modèles de langage (LM) en prédisant des actions (par exemple, des tours de conversation) sur la base de paires contexte-action passées. Les approches récentes tentent d'améliorer la généralisation en augmentant ces corpus avec des traces de raisonnement synthétisées. Cependant, les méthodes existantes reposent généralement sur une rationalisation a posteriori, où un modèle génère une trace de raisonnement conditionnée à la fois par le contexte et l'action de vérité terrain.

Les auteurs soutiennent que cette approche est fondamentalement flawed pour la modélisation des utilisateurs. Bien que de telles traces garantissent de justifier l'action observée, elles constituent souvent des sauts logiques ou des décisions arbitraires qui ne codifient pas les chemins de décision causaux latents sous-jacents. Dans des contextes de langage naturel ouverts, une rationalisation peut être cohérente avec une action (par exemple, « J'avais soif » justifiant la commande de jus d'orange) sans expliquer le choix spécifique (par exemple, « J'aime le jus d'orange » par opposition à l'eau). Par conséquent, ces traces échouent à capturer le véritable raisonnement latent de l'utilisateur ($r^*$), limitant leur utilité pour la prédiction en aval. De plus, un simple échantillonnage par rejet (générer un raisonnement jusqu'à ce que l'action correcte soit produite) est irréalisable dans des espaces de langage naturel libres et de haute dimension.

Méthodologie : RECON

Pour combler le fossé entre la rationalisation a posteriori et le véritable raisonnement, les auteurs proposent RECON (Synthèse de raisonnement guidée par la reconstruction). L'idée centrale est qu'un raisonnement utile devrait naturellement faire émerger l'action à partir du contexte, plutôt que de simplement justifier un résultat prédéterminé. RECON évalue les traces de raisonnement candidates en fonction de leur fidélité de reconstruction de l'action.

Le pipeline RECON fonctionne comme suit :

1. Génération de candidats : Étant donné un contexte $c$ et une action de vérité terrain $a^*$, un modèle de raisonnement $M_r$ génère $N$ traces de raisonnement candidates $\{\hat{r}_i\}$. Celles-ci sont initialement conditionnées par $(c, a^*)$, de manière similaire à la rationalisation standard.
2. Reconstruction de l'action : Un modèle d'action $M_a$ est sollicité avec le contexte $c$ et une trace de raisonnement candidate $\hat{r}_i$ (sans l'action de vérité terrain) pour générer une action reconstruite $\hat{a}_i = M_a(c, \hat{r}_i)$.
3. Notation : La qualité de $\hat{r}_i$ est déterminée par l'alignement entre l'action reconstruite $\hat{a}_i$ et l'action de vérité terrain $a^*$. Cela est évalué par un juge LM selon trois dimensions : style, intention et valeurs.
4. Application : Les scores de reconstruction sont utilisés de deux manières distinctes :
   • RECON-Select (sans entraînement) : La méthode échantillonne plusieurs candidats et sélectionne celui ayant le score d'alignement de reconstruction le plus élevé pour augmenter le corpus de récupération pour l'apprentissage en contexte.
   • RECON-GRPO (basé sur l'entraînement) : Le score d'alignement de reconstruction sert de signal de récompense pour entraîner un synthétiseur de raisonnement en utilisant l'optimisation de politique relative par groupes (GRPO). Ici, le modèle de raisonnement $M_r$ agit comme un « conseiller » pour un modèle d'action $M_a$ figé, apprenant à produire des traces de raisonnement qui facilitent une reconstruction précise de l'action.

Contributions clés

1. Cadre RECON : Introduction d'une méthode utilisant la reconstruction d'action comme substitut traitable à l'échantillonnage par rejet pour évaluer le raisonnement synthétisé dans la modélisation des utilisateurs.
2. Stratégies de synthèse duales : Démonstration de l'efficacité de RECON à travers à la fois la sélection sans entraînement (RECON-Select) et l'optimisation basée sur l'entraînement (RECON-GRPO).
3. Transférabilité et interprétabilité : Preuve que les traces de raisonnement synthétisées via RECON sont transférables entre différentes familles de modèles et améliorent les performances de modélisation des utilisateurs au-delà du modèle de reconstruction spécifique utilisé lors de la synthèse.

Résultats expérimentaux

Les auteurs ont évalué RECON sur quatre domaines : les plaidoiries orales de la Cour suprême des États-Unis, les questions au Premier ministre du Royaume-Uni (PMQ), les podcasts et les conversations Reddit. L'évaluation impliquait un pipeline de génération augmentée par récupération (RAG) où un modèle d'action prédit les réponses des utilisateurs en utilisant des paires contexte-action augmentées.

• Performance par rapport aux bases de référence : RECON-Select a constamment surpassé la base de référence standard Synthèse rétrograde (rationalisation a posteriori).
  • En utilisant Qwen3-8B, RECON-Select a atteint un taux de victoire global de 54,7 %.
  • En utilisant GPT-5-mini, RECON-Select a atteint un taux de victoire global de 53,5 %.
  • En revanche, la base de référence E2E-GRPO (entraînement d'un modèle pour générer directement raisonnement et action pour la précision de l'action) a mal performé, n'atteignant qu'un taux de victoire de 38,4 %, suggérant que l'optimisation uniquement pour la précision de l'action ne produit pas de raisonnement transférable.
• Entraînement avec les récompenses RECON : Lorsque RECON-GRPO a été utilisé pour entraîner des modèles de raisonnement, les taux de victoire se sont considérablement améliorés, atteignant jusqu'à 70,0 % (spécifiquement pour des modèles plus petits comme Qwen3-4B sur le domaine PMQ).
• Transfert inter-modèles : Des expériences échangeant les modèles de raisonnement et d'action (par exemple, en utilisant un raisonnement GPT-5-mini avec une génération d'action Qwen3-8B) ont montré que les traces de raisonnement RECON-Select restent utiles, atteignant un taux de victoire de 52,4 %. Cela indique que la méthode récupère les caractéristiques latentes de l'utilisateur plutôt que des artefacts spécifiques au modèle.
• Analyse dimensionnelle : Les améliorations étaient cohérentes à travers le style, l'intention et les valeurs, indiquant que RECON capture des caractéristiques de haut niveau de l'utilisateur, et non seulement des patterns linguistiques de surface.

Importance et affirmations

L'article affirme que la rationalisation a posteriori est insuffisante pour la synthèse de raisonnement dans la modélisation des utilisateurs. Les auteurs soutiennent que le raisonnement utile et interprétable doit être évalué par ses conséquences causales — spécifiquement, sa capacité à faire émerger naturellement l'action observée à partir du contexte — plutôt que par sa cohérence de surface avec l'action.

RECON fournit une « instantiation traitable » de ce principe. En priorisant le raisonnement qui reconstruit avec succès l'action, la méthode génère des traces qui approximent mieux le processus de raisonnement latent de l'utilisateur ($r^*$). Les résultats suggèrent que cette approche améliore la fidélité de la simulation utilisateur dans des environnements de langage naturel bruyants et de haute dimension, offrant une voie vers des modèles d'utilisateurs plus interprétables et prédictifs sans dépendre d'étiquettes de préférence contrôlées. Les auteurs notent des limites, notamment le coût computationnel de l'étape de reconstruction et le fait que RECON opère toujours sur des rationalisations conditionnées par l'action de vérité terrain, laissant la génération de raisonnement conditionnée uniquement par le contexte comme une direction pour les travaux futurs.