Résumé technique : Pathways of Thoughts pour la réponse personnalisée de longue forme

Formulation du problème

Le document traite du défi de la Réponse aux Questions Personnalisée (QA), spécifiquement dans le contexte de la génération de contenu de longue forme. Bien que la personnalisation soit bien étudiée dans la recherche et la recommandation, elle reste sous-explorée dans le domaine de la QA en raison de deux difficultés majeures :

1. Inférence à partir d'un contexte bruité : Les préférences des utilisateurs sont souvent implicites et doivent être déduites de profils utilisateurs longs, bruités et non structurés (par exemple, les questions passées et les récits).
2. Alignement avec les attentes de l'utilisateur : Une réponse peut être factuellement exacte mais échouer à satisfaire un utilisateur si elle ne s'aligne pas sur son bagage spécifique, son style d'apprentissage ou ses préférences.

Les approches actuelles reposent souvent sur l'ajustement fin (fine-tuning) des grands modèles de langage (LLM) avec les données de l'utilisateur. Cependant, cela est fréquemment irréalisable car de nombreux LLM sont des boîtes noires aux paramètres gelés, et le fine-tuning nécessite des ressources de calcul substantielles et des données personnelles pour chaque utilisateur. Par conséquent, les auteurs se concentrent sur des stratégies au stade de l'inférence qui peuvent améliorer la personnalisation sans nécessolement nécessiter d'entraînement supplémentaire du modèle.

Méthodologie : Pathways of Thoughts (PoT)

Les auteurs proposent Pathways of Thoughts (PoT), une méthode générique de stade d'inférence applicable à n'importe quel LLM. PoT modélise le processus de pensée comme un processus de décision itératif, permettant au modèle d'explorer plusieurs trajectoires de raisonnement avant de générer une réponse finale.

1. La pensée comme un processus de décision markovien (MDP)

PoT formalise la génération d'une réponse comme un MDP où le LLM agit à la fois comme l'agent et l'environnement :

• État ($S$) : L'état consiste en la concaténation de la question de l'utilisateur, du profil de l'utilisateur, et de la séquence d'actions et de sorties générées jusqu'à présent.
• Actions ($A$) : L'agent choisit parmi un ensemble prédéfini d'opérations cognitives à chaque étape. Celles-ci incluent :
  • Planification (Planning) : Générer un plan étape par étape pour répondre à la question.
  • Raisonnement (Reasoning) : Réfléchir étape par étape à des aspects spécifiques de la question.
  • Personnalisation (Personalization/Personalizing) : Vérifier si une personnalisation est nécessaire et extraire le contexte utilisateur pertinent.
  • Clarification (Clarifying) : Identifier les ambiguïtés dans la question.
  • Synthèse (Summarizing) : Consolider les informations disponibles.
  • Réponse/Révision/Finalisation (Answering/Revising/Finalizing) : Générer, affiner ou conclure la réponse.
• Transition : Le LLM exécute l'action sélectionnée, mettant à jour l'état avec la nouvelle sortie. Cette boucle continue jusqu'à ce qu'une action de "finalisation" soit choisie ou qu'une limite d'étapes maximale ($T$) soit atteinte.

2. Pensée multidirectionnelle

Pour éviter de converger vers une trajectoire de raisonnement unique et potentiellement sous-optimale, PoT génère $N$ trajectoires de pensée distinctes. La diversité de ces trajectoires est obtenue grâce à deux mécanismes :

• Altération de l'état initial : Sélectionner aléatoirement des sous-ensembles du profil utilisateur pour créer différents contextes initiaux pour la phase de planification.
• Variation de l'action de planification : Utiliser une température d'échantillonnage plus élevée lors de l'action de "planification" pour générer des plans stratégiques diversifiés à partir du même état initial.

3. Agrégation de réponses

Une fois que $N$ trajectoires ont produit $N$ réponses candidates ($R_{PoT}$), le système les agrège en une seule réponse finale ($\hat{y}_u$). Le document compare deux stratégies d'agrégation :

• Best-of-N : Le LLM sélectionne la meilleure réponse unique parmi les candidates en se basant sur les préférences utilisateur extraites.
• Mixture-of-N : Le LLM synthétise une nouvelle réponse en combinant les forces de toutes les réponses candidates. Cette approche imite la résolution de problèmes humaine en intégrant des perspectives diverses. Le document identifie Mixture-of-N comme la méthode supérieure pour la génération de texte ouvert.

Le processus d'agrégation est guidé par une étape intermédiaire où le LLM extrait des aspects importants ($I_u$) du profil de l'utilisateur pour garantir que la sortie finale s'aligne sur les besoins spécifiques de l'utilisateur.

Contributions clés

1. Personnalisation au stade de l'inférence : Le document introduit une méthode pour améliorer la personnalisation sans fine-tuning, ce qui la rend applicable aux LLM de type "boîte noire" ou à ressources limitées.
2. Cadre de raisonnement basé sur les MDP : Il adapte les processus de décision markoviens à la génération de texte libre, traitant le LLM à la fois comme le décideur et l'exécuteur des opérations cognitives.
3. Exploration multidirectionnelle : En explorant plusieurs trajectoires de raisonnement et en les agrégeant, la méthode capture des forces complémentaires qu'un seul chemin de raisonnement pourrait manquer.
4. Évaluation complète : L'approche est rigoureusement testée sur le benchmark LaMP-QA, couvissant trois domaines divers : Art & Divertissement, Style de vie & Développement personnel, et Société & Culture.

Résultats expérimentaux

Les expériences ont été menées en utilisant Gemini 1.5 Pro et GPT-4o-mini comme modèles de base.

• Gains de performance : PoT a systématiquement surpassé les bases de comparaison compétitives dans toutes les catégories.
  • Comparé à la meilleure base de comparaison (Personnalisation par contexte avec CoT et Best-of-32), PoT a obtenu une amélioration relative de 10,8 % en moyenne.
  • Comparé aux bases de comparaison à inférence unique, PoT a montré une amélioration relative de 7,2 %.
  • Les résultats sont statistiquement significatifs ($p < 0,05$) via des tests t.
• Études d'ablation :
  • Longueur de la trajectoire : La performance s'améliore avec le nombre d'actions jusqu'à une limite de 8 ($T=8$) ; au-delà, la performance décline en raison de la "sur-réflexion" (overthinking).
  • Nombre de trajectoires : Augmenter le nombre de trajectoires ($N$) améliore la performance, bien qu'avec des rendements décroissants à mesure que $N$ devient grand.
  • Agrégation : Mixture-of-N a systématiquement surpassé Best-of-N, confirmant que la synthèse de réponses diverses produit une qualité supérieure à la sélection d'un seul gagnant.
• Généralisabilité : La méthode a démontré son efficacité sur différents LLM de base (Gemini 1.5 Pro et GPT-4o-mini), atteignant une amélioration relative de 9,4 % avec GPT-4o-mini.
• Évaluation humaine : Dans une comparaison côte à côte avec la base la plus forte (Personnalisation par contexte avec CoT & Best-of-32), les annotateurs humains ont préféré PoT dans 66 % des cas, contre 19 % pour la base de comparaison et 15 % d'ex æquo.

Signification et affirmations

Le document affirme que Pathways of Thoughts représente une avancée significative dans la QA personnalisée en permettant aux modèles de "réfléchir" aux préférences de l'utilisateur de manière dynamique pendant l'inférence. Les auteurs soutiennent que le simple fait d'augmenter l'entrée avec le contexte de l'utilisateur est insuffisant ; les modèles doivent plutôt effectuer un raisonnement sur des données bruitées et implicites pour déduire les préférences.

En traitant la pensée comme un processus multidirectionnel, PoT permet au modèle d'explorer diverses stratégies (par exemple, décider de clarifier, de réviser ou de personnaliser) et de les combiner en une réponse cohérente et alignée sur l'utilisateur. Les auteurs positionnent cela comme une solution pratique pour les scénarios réels où le fine-tuning est impossible, offrant un moyen évolutif d'améliorer l'engagement et la satisfaction dans les systèmes de recherche d'information. Le travail suggère que le cadre est généralisable au-delà de la QA à d'autres tâches de génération de texte de longue forme, bien que l'étude actuelle se concentre spécifiquement sur la réponse aux questions personnalisée.