Optimizing User Profiles via Contextual Bandits for Retrieval-Augmented LLM Personalization

---

1. Problématique

L'adaptation des Grands Modèles de Langage (LLM) aux préférences individuelles des utilisateurs reste un défi majeur. Les approches existantes se divisent en deux catégories principales, chacune présentant des limites :

• Le fine-tuning (ex: RLHF, LoRA) : Bien qu'efficace, il est coûteux en calcul, nécessite des mises à jour fréquentes et pose des problèmes de sécurité et de déploiement à grande échelle, surtout pour des modèles non open-source.
• L'augmentation par récupération (RAG) : Cette méthode légère injecte l'historique de l'utilisateur dans le contexte du modèle. Cependant, les stratégies actuelles reposent sur des heuristiques de sémantique (similarité lexicale ou sémantique avec la requête).

Le problème central identifié par les auteurs : La pertinence (relevance) n'est pas un proxy fiable de l'utilité (utility).

• Un enregistrement peut être sémantiquement similaire à la requête mais inutile, voire nuisible, s'il est redondant ou conflictuel avec l'intention réelle de l'utilisateur.
• La sélection des enregistrements est souvent traitée de manière gourmande (greedy) et indépendante, ignorant que l'utilité d'un ensemble de documents est non monotone : l'ajout d'un document utile peut dégrader la génération s'il entre en conflit avec d'autres documents déjà sélectionnés.

L'objectif est donc de construire un profil utilisateur (un sous-ensemble ordonné d'enregistrements) qui maximise la qualité de la génération personnalisée, en tenant compte des dépendances complexes entre les documents.

2. Méthodologie : Le Framework PURPLE

Les auteurs proposent PURPLE (Profile User Ranking via Plackett-Luce for Enhanced LLM Personalization), un cadre basé sur les bandits contextuels.

A. Formulation du problème

Le problème est modélisé comme un bandit contextuel où :

• Contexte ($C$) : La requête actuelle ($x$) et l'ensemble des enregistrements historiques de l'utilisateur ($H$).
• Action ($P$) : La sélection d'un profil $P$, défini comme un tuple ordonné de $K$ enregistrements distincts choisis parmi $H$. L'ordre est crucial car il influence l'entrée du LLM.
• Récompense ($R$) : La qualité de la réponse générée par le LLM (figé) conditionnée par le profil $P$ et la requête $x$, comparée à une réponse de référence ($y$).

B. Architecture du Modèle

Le modèle apprend une politique $\pi_\theta$ pour sélectionner les meilleurs profils.

1. Encodeur d'enregistrements ($f_\theta$) :
   • Utilise un encodeur pré-entraîné (Contriever) pour obtenir des embeddings.
   • Applique une attention croisée au niveau des tokens entre la requête et chaque enregistrement pour fusionner l'information.
   • Utilise un encodeur Transformer pour modéliser les dépendances inter-enregistrements (redondance, complémentarité) sans biais de positionnement.
2. Modèle de classement (Plackett-Luce) :
   • Contrairement aux modèles de classement point-par-point, PURPLE utilise le modèle Plackett-Luce pour attribuer des probabilités à des permutations d'enregistrements.
   • Cela permet de capturer les interactions complexes entre les documents et de générer un ordre optimal, pas seulement une liste de scores.
3. Fonction de Récompense :
   • Au lieu d'utiliser des métriques de tâche (ex: ROUGE, Précision), PURPLE utilise le log-vraisemblance que le LLM attribue à la réponse de référence.
   • $R = \log p_\phi(y | P, x)$.
   • Cette récompense est plus riche sémantiquement et permet de distinguer des profils qui produisent des métriques finales similaires mais des nuances stylistiques différentes.

C. Entraînement

• L'optimisation se fait via descente de gradient de politique (Policy Gradient).
• Étant donné l'espace d'action combinatoire (toutes les permutations), le gradient est estimé en échantillonnant $M$ profils (ex: 32) et en utilisant l'estimateur de gradient par rapport au rapport de vraisemblance.
• La normalisation Z-score est appliquée aux récompenses pour stabiliser l'entraînement.

3. Contributions Clés

1. Formulation novatrice : Introduction de PURPLE, qui traite la construction de profils utilisateurs comme un problème de bandit contextuel, optimisant directement l'utilité de génération plutôt que la simple pertinence sémantique.
2. Modélisation des dépendances : Utilisation du modèle Plackett-Luce pour gérer l'ordre et les interactions non additives entre les enregistrements, résolvant le problème de la sélection gourmande.
3. Récompense basée sur la vraisemblance : Démonstration que l'utilisation du log-vraisemblance de la réponse de référence comme signal de récompense est supérieure aux métriques de tâche traditionnelles pour l'entraînement de récupérateurs.
4. Validation empirique : Résultats robustes sur neuf tâches de personnalisation (classification, régression, génération de texte court et long).

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks LaMP et LongLaMP avec différents LLMs figés (Phi-4-Mini, Llama-3-8B, Llama-3-70B).

• Performance globale : PURPLE surpasse systématiquement les méthodes de base (BM25, Contriever), les modèles de réordonnancement zero-shot (RankGPT, ICR) et les modèles RALM contextuels (IC-RALM, REPLUG) sur tous les types de tâches et tailles de modèles.
• Efficacité : PURPLE offre un meilleur compromis performance/débit que les méthodes utilisant de gros LLMs pour le réordonnancement (comme RankGPT), car il est entraîné spécifiquement pour la tâche et utilise un modèle plus petit.
• Tâches de régression : Même avec une récompense basée sur la vraisemblance (non conçue pour la régression), PURPLE obtient des gains significatifs sur la tâche de notation de produits, prouvant la généralité du signal de récompense.
• Études d'ablation :
  • L'attention croisée au niveau des tokens et la modélisation des dépendances inter-enregistrements sont essentielles (supprimer l'un ou l'autre fait chuter les performances).
  • La récompense basée sur la vraisemblance est nettement supérieure aux métriques de tâche (Accuracy/ROUGE) pour l'entraînement.
• Évaluation humaine : Sur la tâche de paraphrase de tweets, PURPLE est préféré par les évaluateurs humains à 57,2 % contre 42,8 % pour le meilleur concurrent (ICR), notamment pour sa capacité à capturer le style, le ton et le jargon de l'utilisateur.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la personnalisation des LLMs :

• Dépassement de la pertinence sémantique : Il démontre que pour la personnalisation, ce qui compte n'est pas ce qui ressemble le plus à la requête, mais ce qui sert le mieux l'intention de l'utilisateur dans un contexte global.
• Approche holistique : En traitant le profil comme une entité ordonnée et interdépendante plutôt qu'une simple collection de documents, PURPLE évite les interférences négatives.
• Scalabilité : La méthode offre une solution légère, transparente et évolutive pour la personnalisation en temps réel, sans nécessiter de fine-tuning coûteux des modèles de fondation.

En conclusion, PURPLE établit une nouvelle norme pour l'optimisation des profils utilisateurs, prouvant que l'apprentissage par renforcement (bandits contextuels) couplé à une récompense sémantique riche est la voie à suivre pour des LLMs véritablement personnalisés.