Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions

Ce papier présente RealPref, un nouveau benchmark conçu pour évaluer la capacité des modèles de langage à suivre des préférences utilisateurs complexes et implicites sur de longues interactions, révélant ainsi une baisse significative de performance à mesure que le contexte s'allonge et que les préférences deviennent moins explicites.

L'essentiel

🎭 Le Problème : Le Mémoricien qui Oublie

Imaginez que vous avez un assistant personnel très intelligent, un robot nommé "LLM" (comme un super-cerveau). Vous passez des mois à discuter avec lui. Vous lui racontez que vous détestez les films d'horreur, que vous préférez les restaurants où l'on peut danser, et que vous avez une allergie secrète aux arachides.

Le problème ? La plupart de ces robots sont comme des amnesiques de génie.

• Si vous leur demandez : "Que veux-tu manger ?", ils répondent avec des généralités (pizza, sushi...) parce qu'ils ne se souviennent pas de votre histoire.
• Si vous leur dites : "Je n'aime pas les films d'horreur", ils l'oublient dès que la conversation change de sujet pendant 5 minutes.
• Si vous exprimez vos goûts de manière subtile (par exemple, en disant "J'adore les ambiances calmes" au lieu de "Je déteste les films bruyants"), ils ne comprennent pas le sous-entendu.

Les chercheurs se sont demandé : "Est-ce que ces robots peuvent vraiment nous connaître sur le long terme, comme un vrai ami ?"

🛠️ La Solution : Le Terrain de Jeu "RealPref"

Pour tester cela, les chercheurs ont créé un nouveau jeu appelé RealPref. C'est comme un gymnase d'entraînement pour ces robots, mais avec des règles très strictes pour simuler la vie réelle.

Voici comment ils ont construit ce gymnase :

1. 100 Personnages Réalistes : Ils ont créé 100 profils d'utilisateurs fictifs (comme "Alex, le blogueur de musique" ou "Emma, la maquilleuse"). Chaque personne a une vie, des souvenirs et des habitudes.
2. Des Secrets Cachés : Au lieu de dire "J'aime le chocolat", ces personnages cachent leurs préférences dans des conversations sur plusieurs semaines.
   • Exemple : Au lieu de dire "Je déteste le sport en salle", Emma raconte une histoire sur comment elle s'ennuie sur un tapis de course, mais qu'elle adore danser en ville. Le robot doit comprendre le message caché.
3. Le Mur de l'Oubli (Contexte Long) : C'est le vrai défi. Les chercheurs ont ajouté des milliers de pages de conversations inutiles (météo, blagues, questions techniques) entre le moment où le robot apprend un secret et le moment où il doit l'utiliser. C'est comme chercher une aiguille dans une botte de foin géante.

🧪 Le Test : Comment on évalue les robots ?

Les chercheurs ont posé trois types de questions aux robots pour voir s'ils ont vraiment écouté :

1. Le QCM (Choix Multiple) : "Que manger ?" avec 4 options.
   • Le piège : Parfois, les robots devinent la bonne réponse juste parce que les autres options sont bizarres, sans avoir vraiment écouté l'utilisateur. C'est comme tricher à un examen en regardant les réponses des autres.
2. Vrai ou Faux : "Est-ce que ce plat convient à Emma ?"
   • C'est plus difficile. Le robot ne peut pas comparer les options, il doit juste juger une seule idée.
3. La Question Ouverte : "Donne-moi une idée de sortie."
   • C'est le test ultime. Le robot doit inventer une réponse qui respecte exactement les goûts d'Emma, sans qu'on lui rappelle ses préférences.

📉 Ce qu'ils ont découvert (Les Résultats)

Les résultats sont un peu décevants, mais très révélateurs :

• La mémoire s'efface avec la distance : Plus la conversation est longue (plus il y a de "pages" à lire), moins le robot se souvient des préférences. C'est comme si le robot avait une mémoire d'éléphant, mais qui s'essouffle après 100 kilomètres.
• Le langage subtil est un mur : Si l'utilisateur dit clairement "Je n'aime pas ça", le robot comprend. Mais si l'utilisateur dit "Je préfère l'ambiance d'un café calme", le robot rate souvent le coup. Il a du mal à lire entre les lignes.
• L'effet "Nouveau Monde" : Même si le robot a compris que vous aimez le "calme", il a du mal à appliquer cette règle à une situation qu'il n'a jamais vue (par exemple, choisir un livre calme alors qu'il ne vous a jamais parlé de livres).
• Les astuces fonctionnent (un peu) : Ajouter un petit rappel ("N'oublie pas ce que j'ai dit plus tôt") ou utiliser une "mémoire externe" (comme un index de livres) aide le robot, mais ne résout pas tout le problème.

💡 La Conclusion : Vers un Vrai Compagnon

En résumé, RealPref nous dit que nos assistants actuels sont de brillants calculateurs, mais de mauvais amis. Ils sont excellents pour répondre à une question précise, mais ils peinent à construire une relation à long terme où ils se souviennent de qui vous êtes vraiment.

Pour l'avenir, les chercheurs disent qu'il faut travailler sur deux choses :

1. La mémoire à long terme : Faire en sorte que le robot ne perde pas le fil après 100 pages de conversation.
2. L'intuition : Apprendre au robot à comprendre ce que vous voulez dire, même si vous ne le dites pas directement.

L'objectif final ? Créer un assistant qui ne se contente pas de répondre, mais qui vous connaît, vous comprend et s'adapte à vous, jour après jour, comme un véritable compagnon de vie.

Résumé technique

1. Problématique et Contexte

Les Grands Modèles de Langage (LLM) sont de plus en plus utilisés comme assistants personnels. Cependant, l'évaluation de leur capacité à suivre les préférences des utilisateurs dans des scénarios réalistes et à long terme reste sous-exploitée. Les travaux existants souffrent de trois limitations majeures :

• Contexte simplifié : Ils se concentrent sur des dialogues courts, souvent centrés sur une seule instruction de personnalisation explicite, plutôt que sur des interactions complexes et durables.
• Expressions de préférences trop directes : Ils négligent le fait que les préférences réelles sont souvent implicites, dispersées dans le temps et exprimées via des indices émotionnels ou contextuels, et non par des déclarations directes.
• Méthodologies d'évaluation limitées : Les tâches de classification existantes divergent des interactions naturelles, tandis que les tâches de génération manquent de critères fiables pour évaluer la qualité des réponses.

L'objectif principal est de déterminer si les LLMs peuvent : (1) capturer les préférences à partir d'expressions complexes, (2) les retenir et les suivre sur de longs contextes, et (3) généraliser cette compréhension à des scénarios inédits.

2. Méthodologie : Le Benchmark RealPref

Les auteurs proposent RealPref, un benchmark complet conçu pour simuler la complexité des interactions utilisateur-LLM réelles.

A. Construction du Dataset

• Profil Utilisateur : 100 profils d'utilisateurs curatés, comprenant une identité, des données démographiques et une biographie détaillée avec des événements de vie (diplômes, carrières, etc.).
• Préférences : Chaque utilisateur possède 10 préférences « originales » (générées à partir du profil) et 3 préférences « généralisées » (déduites logiquement des originales pour tester la capacité de généralisation). Au total, 1300 paires préférence-requête.
• Expressions de Préférences : Quatre types d'expressions sont simulés, allant du plus explicite au plus implicite :
  1. Déclaration directe : L'utilisateur énonce sa préférence explicitement.
  2. Mention contextualisée : La préférence est mentionnée explicitement au milieu d'un dialogue sur un autre sujet.
  3. Expression stylistique implicite : La préférence est suggérée via des métaphores, des questions rhétoriques ou des contrastes, sans mots-clés explicites.
  4. Feedback d'expérience : La préférence est révélée progressivement sur plusieurs sessions via le partage d'expériences passées.
• Contexte Long : Les conversations sont structurées en sessions multiples (événements de vie, discussions aléatoires, expression de préférences) pour créer des contextes allant jusqu'à 247 000 tokens, avec des conversations aléatoires insérées pour diluer l'information pertinente.

B. Cadre d'Évaluation

Le benchmark utilise trois types de tâches :

1. Choix Multiple (MCQ) : Souvent sujet à des biais (le modèle peut deviner la réponse en éliminant les options).
2. Vrai ou Faux : Une tâche de classification plus robuste où le modèle doit valider une seule option proposée.
3. Questions Ouvertes (Génération) : Le modèle doit générer une réponse proactive alignée sur les préférences.

Pour les réponses ouvertes, une évaluation par LLM-as-a-judge (Claude Sonnet 4) est utilisée avec une grille de notation détaillée sur trois dimensions (échelle 1-5) :

• Conscience des préférences : Le modèle mentionne-t-il et comprend-il les préférences ?
• Alignement des préférences : Le contenu de la réponse respecte-t-il les préférences (ex: éviter ce que l'utilisateur déteste) ?
• Qualité de la réponse : L'utilité et la constructivité de la réponse.

3. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (GPT-5, GPT-5 mini, Qwen3, Gemini 2.5, Llama 3.3) avec des configurations Zero-shot et des méthodes d'amélioration (Rappel, Chain-of-Thought, RAG).

• Impact du type de tâche : Les questions de type « Vrai ou Faux » sont plus fiables que les MCQs pour éviter les biais de déduction. Les tâches de génération sont essentielles pour distinguer les modèles capables d'adaptation proactive de ceux qui ne font que sélectionner passivement.
• Impact de l'expression des préférences : Les performances chutent significativement lorsque les préférences passent de l'explicite à l'implicite. Les modèles peinent particulièrement à interpréter les indices stylistiques et les feedbacks d'expérience dispersés.
• Effet de la longueur du contexte : Il existe une corrélation négative forte entre la longueur du contexte et la performance. À mesure que le contexte s'allonge (jusqu'à 247K tokens), la capacité des modèles à retenir et à appliquer les préférences diminue, surtout pour les préférences implicites.
• Généralisation : Les modèles ont du mal à généraliser les préférences originales à des scénarios inédits (préférences généralisées). Bien que l'ajout d'un rappel (Reminder) aide, les performances restent inférieures à celles obtenues sur les préférences originales.
• Méthodes d'amélioration :
  • Le Reminder (rappel simple) est efficace et peu coûteux.
  • Le Few-shot Chain-of-Thought apporte des gains modérés.
  • La Génération Augmentée par la Récupération (RAG) s'avère être la méthode la plus efficace, en particulier pour les contextes très longs dépassant la fenêtre de récupération native des modèles.

4. Contributions Clés

1. RealPref Dataset : Un ensemble de données centré sur l'utilisateur avec des dialogues à long horizon, intégrant des préférences de divers types (explicites à implicites) et des scénarios de généralisation.
2. Protocole d'Évaluation : Un cadre multi-facettes combinant classification et génération, soutenu par des grilles de notation systématiques pour évaluer la qualité des réponses ouvertes.
3. Analyse Empirique : Des résultats démontrant que les LLMs actuels manquent de proactivité dans le rappel des préférences et souffrent d'une dégradation significative des performances face à la complexité contextuelle et à l'implicite.

5. Signification et Perspectives

Ce travail met en lumière un écart critique entre les capacités actuelles des LLMs et les besoins réels d'assistants personnels adaptatifs. Il suggère que la simple augmentation de la fenêtre de contexte ne suffit pas ; il faut développer des mécanismes de raisonnement capables d'inférer des préférences implicites et de les généraliser.

Limites et Futur :

• Les données sont synthétiques (bien que rigoureusement contrôlées), ce qui peut ne pas capturer toute la complexité du comportement humain.
• Des travaux futurs devraient explorer des contextes multimodaux, des préférences dynamiques changeantes, et des formes de feedback utilisateur plus riches (ex: pouces en haut/bas).
• L'extension des critères d'évaluation pour inclure l'équité, la vie privée et la transparence est recommandée pour aligner ces assistants sur les principes d'une IA responsable.

En conclusion, RealPref fournit une base fondamentale pour le développement de futurs assistants LLM plus conscients de l'utilisateur, capables de s'adapter aux besoins individuels dans des interactions réalistes et durables.