HorizonBench: Long-Horizon Personalization with Evolving Preferences

1. Problématique : La Personnalisation à Long Terme et l'Évolution des Préférences

Le papier identifie une lacune critique dans les modèles de langage actuels (LLM) : leur incapacité à suivre l'évolution des préférences d'un utilisateur sur de longues périodes d'interaction (plusieurs mois).

• Définition du problème : La "personnalisation à long horizon" ne consiste pas seulement à récupérer des préférences statiques, mais à inférer quand une préférence déclarée a été modifiée par un événement de vie ultérieur (ex: un changement de carrière, un déménagement, un événement personnel).
• Le défi actuel : Les benchmarks existants se concentrent sur des préférences fixes ou sur des changements d'information sans mécanisme causal clair. Ils ne permettent pas de distinguer deux types d'échecs :
  1. Échec de récupération : Le modèle n'a pas trouvé l'information dans le contexte.
  2. Échec de mise à jour de croyance (Belief-Update Failure) : Le modèle récupère la préférence originale mais échoue à l'adapter aux nouveaux événements de vie, restant "ancré" sur l'état passé.
• Limitation des données réelles : Dans les données d'interaction réelles, l'état mental sous-jacent de l'utilisateur n'est jamais observable directement, rendant impossible la connaissance de la "vérité terrain" (ground truth) sur le moment et la raison exacts d'un changement de préférence.

2. Méthodologie et Architecture

Pour surmonter ces limites, les auteurs ont développé une approche générative inversée, partant d'un état mental structuré pour produire des conversations, plutôt que l'inverse.

A. Générateur de Données et Graphes d'État Mental

Le cœur de la méthodologie est un générateur de données qui construit des conversations à partir d'un graphe d'état mental structuré (Mental State Graph).

• Structure du graphe : Il représente le profil de l'utilisateur, ses connexions sociales, les événements de vie et les préférences.
• Évolution causale : Les préférences sont liées par des arêtes de dépendance typées. Un événement de vie (ex: devenir PDG) déclenche une propagation de changements à travers le graphe (ex: changement de style de communication, de besoins émotionnels).
• Traçabilité : Chaque changement de préférence est enregistré avec son événement déclencheur et sa provenance, créant une vérité terrain parfaite pour l'évaluation.
• Gestion de l'expression : Le système sépare le moment où une préférence évolue du moment où elle est exprimée dans la conversation. Cela permet de créer des scénarios où la préférence a changé mais n'a pas été redéclarée, forçant le modèle à inférer le changement à partir du contexte.

B. Construction du Benchmark HORIZONBENCH

À partir de ce générateur, les auteurs ont construit HORIZONBENCH :

• Échelle : 4 245 items de test issus de 360 utilisateurs simulés.
• Longueur : Des historiques de conversation de 6 mois, avec une moyenne de ~4 300 tours de parole et ~163 000 tokens par utilisateur.
• Format de test : Questions à choix multiples (5 options).
  • Une réponse correcte alignée sur la préférence actuelle (évolue).
  • Une réponse "distracteur dur" (hard-negative distractor) basée sur la préférence originelle (avant l'évolution).
  • Trois autres réponses plausibles mais incorrectes.
• Filtrage rigoureux : Un filtre de consensus à 5 LLMs (sans l'historique complet) élimine les items où la réponse pourrait être devinée sans tout l'historique, garantissant que la tâche nécessite une véritable compréhension de l'évolution.
• Dimensions contrôlées : Le benchmark permet de varier indépendamment :
  1. Le statut d'évolution (préférence statique vs évolutive).
  2. L'explicitation de l'expression (directe vs implicite).
  3. La longueur du contexte.

3. Résultats Expérimentaux

Les auteurs ont évalué 25 modèles de pointe (OpenAI, Google Gemini, Anthropic Claude) sur HORIZONBENCH.

• Performance globale médiocre : Le meilleur modèle (Claude-opus-4.5) n'atteint que 52,8 % de précision. La majorité des modèles (10 sur 25) obtiennent un score inférieur à la baseline aléatoire de 20 %.
• Preuve de l'échec de mise à jour de croyance :
  • Lorsque les modèles se trompent sur des préférences évoluées, ils sélectionnent le distracteur pré-évolution (la réponse basée sur l'ancienne préférence) à un taux significativement supérieur au hasard (plus de 33 % des erreurs, contre 25 % attendu).
  • Cela démontre que les modèles récupèrent souvent l'information mais échouent à l'actualiser face aux nouveaux événements.
• Impact de la longueur du contexte :
  • Contrairement à l'hypothèse selon laquelle la difficulté viendrait uniquement de la mémoire à long terme, l'écart de performance entre préférences statiques et évolutives s'aggrave même sur des horizons courts (0-14 jours).
  • Cela confirme que le problème est un déficit de suivi d'état (state-tracking) et non simplement un problème de capacité de contexte.
• Impact de l'explicitation :
  • Bien que les préférences implicites soient plus difficiles à traiter globalement, l'échec de mise à jour de croyance persiste même lorsque les préférences sont exprimées de manière très explicite.

4. Contributions Clés

1. Générateur de données "State-First" : Une méthode innovante qui génère des conversations à partir d'un graphe d'état mental structuré, fournissant une vérité terrain complète sur l'évolution des préférences, ce qui est impossible avec des données naturelles.
2. HORIZONBENCH : Le premier benchmark diagnostique capable de distinguer l'échec de récupération de l'échec de mise à jour de croyance grâce à l'utilisation de distracteurs pré-évolution et de dimensions contrôlées.
3. Identification d'un déficit spécifique : La découverte que l'incapacité à mettre à jour les croyances (belief-update failure) est un goulot d'étranglement majeur, persistant à travers les familles de modèles, les longueurs de contexte et les niveaux d'explicitation.

5. Signification et Implications

Ce travail remet en question l'efficacité des architectures actuelles pour les agents conversationnels à long terme.

• Au-delà de la mémoire : Il ne suffit pas d'avoir une fenêtre de contexte plus grande ou une meilleure récupération d'information (RAG). Les modèles doivent développer des capacités de théorie de l'esprit et de suivi d'état dynamique pour comprendre comment les événements de vie modifient les préférences.
• Directions futures : Les auteurs suggèrent que les solutions prometteuses incluent des représentations explicites des états de préférence mises à jour lors des événements de vie, et des stratégies de récupération qui surfacent non seulement les préférences déclarées, mais aussi les événements susceptibles de les avoir modifiées.
• Ressources ouvertes : Le générateur, le benchmark et les graphes d'état mental sous-jacents sont publiés pour permettre à la communauté de développer et d'évaluer des méthodes de personnalisation à long terme.

En résumé, HORIZONBENCH démontre que la personnalisation à long terme est un problème de gestion d'état mental bien plus que de simple mémoire, et que les modèles actuels échouent systématiquement à mettre à jour leurs croyances sur les utilisateurs face à l'évolution de leur vie.