💬 NLP

HORIZON: A Benchmark for In-the-wild User Behaviour Modeling

Le papier présente HORIZON, un nouveau benchmark fondé sur les avis Amazon et couvrant 54 millions d'utilisateurs, qui redéfinit la modélisation des utilisateurs en évaluant leur capacité à généraliser à travers différents domaines, utilisateurs et horizons temporels au-delà des limitations des approches actuelles.

Auteurs originaux : Arnav Goel, Pranjal A Chitale, Bhawna Paliwal, Bishal Santra, Amit Sharma

Publié 2026-04-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Arnav Goel, Pranjal A Chitale, Bhawna Paliwal, Bishal Santra, Amit Sharma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌅 HORIZON : Le nouveau test de conduite pour les robots qui nous connaissent

Imaginez que vous avez un assistant personnel numérique (comme Siri ou un algorithme de recommandation Amazon). Son travail est de deviner ce que vous voudrez acheter ou regarder demain.

Jusqu'à présent, on testait ces assistants avec des examens très simples :

"Voici ce que vous avez acheté hier. Que voulez-vous acheter aujourd'hui ?"
C'est un peu comme apprendre à un enfant à conduire dans un parking vide, à vitesse très lente, avec les mêmes voitures.

Le problème ? Dans la vraie vie, la conduite est chaotique ! Il pleut, il y a des embouteillages, on change de ville, et on rencontre des routes qu'on n'a jamais vues. Les vieux tests ne vérifiaient pas si l'assistant savait vraiment conduire dans ces conditions.

C'est là que HORIZON entre en jeu. C'est un nouveau "grand examen" créé par des chercheurs pour tester ces assistants de manière beaucoup plus réaliste.

1. Le Problème : Les vieux tests étaient trop "coachs" 🏫

Les anciens tests (les benchmarks) avaient trois gros défauts :

Ils étaient trop courts : Ils ne regardaient que les achats de la semaine dernière, pas ceux des 5 dernières années. C'est comme juger un pilote sur un seul virage.
Ils étaient trop spécialisés : Ils séparaient les achats. Un test pour les livres, un autre pour les chaussures. Mais dans la vraie vie, vous achetez des livres, puis des chaussures, puis des outils de jardinage, tout en changeant d'humeur.
Ils trichaient un peu : Ils donnaient souvent les réponses à l'assistant avant même le test. L'assistant apprenait par cœur les réponses au lieu de comprendre vos goûts.

2. La Solution : HORIZON, le terrain de jeu géant 🌍

Les chercheurs ont créé HORIZON en mélangeant tout le catalogue d'Amazon (54 millions de personnes, 35 millions de produits !). C'est comme passer d'un petit parking à un circuit de Formule 1 mondial.

HORIZON teste les assistants sur trois axes difficiles :

Le temps long : "Peux-tu prédire ce que je voudrai dans 2 ans, en me connaissant depuis 10 ans ?"
Les inconnus : "Peux-tu recommander des choses à un nouveau client que tu n'as jamais vu, juste en regardant son historique ?"
Le changement de monde : "Si je passe des livres de cuisine aux outils de bricolage, peux-tu comprendre que mon style de vie a changé ?"

3. Les Résultats : La réalité fait mal (mais c'est bon) 📉

Les chercheurs ont mis à l'épreuve les meilleurs "robots" actuels (y compris les nouvelles intelligences artificielles très puissantes, les LLMs).

Voici ce qu'ils ont découvert, avec des analogies :

Les experts du parking échouent sur l'autoroute : Les modèles qui fonctionnaient parfaitement sur les vieux tests (comme BERT4Rec) se sont effondrés dès qu'on les a mis face à de nouveaux clients ou à des périodes de temps lointaines. C'est comme un pilote qui est champion sur circuit fermé mais qui panique dès qu'il pleut.
Les IA géniales ne sont pas magiques : On pensait que les nouvelles IA (comme les grands modèles de langage) allaient tout résoudre. Résultat ? Elles ne sont pas beaucoup meilleures que les anciennes méthodes pour prédire exactement quel objet vous achèterez. Elles sont très doues pour comprendre le sens des mots, mais moins pour deviner vos achats précis dans un catalogue géant.
Le fossé est grand : Il y a un énorme écart entre ce que les robots savent faire aujourd'hui et ce qu'ils devraient savoir faire pour être vraiment utiles dans la vraie vie.

4. Pourquoi c'est important pour vous ? 🚀

Ce papier ne dit pas "l'IA est nulle". Il dit : "Arrêtons de tricher avec nos tests !"

En créant HORIZON, les chercheurs offrent une boussole pour le futur. Ils disent aux ingénieurs :

"Ne vous contentez pas de faire un robot qui devine votre prochain achat de café. Faites un robot qui comprend votre vie entière, qui s'adapte quand vous changez de travail, de ville ou d'intérêts, et qui reste fiable même s'il ne vous a jamais vu avant."

En résumé :
HORIZON est comme un examen de conduite sur route ouverte pour les algorithmes de recommandation. Il nous montre que nos voitures autonomes actuelles sont encore un peu perdues, mais qu'il existe enfin une carte précise pour les aider à devenir de véritables pilotes de la vie réelle. 🚗💨

1. Problématique et Contexte

Le domaine de la personnalisation et de la recommandation séquentielle fait face à un écart significatif entre les pratiques d'évaluation actuelles et la réalité du déploiement en production.

Limitations des benchmarks existants : La majorité des benchmarks actuels (comme MovieLens, MIND, ou les partitions de catégories d'Amazon Reviews) se concentrent sur des domaines uniques, des sessions courtes et la prédiction du "prochain item" (next-item prediction) dans des conditions de distribution identique (in-distribution). Ils négligent souvent la dimension temporelle à long terme et la diversité des comportements utilisateurs.
Le fossé de généralisation : Les modèles entraînés sur ces données échouent souvent à généraliser à :
1. Différents domaines (cross-domain) : Les utilisateurs interagissent avec des produits hétérogènes (livres, électronique, vêtements) simultanément.
2. De nouveaux utilisateurs (unseen users) : Les benchmarks actuels testent rarement la capacité d'un modèle à comprendre un utilisateur jamais vu durant l'entraînement.
3. Des horizons temporels étendus : Les comportements réels s'étendent sur des années, alors que les évaluations se limitent souvent à des fenêtres temporelles étroites ou à des splits aléatoires qui fuient l'information temporelle (data leakage).

L'article identifie un manque critique d'outils pour évaluer la robustesse des modèles face à ces décalages de distribution (distribution shifts).

2. Méthodologie : Le Benchmark HORIZON

Pour combler ces lacunes, les auteurs proposent HORIZON, un nouveau benchmark open-source, à grande échelle, conçu pour évaluer les modèles de recommandation séquentielle dans des conditions réalistes.

A. Construction du Dataset

Source : HORIZON est une reformulation du jeu de données Amazon Reviews 2023.
Approche : Au lieu de traiter les catégories de produits comme des tâches isolées, les auteurs fusionnent toutes les interactions (54,5 millions d'utilisateurs, 34,5 millions d'articles, 486 millions d'interactions) pour créer des historiques d'utilisateurs unifiés et cross-domain.
Caractéristiques : Le dataset capture des comportements diversifiés, des séquences très longues (certaines dépassant 1 000 timestamps) et une évolution temporelle naturelle sur plusieurs années.

B. Protocole d'Évaluation Proposé

HORIZON introduit un protocole d'évaluation structuré autour de deux axes de généralisation : l'identité de l'utilisateur (vu vs non vu) et le temps (aligné vs extrapolé). En fixant une coupure temporelle stricte ( $\tau = 2020$ ), ils définissent quatre scénarios d'évaluation :

In-Distribution, Aligné Temporellement (1a) : Utilisateurs vus à l'entraînement, évaluation sur la dernière interaction avant 2020 (équivalent au "Leave-One-Out" classique mais temporellement cohérent).
In-Distribution, Extrapolation Temporelle (1b) : Utilisateurs vus à l'entraînement, évaluation sur toutes les interactions après 2020. Teste la capacité à prédire l'évolution des préférences.
Out-of-Distribution (OOD), Utilisateurs Non-Vus, Aligné (1c) : Utilisateurs jamais vus à l'entraînement, évaluation sur les interactions avant 2020. Teste la généralisation à de nouveaux profils.
Out-of-Distribution, Utilisateurs Non-Vus, Extrapolation (1d) : Le scénario le plus difficile. Prédiction des interactions après 2020 pour des utilisateurs jamais vus. Teste la robustesse face à la fois au changement d'utilisateur et au décalage temporel.

C. Tâches Expérimentales

Le benchmark évalue trois types de tâches :

Tâche 1 (Recommandation Next-Item) : Évaluation des architectures séquentielles classiques (ID-based) comme GRU4Rec, SASRec, BERT4Rec et CORE.
Tâche 2 (Reformulation de requêtes par LLM) : Utilisation de grands modèles de langage (LLM) pour générer 10 requêtes de recherche à partir de l'historique d'un utilisateur, puis récupération d'articles via un index vectoriel (BLAIR + FAISS).
Tâche 3 (Modélisation Long-Horizon par LLM) : Génération de descriptions textuelles pour les 10 prochains articles probables d'un utilisateur, évaluant la capacité du LLM à capturer l'intention à long terme.

3. Résultats Clés

Les expériences menées sur HORIZON révèlent des écarts de performance majeurs par rapport aux résultats standards :

Effondrement de la performance en OOD : Les modèles performants en conditions in-distribution (ex: BERT4Rec, SASRec) subissent une chute drastique de performance sur les utilisateurs non vus (OOD). Cela démontre que les métriques traditionnelles surestiment la robustesse des modèles.
Impact du décalage temporel : La performance se dégrade significativement lors de l'extrapolation temporelle (après 2020), même pour les utilisateurs vus. Les modèles basés sur des IDs d'articles peinent à s'adapter aux nouveaux articles et aux changements de préférences.
Limites des LLMs :
- Les LLMs (LLaMA-3, Qwen, Gemma) en mode zero-shot montrent une capacité modeste à reformuler des requêtes ou à prédire des items à long terme, mais leurs scores de rappel (Recall) restent faibles (souvent < 3% à Recall@100).
- Le fine-tuning (plein ou LoRA) n'améliore pas significativement les performances par rapport au zero-shot dans ce contexte de recommandation à longue traîne, suggérant que l'objectif de génération pure ne suffit pas sans mécanismes de contraste ou de récupération adaptés.
Avantage des modèles à base d'attention : Les modèles basés sur l'attention (SASRec, BERT4Rec) surclassent les modèles RNN (GRU4Rec), soulignant l'importance de la modélisation du contexte flexible, même si leur généralisation reste imparfaite.

4. Contributions Principales

HORIZON, le premier benchmark open-source à grande échelle pour l'évaluation de la recommandation séquentielle dans des scénarios cross-domain et à long horizon temporel.
Un cadre d'évaluation unifié qui dissocie explicitement la généralisation temporelle et la généralisation aux utilisateurs non vus, offrant une analyse plus fine de la robustesse des modèles.
Une étude empirique complète mettant en lumière les compromis (trade-offs) entre la précision in-distribution et la robustesse hors-distribution, ainsi que les limites actuelles des LLMs pour la modélisation comportementale pure.

5. Signification et Impact

Ce travail est fondamental pour l'avenir de la recherche en systèmes de recommandation :

Changement de paradigme : Il invite la communauté à abandonner les évaluations basées sur des splits aléatoires ou des domaines uniques pour adopter des protocoles reflétant la complexité du monde réel (décalages temporels, nouveaux utilisateurs, multi-domaines).
Guide pour le développement : Il identifie que les architectures actuelles, bien que performantes en laboratoire, ne sont pas encore prêtes pour des déploiements robustes nécessitant une adaptation continue et une compréhension sémantique profonde.
Base pour l'IA générative : En intégrant des LLMs, HORIZON ouvre la voie à l'exploration de modèles hybrides capables de combiner la puissance sémantique du langage avec la rigueur de la recommandation collaborative.

En conclusion, HORIZON établit un nouveau standard pour tester la résilience et la généralisation des modèles d'IA dans des environnements dynamiques et imprévisibles, essentiels pour les plateformes numériques modernes.