🤖 AI

Generative Long-term User Interest Modeling for Click-Through Rate Prediction

Ce papier propose GenLI, un modèle d'intérêt utilisateur à long terme génératif pour la prédiction du CTR qui remplace la recherche centrée sur la cible traditionnelle par un module de génération d'intérêts afin de capturer des intérêts utilisateurs diversifiés et conscients des interactions, tout en atteignant une complexité de recherche de comportement en $O(1)$ pour améliorer l'efficacité et la précision.

Auteurs originaux : Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiangli Shao, Kaifu Zheng, Hao Fang, Huimu Ye, Zhiwei Liu, Bo Zhang, Shu Han, Xingxing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de deviner ce qu'un client va commander ensuite. Vous possédez un énorme carnet contenant chaque chose que ce client a jamais regardée, cliquée ou achetée au cours des dernières années. C'est ce « comportement utilisateur à long terme » dont parle l'article.

L'objectif est de prédire si le client cliquera sur un nouvel article spécifique (comme un nouveau restaurant ou un produit) afin d'améliorer le « taux de clic » (CTR) — c'est-à-dire la fréquence à laquelle les gens choisissent réellement ce que vous leur montrez.

Voici le problème avec l'ancienne méthode, et comment ce nouvel article, GenLI, le résout.

L'ancienne méthode : La recherche « centrée sur la cible »

Auparavant, les systèmes fonctionnaient comme un bibliothécaire qui ne cherche que des livres correspondant au titre exact du livre que vous tenez actuellement.

Le filtre : Si vous regardez une image d'une pizza, le système parcourt tout votre historique et ne sélectionne que les 10 articles qui ressemblent le plus à une pizza.
Le défaut : Cela manque la vue d'ensemble. Peut-être aimez-vous la pizza, mais vous aimez aussi la randonnée, les films de science-fiction et l'achat d'outils de jardinage. En ne regardant que les choses « ressemblant à une pizza », le système ignore vos autres passions. C'est comme juger une personne uniquement par son plat préféré et ignorer sa personnalité.
Le problème de vitesse : Pour trouver ces 10 articles ressemblant à une pizza, le bibliothécaire doit comparer votre article actuel à chaque article individuel de votre historique, un par un. À mesure que votre historique grandit jusqu'à des millions d'articles, cela devient incroyablement lent, comme essayer de trouver une aiguille dans une botte de foin en vérifiant chaque brin de foin individuellement.

La nouvelle méthode : GenLI (Le chef « génératif »)

Les auteurs proposent un nouveau système appelé GenLI. Au lieu de simplement chercher des correspondances, GenLI tente d'comprendre l'humeur et les intérêts actuels du client, puis trouve l'historique pertinent. Il fonctionne en trois étapes créatives :

1. Le générateur d'intérêts (IGM) : Lire la pièce

Au lieu de demander : « Qu'est-ce qui ressemble à une pizza ? », GenLI examine vos actions récentes (les derniers clics) et se demande : « Quel genre de personne est cet utilisateur en ce moment ? »

Il crée trois « cartes d'humeur » différentes (distributions) de vos intérêts :
- Intérêt explicite : Ce sur quoi vous avez clairement cliqué (par exemple : « Je veux absolument une pizza »).
- Intérêt implicite : Ce que le système vous a montré et sur quoi vous n'avez pas cliqué, mais que vous pourriez quand même aimer (par exemple : « J'ai vu une salade, je n'ai pas cliqué, mais peut-être que je n'ai juste pas faim pour ça pour l'instant »).
- Intérêt relatif : La différence entre les deux (par exemple : « Je préfère la pizza à la salade pour le moment »).
L'analogie : Imaginez que c'est le chef qui goûte l'air de la cuisine. Au lieu de simplement saisir des ingrédients qui ressemblent à la commande actuelle, le chef sent que le client est « dans une humeur épicée » ou « nostalgique ». Cela se produit sans regarder l'article cible spécifique pour l'instant, afin de ne manquer aucun intérêt caché.

2. La récupération de comportement (BRM) : La recherche magique

Une fois que GenLI a ces « cartes d'humeur », il doit trouver les articles pertinents dans votre immense historique.

L'ancienne méthode : Comparer l'article cible à chaque article de l'historique (Lent !).
La méthode GenLI : Elle utilise une simple recherche. Parce que les « cartes d'humeur » sont précalculées, le système vérifie simplement un tableau de scores. C'est comme avoir un index prétrié où vous pouvez instantanément sauter à la section « Épicé » ou à la section « Nostalgique ».
Le résultat : Il sélectionne les meilleurs articles qui correspondent à ces humeurs. C'est incroyablement rapide (mathématiquement, c'est $O(1)$ , ce qui signifie que cela prend le même temps infime que vous ayez 100 articles ou 10 millions).

3. La fusion d'intérêts (IFM) : Mélanger les saveurs

Enfin, le système prend les articles qu'il a trouvés pour chaque « humeur » (les épicés, les nostalgiques, etc.) et les mélange avec l'article actuel que vous regardez. Il utilise un « mécanisme de porte » (un interrupteur intelligent) pour décider combien mettre de chaque intérêt en avant avant de faire la prédiction finale.

Pourquoi cela compte (Les résultats)

L'article a testé cela sur des données réelles provenant de Meituan (une application chinoise massive de lifestyle et de livraison) et de jeux de données publics comme Amazon et Taobao.

Précision : GenLI était meilleur pour prédire sur quoi les utilisateurs cliqueraient que tous les modèles précédents « de l'état de l'art ». Il a considérablement amélioré la précision de la prédiction car il n'ignorait pas les autres intérêts de l'utilisateur.
Vitesse : Parce qu'il a cessé de faire les comparaisons lentes, un par un, il est devenu beaucoup plus rapide. C'est crucial pour les systèmes en ligne qui doivent prendre des décisions en millisecondes.
Succès réel : L'article indique que GenLI est déjà déployé dans le système publicitaire de Meituan. Il dessert actuellement des centaines de millions d'utilisateurs chaque jour. Lors d'un test en direct (test A/B), il a augmenté le taux de clic de 0,776 % et le revenu par mille impressions de 1,567 %.

Résumé

En bref, les anciens systèmes étaient comme un bibliothécaire qui ne trouvait que des livres similaires à celui que vous teniez. GenLI est comme un bibliothécaire qui comprend d'abord votre humeur actuelle et vos goûts divers, puis sort instantanément les livres parfaits des étagères sans même avoir besoin de vérifier le titre du livre que vous tenez. C'est plus rapide, plus intelligent, et cela rapporte plus d'argent à la plateforme.

Résumé Technique : Modélisation Générative des Intérêts Utilisateurs à Long Terme pour la Prédiction du Taux de Clic (GenLI)

Énoncé du Problème
La prédiction du taux de clic (CTR) est une tâche fondamentale dans la publicité et les systèmes de recommandation, reposant fortement sur une modélisation précise des intérêts utilisateurs à long terme dérivés de séquences massives de comportements historiques. Les approches actuelles les plus avancées emploient généralement un cadre en deux étapes composé d'une Unité de Recherche Générale (GSU) et d'une Unité de Recherche Exacte (ESU). La GSU récupère un sous-ensemble de comportements pertinents basé sur la similarité avec l'élément cible, tandis que l'ESU les agrège via des mécanismes d'attention.

Les auteurs identifient trois limitations critiques dans les approches GSU centrées sur la cible existantes :

Représentation Incomplète des Intérêts : En se concentrant uniquement sur les comportements pertinents pour l'élément cible spécifique, ces modèles ignorent d'autres intérêts utilisateurs latents, conduisant à des caractéristiques d'intérêt biaisées et incomplètes.
Goulot d'Étranglement Computationsnel : Le processus de récupération basé sur l'appariement nécessite le calcul de scores de similarité par paires entre l'élément cible et chaque comportement historique. À mesure que les séquences de comportements utilisateurs s'allongent (souvent jusqu'à des milliers d'éléments), cela devient un goulot d'étranglement chronophage pour les services en ligne.
Interactions Comportementales Ignorées : L'architecture par paires compare l'élément cible à des comportements individuels de manière isolée, négligeant l'information d'interaction et les modèles existants entre les comportements historiques de l'utilisateur.

Méthodologie : Cadre GenLI
Pour résoudre ces problèmes, les auteurs proposent GenLI, un cadre de modélisation générative des intérêts utilisateurs à long terme. Contrairement aux méthodes de récupération traditionnelles, GenLI adopte une approche générative indépendante de la cible. Le cadre se compose de trois modules principaux :

Module de Génération d'Intérêts (IGM) :
- Entrée : L'IGM utilise une séquence de comportements à court terme (les $l$ comportements les plus récents) plutôt que l'élément cible.
- Mécanisme : Il emploie une Attention Multi-Têtes (MHA) pour traiter ces comportements à court terme. Les vecteurs de requête sont constitués de l'embedding du comportement le plus récent et d'un vecteur de requête apprenable pour capturer les connaissances d'interaction.
- Sortie : Le module génère plusieurs distributions d'intérêts discrètes représentant différents aspects des intérêts utilisateurs en temps réel :
  - Intérêt Explicite ( $\mathbf{p}_E$ ) : Dérivé des interactions directes (par exemple, les clics), optimisé via la vraisemblance négative sur les éléments cliqués.
  - Intérêt Implicite ( $\mathbf{p}_I$ ) : Dérivé des éléments exposés (impressions sans clics), représentant des préférences stables à long terme.
  - Intérêt Relatif ( $\mathbf{p}_R$ ) : Défini comme la différence entre les distributions explicite et implicite ( $\mathbf{p}_E - \mathbf{p}_I$ ), capturant la tendance changeante des intérêts utilisateurs et le contraste de prise de décision.
- Caractéristique Clé : Ce processus est indépendant de la cible, garantissant que les distributions générées englobent une gamme plus large et plus diversifiée d'intérêts utilisateurs.
Module de Récupération de Comportements (BRM) :
- Mécanisme : Au lieu de calculer des similarités par paires, le BRM effectue une simple opération de recherche. Pour chaque distribution d'intérêt générée, les comportements historiques se voient attribuer des scores basés sur leurs identifiants uniques mappés aux indices de la distribution (via une opération modulaire).
- Efficacité : Cela réduit la complexité temporelle pour pondérer chaque comportement à $O(1)$ .
- Sélection : Le module sélectionne les $k$ meilleurs comportements pour chacune des trois distributions d'intérêts ( $\mathbf{B}_I, \mathbf{B}_E, \mathbf{B}_R$ ), résultant en un total de $K$ comportements récupérés. Ce processus intègre intrinsèquement l'information d'interaction de la phase de génération et filtre le bruit.
Module de Fusion d'Intérêts (IFM) :
- Agrégation : Les comportements sélectionnés de chaque distribution sont agrégés séparément en utilisant une Attention Multi-Têtes, où l'embedding de l'élément cible agit comme requête.
- Fusion : Les embeddings d'intérêts résultants sont concaténés et traités via un mécanisme de porte (MLP avec activation sigmoïde) pour produire le vecteur de caractéristique final d'intérêt utilisateur à long terme ( $\mathbf{x}_l$ ).
- Prédiction : Cette caractéristique est concaténée avec les intérêts à court terme, les informations secondaires et l'embedding de l'élément cible pour prédire le CTR via un MLP standard.

Contributions Clés

Première Approche Générative pour les Intérêts à Long Terme : Les auteurs revendiquent être les premiers à introduire des méthodes génératives spécifiquement pour la modélisation des intérêts utilisateurs à long terme dans les tâches de prédiction de CTR, s'éloignant de la récupération centrée sur la cible.
Cadre End-to-End : GenLI intègre la Génération d'Intérêts, la Récupération de Comportements et la Fusion d'Intérêts dans un cadre unifié et entraînable de bout en bout, qui peut être facilement intégré dans les modèles de CTR existants.
Diversité et Efficacité : En générant des distributions indépendantes de la cible, le modèle capture des intérêts utilisateurs diversifiés et complets. Simultanément, la récupération basée sur la recherche réduit considérablement la complexité computationnelle par rapport aux méthodes basées sur l'appariement.

Résultats Expérimentaux
Les auteurs ont évalué GenLI sur trois jeux de données : Amazon (Livres), TaoBao, et un jeu de données industriel à grande échelle provenant de Meituan.

Performance Hors Ligne :
- Sur les jeux de données Amazon et TaoBao, GenLI a atteint des performances de pointe (SOTA), surpassant de solides références comme TWIN, SIM et ETA. Spécifiquement, il a montré des améliorations absolues de l'AUC de 0,61 % (Amazon) et 1,03 % (TaoBao) par rapport à la meilleure référence.
- Sur le jeu de données industriel, GenLI a amélioré l'AUC de 0,22 % par rapport à TWIN tout en réduisant le temps d'inférence (4,6 ms contre 7,9 ms pour TWIN).
- Les études d'ablation ont confirmé que les trois distributions générées (Explicite, Implicite, Relative) contribuent à la performance, l'intérêt explicite ayant l'impact le plus direct.
Performance en Ligne :
- Dans un test A/B sur la plateforme de livraison de nourriture de Meituan (gérant 30 % du trafic), GenLI a démontré une augmentation de 0,776 % du CTR et une augmentation de 1,567 % du Revenu par Mille (RPM) par rapport à la référence de production.
- Le modèle a été entièrement déployé dans le système publicitaire réel, servant des centaines de millions d'utilisateurs quotidiennement.

Signification et Revendications
L'article revendique que GenLI réussit à équilibrer précision et efficacité, une exigence critique pour les systèmes industriels de CTR. En passant d'un paradigme de récupération centré sur la cible à une approche de modélisation générative indépendante de la cible, GenLI surmonte les limitations de la capture incomplète des intérêts et de la latence computationnelle élevée. Les auteurs soulignent que la capacité à modéliser des intérêts diversifiés et latents sans le goulot d'étranglement de l'appariement par paires permet une personnalisation plus robuste à grande échelle. Le déploiement réussi et les métriques en ligne positives valident la valeur d'application pratique des méthodes génératives dans la modélisation des intérêts utilisateurs à long terme.