💻 computer science

Time-Aware Diffusion based on Preference Disentanglement for Generative Recommendation

Cet article propose TDPM, un nouveau cadre de recommandation générative qui améliore les modèles basés sur la diffusion en désentravant les préférences des utilisateurs en composantes de période à long terme et de point à court terme afin de permettre une diffusion de jetons sémantiques sensible au temps, surpassant ainsi de manière significative les bases de référence de l'état de l'art sur des ensembles de données réels.

Auteurs originaux : Bangguo Zhu, Peng Huo, Yuanbo Zhao, Zhicheng Du, Jun Yin, Senzhang Wang

Publié 2026-06-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bangguo Zhu, Peng Huo, Yuanbo Zhao, Zhicheng Du, Jun Yin, Senzhang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner ce qu'un ami veut acheter ensuite. Vous avez une longue liste de tout ce qu'il a déjà acheté.

L'ancienne méthode (Diffusion standard) :
La plupart des systèmes de recommandation actuels traitent cette liste comme un tas de pièces de puzzle identiques. Ils supposent que chaque article de la liste est également important et appliquent le même « bruit » ou la même confusion à chacun d'eux pour tenter d'apprendre les schémas. C'est comme essayer d'apprendre une chanson en jouant chaque note au même volume, peu importe s'il s'agit d'un murmure discret ou d'un coup de tambour puissant. L'article soutient que c'est une faille fatale car le goût humain n'est pas uniforme ; il évolue avec le temps.

La nouvelle méthode (TDPM) :
Les auteurs proposent un nouveau système appelé TDPM (Time-Aware Diffusion based on Preference Disentanglement — Diffusion sensible au temps basée sur le désenchevêtrement des préférences). Considérez le TDPM comme un détective qui ne se contente pas de regarder la liste des articles, mais qui comprend l'histoire derrière la liste.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Les deux types de « Goût »

L'article affirme que la préférence humaine est en fait un mélange de deux choses différentes, et le système les sépare (les désenchevêtre) pour mieux les comprendre :

Préférence Périodique (la « Vibe » à long terme) : C'est votre identité stable et durable. Si vous êtes fan de football, vous achèterez des ballons, des maillots et des crampons pendant des années. C'est votre préférence « périodique ». Elle est constante et se construit lentement au fil du temps.
Préférence Ponctuelle (l'« Étincelle soudaine ») : C'est un changement soudain et à court terme. Peut-être que vous achetez habituellement des équipements de football, mais un jour, vous achetez une manette de console parce qu'un nouveau jeu vient de sortir. C'est une préférence « ponctuelle » — un écart temporaire causé par un événement ou une tendance spécifique.

2. Le jeu du « Masquage »

Pour apprendre de ces listes, le système utilise un jeu similaire aux « textes à trous » ou aux exercices de type « texte à compléter ».

Méthode standard : Il masque aléatoirement des articles sur la liste avec la même probabilité. Il pourrait cacher un ballon de football aussi souvent qu'une manette de console.
Méthode TDPM : Il joue au jeu de manière intelligente.
- Si un article correspond à la « Vibe à long terme » (Périodique), il peut le masquer moins souvent, car le système comprend déjà bien ce schéma.
- Si un article représente une « Étincelle soudaine » (Ponctuelle), il le masque plus souvent. Pourquoi ? Parce que le système doit travailler plus dur pour comprendre pourquoi vous avez soudainement acheté cette manette. En rendant les éléments « difficiles » plus difficiles à deviner, le système apprend bien mieux à repérer ces changements soudains dans votre comportement.

3. L'« Ajustement Adaptatif » (Le bouton de volume)

Le système possède un bouton spécial (appelé $\lambda$ ) qu'il tourne au fur et à mesure qu'il apprend.

Au début de l'entraînement : Il écoute de manière égale vos habitudes à long terme et vos étincelles soudaines.
Plus tard dans l'entraînement : Il augmente progressivement le volume de vos habitudes à long terme (Préférence Périodique) car, comme le note l'article, votre profil stable devient le prédicteur le plus fiable de ce que vous ferez ensuite, tout en gardant une oreille attentive aux changements soudains.

4. Le Résultat

Les auteurs ont testé le système sur des données réelles (comme les avis Amazon pour les produits de Beauté, les Équipements sportifs et les Jouets).

L'affirmation : En traitant la liste d'articles comme une histoire composée de chapitres stables et de rebondissements soudains, plutôt que comme un tas aléatoire de mots, le TDPM est devenu bien meilleur pour deviner l'article suivant.
Les chiffres : Il a amélioré la précision des recommandations jusqu'à 29 % par rapport aux meilleures méthodes existantes.

En résumé :
Imaginez un professeur qui corrige un élève. L'ancienne méthode accorde le même temps à chaque question. Le TDPM est comme un professeur intelligent qui sait que l'élève est excellent en mathématiques (habitude à long terme) mais qui a des difficultés avec un type spécifique de géométrie (écart soudain). Le professeur passe alors plus de temps à aider sur le problème de géométrie pour s'assurer que l'élève apprenne vraiment, tout en confirmant rapidement les réponses de mathématiques. Cette approche ciblée mène à une meilleure note (recommandation).

Résumé Technique : TDPM (Time-Aware Diffusion based on Preference Disentanglement for Generative Recommendation)

1. Énoncé du Problème

Les systèmes de recommandation générative (GR - Generative Recommenders) sont devenus un paradigme transformateur en remplaçant les identifiants d'items traditionnels par des indices sémantiques (SIDs), permettant aux modèles de générer directement l'article suivant qu'un utilisateur est susceptible d'interagir avec. Bien que des travaux récents aient exploré l'utilisation de modèles de diffusion comme base pour les GR en raison de leurs capacités génératives, une limitation critique subsiste : les GR basés sur la diffusion existants appliquent un processus de diffusion uniforme à tous les articles de l'historique d'interaction d'un utilisateur.

Cette uniformité ne tient pas compte de la nature non stationnaire et évolutive dans le temps des préférences des utilisateurs. En réalité, les préférences des utilisateurs sont façonnées par des facteurs multifacettes :

Consistance à long terme : Des intérêts stables accumulés au fil du temps (ex: un passionné de football qui achète systématiquement des équipements de sport).
Déviations à court terme : Des changements brusques d'intérêt déclenchés par des événements focaux récents ou des stimuli externes (ex: l'achat soudain d'une manette de jeu).

Les modèles de diffusion standards traitent tous les articles historiques de manière indistincte, supposant une distribution uniforme qui contredit la dynamique temporelle du comportement des utilisateurs. Cet article soutient que pour combler cette lacune, le processus de diffusion doit être adapté pour intégrer explicitement les préférences évolutives des utilisateurs.

2. Méthodologie : Cadre TDPM

Les auteurs proposent TDPM (Time-Aware Diffusion based on Preference Disentanglement), un nouveau cadre de GR qui modifie le processus de diffusion standard pour la recommandation basée sur les SID. L'innovation centrale réside dans le désenchevêtrement de la préférence de l'utilisateur en deux composantes distinctes afin de piloter une stratégie de masquage de jetons sensible au temps (time-aware token masking).

2.1 Génération d'Identifiants Sémantiques (SID)

Suivant les GR basés sur les SID existants, TDPM convertit d'abord les métadonnées des articles (texte, catégories, etc.) en plongements (embeddings) denses à l'aide d'un grand modèle de langage (LLM). Ces plongements sont ensuite compressés en SIDs discrets et multi-niveaux via la Quantification Résiduelle K-Means (RQ-KMeans). Cela crée une séquence de jetons hiérarchique pour chaque article, préservant la proximité sémantique.

2.2 Désenchevêtrement de la Préférence

TDPM décompose la préférence de l'utilisateur en deux variables latentes :

Préférence de période ( $p_{period}$ ) : Représente les profils d'utilisateurs stables et à long terme. Elle est modélisée comme une fonction de croissance monotone de l'indice temporel (position dans l'historique), reflétant l'intuition que les interactions récentes ont plus de poids pour les intérêts actuels.
Préférence ponctuelle ( $p_{point}$ ) : Représente les déviations d'intérêt transitoires et à court terme. Elle est calculée sur la base de la déviation sémantique (ex: distance cosinus) entre les articles adjacents dans l'historique d'interaction. Une grande déviation indique un changement soudain d'intérêt.

2.3 Diffusion de Jetons Sensible au Temps

Au lieu d'un ajout de bruit standard, TDPM emploie un masquage de jetons sensible au temps comme processus de diffusion directe. La probabilité de masquage ( $p_j$ ) pour le $j$ -ème article de l'historique est déterminée dynamiquement en fusionnant les préférences de période et ponctuelles :
$p_j = \alpha + \beta \cdot [\lambda \cdot p_{period} + ( - \lambda) \cdot p_{point}]$

Pondération Adaptative ( $\lambda$ ) : Un hyperparamètre qui équilibre les deux préférences. Crucialement, $\lambda$ n'est pas fixe ; il suit un calendrier de croissance en loi de puissance pendant l'entraînement, déplaçant progressivement l'attention vers la préférence de période à mesure que le modèle se stabilise.
Mécanisme : Les articles ayant des probabilités de masquage plus élevées (indiquant une importance ou une déviation plus grande) sont masqués plus agressivement. Cela force le modèle à apprendre à reconstruire ces signaux critiques, capturant ainsi à la fois les modèles stables et les changements brusques.

2.4 Stratégie d'Optimisation

L'entraînement suit un paradigme en deux étapes :

Étape de Warm-up : Utilise un masquage de jetons uniforme pour pré-entraîner le modèle sur le vocabulaire SID et les modèles de cooccurrence, assurant une initialisation stable.
Étape de Masquage de Jetons Sensible au Temps : Remplace le masquage uniforme par la stratégie proposée de désenchevêtrement des préférences. Le SID de l'article cible est entièrement masqué pour s'aligner sur la tâche d'inférence (prédiction de l'article suivant).

2.5 Inférence

Lors de l'inférence, le modèle reçoit l'historique SID de l'utilisateur suivi de $m$ jetons de masquage. Il effectue une génération autorégressive en utilisant une recherche par faisceau contrainte (constrained beam search) guidée par un arbre de préfixe (Trie) construit à partir du vocabulaire SID, garantissant que la séquence générée correspond à un article valide.

3. Principales Contributions

L'article revendique les contributions suivantes :

Première Intégration des Préférences Évolutives dans le Temps : À la connaissance des auteurs, c'est le premier travail intégrant la propriété d'évolution temporelle de la préférence de l'utilisateur dans la recommandation générative basée sur la diffusion.
Mécanisme de Désenchevêtrement Novateur : La proposition de TDPM, qui désenchevêtre la préférence de l'utilisateur en une préférence de période stable et une préférence ponctuelle transitoire, permettant au modèle de gouverner de manière adaptative l'intensité de la diffusion pour chaque article.
Supériorité de Performance : Des expériences approfondies démontrent que TDPM surpasse de manière significative les méthodes de référence de pointe (incluant les modèles séquentiels traditionnels, les GR basés sur les SID et les autres récommandeurs basés sur la diffusion).

4. Résultats Expérimentaux

Les auteurs ont évalué TDPM sur trois jeux de données réels provenant d'Amazon : Beauty, Sports and Outdoors, et Toys and Games.

Baselines : L'étude compare le modèle aux modèles séquentiels basés sur RNN/CNN/Transformer (GRU4Rec, SASRec, BERT4Rec), aux GR basés sur les SID (TIGER, LC-Rec), et à d'autres récommandeurs basés sur la diffusion (PreferDiff, DDSR, PreferGrow).
Performance : TDPM a obtenu des améliorations significatives par rapport aux meilleures méthodes de référence.
- HR@20 : Jusqu'à 29,21 % d'amélioration.
- NDCG@20 : Jusqu'à 25,45 % d'amélioration.
Études d'Ablation :
- La suppression de la Préférence Ponctuelle a entraîné une baisse de performance d'environ 10 %, indiquant la nécessité de capturer les déviations d'intérêt.
- La suppression de la Préférence de Période a causé une chute plus importante (~20 %), soulignant que les préférences stables à long terme constituent le fondement essentiel.
- La suppression des deux (retour au masquage uniforme) a donné la pire performance, confirmant que la diffusion uniforme standard est insuffisante pour la recommandation séquentielle.
Sensibilité des Hyperparamètres : L'étude a révélé qu'un équilibre initial modéré ( $\lambda_{start} \approx 0,5$ ) combiné à une grande courbure de croissance ( $k=2,0$ ) produit des résultats optimaux, permettant au modèle d'apprendre les deux types de préférences avant de se concentrer sur la consistance à long terme.

5. Signification et Revendications

L'article affirme que la principale signification de TDPM réside dans le fait de combler le fossé entre le processus de diffusion directe uniforme des modèles standards et la distribution intrinsèquement non uniforme et évoluant dans le temps des préférences des utilisateurs.

En modélisant explicitement la consistance de la préférence et les déviations d'intérêt, TDPM dépasse la nature "agnostique à l'article" des GR basés sur la diffusion précédents. Les auteurs affirment que leur diffusion de jetons sensible au temps n'est pas seulement une amélioration incrémentale, mais une adaptation nécessaire pour que les modèles de diffusion soient efficaces dans les scénarios de recommandation séquentielle. Les résultats suggèrent que le désenchevêtrement des préférences permet au processus de diffusion de se concentrer sur les parties les plus informatives de l'historique d'interaction, conduisant à des prédictions d'articles suivants plus précises et robustes.