💬 NLP

Learning Decomposed Contextual Token Representations from Pretrained and Collaborative Signals for Generative Recommendation

Ce papier propose DECOR, un cadre unifié qui résout le désalignement objectif entre la tokenisation sémantique et la modélisation des interactions utilisateur dans les systèmes de recommandation génératifs en apprenant des représentations de tokens contextuels décomposés qui préservent les sémantiques préentraînées tout en s'adaptant aux signaux collaboratifs, surpassant ainsi les bases de référence les plus avancées.

Auteurs originaux : Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Publié 2026-05-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Liu, Yaokun Liu, Zelin Li, Zhenrui Yue, Gyuseok Lee, Ruichen Yao, Yang Zhang, Dong Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent (un Modèle de Langage de Grande Taille) comment recommander l'article parfait à un client, comme une paire de casque audio. Pour ce faire, le robot a besoin d'un moyen de « parler » de ces articles.

L'Ancienne Méthode : Le Dictionnaire Rigide

Actuellement, la plupart des systèmes utilisent un processus en deux étapes qui ressemble un peu à l'utilisation d'un dictionnaire rédigé par un bibliothécaire qui n'a jamais acheté de casque audio.

Étape 1 (Le Dictionnaire) : D'abord, un système examine la description de l'article (par exemple, « Casque à réduction de bruit pour dormir ») et lui attribue un code fixe, comme un numéro d'identification secret. Disons que ce code est [A_3, B_4, C_5, D_95]. Ce code est créé une fois et ne change jamais.
Étape 2 (Le Client) : Ensuite, le robot apprend à prédire l'article suivant en fonction de ce que l'utilisateur a cliqué auparavant, en utilisant ces codes fixes.

Le Problème : Cette approche présente deux défauts majeurs, que l'article qualifie de « Tokenisation Statique Sous-optimale » et de « Sémantique Pré-entraînée Rejetée ».

Le Piège du « Taille Unique » : Imaginez trois casques différents : un pour le bureau, un pour la salle de sport et un pour dormir. Ils sonnent tous de manière similaire, aussi le dictionnaire leur attribue-t-il les trois premiers codes exactement identiques : [A_3, B_4, C_5]. Le robot les voit et pense : « Oh, ils sont tous les mêmes ! » Il ne sait pas si l'utilisateur veut dormir ou courir avant de voir le tout dernier chiffre. Cela confond le robot et le rend lent à comprendre ce que l'utilisateur veut réellement.
Le Piège du « Savoir Gaspillé » : Le dictionnaire a été construit en utilisant une quantité massive de connaissances générales (comme savoir que « Apple » peut être un fruit ou une marque technologique). Mais une fois que le robot commence à apprendre à partir des clics des utilisateurs, il oublie souvent ces connaissances générales. Il traite le code [A_3] comme un simple symbole aléatoire, jetant le sens riche qu'il avait à l'origine.

La Nouvelle Solution : DECOR

Les auteurs proposent un nouveau cadre appelé DECOR (Représentations de Tokens Contextuelles Décomposées). Considérez DECOR comme donnant au robot un traducteur intelligent et adaptable plutôt qu'un dictionnaire rigide.

DECOR résout les problèmes avec deux astuces principales :

1. Le « Traducteur Contextuel » (Composition de Tokens Contextualisée)

Au lieu de traiter le code de l'article [A_3, B_4, C_5] comme une étiquette fixe et immuable, DECOR permet au robot de réinterpréter ce code en fonction de la situation actuelle.

L'Analogie : Imaginez que vous entendez le mot « Banque ». Si vous parlez de pêche, « Banque » signifie la rive d'une rivière. Si vous parlez d'argent, cela signifie une institution financière.
Comment cela fonctionne : Dans l'ancien système, « Banque » signifiait toujours la même chose. Dans DECOR, si l'utilisateur venait de regarder du matériel de pêche, le robot examine le code pour « Banque » et dit : « Ah, dans ce contexte, ce code signifie 'Rive de rivière' ». Si l'utilisateur regardait des cartes de crédit, il dit : « Dans ce contexte, ce code signifie 'Argent' ».
Le Résultat : Le robot peut instantanément comprendre l'intention derrière l'article, même si le code de l'article ressemble à celui d'autres articles. Il cesse d'être confus par l'« ambiguïté du préfixe » illustrée dans la Figure 1 de l'article.

2. La « Mémoire à Double Moteur » (Fusion d'Embeddings Décomposée)

DECOR réalise que le robot a besoin de deux types de mémoire fonctionnant ensemble, pas seulement d'un seul.

Moteur A (Connaissances Gelées) : Ce sont les connaissances originales et riches du dictionnaire (par exemple, savoir que « Apple » est un fruit). DECOR garde cette partie gelée pour qu'elle ne soit jamais écrasée ou oubliée.
Moteur B (Comportement Appris) : Ce sont les nouvelles connaissances que le robot apprend à partir des clics des utilisateurs (par exemple, « Les gens qui achètent des ordinateurs portables achètent souvent des souris »).
La Fusion : DECOR agit comme un mélangeur intelligent. Il prend les connaissances gelées (Moteur A) et les nouveaux schémas de comportement (Moteur B) et les mélange parfaitement. Ainsi, le robot ne perd jamais son intelligence générale tout en apprenant les habitudes spécifiques des utilisateurs.

Pourquoi C'est Important

L'article a testé cela sur trois ensembles de données réels (Articles scientifiques, Instruments de musique et Jeux vidéo).

Meilleure Précision : DECOR a systématiquement battu les meilleures méthodes existantes. Par exemple, dans la catégorie « Instruments de musique », où les articles ont des noms techniques très spécifiques, DECOR a amélioré la précision de plus de 5 % par rapport à la méthode suivante la plus performante.
Apprentissage Plus Rapide : Parce que DECOR n'a pas à réécrire constamment le dictionnaire (ce qui cause une instabilité dans les autres méthodes), il apprend plus vite. Il a atteint ses performances maximales 23 sessions d'entraînement (époches) plus vite qu'une méthode concurrente qui tentait de tout faire en même temps.
Efficacité : Il ajoute presque aucun délai au processus de recommandation (moins de 1 milliseconde), le rendant assez rapide pour une utilisation en temps réel.

Résumé

En termes simples, les systèmes précédents étaient comme un bibliothécaire qui donnait à chaque livre une étiquette statique et confuse, puis oubliait l'histoire à l'intérieur du livre. DECOR est comme un bibliothécaire qui conserve l'histoire originale intacte mais peut instantanément expliquer l'étiquette d'une manière qui a du sens pour le lecteur spécifique qui se tient devant lui en ce moment même. Il combine des connaissances profondes et préexistantes avec le comportement des utilisateurs en temps réel pour faire des recommandations plus intelligentes et plus précises.

Résumé Technique : Apprentissage de Représentations de Tokens Contextuels Décomposés à partir de Signaux Préentraînés et Collaboratifs pour la Recommandation Générative

1. Énoncé du Problème

L'article aborde deux limitations critiques inhérentes aux paradigmes actuels de recommandation générative en deux étapes, qui impliquent généralement une tokenisation des éléments suivie d'un entraînement de Modèle de Langage (LLM) :

Tokenisation Statique Sous-optimale (C1) : Les méthodes existantes reposent sur des identifiants sémantiques fixes générés par un tokeniseur préentraîné (par exemple, RQ-VAE) pour reconstruire les métadonnées des éléments. Ces tokens statiques échouent à s'adapter à des contextes d'interaction utilisateur diversifiés. Par conséquent, des éléments sémantiquement distincts (par exemple, des écouteurs pour le bureau vs pour le sommeil) peuvent partager des tokens de préfixe identiques, créant une « ambiguïté de préfixe » qui aveugle le modèle quant à l'intention de l'utilisateur jusqu'à l'étape finale de génération. Cette attribution statique crée un goulot d'étranglement de représentation qui limite la puissance discriminative du mécanisme d'attention.
Sémantiques Préentraînées Rejetées (C2) : Pendant l'étape d'entraînement du système de recommandation, les riches connaissances sémantiques encodées dans les embeddings préentraînés sont effectivement rejetées. Bien que le tokeniseur apprenne à reconstruire ces embeddings, les embeddings de tokens utilisés par le LLM sont initialisés aléatoirement et entraînés uniquement sur des données d'interaction utilisateur. Ce processus écrase les connaissances mondiales préentraînées (par exemple, le double sens d'« Apple » comme fruit ou marque technologique), conduisant à des recommandations désalignées, en particulier pour les éléments rares.

Les auteurs notent que les tentatives existantes pour résoudre ces problèmes, telles que l'optimisation conjointe de bout en bout (par exemple, ETEGRec), introduisent souvent une instabilité de l'entraînement et une surcharge computationnelle due à la re-tokenisation répétée.

2. Méthodologie : DECOR

Les auteurs proposent DECOR (Représentations de Tokens Contextuels Décomposés), un cadre unifié conçu pour préserver les sémantiques préentraînées tout en améliorant l'adaptabilité des tokens sans nécessiter de re-tokenisation itérative. DECOR se compose de deux composants principaux :

3.1 Fusion d'Embeddings Décomposés

Pour répondre à la perte de sémantiques préentraînées (C2), DECOR maintient deux espaces d'embeddings parallèles :

Embeddings Sémantiques Préentraînés Gelés ( $E_{pre}$ ) : Dérivés des codebooks d'un tokeniseur RQ-VAE préentraîné. Ceux-ci sont maintenus gelés pour préserver les capacités originales de reconstruction sémantique.
Embeddings Collaboratifs Apprenables ( $E_{collab}$ ) : Entraînés à partir de zéro sur la base des séquences d'interaction utilisateur pour capturer les motifs séquentiels et les dynamiques de co-occurrence.

Ces deux modalités sont fusionnées via un réseau léger. Les deux embeddings sont projetés dans un espace latent partagé, normalisés, concaténés, puis mappés de nouveau vers la dimension originale via une matrice de fusion apprenable. Cela permet au modèle d'intégrer de manière adaptative les connaissances sémantiques statiques avec des signaux collaboratifs dynamiques.

3.2 Composition de Tokens Contextualisés

Pour répondre à la tokenisation statique sous-optimale (C1), DECOR introduit un mécanisme d'interprétation dynamique appliqué pendant la phase de génération autoregressive. Au lieu de se fier uniquement à l'embedding statique d'un token, le modèle affine la représentation du token en fonction du contexte d'interaction de l'utilisateur :

Vecteur de Contexte : Un mécanisme de pooling basé sur l'attention agrège les embeddings fusionnés de la séquence d'interaction historique pour générer un vecteur de contexte ( $u_c$ ).
Composition Douce : Pour chaque token de la séquence, le modèle effectue une composition douce sur un ensemble de tokens candidats (spécifiquement, tous les tokens de la même couche de codebook RQ-VAE). L'embedding composé final est une somme pondérée des embeddings candidats, guidée par le vecteur de contexte.
Fusion Résiduelle : L'embedding composé contextuellement est fusionné avec l'embedding statique original via un lien résiduel contrôlé par un hyperparamètre $\alpha$ . Cela permet au modèle de réinterpréter dynamiquement les tokens statiques sans modifier le tokeniseur sous-jacent.

3.3 Composition Apprenable du BOS (Début de Séquence)

Reconnaissant que le premier token agit comme une ancre sémantique globale, les auteurs introduisent un ensemble de vecteurs de requête BOS apprenables. Ces vecteurs sont composés de manière contextuelle pour affiner le préfixe initial, garantissant que le processus de génération commence avec une ancre sémantique alignée sur l'historique spécifique de l'utilisateur, réduisant ainsi la propagation de l'ambiguïté.

3. Contributions Clés

Analyse du Problème : L'article est le premier à analyser explicitement comment la tokenisation statique limite la capacité des recommandateurs génératifs à adapter les représentations d'éléments aux dynamiques de contextes utilisateur divers, identifiant l'ambiguïté de préfixe comme un mode de défaillance clé.
Cadre Novel (DECOR) : Les auteurs proposent un cadre qui fusionne des embeddings sémantiques préentraînés gelés avec des embeddings collaboratifs apprenables. Crucialement, il introduit un mécanisme de composition de tokens dynamique et conscient du contexte qui interprète les tokens d'entrée statiques lors de la génération, évitant ainsi l'instabilité de la re-tokenisation de bout en bout.
Efficacité et Stabilité : La méthode atteint une convergence plus rapide et une précision supérieure par rapport aux bases de référence d'entraînement conjoint, avec une surcharge computationnelle modérée seulement.

4. Résultats Expérimentaux

Les auteurs ont évalué DECOR sur trois ensembles de données réels issus de la collection d'avis Amazon : Scientific, Instrument et Game.

Performance : DECOR a systématiquement surpassé les bases de référence de l'état de l'art, y compris les recommandateurs séquentiels traditionnels (SASRec, GRU4Rec) et les modèles génératifs (TIGER, LETTER, CoST, ETEGRec).
- Sur l'ensemble de données Scientific, DECOR a réalisé une amélioration relative de plus de 14 % en NDCG@10 par rapport à la base de référence la plus forte.
- Sur l'ensemble de données Instrument (noté pour sa terminologie spécialisée et son texte rare), DECOR a amélioré le NDCG@10 de 5,0 % par rapport à la meilleure base de référence, démontrant une robustesse là où les modèles basés sur des priors textuels ont lutté.
Études d'Ablation : Le retrait soit de la Fusion d'Embeddings Décomposés (DEF), soit de la Composition de Tokens Contextualisés (CTC) a entraîné des baisses de performance significatives, confirmant que la préservation des sémantiques préentraînées et l'activation de l'adaptation contextuelle sont toutes deux nécessaires. L'ajout de requêtes BOS apprenables a encore amélioré les performances, en particulier dans l'alignement des sémantiques de haut niveau avec le contexte utilisateur.
Convergence : DECOR a atteint 95 % de sa performance de pointe 23 époques plus rapidement que la base de référence d'entraînement conjoint (ETEGRec) et a évité la stagnation de l'apprentissage observée dans ETEGRec pendant les phases intermédiaires d'entraînement.
Utilisation des Embeddings : DECOR a considérablement amélioré l'utilisation des entrées du codebook. Alors que TIGER n'utilisait que ~26 % des embeddings actifs dans la première couche de quantification, DECOR a activé 100 % des embeddings sur les ensembles de données Instrument et Game en exploitant les tokens inactifs pendant la composition.
Efficacité : La latence d'inférence a augmenté d'environ 0,85 ms par échantillon (avec une taille de lot de 128) par rapport à la base de référence TIGER, tout en maintenant environ 82 % du débit de la base de référence. Ce compromis est présenté comme hautement favorable compte tenu des gains de précision de 5 à 14 %.

5. Signification et Revendications

L'article revendique que DECOR fournit une solution novatrice qui évite l'instabilité de la re-tokenisation tout en conservant les avantages des sémantiques préentraînées. En découplant la structure sémantique statique des signaux collaboratifs dynamiques et en permettant une réinterprétation contextuelle au moment de la génération, DECOR comble le fossé entre les connaissances mondiales et le comportement utilisateur. Les auteurs positionnent cela comme une alternative plus stable et expressive aux cadres existants de recommandation générative, particulièrement efficace dans les scénarios avec des données rares ou des terminologies d'éléments spécialisées où les priors textuels statiques sont insuffisants.