Cross-Representation Knowledge Transfer for Improved Sequential Recommendations

Ce papier propose un nouveau cadre combinant les transformers et les réseaux de neurones graphiques pour aligner différentes représentations et capturer à la fois les dépendances structurelles et leur évolution temporelle, surpassant ainsi les approches existantes dans la prédiction du prochain élément pour les systèmes de recommandation séquentielle.

L'essentiel

🎬 Le Titre : "L'Alliance du Chroniqueur et du Cartographe"

Imaginez que vous êtes un chef cuisinier (le système de recommandation) qui doit deviner quel plat vous allez commander ensuite. Pour cela, vous avez deux assistants très différents, mais qui ne se parlent pas vraiment.

1. Les deux assistants qui ne s'entendent pas

• L'Assistant "Chroniqueur" (Le Transformer) :
  C'est un expert de l'histoire. Il regarde votre assiette minute par minute : "Ah, vous avez mangé une salade, puis un steak, et maintenant vous cherchez un dessert." Il est excellent pour comprendre la séquence et l'ordre des choses. Mais il a un défaut : il est un peu aveugle aux connexions mondiales. Il ne sait pas que le steak que vous avez mangé est souvent servi avec du vin rouge, même si vous n'avez pas encore commandé le vin. Il voit la ligne, pas le tableau d'ensemble.

• L'Assistant "Cartographe" (Le Réseau de Neurones Graphique) :
  C'est un expert des relations. Il a une carte géante où tous les plats sont reliés entre eux. Il sait que "Steak" est connecté à "Vin Rouge", et que "Vin Rouge" est connecté à "Fromage". Il voit le monde entier et les liens cachés. Mais il a un défaut : il est un peu lent et oublie l'ordre des choses. Pour lui, manger un steak avant ou après une salade, c'est pareil. Il ne comprend pas le moment où vous avez faim.

Le problème : Jusqu'à présent, les systèmes de recommandation utilisaient soit l'un, soit l'autre, ou essayaient de les coller ensemble de manière maladroite, comme si on essayait de faire conduire une voiture avec deux conducteurs qui tirent chacun dans une direction différente.

2. La solution : Le Framework "CREATE"

Les chercheurs de l'HSE University (en Russie) ont créé un nouveau système appelé CREATE. C'est comme si on mettait les deux assistants dans la même pièce et qu'on leur apprenait à se comprendre parfaitement.

Voici comment ça marche, étape par étape :

• L'Entraînement en deux temps (Le "Warm-up") :
  Imaginez que le "Cartographe" est un peu timide et a besoin de se réchauffer avant de travailler avec le "Chroniqueur".

  1. D'abord, on laisse le Cartographe étudier la carte des liens entre les produits tout seul pendant un moment (c'est la phase de Warm-up). Il apprend à connaître les relations profondes.
  2. Ensuite, on l'introduit au Chroniqueur. Ensemble, ils commencent à travailler.

• Le "Miracle" de l'Alignement (Barlow Twins) :
  C'est la partie la plus intelligente. Souvent, quand on combine deux modèles, ils se contredisent ou se répètent bêtement (comme deux amis qui racontent la même histoire en disant les mêmes mots).
  Les chercheurs ont utilisé une technique appelée Barlow Twins. Imaginez que c'est un coach qui dit aux deux assistants : "Vous devez être d'accord sur le sens global (invariance), mais ne répétez pas exactement les mêmes détails (réduction de la redondance)."
  Cela force le Chroniqueur et le Cartographe à créer une compréhension unique et complémentaire, sans se marcher sur les pieds.

3. Le résultat : Une prédiction plus intelligente

Grâce à cette alliance, le système de recommandation devient un génie :

• Il sait ce que vous aimez maintenant (grâce au Chroniqueur qui suit votre historique).
• Il sait ce qui pourrait vous plaire en fonction de ce que d'autres personnes ont aimé avec ces mêmes objets (grâce au Cartographe).

L'analogie finale :
C'est comme si vous aviez un ami qui vous connaît depuis toujours (il sait que vous aimez le sushi le vendredi soir) ET un ami qui connaît tous les restaurants de la ville et leurs spécialités secrètes. Ensemble, ils ne vous recommandent pas juste un plat, mais l'expérience parfaite, en tenant compte de votre humeur du moment et des meilleures combinaisons possibles.

🏆 Pourquoi c'est important ?

Les tests montrent que ce système (CREATE) bat tous les autres, même les plus récents, sur des données réelles (comme les achats Amazon ou les écoutes musicales sur Yandex Music).

• Il est plus précis : Il devine mieux votre prochain achat ou votre prochain titre musical.
• Il est plus robuste : Il ne s'embrouille pas quand un nouvel utilisateur arrive (il n'a pas besoin de "re-calculer" tout le profil de l'utilisateur à chaque fois, ce qui est un gros problème technique habituel).
• Il est équilibré : Il trouve le juste milieu entre la précision (vous donner exactement ce que vous voulez) et la découverte (vous montrer des choses nouvelles mais pertinentes).

En résumé, ce papier dit : "Ne choisissez pas entre l'histoire et les relations. Faites-les travailler ensemble, mais assurez-vous qu'elles parlent le même langage."

Résumé technique

1. Problématique

Les systèmes de recommandation séquentielle actuels reposent principalement sur des architectures de type Transformer (comme SASRec ou BERT4Rec). Ces modèles excellent pour capturer les dépendances séquentielles et l'évolution des préférences d'un utilisateur au fil du temps (dynamique locale). Cependant, ils traitent les éléments de la séquence de manière isolée, négligeant souvent les relations globales complexes entre les articles (par exemple, les similarités structurelles ou les dépendances d'ordre supérieur).

À l'inverse, les Réseaux de Neurones à Graphes (GNN) modélisent explicitement ces relations globales via la structure du graphe d'interactions utilisateur-article. Pourtant, les GNN classiques peinent à capturer l'évolution temporelle de ces interactions, ce qui limite leur efficacité pour la prédiction du prochain item.

Le défi principal est donc de combiner efficacement ces deux paradigmes (séquentiel et graphique) pour enrichir les représentations des utilisateurs et des articles, tout en résolvant les problèmes de fusion des représentations et de mise à jour dynamique des modèles lors de l'inférence.

2. Méthodologie : Le Framework CREATE

Les auteurs proposent un nouveau framework nommé CREATE (Cross-REpresentation Aligned Transfer Encoders). Ce système intègre un encodeur séquentiel et un encodeur graphique, alignés via une fonction de perte spécifique.

Architecture du modèle

Le framework se compose de trois modules principaux :

1. Couche d'Embedding Partagée : Les identifiants d'utilisateurs et d'articles sont mappés dans un espace vectoriel commun de dimension $d$. Des embeddings positionnels sont ajoutés pour l'encodeur séquentiel.
2. Encodeur Séquentiel (Vue Locale) :
   • Utilise des architectures Transformer (SASRec ou BERT4Rec).
   • Capture la dynamique locale et l'intention à court terme basée sur l'ordre des interactions.
   • Produit un vecteur d'état utilisateur $h_u$ utilisé pour la prédiction.
3. Encodeur Graphique (Vue Globale) :
   • Utilise des modèles GNN simplifiés (LightGCN ou UltraGCN) sur le graphe biparti des interactions.
   • Capture les dépendances d'ordre supérieur et le contexte global.
   • Point clé : Les embeddings d'utilisateurs sont utilisés uniquement pendant l'entraînement. À l'inférence, le modèle repose uniquement sur l'encodeur séquentiel enrichi par les embeddings d'articles du graphe, éliminant ainsi le besoin de procédures coûteuses de "folding-in" (mise à jour des embeddings utilisateurs en temps réel).

Alignement des Représentations

Pour garantir que les deux vues (locale et globale) décrivent un état utilisateur cohérent, les auteurs introduisent une fonction de perte d'alignement basée sur Barlow Twins :

• Au lieu d'utiliser une perte de contraste classique (qui nécessite un échantillonnage négatif), Barlow Twins vise à réduire la redondance entre les deux vecteurs d'embedding ($z_{loc}$ et $z_{glob}$).
• L'objectif pousse la matrice de corrélation croisée vers la matrice identité : les composantes diagonales sont maximisées (invariance) et les composantes hors-diagonale minimisées (décorrélation).
• Cela permet aux encodeurs d'apprendre des caractéristiques complémentaires sans se chevaucher inutilement.

Processus d'Entraînement (Warm-up)

L'entraînement se déroule en deux phases pour stabiliser l'apprentissage :

1. Phase de Warm-up : Seule l'encodeur graphique est entraîné pendant un nombre d'époques défini ($N_{warmup}$). Cela permet de générer des embeddings d'articles de haute qualité avant de les intégrer au modèle séquentiel.
2. Optimisation Jointe : Les deux encodeurs sont entraînés conjointement avec une fonction de perte globale :
   $$L = L_{local} + w_{global} L_{global} + w_{BT} L_{BT}$$
   Où $L_{local}$ est la perte de prédiction séquentielle (Cross-Entropy), $L_{global}$ la perte du graphe (BPR ou UltraGCN loss), et $L_{BT}$ la perte d'alignement Barlow Twins.

3. Contributions Clés

1. Framework Hybride Asymétrique : Création d'un modèle qui combine la puissance des Transformers pour la séquence et des GNN pour la structure globale, tout en évitant l'utilisation d'embeddings utilisateurs à l'inférence (asymétrie), ce qui rend le système plus robuste et évolutif.
2. Alignement par Réduction de Redondance : Introduction de la méthode Barlow Twins pour aligner les représentations séquentielles et graphiques. Cette approche s'avère supérieure aux pertes de contraste traditionnelles en évitant les biais liés à l'échantillonnage négatif et en améliorant la qualité des recommandations.
3. Stratégie de Warm-up : Démonstration qu'un pré-entraînement de l'encodeur graphique améliore significativement la convergence et les performances finales du modèle joint.
4. Validation Rigoureuse : Utilisation d'une stratégie de division temporelle globale (Global Temporal Split) pour l'évaluation, une approche plus réaliste pour les déploiements industriels que la méthode "leave-last-out" souvent utilisée dans la littérature.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données publics (MovieLens-1M, Amazon Clothing/Sports/Beauty, Yambda-50M).

• Performance Globale : Le modèle CREATE surpasse systématiquement les modèles de base purement séquentiels (SASRec, BERT4Rec), purement graphiques (LightGCN, UltraGCN) et les modèles hybrides récents (LOOM, MRGSRec, GSAU).
• Améliorations Significatives :
  • Sur le jeu de données Yambda-50M, CREATE améliore le NDCG@10 de +38% par rapport à SASRec.
  • Sur Amazon Beauty, une amélioration de +15% en NDCG@10 est observée.
  • Le modèle offre un meilleur compromis entre précision (NDCG, Recall) et couverture (Coverage) par rapport aux méthodes concurrentes.
• Ablation Study :
  • Taille du graphe : L'utilisation d'un sous-ensemble optimal des interactions passées (environ 40-60%) donne de meilleurs résultats que l'utilisation de 100% des données, suggérant que trop de bruit peut nuire à la structure.
  • Warm-up : Une phase de warm-up (50 époques pour Beauty, 10 pour Sports) est cruciale pour la stabilité.
  • Alignement : L'utilisation de Barlow Twins donne de meilleurs résultats que l'absence d'alignement ou l'utilisation de pertes de contraste, bien que cela puisse légèrement réduire la couverture (le modèle recommande des items plus pertinents mais potentiellement plus rares).

5. Signification et Impact

Cet article apporte une contribution majeure au domaine des systèmes de recommandation en démontrant que la fusion de la dynamique séquentielle et de la structure graphique n'est pas seulement additive, mais synergique lorsqu'elle est correctement alignée.

• Industrialisation : L'absence de nécessité de mettre à jour les embeddings utilisateurs à l'inférence (grâce à l'architecture asymétrique) résout un goulot d'étranglement majeur pour le déploiement à grande échelle dans l'industrie.
• Qualité des Données : L'approche montre que l'enrichissement des représentations d'articles par un contexte global (graphe) améliore la capacité du modèle à prédire le prochain item, même pour des utilisateurs avec des historiques courts ou complexes.
• Nouvelle Méthodologie : L'application de Barlow Twins pour l'alignement de représentations hétérogènes (séquentiel vs graphique) ouvre de nouvelles pistes de recherche pour la réduction de la redondance dans les modèles multi-vues.

En résumé, CREATE établit un nouvel état de l'art pour la prédiction du prochain item en combinant efficacement les forces des Transformers et des GNN, tout en proposant une architecture pratique pour les environnements de production réels.