Résumé Technique : Apprentissage Multi-Séquentiel Constructif (CMSL) pour les Systèmes de Recommandation

1. Énoncé du Problème : Pollution du Contexte dans la Recommandation Séquentielle

Bien que l'apprentissage séquentiel ait surpassé les modèles de recommandation par apprentissage profond (DLRM) traditionnels en capturant les nuances temporelles, les architectures de pointe actuelles reposent souvent sur une analogie limitante : traiter l'historique de l'utilisateur comme une séquence chronologique monolithique, similaire à une phrase dans un grand modèle de langage (LLM).

Les auteurs identent une divergence fondamentale entre le langage naturel et les données de recommandation :

• Absence d'unité structurelle : Contrairement au texte, qui suit des règles syntaxiques linéaires et logiques, l'historique de l'utilisateur est une « mosaïque bruitée » d'intérêts fragmentés, divers, de clics exploratoires et d'interactions accidentelles.
• Pollution du Contexte : Dans la modélisation à séquence unique, des comportements sans rapport entrent en compétition pour un même budget d'attention. Ce signal « bruité » dilue la focalisation du modèle, le forçant à calculer des dépendances entre des intentions sémantiquement distinctes (par exemple, l'apprentissage professionnel versus le divertissement occasionnel). Cela conduit à des corrélations spécieuses, des goulots d'étranglement de représentation et des prédictions sous-optimales.

Le papier soutient que les systèmes de recommandation devraient passer d'une modélisation passive d'une « séquence » à une construction active du « contexte », répondant ainsi au problème sous-exploré de la pollution du contexte dans la recommandation séquentielle.

2. Méthodologie : Apprentissage Multi-Séquentiel Constructif (CMSL)

Le CMSL propose un changement de paradigme, passant d'une ingestion passive de séquences à une « ingénierie de contexte » active. Au lieu de nourrir l'historique brut sous forme de prompt unique, le CMSL construit plusieurs séquences latentes cohérentes dans l'espace latent afin de désintriquer les intentions de l'utilisateur.

2.1 Prétraitement des Caractéristiques

• Caractéristiques Non-Séquentielles : Les caractéristiques denses (ex: âge, prix) sont normalisées et projetées ; les caractéristiques éparses (ex: pays, catégorie) sont intégrées (embedded).
• Caractéristiques Séquentielles : Les historiques d'interaction de l'utilisateur (clics, likes, commentaires) sont regroupés par attributs partagés (ex: même surface de produit) et compressés en une seule séquence via un mécanisme de sommation à porte (gated summation). Cela réduit la charge de calcul tout en préservant l'information d'interaction.

2.2 Architecture CMSL

Le cœur du CMSL se compose de $N$ blocs empilés, contenant chacun quatre composants clés :

1. Construction Multi-Séquentielle :

   • Désintrication d'Intention : Les caractéristiques non-séquentielles sont projetées en $K$ ensembles spécifiques au contexte via $K$ têtes de projection, désintriquant efficacement les intentions de l'utilisateur en différents contextes.
   • Construction de Séquence : Un module de construction de séquence apprenable utilise l'attention croisée (cross-attention). La représentation de la séquence actuelle sert de requête ($Q$), tandis que les caractéristiques de contexte projetées servent de clés ($K$) et de valeurs ($V$). Cela génère $K$ séquences latentes distinctes ($\tilde{X}^{(l,k)}$), chacune se concentrant sur un aspect différent du contexte de l'utilisateur.

2. Auto-Attention (Approximation Linéaire) :

   • Chacune des $K$ séquences construites subit une auto-attention de manière indépendante pour capturer les corrélations temporelles internes sans interférence entre les intentions.
   • Pour traiter la complexité quadratique de l'attention standard et l'augmentation $K$-fois du calcul, le CMSL emploie un mécanisme d'attention en temps linéaire.
   • Ce mécanisme approxime l'attention HSTU (largement utilisée chez Meta) en utilisant une expansion en série de Taylor de la fonction d'activation SiLU. Il décompose l'opération en un terme d'attention linéaire ($\phi(Q)\phi(K)^\top V$) et un terme creux ($AV$) qui capture les entrées importantes, réduisant ainsi considérablement le coût de calcul.

3. Résumé de Séquence :

   • Après l'auto-attention, le Pooling par Attention Multi-têtes (PMA) est utilisé pour résumer chaque séquence en un vecteur de longueur fixe.
   • Cette étape extrait les signaux globaux pertinents pour l'état actuel de l'utilisateur (en utilisant les caractéristiques non-séquentielles comme requêtes) et supprime les données historiques redondantes, empêchant l'accumulation de bruit à travers les couches.

4. Compression de Séquence :

   • Pour éviter l'explosion du nombre de séquences à travers les couches, les $K$ séquences résumées sont concaténées et projetées à nouveau en une seule séquence latente via un MLP. Cela permet un apprentissage hiérarchique profond tout en maintenant un nombre constant de séquences par couche.

2.3 Fusion Finale

La représentation finale est formée par la concaténation des vecteurs résumés de la dernière couche et transmise à des têtes spécifiques aux tâches pour les prédictions de Taux de Clic (CTR) et de Taux de Conversion (CVR).

3. Principales Contributions

Le papier expose quatre contributions majeures :

1. Nouvelle Perspective : Identifie la « Pollution du Contexte » comme un mode de défaillance critique dans la recommandation séquentielle et propose un paradigme de construction multi-séquentielle pour l'atténuer.
2. Module de Construction Multi-Séquentielle : Un module apprenable qui transforme l'historique brut en plusieurs flux latents utilisant l'attention croisée pour une curation de contexte adaptative et sensible aux intentions.
3. Attention Linéaire Scalable : Un mécanisme d'attention efficace en temps linéaire qui réduit le coût de calcul de la modélisation de multiples séquences, permettant le passage à l'échelle.
4. Validation à Échelle Industrielle : Déploiement et validation réussis sur quatre surfaces majeures de Meta, gérant des milliards d'utilisateurs actifs quotidiens.

4. Résultats Expérimentaux

Le CMSL a été évalué sur des tâches de Classement (Ranking) et de Récupération (Retrieval) dans l'environnement de production de Meta.

• Évaluation du Classement (Ranking) :

  • Métrique : Entropie Normalisée (NE), où des valeurs plus basses indiquent de meilleures performances.
  • Configuration : Évalué sur quatre surfaces à grande échelle. La Surface 1 utilisait une approche d'entraînement directe, tandis que les Surfaces 2–4 utilisaient une architecture en deux étapes (modèle utilisateur amont asynchrone) pour gérer la latence.
  • Résultats : Le CMSL a démontré des améliorations statistiquement significatives. Sur la Surface 1, les améliorations de la NE variaient de -0,31 % à -0,62 % pour les tâches de "Like" et de "Commentaire". Sur les Surfaces 2–4, l'intégration des plongements (embeddings) CMSL a généré des gains de NE de -0,06 % à -0,13 % sur les tâches CTR et CVR.

• Évaluation de la Récupération (Retrieval) :

  • Configuration : Tests A/B en ligne sur la Surface 5.
  • Résultats : Les plongements utilisateurs CMSL ont entraîné des améliorations statistiquement significatives sur les quatre métriques d'engagement mesurées, avec des gains allant de +0,092 % à +0,171 %.

5. Signification et Revendications

Le papier affirme que le CMSL représente un passage du traitement de l'historique de l'utilisateur comme un « prompt brut » à lire, vers un « contexte » à construire. En désintriquant activement l'historique de l'utilisateur en brins thématiques cohérents, le CMSL atténue l'interférence sémantique inhérente aux données utilisateur hétérogènes.

Les auteurs soulignent que cette approche s'aligne sur la philosophie d'« ingénierie de contexte » des LLM mais l'adapte aux systèmes de recommandation où les ID d'items manquent de sémantique explicite, nécessitant une approche implicite et apprenable. Le cadre est présenté comme une solution pratique pour les systèmes à échelle de production, offrant des gains constants par rapport aux bases séquentielles fortes tout en restant techniquement faisable grâce à l'attention linéaire et la compression de séquence.