Tlow: Flow-based Item Tokenizer for Recommendation

Dans les vastes paysages numériques de la vie moderne, des flux de réseaux sociaux aux boutiques en ligne, les systèmes de recommandation agissent comme des guides invisibles, suggérant ce que nous pourrions aimer voir ou acheter ensuite. Pendant des décennies, ces systèmes se sont appuyés sur une méthode simple mais maladroite : attribuer à chaque article, qu'il s'agisse d'une chanson, d'un livre ou d'une paire de chaussures, un nombre aléatoire et dénué de sens. L'ordinateur apprend à reconnaître ces nombres en fonction de la manière dont les gens interagissent avec eux, mais cette approche présente deux défauts majeurs. Premièrement, à mesure que le nombre d'articles atteint des millions ou des milliards, le système devient encombrant et lent, nécessitant des quantités massives de mémoire pour stocker ces nombres aléatoires. Deuxièmement, il peine avec les nouveaux articles ; si un produit vient d'être lancé et n'a aucun historique de clics ou d'achats, le système le traite comme un étranger, incapable de le proposer à qui que ce soit. Pour résoudre cela, les chercheurs ont commencé à observer le fonctionnement des grands modèles de langage, qui comprennent les mots non pas par des nombres aléatoires, mais par leur sens. En traduisant les articles en séquences de « jetons » (tokens) significatifs — comme des mots dans une phrase — les systèmes peuvent partager des connaissances entre tous les articles, ce qui les rend plus intelligents et plus rapides, en particulier pour les nouveautés.

Une équipe de chercheurs de l'Université Tsinghua et de Tencent a poussé cette idée plus loin avec un nouvel outil appelé Tlow. Si les tentatives précédentes pour transformer les articles en jetons significatifs ont rencontré leurs propres obstacles, aboutissant souvent à un traitement lent ou à des regroupements confus, Tlow introduit une approche fraîche basée sur un concept mathématique connu sous le nom de « flux » (flow). Imaginez que vous essayiez d'organiser une foule chaotique de personnes qui se tiennent dans un groupe désordonné et irrégulier. Si vous essayiez de les trier en rangées et colonnes nettes, la tâche serait difficile car leurs positions sont emmêlées et irrégulières. Tlow agit comme une force douce et intelligente qui remodèle toute cette foule en un cercle parfait et ordonné, où chacun est espacé uniformément et indépendant de ses voisins. Dans le monde des données, cela signifie prendre les descriptions mathématiques complexes et désordonnées des articles et les transformer en un format propre et standardisé où chaque morceau d'information se suffit à lui-même, libre de connexions confuses avec d'autres morceaux.

Une fois les données dans cet état propre et organisé, les chercheurs peuvent facilement les décomposer en petites parties distinctes, un peu comme le tri d'un jeu de cartes en suites bien ordonnées. Chaque partie se voit assigner un code spécifique, créant une séquence de jetons unique pour chaque article. Parce que les données ont d'abord été lissées pour prendre cette forme parfaite, ces codes capturent l'essence véritable de l'article avec une clarté remarquable. Par exemple, lors de tests sur une collection d'albums de musique, les anciennes méthodes mélangeaient souvent les genres, regroupant un album de heavy metal avec un disque de jazz simplement parce que leurs données brutes se ressemblaient de manière désordonnée. Tlow, cependant, a maintenu les genres distincts, s'assurant qu'un album pop soit reconnu comme pop et qu'un album de jazz soit reconnu comme jazz. Cette clartité permet au système de recommandation de comprendre les blocs de construction atomiques du sens d'un article, plutôt que de simplement mémoriser son identifiant aléatoire.

Les chercheurs ont testé cette méthode à travers quatre catégories différentes de produits sur Amazon, allant de l'équipement de sport aux produits de beauté et à la musique. Dans chaque cas, le système utilisant Tlow a surpassé les meilleures méthodes existantes, y compris celles qui utilisent des processus de décodage plus complexes et par étapes. L'amélioration est significative, le nouveau système montrant une meilleure précision dans la prédiction de ce qu'un utilisateur voudra ensuite. Crucialement, le système a également prouvé sa valeur dans des situations plus difficiles, comme la recommandation d'articles à travers différentes catégories ou lors du traitement conjoint d'images et de textes. Dans ces scénarios complexes, où les données proviennent de sources et de formes très diverses, la capacité de Tlow à remodeler les données en un standard uniforme lui a permis de trouver des connexions que d'autres systèmes avaient manquées.

Le véritable test de cette technologie a eu lieu lors de son déploiement sur WeChat, l'une des plus grandes plateformes de médias sociaux au monde, pour aider les utilisateurs à découvrir de nouvelles images et de nouveaux articles. Dans une expérience réelle impliquant des millions d'interactions quotidiennes, le système utilisant les codes de jetons de Tlow a nettement surpassé le système traditionnel reposant sur des identifiants aléatoires. Les résultats sont frappants : le nouveau système a augmenté le taux de clic des utilisateurs sur le contenu recommandé de plus de dix pour cent pour les nouveaux articles. C'est une réussite vitale car le nouveau contenu, qui n'a aucun historique d'interaction utilisateur, est généralement le plus difficile à recommander pour les ordinateurs. En s'appuyant sur le sens intrinsèque du contenu plutôt que sur le comportement passé, Tlow a permis à la plateforme de montrer des images fraîches et pertinentes aux utilisateurs presque immédiatement après leur publication. Les chercheurs ont constaté que cette approche non seulement aidait les nouveaux articles à être remarqués, mais améliorait également l'expérience globale des utilisateurs, prouvant que transformer des données désordonnées en une forme propre et standardisée est un moyen puissant de permettre aux machines de comprendre le monde de manière plus humaine.