UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation

Dans les vastes paysages numériques du contenu et de la publicité modernes, les moteurs de recommandation agissent comme les curateurs invisibles de nos vies quotidiennes. Ils décident quelle vidéo montrer ensuite, quel produit suggérer ou quel article mettre en avant, traitant souvent des millions de possibilités en un clin d'œil. Pendant des décennies, ces systèmes se sont appuyés sur deux manières distinctes de penser pour prendre ces décisions. La première approche examine les détails statiques d'un utilisateur et d'un article, tels que l'âge, la localisation ou la catégorie de produit, en essayant de trouver des modèles dans la façon dont ces caractéristiques spécifiques se chevauchent. La seconde approche observe le flux du temps, analysant l'historique des clics et des vues d'un utilisateur pour comprendre l'évolution de ses intérêts. Bien que ces deux méthodes soient puissantes, les systèmes industriels les ont traditionnellement gardées séparées, les faisant fonctionner côte à côte en espérant que leur sagesse combinée soit suffisante. Cette séparation crée une lacune : le système peine à percevoir comment le comportement passé d'un utilisateur façonne directement sa réaction à un nouvel article spécifique en temps réel.

Une équipe de chercheurs chez Meta, dirigée par Rongcheng Lin, s'est donné pour mission de combler ce fossé avec une nouvelle architecture appelée UniDot. Leur objectif était de construire un système unique et unifié capable de gérer simultanément les détails statiques et l'historique changeant du comportement de l'utilisateur, plutôt que de traiter ces éléments comme des problèmes distincts. Ils ont abordé cela en visualisant les deux types d'informations à travers le prisme des « tokens », qui sont simplement des représentations numériques de points de données. Dans ce nouveau cadre, le profil d'un utilisateur, les détails d'un article et même une séquence de comportements passés sont tous convertis en ces tokens. L'idée centrale qui guide la conception est que l'opération mathématique utilisée pour faire correspondre un utilisateur à un article est fondamentalement la même que l'opération utilisée pour pondérer un comportement passé par rapport à un choix actuel. En reconnaissant ce mécanisme partagé, les chercheurs ont construit un modèle où ces deux flux d'informations peuvent interagir directement et continuellement.

Le système résultant, UniDot, fonctionne comme une autoroute à deux voies où deux processus distincts voyagent ensemble, échangeant constamment des informations. Une voie, le « bus de mélange de tokens » (token-mixing bus), se concentre sur le mélange des données de profil statiques de l'utilisateur et de l'article. L'autre voie, le « bus de récupération de séquence » (sequence-retrieval bus), se concentre sur l'analyse de l'historique de l'utilisateur pour trouver des événements passés pertinents. Au lieu de laisser ces voies fonctionner de manière isolée ou de les fusionner uniquement à la toute fin, UniDot permet à ces voies de co-évoluer. À chaque étape du traitement, les deux voies partagent leur état, permettant au profil statique d'influencer la lecture de l'historique, et à l'historique d'affiner la compréhension du profil. Cet échange continu garantit que le système ne se contente pas de regarder séparément le passé d'un utilisateur et sa situation actuelle, mais voit comment ils se façonnent mutuellement sur le moment.

Pour garantir que le système reste efficace et précis, les chercheurs ont introduit une voie dédiée appelée l'« Autoroute FM » (FM Highway). Cette voie agit comme une route express directe pour les interactions les plus critiques. Dans de nombreux modèles d'apprentissage profond, les signaux les plus basiques et les plus importants — spécifiquement les correspondances directes entre les caractéristiques de l'utilisateur et de l'article — peuvent être dilués ou perdus en passant par des couches de traitement complexes. L'Autoroute FM contourne cette complexité, transportant ces correspondances directes directement vers l'étape de prise de décision finale. Ce choix de conception préserve la clarté des connexions les plus fondamentales, garantissant que le système ne perde jamais de vue les relations simples et directes qui poussent souvent un utilisateur à cliquer ou à acheter.

Les chercheurs ont testé cette architecture lors d'une compétition industrielle majeure connue sous le nom de TAAC × KDD Cup 2026, qui mettait les participants au défi de construire le meilleur système de recommandation possible sous des délais stricts. UniDot a terminé deuxième, atteignant un score élevé de 0,83217. Ce résultat était significatif car il était principalement porté par l'architecture elle-même plutôt que par la création manuelle de règles ou de caractéristiques complexes et artisanales. L'équipe a démontré qu'en unifiant les deux approches traditionnelles en une structure unique et cohérente, ils pouvaient capturer plus de nuances dans le comportement de l'utilisateur. Ils ont encore amélioré les performances en entraînant deux versions du modèle simultanément pour qu'elles apprennent l'une de l'autre, une technique qui a aidé le système à trouver une solution plus robuste sans avoir besoin de doubler la taille de sa mémoire pour le stockage des données utilisateur.

Le succès d'UniDot suggère que l'avenir des systèmes de recommandation ne réside pas dans l'ajout de composants séparés, mais dans leur tissage plus étroit. En traitant les détails statiques d'un utilisateur et le flux dynamique de son historique comme les parties d'un processus unique et unifié, le système peut faire des prédictions plus précises. Les chercheurs ont découvert que la clé de cette amélioration n'était pas seulement de rendre le modèle plus grand, mais de le rendre plus intelligent dans sa façon de connecter différents types d'informations. Le système a prouvé que lorsque l'on permet au passé et au présent de se parler directement, le résultat est une compréhension plus claire de ce qu'un utilisateur veut réellement. Cette approche offre une voie prometteuse pour construire des moteurs de recommandation qui sont non seulement plus rapides et plus efficaces, mais aussi plus en phase avec la réalité complexe du comportement humain.