🤖 AI

Beyond Item IDs: Scaling Short-Form-Video Recommendation via Semantic-Native Long Sequence Modeling

Cet article présente un cadre déployé en production pour la recommandation de vidéos courtes à l'échelle d'un milliard d'utilisateurs qui surmonte les limitations traditionnelles de la modélisation de séquences en remplaçant les identifiants vidéo (Video IDs) épars par des identifiants sémantiques (Semantic IDs) compacts et en introduisant un Transformeur de compression conscient du global (Global-Aware Compression Transformer) pour modéliser efficacement les séquences de comportement utilisateur ultra-longues, entraînant des réductions significatives des coûts de calcul et des améliorations substantielles de l'engagement des utilisateurs.

Auteurs originaux : Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruixiao Sun, Diego Uribe Mora, Zhimeng Jiang, Yuanzhen Lin, Jiarui Wang, Yuening Li, Danfeng Guo, Zhizhong Chen, Chuan He, Liang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un bibliothécaire essayant de recommander le livre parfait à un lecteur. Mais au lieu de quelques livres, ce lecteur a regardé des milliers et des milliers de vidéos courtes. Votre tâche est de vous souvenir de toutes ces vidéos pour deviner ce qu'il veut voir ensuite.

Ce document décrit un nouveau système que Google a construit pour faire exactement cela pour les vidéos courtes (comme TikTok ou YouTube Shorts). Ils ont été confrontés à deux problèmes massifs qui rendaient cette tâche presque impossible, et ils les ont résolus grâce à deux astuces ingénieuses.

Les deux grands problèmes

1. Le problème de l'étiquette (Goulot d'étranglement de la représentation)
Imaginez que chaque vidéo du monde possède un numéro d'identification unique et aléatoire, comme un numéro de série sur un grille-pain.

Le problème : Si vous avez un milliard de vidéos, vous avez besoin d'un milliard de badges d'identification différents. Ces badges ne sont que des numéros aléatoires ; ils ne disent rien sur la vidéo. Une vidéo sur les « chats » et une vidéo sur les « voitures » peuvent avoir des identifiants qui ne se ressemblent pas du tout.
Le résultat : L'ordinateur doit mémoriser chaque interaction séparément. C'est comme essayer de mémoriser un milliard de numéros de téléphone aléatoires. De plus, lorsqu'une nouvelle vidéo (un « démarrage à froid » ou cold start) apparaît, le système n'a aucune idée de ce qu'elle contient car il n'a jamais vu cet identifiant aléatoire auparavant.

2. Le problème de la surcharge de mémoire (Goulot d'étranglement computationnel)
Imaginez que vous essayez de lire un livre où chaque page est connectée à toutes les autres pages.

Le problème : Pour comprendre l'historique de 2 000 vidéos d'un utilisateur, un cerveau informatique standard (un Transformer) essaie de comparer chaque vidéo avec toutes les autres vidéos. Si vous doublez le nombre de vidéos, le travail ne fait pas simplement le double, il quadruple. Cela devient si lourd que l'ordinateur manque de mémoire et plante, ou met trop de temps à répondre.

La solution : Deux nouvelles astuces

Les auteurs ont construit un système qui résout ces deux problèmes à la fois.

Astuce n°1 : Le système de « Catégories Intelligentes » (Identifiants sémantiques natifs)

Au lieu d'utiliser des numéros de série aléatoires, ils ont donné aux vidéos des étiquettes significatives basées sur leur contenu réel.

L'analogie : Imaginez qu'au lieu de numéros aléatoires, chaque vidéo soit étiquetée avec une « Catégorie » et une « Sous-catégorie ».
- L'ancienne méthode : Vidéo n°99283 (Aléatoire).
- La nouvelle méthode : Vidéo = « Gaming » + « Shooter ».
Comment ça marche : Ils ont utilisé une IA spéciale pour regrouper les vidéos dans une hiérarchie. Pour l'historique long des vidéos, ils n'ont utilisé que les deux premiers niveaux de cette hiérarchie (par exemple, juste « Gaming » et « Shooter »).
L'avantage :
- Une bibliothèque plus petite : Ils n'ont plus besoin d'un milliard de badges ; ils ont juste besoin de badges pour les catégories. Cela réduit la mémoire nécessaire pour le « dictionnaire » des vidéos.
- Une meilleure prédiction : Si un utilisateur adore les vidéos « Gaming-Shooter », et qu'une nouvelle vidéo sort et qu'elle est aussi classée « Gaming-Shooter », le système sait instantanément qu'il doit la recommander, même s'il ne l'a jamais vue auparavant. Cela résout le problème du « démarrage à froid ».

Astuce n°2 : La stratégie de « Groupement » (Compression consciente du contexte global)

Au lieu de regarder chaque vidéo une par une, le système les regroupe en « super-blocs ».

L'analogie : Imaginez que vous lisez un journal intime de 2 000 pages.
- L'ancienne méthode : Vous lisez chaque mot et essayez de connecter chaque mot à tous les autres mots. Épuisant !
- La nouvelle méthode : Vous prenez 4 pages à la fois et vous les collez ensemble pour former une seule « Super-Page ». Maintenant, vous n'avez plus que 500 Super-Pages à lire.
Comment ça marche : Ils prennent 4 vidéos consécutives et les empilent ensemble pour former un seul « Super-Token ». Cela réduit le nombre d'éléments que l'ordinateur doit traiter par 4.
L'avantage :
- Vitesse : Comme il y a moins d'éléments à comparer, l'ordinateur travaille beaucoup plus vite et utilise beaucoup moins de mémoire (92 % de moins !).
- Lecture plus intelligente : En collant les pages ensemble, l'ordinateur peut voir les détails au sein de ce groupe (comme la façon dont l'utilisateur a réagi à une séquence spécifique de vidéos) tout en gardant une vision d'ensemble.
- L'« Ancre Globale » : Ils ont ajouté un jeton spécial de « Question Globale » au début de la liste. Considérez cela comme un bibliothécaire demandant : « Quelle est l'ambiance générale de la vie de cette personne ? » Cela aide le système à équilibrer les détails spécifiques des vidéos récentes avec la personnalité à long terme de l'utilisateur.

Les résultats

Lorsqu'ils ont testé cela dans le monde réel avec des milliards d'utilisateurs :

C'était plus rapide : Le système utilisait beaucoup moins de mémoire informatique et fonctionnait beaucoup plus rapidement.
Il se souvenait de plus de choses : Comme c'était plus rapide, ils pouvaient lui fournir 2 000 vidéos d'historique au lieu de seulement 800.
Les gens étaient plus satisfaits : Les utilisateurs ont regardé plus de vidéos qu'ils aimaient, ont passé plus de temps à regarder et ont découvert plus de nouveaux contenus qu'ils appréciaient.

Résumé

Le document traite de la construction d'un moteur de recommandation capable de se souvenir de tout l'historique vidéo d'un utilisateur sans avoir de migraine. Ils y parviennent en donnant des noms significatifs aux vidéos au lieu de numéros aléatoires, et en regroupant les vidéos en blocs afin que l'ordinateur n'ait pas à faire des calculs sur chacune d'elles individuellement. Le résultat est un système plus rapide, moins coûteux à exploiter et qui propose de meilleures recommandations.

Résumé Technique : Au-delà des ID d'articles – Passer à l'échelle la recommandation de vidéos courtes via une modélisation de séquences longues sémantiquement natives

1. Énoncé du problème

Les systèmes de recommandation de vidéos courtes sont confrontés à un double goulot d'étranglement lorsqu'ils tentent de modéliser des séquences de comportement utilisateur ultra-longues (longueur $L > 10^3$ ) :

Goulot d'étranglement de la représentation : Les ID de vidéos orthogonaux traditionnels sont sémantiquement creux. Ils traitent les articles comme des jetons indépendants, échouant à capturer les relations de contenu et entraînant une faible généralisation sur le contenu en démarrage à froid (cold-start). De plus, ils nécessitent des tables d'incorporation (embedding tables) qui croissent sans limite avec la taille du corpus, créant des problèmes de stockage et de parcimonie.
Goulot d'étranglement computationnel : Les architectures Transformer standards reposent sur des mécanismes d'auto-attention dont la complexité est quadratique ( $O(L^2)$ ). Cela limite la longueur maximale de séquence sous des contraintes strictes de latence industrielle et de ressources, nécessitant souvent un filtrage heuristique ou un regroupement hiérarchique qui élimine des signaux ou nécessite une pré-computation hors ligne complexe.

2. Méthodologie

Les auteurs proposent un cadre déployé en production qui fait la synergie entre des Représentations Sémantiquement Natives et un Transformer Compressé à Conscience Globale pour modéliser des séquences allant jusqu'à $L=2000$ à l'échelle d'un milliard d'utilisateurs.

2.1 Représentation Sémantiquement Native (SIDs)

Pour résoudre le goulot d'étranglement de la représentation, le système remplace les ID de vidéos atomiques par des Identifiants Sémantiques (SIDs) natifs au contenu, générés via un VAE à quantification résiduelle (RQ-VAE).

Quantification Hiérarchique : Le RQ-VAE projette les plongements multimodaux de contenu dans un espace latent discret et hiérarchique, produisant un tuple de codes $(c_1, c_2, \dots, c_D)$ représentant une hiérarchie sémantique du grossier au fin.
Stratégie de Granularité Asymétrique : Pour équilibrer expressivité et efficacité pour les séquences ultra-longues, les auteurs emploient une stratégie de Bi-gram Tronqué en Profondeur :
- Côté Séquence (Granularité Grossière) : L'historique de l'utilisateur est restreint aux deux premiers niveaux de la hiérarchie $(c_1, c_2)$ . Ceux-ci sont projetés dans un ID entier unifié ( $ID_{seq} = c_1 \cdot |V| + c_2$ ). Cela limite la taille de la table d'incorporation quel que soit l'expansion du corpus et généralise naturellement aux articles en démarrage à froid via des préfixes sémantiques partagés.
- Côté Cible/Non-Séquence (Granularité Fine) : Les articles candidats et les caractéristiques d'interaction pivots (par exemple, la dernière vidéo regardée) conservent la hiérarchie sémantique de pleine profondeur pour assurer un appariement discriminatif précis.

2.2 Transformer Compressé à Conscience Globale

Pour surmonter la barrière de mise à l'échelle des séquences, les auteurs introduisent une architecture transformer qui réduit la complexité computationnelle sans agrégation dégradante.

Repliement Temporel sans Paramètres : Au lieu d'un regroupement (pooling), la séquence d'entrée $X \in \mathbb{R}^{L \times d}$ est partitionnée en fenêtres de taille $k$ et empilée par canaux pour former des « super-jetons ». Cela transforme l'entrée de $(L, d)$ en $(L/k, k \cdot d)$ . Cette opération échange explicitement la résolution temporelle contre la dimensionnalité des caractéristiques, capturant des dépendances denses entre les « super-événements » tout en réduisant la longueur de la séquence d'un facteur $k$ .
Fusion de Représentation Globale-Locale : Un Jeton de Requête Globale ( $G_{init}$ ) apprenable est prépendé à la séquence compressée. Contrairement à une initialisation basée sur le profil de l'utilisateur, ce jeton est agnostique aux caractéristiques, forçant le mécanisme d'attention à dériver les représentations uniquement à partir des interactions dynamiques. Il agit comme un puits d'attention pour stabiliser l'optimisation.
Regroupement par Moyenne Masquée Unifié : La représentation finale de l'utilisateur est calculée en fusionnant l'état global avec les signaux séquentiels granulaires via une opération de regroupement par moyenne masquée, équilibrant l'intention globale et les détails locaux.

2.3 Architecture du Système

Le cadre opère dans un Cadre Hybride Synchrone-Asynchrone :

Module Court Terme Synchrone : Encode les queues d'interactions immédiates ( $S_{short}$ ) en temps réel.
Module Long Terme Asynchrone : Modélise la séquence ultra-longue ( $S_{long}$ ) en utilisant le SID proposé et le Transformer Compressé. Les deux modules partagent un squelette (backbone) et un objectif d'optimisation pour garantir que les représentations cartographient un espace latent partagé, évitant ainsi le désalignement des caractéristiques.

3. Contributions Clés

Représentation Sémantiquement Native à Grande Échelle : Un déploiement industriel à grande échelle de SIDs basés sur RQ-VAE avec une stratégie de Bi-gram Tronqué en Profondeur. Cela découple le stockage des incorporations de la taille du corpus et améliore considérablement la généralisation au contenu en démarrage à froid.
Architecture de Séquence Efficace à Haute Expressivité : Un Transformer Compressé à Conscience Globale utilisant un repliement temporel non paramétrique. Cela permet d'atteindre une réduction de la complexité computationnelle préservant la performance tout en augmentant les dimensions de caractéristiques pour capturer des interactions locales complexes au sein de séquences ultra-longues.
Validation Industrielle à Grande Échelle : Évaluations rigoureuses hors ligne et en ligne sur une plateforme majeure de vidéos courtes servant des milliards d'utilisateurs, démontrant des réductions substantielles des coûts de mémoire et de calcul parallèlement à des gains de métriques en ligne significatifs.

4. Résultats Expérimentaux

Le cadre a été évalué sur le trafic de production avec une longueur de séquence de $L=2000$ , comparé à une ligne de base de pointe utilisant $L=800$ ID de vidéos.

Efficacité des ID Sémantiques : Remplacer les ID de vidéos par des SIDs Bi-gram ( $L=160$ ) a entraîné une hausse de +0,86 % des Vues Satisfaisantes et une hausse de +6,81 % de la Fraîcheur (vues satisfaisantes avec du contenu récemment téléchargé), confirmant une meilleure généralisation au démarrage à froid. Cela a également réduit les paramètres d'incorporation de 38,07 % et la taille de stockage de 39,33 %.
Scalabilité : L'AUC hors ligne a montré des augmentations monotones constantes à mesure que la longueur de la séquence passait de 400 à 2000. Le modèle a bénéficié de manière significative de l'augmentation de la largeur (dimension cachée) et de la profondeur (couches), validant sa capacité à capturer des motifs d'interaction complexes.
Efficacité et Performance : Le repliement temporel avec $k=4$ $k = 4$ a atteint une amélioration de Pareto :
- Temps de l'étape d'entraînement : Réduit de 83,9 % (41,1 ms $\to$ 6,6 ms).
- Mémoire d'activation de pointe : Réduite de 92,2 % (5758 MiB $\to$ 448 MiB).
- Précision : Malgré la compression, l'AUC s'est améliorée de +0,06 % (Tâche 1) et +0,15 % (Tâche 2), grâce au débruitage local et à l'expansion de l'expressivité des caractéristiques.
Impact Global du Système : La mise à niveau holistique (SID + Compression + $L=2000$ $L = 2000$ ) a produit des gains en ligne significatifs :
- Utilisateurs Activement Engagés : +0,52 %
- Temps de Visionnage Satisfaisant : +1,42 %
- Vues Satisfaisantes : +1,08 %

5. Signification et Revendications

L'article prétend fournir un plan pratique pour les moteurs de recommandation à contexte infini de prochaine génération. En résolvant le goulot d'étranglement du vocabulaire par la représentation sémantique et le goulot d'étranglement computationnel par la réorganisation structurelle (repliement temporel), les auteurs démontrent qu'une modélisation de séquence ultra-longue est réalisable à l'échelle d'un milliard d'utilisateurs sans coûts de ressources prohibitifs.

Le travail affirme que la synergie entre les représentations natives au contenu et la compression efficace permet de capturer des signaux d'intérêt utilisateur à long terme plus riches, auparavant inaccessibles aux modèles de référence. Les auteurs positionnent cela comme une étape vers les Grands Modèles de Recommandation (LRM), visant à approfondir l'étude des lois d'échelle des séquences et de la co-conception matériel-algorithme dans des travaux futurs.