Résumé Technique : FLUID

Énoncé du Problème

Les systèmes de recommandation modernes reposent principalement sur le filtrage collaboratif basé sur les identifiants (ID), où les éléments sont représentés par des plongements d'ID uniques qui accumulent des signaux issus des interactions utilisateurs. Cependant, ce paradigme fait face à un décalage fondamental dans la recommandation de streaming en direct. Contrairement aux éléments à longue durée de vie dans le commerce électronique ou les domaines de vidéos courtes, une salle de streaming en direct ne diffuse généralement que pendant environ 45 minutes avant de devenir obsolète. Par conséquent, le plongement d'ID de l'élément reste dans un état de démarrage à froid persistant, échouant à converger au cours de la courte durée de vie de la salle.

Cela crée deux défis spécifiques :

1. Pénurie de Signaux : Le tableau de plongements d'ID ne peut pas mémoriser suffisamment de signaux collaboratifs avant la fin de la salle, rendant l'ID inutile pour la généralisation.
2. Effet de Dominance de l'ID : Dans les systèmes industriels existants, les caractéristiques multimodales sont souvent ajoutées en tant que signaux auxiliaires parallèlement à l'ID de l'élément. Cependant, les modèles de classement ont tendance à privilégier par défaut le signal ID (mémorisation) et sous-utilisent les entrées multimodales. Dans le streaming en direct, où le signal ID est éphémère et bruyant, cette « dominance de l'ID » gaspille la capacité du modèle sur un signal en décomposition rapide, empêchant les caractéristiques multimodales de guider efficacement les recommandations.

Méthodologie : Le Cadre FLUID

FLUID (Framework for Live Universal ID-free Recommendation) est le premier cadre à retirer entièrement l'ID de l'élément côté candidat d'un classeur de streaming en direct à l'échelle de la production, le remplaçant intégralement par des codes sémantiques multimodaux. Le pipeline se compose de quatre étapes :

1. Encodeur Multimodal Inter-domaines

Pour pallier la rareté des données en direct, FLUID emploie un encodeur multimodal à tour unique entraîné conjointement sur les vidéos courtes et les streams en direct.

• Architecture : Il combine un module visuel (SigLIP2-base ViT), un module textuel (tokenisation des titres, OCR, ASR, commentaires, etc.) et un module de fusion basé sur Qwen3-Embedding-0.6B.
• Entraînement : L'encodeur utilise un objectif contrastif requête-vers-élément (Q2I) avec une perte InfoNCE. Il utilise une recette d'entraînement en deux étapes : (1) Alignement (entraînement uniquement des projecteurs) pour préserver les sémantiques pré-entraînées, suivi de (2) Un ajustement fin conjoint.
• Objectif : Ce transfert inter-domaines exploite la supervision plus dense et moins bruyante des vidéos courtes pour produire des représentations sémantiques robustes pour le domaine en direct, qui est épars.

2. Représentation Discrète (LUCID)

Le plongement continu à 128 dimensions ($z$) issu de l'encodeur est discrétisé en codes LUCID (Live Universal Content IDentifier) utilisant la Quantification Résiduelle K-Means (RQ-KMeans).

• Structure : LUCID est un tuple hiérarchique de mots de code à 4 niveaux ($c_1, c_2, c_3, c_4$).
• Granularité :
  • LUCID au niveau de la tranche : Capture la dynamique du contenu sur 2 minutes (par exemple, un streamer passant du chat au chant).
  • LUCID au niveau de la salle : Obtenu par vote majoritaire par niveau sur toutes les tranches d'une session. Cela fournit une identité stable et persistante pour la salle, découplant l'identifiant des changements de contenu transitoires.

3. Plongement N-gramme de Préfixe

Pour mapper les tuples LUCID dans le classeur, FLUID utilise un schéma de plongement n-gramme de préfixe plutôt qu'un simple décodage par niveau.

• Mécanisme : Le plongement de chaque niveau est conditionné par le chemin de préfixe complet ($\bar{c}_l = \sum c_k \cdot N^{l-k}$). Cela garantit que le même mot de code à un niveau plus profond représente des régions sémantiques différentes en fonction de son chemin parent, résolvant l'ambiguïté inhérente à la quantification résiduelle.
• Implémentation : Les LUCID au niveau de la tranche et au niveau de la salle utilisent des tableaux de plongement séparés pour empêcher le mélange des sémantiques stables de la salle avec la dynamique transitoire des tranches.

4. Classeur Sans ID à Fusion Tardive et Échauffement par Étapes

L'architecture finale remplace entièrement le jeton d'ID de l'élément par des jetons LUCID.

• Fusion Tardive : Les LUCID de tranche et de salle sont injectés en tant que jetons indépendants dans l'épine dorsale du classeur basée sur le transformateur. Cela permet au modèle d'apprendre les interactions entre l'identité stable de la salle et la dynamique transitoire des tranches sans les forcer dans une représentation unique.
• Échauffement par Étapes : Pour stabiliser la transition de l'entraînement basé sur les ID vers un entraînement sans ID dans un contexte incrémental en ligne, FLUID emploie un échauffement en trois étapes :
  1. Ajout de Tranche : Ajouter le LUCID de tranche en tant que nouveau jeton à côté de l'ID de l'élément convergé.
  2. Élimination Progressive de l'ID de l'Élément : Mettre progressivement l'ID de l'élément à zéro, forçant le modèle à se fier au LUCID de tranche.
  3. Ajout de Salle : Introduire le LUCID au niveau de la salle (initialisé à partir des tables de tranches échauffées) pour assumer le rôle d'identité persistante.

Contributions Clés

1. Cadrage du Problème : L'article soutient que pour les éléments éphémères, l'effet de « dominance de l'ID » est un goulot d'étranglement fondamental, et non une nuisance tolérable. Il postule que la solution n'est pas de meilleures astuces de fusion, mais le retrait complet de l'ID de l'élément côté candidat.
2. Encodeur Inter-domaines : Introduction d'un encodeur multimodal entraîné conjointement sur les vidéos courtes et les streams en direct pour produire des codes hiérarchiques LUCID, servant d'unique identifiant de contenu côté candidat.
3. Architecture Sans ID : Une conception de classeur à fusion tardive où LUCID remplace l'ID de l'élément, stabilisée par une procédure d'échauffement par étapes qui assure une transition sûre lors de l'entraînement en ligne.

Résultats Expérimentaux

FLUID a été déployé sur des plateformes industrielles de streaming en direct avec une base d'utilisateurs combinée de plus d'1 milliard.

Métriques Hors Ligne (CTR AUC) :

• L'ajout du LUCID de tranche à la ligne de base (avec ID) a produit un gain d'AUC de +0,22 %.
• Le retrait de l'ID de l'élément sans substitut a causé une baisse significative (-0,47 %), confirmant la dépendance du modèle à la mémorisation de l'ID.
• La configuration finale FLUID (Sans ID + LUCID de Tranche et de Salle) a réalisé un gain de +0,23 % par rapport à la ligne de base.

Résultats des Tests A/B en Ligne :
Par rapport à la ligne de base de production, FLUID a apporté des gains significatifs sur plusieurs métriques :

• Qualité de l'Engagement : +0,55 % de Durée de Regard de Qualité, +0,51 % de Session de Regard de Qualité.
• Démarrage à Froid et Diversité : +2,05 % de Vues de Salles en Démarrage à Froid, +2,87 % de Vues de Salles de Niche, +1,63 % d'Étiquettes Regardées Uniques.
• Rétention : +0,05 % d'Heures Actives (la seule configuration à avoir réalisé des gains positifs de rétention ; le retrait de l'ID sans substitution LUCID a entraîné une rétention négative).

Insights des Ablations :

• Fusion : La fusion précoce (fusion de l'ID et de LUCID) n'a pas permis d'améliorer les performances, car le modèle est retombé sur la dépendance à l'ID. La fusion tardive était essentielle.
• Entraînement : Un entraînement naïf de LUCID sans échauffement par étapes a échoué. L'échauffement par étapes était crucial pour empêcher le modèle de s'effondrer sur le signal ID pendant la transition.
• Plongement : Les plongements n-grammes de préfixe ont surpassé le décodage par niveau, et les tableaux indépendants pour les codes de tranche/salle ont surpassé les tableaux partagés.

Importance et Revendications

L'article revendique que FLUID démontre un nouveau principe pour les domaines de recommandation à courte durée de vie : lorsque les éléments sont intrinsèquement éphémères, retirer l'ID de l'élément est un remède plus fondé que d'essayer de fusionner des signaux multimodaux avec un ID en décomposition.

En remplaçant avec succès l'ID par des codes sémantiques multimodaux (LUCID) et en stabilisant la transition via un échauffement par étapes, FLUID atteint :

1. Qualité de Correspondance Restaurée : Le modèle peut efficacement faire correspondre les utilisateurs au contenu sans dépendre d'un historique d'ID insuffisant.
2. Diversité Authentique : Les améliorations des vues de niches et de démarrage à froid sont motivées par une meilleure compréhension du contenu, et non simplement par la redistribution passive du trafic due à un mauvais appariement.
3. Rétention Utilisateur : Le cadre convertit ces gains de diversité et d'engagement en rétention utilisateur réelle, prouvant que le classement ancré dans le contenu peut surpasser la mémorisation basée sur les ID dans le contexte du streaming en direct.

Ce travail se positionne comme une étape vers le classement ancré dans le contenu dans les domaines où les durées de vie des éléments sont trop courtes pour que le filtrage collaboratif traditionnel fonctionne.