HiGR: Industrial-Scale Hierarchical Generative Slate Recommendation Framework in Tencent
Cet article présente HiGR, un cadre génératif hiérarchique à l'échelle industrielle pour la recommandation de listes (slate recommendation) qui remédie aux limites des méthodes existantes en employant un espace SID structuré via PCRQ-VAE, un décodeur de liste hiérarchique à grain grossier pour une planification efficace, et un mécanisme d'alignement basé sur ORPO, entraînant des améliorations significatives de la qualité de la recommandation, de la vitesse d'inférence et de l'engagement réel des utilisateurs sur les plateformes de Tencent.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes le rédacteur en chef d'un journal quotidien. Votre travail ne consiste pas seulement à choisir la meilleure histoire pour la une, mais vous devez composer une page entière (une « sélection ») de 10 histoires différentes.
Le défi ? Si vous choisissez simplement les 10 histoires les plus populaires individuellement, vous pourriez vous retrouver avec 10 histoires sur la même célébrité, ou 10 histoires sur le même type de crime. Le lecteur s'ennuie, ou a l'impression d'être dans une « bulle d'information ». Il faut un mélange : un peu de politique, un peu de sport, un peu d'intérêt humain, le tout disposé de manière à ce que le lecteur ait envie de tourner la page.
C'est exactement le problème que HiGR résout pour les applications comme les plateformes de actualités et de vidéo de Tencent. Il s'agit d'un nouvel « Éditeur IA » qui ne se contente pas de choisir des éléments un par un, mais qui planifie toute la page à la fois.
Voici comment fonctionne HiGR, décomposé en trois étapes simples utilisant des analogies :
1. La bibliothèque de livres organisés (PCRQ-VAE)
Avant que l'IA puisse rédiger une liste, elle doit comprendre de quoi parle chaque élément (vidéo, article de presse, roman).
- L'ancienne méthode : Imaginez une bibliothèque où chaque livre possède un numéro de série aléatoire. Si vous voulez trouver de la « Science-Fiction », vous devez vérifier chaque livre pour voir si le numéro correspond. C'est désordonné et inefficace.
- La méthode HiGR : HiGR construit une bibliothèque intelligente. Il attribue à chaque livre un code spécial (un « ID Sémantique ») qui agit comme une adresse hiérarchique.
- La première partie du code indique le Genre (ex : « Science-Fiction »).
- La deuxième partie indique le Sous-genre (ex : « Space Opera »).
- La dernière partie identifie le Livre spécifique.
- La magie : HiGR utilise une méthode d'entraînement spéciale (appelée Prefix-Contrastive RQ-VAE) pour garantir que tous les livres de « Space Opera » partagent la même première partie de leur code. Cela permet à l'IA de dire : « J'ai besoin d'un Space Opera », sans avoir à chercher dans toute la bibliothèque.
2. L'architecte à deux étapes (Hierarchical Slate Decoder)
Maintenant, l'IA doit construire la une.
- L'ancienne méthode (Le constructeur lent) : Imaginez un constructeur qui doit poser chaque brique une par une pour construire une maison entière. S'il fait une erreur sur la première brique, il doit tout démolir et recommencer. C'est lent et cela crée de la confusion sur la forme globale de la maison.
- La méthode HiGR (L'Architecte + Le Maçon) : HiGR divise le travail en deux rôles :
- L'Architecte (Planificateur à grain grossier) : D'abord, l'Architecte regarde l'utilisateur et dit : « D'accord, pour cette personne, la une doit contenir : 1. Une histoire de sport, 2. Une histoire de technologie, 3. Une histoire de cuisine. » Il ne choisit pas encore les histoires spécifiques ; il planifie simplement l'ambiance et la structure de la page. C'est rapide et cela garantit que la page soit équilibrée.
- Le Maçon (Générateur à grain fin) : Une fois que l'Architecte a dit : « Nous avons besoin d'une histoire de sport », le Maçon trouve rapidement la meilleure histoire de sport spécifique pour remplir cet emplacement.
- Le résultat : Parce que l'Architecte planifie d'abord toute la mise en page, l'IA ne s'enlise pas dans les détails. Elle construit la page beaucoup plus vite (5 fois plus vite !) tout en gardant une structure parfaite.
3. La critique de l'éditeur (ORPO Preference Alignment)
Enfin, l'IA doit apprendre ce qui fait une bonne une, et pas seulement une page techniquement correcte.
- Le problème : Si vous apprenez seulement à une IA à prédire le « mot suivant », elle peut écrire une phrase grammaticalement parfaite mais ennuyeuse. De même, une IA peut choisir 10 éléments qui sont tous populaires mais répétitifs.
- La solution HiGR : HiGR utilise une technique appelée ORPO (Odds Ratio Preference Optimization). Considérez cela comme un éditeur exigeant qui examine deux versions de la une :
- Version A (La Gagnante) : Une page que l'utilisateur a réellement regardée, aimée et terminée de lire.
- Version B (La Perdante) : Une page qui a été mélangée de manière aléatoire, qui contenait des éléments ennuyeux ou qui était trop répétitive.
- La leçon : L'IA apprend à comparer ces deux versions. Elle apprend qu'une bonne page n'est pas seulement une question de popularité ; c'est une question de Classement (mettre les meilleurs éléments en premier), d'Intérêt Réel (choisir des choses que l'utilisateur aime vraiment) et de Diversité (faire en sorte que la page ne traite pas uniquement du même sujet).
L'impact dans le monde réel
L'article rapporte que ce système est déjà opérationnel sur les plateformes de Tencent, servant des centaines de millions d'utilisateurs.
- Vitesse : Il fonctionne 5 fois plus vite que les méthodes précédentes, ce qui signifie que les utilisateurs n'ont pas à attendre le chargement de leur flux.
- Qualité : Dans des tests en conditions réelles, il a augmenté le temps passé à regarder des vidéos de 1,22 % et le nombre de vidéos visionnées de 1,73 %.
- Échelle : Il gère des quantités massives de données sans sourciller, prouvant que cette approche « Architecte + Maçon » fonctionne pour la recommandation à l'échelle industrielle.
En bref : HiGR est une IA qui cesse d'essayer de choisir des éléments un par un. Au lieu de cela, elle esquisse d'abord un plan équilibré et diversifié pour l'ensemble de la liste, puis remplit rapidement les détails, garantissant aux utilisateurs une expérience personnalisée, engageante et non répétitive.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.