PinEqualizer: Full Funnel Content Exploration and Debiasing System at Pinterest
Cet article présente PinEqualizer, un système de débaissement et d'exploration de contenu à l'échelle de tout le tunnel, déployé chez Pinterest, qui traite le problème du démarrage à froid en équilibrant la découverte de contenus frais et l'engagement des utilisateurs sur les surfaces de recherche et de recommandation, tout en utilisant un cadre évolutif pour valider les impacts à court et à long terme.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous entrez dans une bibliothèque immense et infinie où les étagères sont constamment réapprovisionnées avec de nouveaux livres. Dans cette bibliothèque, les bibliothécaires (qui sont en réalité des programmes informatiques très intelligents) ont une seule mission : vous remettre le livre parfait à lire en ce moment même. Mais il y a un piège : les bibliothécaires ont une mauvaise hab habituelle. Ils adorent les livres qu'ils ont déjà vus un million de fois. Ils savent exactement à quel point ces vieux favoris sont populaires, alors ils continuent de vous les fourrer dans les mains. Pendant ce temps, les livres tout neufs, que personne n'a encore lus, restent coincés au fond, prenant la poussière. C'est un problème appelé le « problème du démarrage à froid » (cold-start). Si un nouveau livre n'a jamais la chance d'être lu, les bibliothécaires ne peuvent pas apprendre s'il est réellement bon, donc ils ne le recommandent jamais. La bibliothèque finit par devenir une boucle ennuyeuse où seules les mêmes vieilles histoires sont racontées, et les nouvelles voix passionnantes n'ont jamais la chance de briller.
Ce document traite d'une équipe d'ingénieurs chez Pinterest qui a décidé de résoudre exactement ce problème. Ils ont construit un nouveau système appelé « PinEqualizer » pour aider leurs bibliothécaires informatiques à cesser d'être aussi biaisés en faveur du contenu « célèbre » et ancien, et à commencer à donner une chance équitable aux nouveautés fraîches. Ils n'ont pas seulement ajusté une partie du processus ; ils ont entièrement repensé l'ensemble du pipeline, de la manière dont ils choisissent quels nouveaux livres regarder, à la façon dont ils les trouvent, jusqu'à la décision de lesquels vous montrer. Leur objectif était de s'assurer que le nouveau contenu ait une chance équitable de faire ses preuves, ce qui, comme ils l'ont constaté, rend les lecteurs plus heureux et la bibliothèque beaucoup plus saine et diversifiée dans l'ensemble.
Le Problème : La bibliothèque où « les riches deviennent plus riches »
Pinterest est comme un gigantesque moteur de découverte visuelle comprenant des centaines de milliards d'éléments uniques, appelés « Pins ». Chaque jour, des millions de nouveaux Pins sont mis en ligne. Le travail du système est d'associer ces Pins aux utilisateurs qui les aimeront. Mais il y a un piège sournois : le système apprend de l'histoire. Si un Pin a été cliqué de nombreuses fois par le passé, le système se dit : « C'est génial ! » et le montre à plus de gens. Si un nouveau Pin n'a aucun historique, le système a peur de le montrer car il ne sait pas s'il est bon.
Cela crée un effet de « riche qui devient plus riche ». Le contenu ancien et populaire devient encore plus populaire, tandis que le contenu nouveau et frais est enterré. Avec le temps, cela nuit à tout l'écosystème. Les nouveaux créateurs ne peuvent pas grandir, et les utilisateurs cessent de voir de nouvelles choses passionnantes. Les ingénieurs ont réalisé que le simple fait d'« explorer » (montrer des choses nouvelles de manière aléatoire) ne suffisait pas. Ils devaient corriger le biais profondément ancré dans le système afin que l'ordinateur puisse prédire si un nouveau contenu sera bon sans avoir besoin d'un long historique au préalable.
La Solution : PinEqualizer
L'équipe a construit un nouveau système appelé PinEqualizer qui fonctionne à travers tout le « entonnoir » (funnel) de la manière dont le contenu parvient à un utilisateur. Imaginez l'entonnoir comme un tobglisse pour les Pins. Un Pin doit passer par plusieurs étapes pour atteindre l'écran d'un utilisateur :
- Sélection du corpus : Décider quels nouveaux Pins méritent d'être conservés dans le pool.
- Récupération (Retrieval) : Trouver les bons Pins pour un utilisateur spécifique.
- Classement (Ranking) : Décider l'ordre exact dans lequel les montrer.
PinEqualizer ajoute des outils spéciaux à chaque étape de ce toboggan pour s'assurer que le nouveau contenu ne reste pas bloqué en bas.
1. Choisir les meilleurs nouveaux venus (Sélection du corpus)
Comme il y a trop de nouveaux Pins pour vérifier chacun d'entre eux, le système utilise un jeu de devinettes intelligent appelé « échantillonnage de Thompson » (Thompson Sampling). Imaginez que vous avez un sac de boîtes mystères. Certaines boîtes ont une forte probabilité de contenir un jouet, et d'autres une faible probabilité. Au lieu d'ouvrir toutes les boîtes, le système choisit celles qui pourraient être les meilleures, en se basant sur un mélange de ce qu'il sait sur le créateur et un peu de chance. Ils ont également construit une « bibliothèque d'exploration » spéciale uniquement pour le contenu frais, afin que le système n'ait pas à rivaliser avec les anciens Pins célèbres dès le départ.
2. Trouver la bonne correspondance (Récupération)
Une fois que le système possède un pool de bons nouveaux Pins, il doit trouver les bons pour vous. Habituellement, le système regarde comment les Pins sont connectés entre eux (comme un réseau d'amis). Mais les nouveaux Pins n'ont pas encore beaucoup d'amis ! Ainsi, les ingénieurs ont appris au système à utiliser des indices « basés sur le contenu » à la place. Ils ont utilisé une IA avancée pour comprendre ce que l'image représente réellement (en utilisant des modèles de langage visuel), plutôt que de simplement regarder qui l'a enregistré auparavant. Ils ont également créé un « canal dédié » spécial pour garantir qu'un flux constant de nouveaux Pins soit envoyé en bas du toboggan, même s'ils n'ont pas encore été populaires.
3. La décision finale (Classement)
C'est la partie la plus importante. Lorsque le système doit choisir la liste finale de Pins à vous montrer, il s'appuie généralement fortement sur les données passées. Si un Pin n'a pas de données antérieures, le système lui donne souvent un score faible. PinEqualizer corrige cela en :
- Apprenant à l'IA à ignorer le passé : Ils ont utilisé une astuce appelée « dropout », où ils cachent aléatoirement les chiffres de « popularité » pendant l'entraînement. Cela force l'IA à apprendre à juger un Pin en fonction de son contenu réel (l'image et la description) plutôt que de sa célébrité.
- Donnant un coup de pouce de confiance : Ils ont ajouté un score de « bonus » aux nouveaux articles. C'est comme dire : « Nous ne savons pas encore si c'est bon, mais donnons-lui une chance équitable d'être vu. » Cela est fait à l'aide d'une méthode appelée UCB (Upper Confidence Bound), qui ajoute un peu d'excitation supplémentaire aux éléments qui ont été peu vus.
- Calibrant les scores : Ils se sont assurés que le système ne pénalise pas injustement le nouveau contenu simplement parce qu'il est nouveau. Ils ont ajusté les mathématiques pour qu'un nouveau Pin ayant un grand potentiel ait les mêmes chances qu'un ancien Pin célèbre.
Comment ils ont mesuré le succès
Vous vous demandez peut-être : « Comment savoir si cela fonctionne vraiment ? » Si vous montrez simplement de nouvelles choses aux gens, ils pourraient cliquer moins souvent au début car ils ne connaissent pas encore ces nouveautés. C'est le problème de la « douleur à court terme pour un gain à long terme ».
Pour résoudre cela, l'équipe a construit un cadre de mesure spécial :
- Le test de « Holdout » : Ils ont mené une expérience à long terme où un groupe d'utilisateurs voyait uniquement du contenu ancien (pas de nouveautés), tandis qu'un autre groupe voyait le nouveau contenu exploré. Ils ont constaté que le groupe voyant les nouveautés avait un engagement à long terme bien meilleur. Cela a prouvé que le nouveau contenu était réellement précieux, même s'il fallait un peu de temps pour le découvrir.
- La métrique de « Graduation » : Ils ont défini un point de « graduation ». Une fois qu'un nouveau Pin obtient suffisamment d'interactions positives (likes, enregistrements) dans un certain nombre de jours, il « gradue » de l'état de mystère à celui de quantité connue. Ils ont suivi combien de Pins réussissaient à graduer avec succès.
- La métrique de « Sous-exploration » : Ils ont mesuré à quel point l'engagement du système provenait de contenus qui avaient été peu vus encore. Cela les a aidés à voir si leurs changements aidaient réellement les nouveautés à être remarquées.
Les Résultats
Les résultats ont été impressionnants. Après le déploiement de PinEqualizer, Pinterest a constaté une augmentation de 350 % des impressions de contenu frais. Cela signifie que les utilisateurs voyaient beaucoup plus de nouveaux Pins qu'auparavant.
- Engagement des utilisateurs : Le système a conduit à une augmentation de 24 % des sessions réussies en Amérique du Nord et à une augmentation de 49 % à l'international.
- Shopping : L'impact a été énorme pour le shopping. Les sessions de shopping ont augmenté de 63 % en Amérique du Nord, suggérant que les nouveaux produits recevaient enfin l'attention qu'ils méritaient.
- Santé des créateurs : Le système a aidé davantage de créateurs à réussir. Le nombre de « fournisseurs de contenu réussis » (créateurs dont le contenu a reçu une attention considérable) a bondi de 99 % d'une année sur l'autre.
Pourquoi c'est important
Le document montre que vous n'avez pas à choisir entre montrer aux utilisateurs ce qu'ils aiment maintenant et ce qu'ils pourraient aimer dans le futur. En corrigeant le biais dans le cerveau du système, vous pouvez faire les deux. Les ingénieurs ont découvert qu'en faisant des changements petits et intelligents à chaque étape du processus — en choisissant de meilleurs candidats, en les trouvant mieux et en les classant plus équitablement — ils pouvaient briser le cycle du « riche qui devient plus riche ».
Ils ont également appris qu'on ne peut pas simplement réparer une partie du système. Si vous réparez le classement mais que l'étape de récupération reste biaisée, le nouveau contenu n'atteindra même jamais l'étape du classement. C'est comme avoir un excellent nouveau livre mais le laisser enfermé dans une pièce où personne ne peut le trouver. PinEqualizer a déverrouillé toute la bibliothèque.
En fin de compte, le système n'a pas seulement aidé Pinterest à montrer plus de nouveaux Pins ; il a aidé à créer un écosystème plus sain où de nouveaux créateurs pouvaient grandir, et où les utilisateurs pouvaient découvrir un monde plus large et plus excitant de contenu. Le document suggère que cette approche « full-funnel » (tout l'entonnoir) est un moyen puissant de résoudre les problèmes de démarrage à froid dans n'importe quel système de recommandation à grande échelle, prouvant que la justice et la précision peuvent aller de pair.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.