🤖 machine learning

UniPinRec: Unifying Generative Retrieval and Ranking at Pinterest Scale

UniPinRec est le premier système de production à unifier pleinement la recherche et le classement en un pipeline unique basé sur les transformers, avec des entrées, un entraînement et une infrastructure de service partagés, réalisant des gains d'engagement significatifs et des améliorations d'efficacité à l'échelle de Pinterest.

Auteurs originaux : Hanyu Li, Yi-Ping Hsu, Aditya Mantha, Prabhat Agarwal, Laksh Bhasin, Jialu Wang, Hongtao Lin, Bella Huang, Yaxin Li, Xinyi Li, Chuxi Wang, Kousik Rajesh, Hooshmand Shokri Razaghi, Shunyao Li, Zongyue

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanyu Li, Yi-Ping Hsu, Aditya Mantha, Prabhat Agarwal, Laksh Bhasin, Jialu Wang, Hongtao Lin, Bella Huang, Yaxin Li, Xinyi Li, Chuxi Wang, Kousik Rajesh, Hooshmand Shokri Razaghi, Shunyao Li, Zongyue Qin, Jaewon Yang, James Li, Dhruvil Deven Badani, Jiajing Xu, Charles Rosenberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez Pinterest comme une immense bibliothèque très animée contenant des milliards de livres (Pins). Lorsque vous y entrez, la bibliothèque doit accomplir deux tâches très rapidement :

La Récupération (Retrieval) : Scanner toute la bibliothèque pour trouver quelques milliers de livres qui pourraient vous intéresser.
Le Classement (Ranking) : Prendre ces quelques milliers de livres, lire attentivement leurs résumés et les organiser dans l'ordre parfait pour vous.

L'ancienne méthode : Deux bibliothécaires distincts

Pendant longtemps, Pinterest a utilisé deux « bibliothécaires » (modèles d'IA) différents pour faire cela.

Le Bibliothécaire A (Récupération) était un champion de la vitesse. Il scannait toute la bibliothèque très rapidement, mais ne lisait pas les livres en profondeur. Il se contentait de ramasser un gros tas de correspondances potentielles.
Le Bibliothécaire B (Classement) était un lecteur attentif. Il prenait ce tas, lisait chaque livre en détail, et les triait parfaitement.

Le Problème : Les deux bibliothécaires lisaient exactement les mêmes notes sur votre comportement passé (ce que vous avez cliqué, enregistré ou masqué). Ils effectuaient tous deux le travail lourd de « mémorisation » de votre historique séparément. C'était comme embaucher deux personnes pour mémoriser le même annuaire juste pour faire deux listes différentes. Cela gaspillait de l'argent, de la puissance de calcul et du temps.

La nouvelle solution : UniPinRec (Le Super-Bibliothécaire)

Le document présente UniPinRec, un seul « Super-Bibliothécaire » qui fait les deux tâches à la fois, avec un seul cerveau, un seul ensemble de notes et un seul flux de travail.

Voici comment ils ont fait fonctionner cela, grâce à trois astuces ingénieuses :

1. L'astuce de la « l'Action Masquée » (MAM)

Habituellement, le bibliothécaire de « Récupération » regarde simplement une liste d'articles que vous avez aimés. Le bibliothécaire de « Classement », lui, a besoin de savoir ce que vous avez fait avec ces articles (avez-vous cliqué ? enregistré ? masqué ?).

L'ancien problème : Si vous mélangez le « ce que vous avez fait » dans la liste, cela perturbe la vitesse du bibliothécaire de Récupération.
La correction de UniPinRec : Ils utilisent une technique de « masquage ». Imaginez que le bibliothécaire possède une liste de votre historique. Ils recouvrent (masquent) la partie qui indique « ce que vous avez fait » avec un post-it.
- Le bibliothécaire apprend à deviner ce que vous avez fait en se basant sur l'article.
- Cela permet au bibliothécaire d'apprendre à la fois comment trouver des articles (Récupération) et comment les juger (Classement) sans que la liste ne devienne trop longue ou confuse. C'est comme apprendre à conduire et à se garer en même temps en s'entraînant avec le frein à main serré.

2. L L'astuce de la « Mémoire Partagée » (Réutilisation du KV Cache)

C'est le plus grand boost de vitesse.

L'ancien problème : Lorsque le bibliothécaire de Classement commençait son travail, il devait relire tout votre historique depuis le début pour comprendre qui vous étiez.
La correction de UniPinRec : Le bibliothécaire de Récupération fait le travail difficile de lire votre historique en premier. Au lieu de jeter ces notes, il les transmet au bibliothécaire de Classement.
- Le bibliothécaire de Classement ne relit pas l'historique ; il consulte simplement les notes que le premier bibliothécaire a déjà rédigées.
- Analogie : C'est comme un chef qui coupe tous les légumes (Récupération) puis tend le bol à un sous-chef qui n'a plus qu'à ajouter les épices (Classement). Le sous-chef n'a pas besoin de couper les légumes à nouveau. Cela permet de gagner un temps considérable.

3. L'astuce de l'« Entraînement Mixte »

Au lieu d'entraîner le modèle pour qu'il soit d'abord un « Chercheur » puis un « Trieur » plus tard, ils l'ont entraîné à faire les deux simultanément.

Ils ont nourri le modèle d'exemples contenant à la fois « l'historique de ce que vous avez aimé » ET « la liste de ce que vous avez vu mais pas cliqué ».
Cela a appris au modèle à être un meilleur chercheur parce qu'il savait comment juger les articles, et un meilleur juge parce qu'il savait comment trouver les bons articles.

Les Résultats : Plus Rapide, Plus Intelligent, Moins Cher

Lorsqu'ils ont mis ce Super-Bibliothécaire au travail dans la véritable application Pinterest, les résultats ont été impressionnants :

De meilleures recommandations : Les utilisateurs ont enregistré plus de Pins et ont ouvert plus de notifications. Le système a trouvé de meilleurs articles parce que le « Chercheur » et le « Trieur » communiquaient entre eux.
Une vitesse accrue : Comme ils ont arrêté de relire l'historique de l'utilisateur, le système est devenu 11 % plus rapide globalement.
Plus de capacité : Le système a pu gérer 63 % d'utilisateurs en plus en même temps sans ralentir.

Résumé

UniPinRec est comme la fusion de deux départements distincts en une seule équipe efficace. En partageant le même « cerveau » (modèle), les mêmes « notes » (historique de l'utilisateur) et le même « flux de travail », Pinterest économise de l'argent sur les ordinateurs, rend l'application plus rapide pour les utilisateurs et présente aux gens du contenu qu'ils veulent réellement voir. Ils n'ont pas remplacé tout le système de la bibliothèque ; ils ont simplement fait en sorte que les bibliothécaires existants travaillent ensemble parfaitement.

Résumé Technique : UniPinRec

Énoncé du Problème
Les systèmes de recommandation industriels modernes, tels que ceux de Pinterest, fonctionnent généralement selon des entonnoirs à plusieurs étapes où la récupération (retrieval) et le classement (ranking) sont entraînés comme des modèles distincts. Bien que les deux étapes reposent de plus en plus sur de grands backbones Transformer pour encoder les mêmes données de comportement utilisateur, cette séparation crée une redondance significative. Le paradigme actuel duplique les paramètres, le calcul d'entraînement et les coûts de service car la récupération et le classement ne peuvent pas partager les signaux appris ou les poids du modèle. Bien que des travaux antérieurs aient tenté d'unifier les architectures de modèles (ex. : HSTU, OnePiece), ces approches échouent souvent à unifier l'intégralité du pipeline. Elles restent fragmentées entre les formats d'entrée, les procédures d'entraînement et les piles de service, ou reposent sur des méthodes génératives de bout en bout qui remplacent l'intégralité de l'entonnoir, rendant l'intégration avec les sources de candidats existantes et le contrôle opérationnel difficiles.

Méthodologie
Les auteurs proposent UniPinRec, un système qui réalise une unification complète de la pile (full-stack unification) de la récupération et du classement. Cette approche intègre les formats d'entrée, l'architecture du modèle, l'entraînement et l'infrastructure de service en un pipeline unique et cohérent, déployé au sein de l'environnement de production existant de Pinterest. La méthodologie repose sur trois innovations techniques clés :

Modélisation d'Action Masquée (Masked Action Modeling - MAM) :
Pour permettre à un modèle unique de servir à la fois la récupération (prédiction du prochain élément) et le classement (prédiction d'une action) sans doubler la longueur du contexte ou briser la compatibilité des entrées, les auteurs introduisent la MAM.
- Architecture : Au lieu d'entrelacer des tokens d'action entre les éléments (ce qui gonfle la longueur de la séquence), les actions sont encodées sous forme d'embeddings denses concaténés avec les représentations d'éléments le long de la dimension des caractéristiques.
- Masquage : Pendant l'entraînement, les actions dans l'historique de l'utilisateur sont masquées aléatoirement avec une probabilité $p_{mask}$ . Lors de l'inférence, les actions futures sont toujours masquées. Cela permet au modèle d'apprendre des objectifs de prédiction d'action (classement) sur la même séquence non entrelacée utilisée pour la récupération (prédiction du prochain élément).
- Motif d'Attention : Le système utilise un masque causal modifié (motif M-FALCON) où les positions candidates portent attention à tout l'historique passé mais pas entre elles. Cela réduit la complexité de l'attention de $O((n+k)^2)$ à $O(n^2 + nk)$ et permet un partage efficace du cache KV.
Entraînement Mixte et Perte Conjointe :
Le système construit des exemples d'entraînement unifiés qui associent l'historique d'engagement passé d'un utilisateur à un flux de vue de fil futur (incluant les résultats négatifs).
- Infrastructure de Données : Une jointure dans l'entraîneur basée sur Ray fusionne des tables Iceberg distinctes (historique utilisateur et impressions de flux de vue), évitant la duplication de données et permettant des ratios d'échantillonnage flexibles.
- Objectif : Le modèle est entraîné avec une fonction de perte conjointe : $L = L_{item} + L_{action}$ $L = L_{i t e m} + L_{a c t i o n}$ .
  - $L_{item}$ : Une perte de softmax échantillonné pour la prédiction du prochain élément (récupération).
  - $L_{action}$ : Une perte de cross-entropie binaire pour prédire des types d'actions spécifiques (clic, enregistrement, masquer) sur les positions masquées (classement).
- Cette optimisation conjointe permet à l'encodeur d'éléments d'apprendre de ces deux tâches simultanément, améliorant la généralisation par rapport à un pré-entraînement et un fine-tuning séquentiels.
Partage de Cache KV Cross-Stage :
Pour répondre à l'efficacité du service, UniPinRec réutilise le calcul de l'encodage de l'historique utilisateur à travers les étapes.
- Mécanisme : L'étape de récupération encode l'historique de l'utilisateur et stocke le cache Key-Value (KV) résultant dans un pool de mémoire GPU pré-alloué. L'étape de classement, fonctionnant comme un processus séparé, mappe ce même espace mémoire GPU et réutilise le cache de l'historique sans le ré-encoder.
- Efficacité : Cela transforme l'étape de classement d'un passage forward complet ( $O(n^2)$ ) en une étape de décodage incrémentiel ($O(nk) $), où$ n$ est la longueur de l'historique et $k$ est le nombre de candidats.
- Implémentation : Le système utilise NVIDIA Triton pour le service, avec Faiss pour la recherche ANN. L'index Faiss retourne à la fois les IDs des candidats et leurs embeddings pré-calculés, éliminant le besoin d'un fetch d'embedding séparé lors du classement.

Contributions Clés

Unification de la Pile Complète : UniPinRec est le premier système à unifier la récupération et le classement à travers les entrées, le modèle, l'entraînement et l'infrastructure de service dans un système de recommandation en production. Il remplace le besoin de deux modèles indépendants par un seul décodeur génératif.
Architecture Efficace : En introduisant la MAM et des séquences non entrelacées, le système atteint un partage complet des poids et une efficacité des paramètres sans gonfler la longueur du contexte.
Optimisation du Service : Le mécanisme de partage de cache KV cross-stage réduit considérablement les FLOPs totaux et la latence en évitant le double encodage de l'historique utilisateur.
Compatibilité Opérationnelle : La conception est un remplacement "prêt à l'emploi" qui se compose avec les générateurs de candidats existants (ex. : mots-clés, tendances) et permet des tests A/B et des retours en arrière (rollbacks) indépendants pour chaque étape.

Résultats
Le système a été déployé sur les surfaces principales de Pinterest, produisant les résultats suivants :

Performance Hors-ligne : UniPinRec a égalé le Recall@10 du modèle de récupération de production tout en améliorant le Hit@3 du classement de +14,8 % par rapport au classeur dédié de production (TransAct V2 + DCNv2). Il a également surpassé HSTU et une ligne de base PinRec fine-tunée.
Efficacité du Service : L'approche unifiée a réduit la latence de service de bout en bout de 11,1 % et augmenté les requêtes par seconde (QPS) de 63,6 % par rapport à un déploiement séparé naïf. Le seul partage de cache KV a apporté un accélération d'environ 2,4x pour le passage de classement.
Engagement en Ligne : Dans les tests A/B sur "Board More Ideas" et "Notifications" :
- Board More Ideas : A obtenu une hausse de +0,95 % des enregistrements sur la surface et une hausse de +0,08 % des enregistrements sur l'ensemble du site.
- Notifications : A obtenu une hausse de +0,91 % des ouvertures de notifications push, une hausse de +1,72 % pour les utilisateurs dormants, et une hausse de +0,09 % des utilisateurs actifs hebdomadaires (WAU).

Signification
L'article affirme qu'UniPinRec démontre que le "problème plus difficile" consistant à unifier les formats d'entrée, l'entraînement et l'infrastructure de service est soluble en production. En allant au-delà de l'unification architecturale pour atteindre l'unification de la pile complète, le système élimine la redondance de l'encodage double de l'historique utilisateur, réduit les coûts et améliore la qualité du modèle grâce au partage de signaux. Les auteurs positionnent cela comme une voie pratique et incrémentale pour que les systèmes industriels adoptent la récupération et le classement génératifs sans sacrifier la flexibilité opérationnelle ni nécessiter une refonte complète de l'entonnoir de recommandation. Les travaux futurs incluent l'extension de cette unification à l'étape de classement L2 et à d'autres surfaces comme la Recherche et les Publicités.