Résumé technique : PRL-PUTS pour l'ajustement personnalisé des utilités

1. Définition du problème

Les systèmes de recommandation à grande échelle, tels que le fil d'actualité (Homefeed) de Pinterest, utilisent généralement des modèles de classement multi-tâches qui prédisent simultanément plusieurs résultats d'engagement utilisateur (par exemple, clics, enregistrements/Repins). Ces prédictions sont agrégées en un score d'utilité unique via une somme pondérée linéaire pour déterminer le classement final.

L'article identifie trois limitations critiques de l'approche manuelle actuelle pour l'ajustement de ces poids d'utilité :

1. Inefficacité opérationnelle : La sélection des poids repose sur des analyses hors ligne ad hoc et de longs cycles de tests A/B en ligne (semaines à mois), rendant l'adaptation aux priorités commerciales changeantes lente.
2. Obsolescence : Les poids globaux sont souvent traités comme des constantes statiques. À mesure que le classeur sous-jacent est actualisé avec de nouvelles données et fonctionnalités, les poids précédemment ajustés deviennent désalignés par rapport à la distribution actuelle du modèle.
3. Absence de personnalisation : Les poids globaux imposent un compromis d'objectif unique à tous les utilisateurs et contextes, ne tenant pas compte des intentions hétérogènes des utilisateurs. L'énumération manuelle des compromis dépendants du contexte est ingérable à l'échelle de la production.

Le défi central consiste à créer un système permettant des compromis multi-objectifs rapides, sensibles au contexte et gouvernables, tout en respectant des contraintes de production strictes (fréquence limitée de réentraînement du modèle et complexité au moment du service).

2. Méthodologie : PRL-PUTS

Les auteurs proposent PRL-PUTS (Cadre RL prêt pour la production, indépendant du classeur, pour l'ajustement des poids d'utilité personnalisés avec balayage de Pareto). Ce cadre formule l'ajustement des poids d'utilité comme un problème d'apprentissage par renforcement (RL) basé sur la valeur, en une seule étape.

2.1 Formulation de base

• État ($s$) : Représente le contexte de la requête, incluant les signaux du profil utilisateur, les préférences à long terme (embeddings), l'historique des actions récentes et le contexte au moment du service (appareil, surface, heure).
• Action ($a$) : Un vecteur de poids d'utilité appliqué aux prédictions par objectif existantes du classeur. Pour gérer la complexité et les risques, le système contrôle un sous-ensemble discret de poids (spécifiquement pour les Repins et les impressions P2P dans l'implémentation Pinterest) tout en fixant les autres. L'espace d'action est discrétisé en un ensemble compact de valeurs candidates.
• Récompense ($r$) : Un vecteur de résultats d'engagement au niveau de la requête correspondant aux objectifs contrôlés. Pour stabiliser l'apprentissage, les récompenses sont tronquées à des valeurs binaires (0 ou 1) en fonction de la survenue de l'événement.
• Objectif : L'agent apprend à sélectionner un vecteur de poids $w$ pour une requête donnée $s$ afin de maximiser les récompenses d'engagement immédiates. Le problème est modélisé comme un bandit contextuel (MDP en une étape avec $\gamma=0$).

2.2 Architecture du modèle

PRL-PUTS utilise un Modèle de valeur à deux têtes :

• Entrée : Concaténation des embeddings d'état (dérivés de l'historique utilisateur et du contexte via des Transformers et des MLP) et des embeddings d'action (poids d'utilité normalisés).
• Squelette : Un MLP partagé à trois couches avec normalisation par lots (Batch Normalization) et ReLU.
• Têtes de sortie : Deux têtes séparées prédisent la récompense attendue pour chaque objectif ($Q_{Repin}$ et $Q_{P2P}$). Les sorties sont bornées à $[0, 1]$ à l'aide d'une fonction sigmoïde, interprétées comme des probabilités de succès conditionnelles.
• Entraînement : Le modèle est entraîné sur des logs d'exploration non biaisés en utilisant une somme de pertes d'erreur quadratique moyenne (MSE) pour les deux objectifs.

2.3 Balayage de Pareto au moment de l'inférence

Une innovation clé est la séparation de l'apprentissage de la sélection de politique.

• Au lieu d'entraîner une politique unique pour un compromis fixe, le modèle apprend des fonctions de valeur spécifiques à chaque objectif.
• Au moment de l'inférence, un paramètre de scalarisation $\alpha \in [0, 1]$ est introduit pour contrôler l'importance relative des objectifs :
  $$a^* = \arg\max_{a \in A} \left( \alpha Q_{P2P}(s, a) + (1 - \alpha) Q_{Repin}(s, a) \right)$$
• En balayant $\alpha$ sur une grille hors ligne, le système induit une famille de politiques déterministes à partir d'un seul modèle entraîné.
• Gouvernance : Ces politiques sont évaluées hors ligne à l'aide d'une évaluation hors politique (Off-Policy Evaluation, OPE) sur des logs d'exploration retenus pour construire une frontière de Pareto empirique. Les parties prenantes peuvent visualiser les compromis réalisables et sélectionner une politique opérationnelle (un $\alpha$ spécifique) via configuration sans réentraîner le modèle.

2.4 Intégration en production

• Indépendance du classeur : PRL-PUTS fonctionne comme une couche de contrôle découplée au-dessus du classeur multi-tâches existant. Il ne modifie ni les prédictions internes du classeur ni la génération de candidats.
• Latence : Le cadre s'exécute en parallèle de l'inférence de classement. Il ajoute une latence de service négligeable car il ne nécessite que des fonctionnalités au niveau de la requête et ne dépend pas des fonctionnalités au niveau des éléments ou des calculs intermédiaires du classeur.
• Recul (Fallback) : Des mécanismes de repli robustes garantissent que si l'inférence échoue ou dépasse le délai, le système revient aux poids de production statiques.

3. Contributions clés

1. Formulation RL indépendante du classeur : L'article introduit une approche RL basée sur la valeur en une seule étape où les actions sont des vecteurs de poids d'utilité appliqués aux prédictions existantes du classeur, permettant un contrôle contextuel au niveau de la requête sans réentraîner le classeur principal.
2. Gouvernance actionnable via balayage de Pareto : Le cadre utilise le balayage au moment de l'inférence d'un paramètre de scalarisation pour générer une famille de politiques et une frontière de Pareto empirique. Cela permet aux parties prenantes de sélectionner des politiques opérationnelles alignées sur les objectifs commerciaux actuels sans réentraînement du modèle.
3. Intégration en production : Le système est conçu pour fonctionner parallèlement à l'inférence de classement avec une latence de service ajoutée nulle et a été déployé avec succès dans le fil d'actualité (Homefeed) de Pinterest.
4. Preuve de bout en bout : Les auteurs démontrent que les estimations de compromis balayées hors ligne prédisent de manière fiable les mouvements de métriques en ligne, validant que les gains sont dus à la personnalisation contextuelle plutôt qu'à de simples déplacements de poids globaux.

4. Résultats expérimentaux

Le cadre a été validé à l'aide de logs d'exploration non biaisés issus d'un trafic de production aléatoire et de tests A/B en ligne sur le fil d'actualité (Homefeed) de Pinterest.

• Cohérence hors ligne-vers-en ligne : Une forte corrélation (corrélation de Pearson > 0,98) a été observée entre les estimations OPE hors ligne et les mouvements de métriques en ligne à travers différentes politiques opérationnelles.
• Performance de la politique globale :
  • Une politique orientée P2P ($\alpha=0,24$) a obtenu une augmentation de +0,13 % des sessions réussies (une métrique d'engagement centrale), ainsi qu'une hausse de +0,66 % des Repins et de +0,30 % des impressions P2P par rapport à la ligne de base.
  • Des compromis ont été observés comme prévu : les politiques orientées Repin ont augmenté les Repins mais ont légèrement réduit les impressions P2P, tandis que les politiques orientées P2P ont fait l'inverse.
• Personnalisation par rapport à l'ajustement global :
  • Lors de la comparaison de PRL-PUTS avec une ligne de base statique ajustée pour correspondre aux poids moyens produits par PRL-PUTS, la ligne de base statique a montré des résultats neutres ou négatifs.
  • PRL-PUTS a obtenu une augmentation de +0,12 % des Repins et de +0,21 % des impressions P2P, prouvant que les améliorations proviennent de la sélection de poids dépendante du contexte (personnalisation) plutôt que d'un re-pesage global de la fonction d'utilité.
• Analyse par cohorte : Le système a appliqué avec succès différentes valeurs de $\alpha$ à différentes cohortes d'utilisateurs (CORE, CASUAL, REST), démontrant des déplacements contrôlables le long de la courbe de compromis pour des segments d'utilisateurs spécifiques.

5. Importance et revendications

L'article revendique que PRL-PUTS répond à la « dette opérationnelle et produit » associée à l'ajustement manuel des utilités dans les recommandateurs à grande échelle. En découplant la couche de contrôle du classeur, il permet :

• Vitesse : Des mises à jour rapides des politiques opérationnelles via des changements de configuration ($\alpha$) plutôt que des cycles de réentraînement de plusieurs semaines.
• Gouvernance : Une frontière de Pareto transparente et visualisable permettant aux parties prenantes de prendre des décisions éclairées sur les compromis.
• Sécurité : Une surface de contrôle petite et révisable (actions de poids discrètes) qui prend en charge les retours en arrière sécurisés et les déploiements incrémentaux.

Les auteurs positionnent ce travail comme une solution pratique pour les environnements de production où le réentraînement du modèle est peu fréquent et où la latence de service est critique, démontrant que le RL peut être appliqué efficacement à la couche d'agrégation d'utilité pour réaliser une optimisation multi-objectifs personnalisée.

6. Limites et travaux futurs

L'article reconnaît plusieurs limitations :

• Horizon : La formulation en une seule étape optimise les résultats immédiats au niveau de la requête et ne capture pas explicitement les effets à long terme tels que la rétention ou l'engagement futur.
• Nombre d'objectifs : L'implémentation actuelle se concentre sur deux objectifs pour l'interprétabilité ; l'extension à trois objectifs ou plus nécessite des méthodes de scalarisation ou de sélection contrainte plus complexes.
• Espace d'action : L'utilisation d'un ensemble d'actions discret limite les risques d'exploration mais peut manquer des politiques optimales fines par rapport aux espaces continus.

Des travaux futurs sont suggérés pour explorer la prise de décision à plus long terme (nécessitant une journalisation des trajectoires et des méthodes de bootstrap) et le passage à des espaces d'action plus riches tout en maintenant l'efficacité de l'échantillonnage et la sécurité.