Résumé Technique : PageLLM

Énoncé du Problème

L'optimisation de page complète (WPO) consiste à générer une page complète et classée de résultats de recherche ou de recommandation qui équilibre la pertinence, la diversité, l'exposition positionnelle et la redondance. Bien que les modèles de langage de grande taille (LLM) offrent une approche unifiée pour la WPO en traitant la génération de page comme une génération de séquence conditionnelle, leur adaptation aux environnements à l'échelle du Web se heurte à trois goulots d'étranglement critiques :

1. Rareté et coût de la supervision : Le Reinforcement Learning from Human Feedback (RLHF) standard nécessite des annotations humaines coûteuses pour comparer des pages entières. À l'échelle industrielle, la croissance linéaire des catalogues et des tailles d'audience rend cela prohibitif.
2. Limites des récompenses à grain unique : Les méthodes existantes réduisent généralement les récompenses à un scalaire unique (soit au niveau de la page, soit au niveau de l'élément). Une récompense au niveau de la page capture la cohérence globale mais ignore les déplacements positionnels fins critiques pour les taux de clic. Inversement, une récompense au niveau de l'élément optimise le placement individuel mais ne garantit pas que la page dans son ensemble est diversifiée et non redondante.
3. Modes de défaillance complémentaires : L'article soutient que les formulations à grain unique échouent de manière « miroir ». Supprimer les signaux au niveau de la page dégrade la cohérence globale de la liste, tandis que supprimer les signaux au niveau de l'élément dégrade la netteté positionnelle. Aucun signal seul ne suffit pour maximiser la satisfaction de l'utilisateur.

Méthodologie : Le Cadre PageLLM

PageLLM propose un cadre d'affinage basé sur la récompense en trois étapes qui découple la supervision en deux granularités complémentaires en utilisant uniquement des retours utilisateurs implicites.

1. Construction de Données à partir de Retours Implicites

Au lieu d'étiquettes humaines, le cadre construit des données d'entraînement à partir de journaux d'interactions utilisateur-élément (par exemple, le corpus Amazon Review) :

• Listes d'Or : Pour chaque utilisateur, une liste classée « d'or » est construite en filtrant les interactions positives ($r_{ui} > 3$), en reclassant par popularité fine, et en équilibrant la diversité des catégories.
• Familles de Paires de Préférence : Quatre familles de listes négatives sont générées pour localiser des modes de défaillance spécifiques, créant des paires contrastives par rapport à la liste d'or :
  • Non-préférées ($\sigma_{np}$) : Éléments avec de faibles notes (échec de pertinence).
  • Classement ($\sigma_{rk}$) : Échanges adjacents d'éléments dans la liste d'or (échec positionnel).
  • Diversité ($\sigma_{d}$) : Remplacement d'éléments uniques par des éléments homogènes (échec de diversité).
  • Redondance ($\sigma_{rd}$) : Concentration excessive d'éléments d'une seule catégorie (échec de redondance).

2. Modélisation de Récompense Multi-Granulaire

L'innovation centrale est un modèle de récompense découplé avec deux têtes entraînées sur les mêmes données de préférence mais avec des objectifs différents :

• Récompense à Grain Grossier (Niveau Page) ($R_c$) : Un modèle Bradley-Terry qui note la liste générée entière comme une unité unique. Il apprend des indices globaux comme le mélange de catégories et la pertinence moyenne, offrant une stabilité face aux retours bruyants.
• Récompense à Grain Fin (Niveau Élément) ($R_f$) : Un modèle qui note les éléments individuels et les moyenne. Il est entraîné à détecter les échanges de position sensibles à l'engagement (par exemple, comment l'échange de deux éléments adjacents affecte le score global).
• Combinaison : La récompense finale est une simple somme ($R = R_c + R_f$). Les auteurs soutiennent que cette approche additive est supérieure à un produit, car elle préserve des gradients indépendants et permet des gains de performance super-additifs.

3. Affinage RLHF avec PPO

Un LLM pré-entraîné (par exemple, GPT-2) subit un processus d'entraînement en trois étapes :

1. Pré-entraînement sur Métadonnées : Le modèle est adapté à la sémantique de recommandation via la prédiction de notes et la prédiction du token suivant sur des métaprompts.
2. Affinage Supervisé (SFT) : Le modèle est affiné sur les listes d'or pour apprendre le schéma de sortie et la distribution de base.
3. Optimisation PPO : Le modèle est davantage optimisé en utilisant l'Optimisation de Politique Proximale (PPO) avec la récompense multi-granulaire combinée. Une pénalité de divergence KL par rapport à la politique de référence SFT empêche le modèle de dériver vers des espaces de sortie dégénérés.

Contributions Clés

1. Pipeline Retour-Récompense : La formalisation de quatre familles de paires de préférences qui transforment les retours implicites bruyants en supervision RLHF utilisable pour la génération de page sans étiquettes humaines.
2. Architecture de Récompense Multi-Granulaire : L'introduction d'un système de récompense découplé associant un modèle Bradley-Terry au niveau de la page avec un modèle d'échange de position au niveau de l'élément, démontrant empiriquement leur complémentarité.
3. Preuves Évolutives : Évaluation complète sur sept catégories Amazon contre onze bases de référence, un test A/B en ligne de 10 millions d'utilisateurs, et des études sur la robustesse au démarrage à froid et l'efficacité du modèle de base.
4. Modularité de Déploiement : Une démonstration que la nature additive de la récompense permet de déployer le composant grossier au niveau de la page comme une fonctionnalité de classement côté CPU, facilitant un déploiement incrémental sur l'infrastructure existante.

Résultats Expérimentaux

• Performance Hors Ligne : Sur sept catégories Amazon, PageLLM surpasse onze bases de référence (y compris la factorisation de matrices, les transformers séquentiels et d'autres recommandateurs basés sur LLM). Il atteint jusqu'à une amélioration de 46,8 % du NDCG@100 par rapport à une variante sans récompense. Les gains sont les plus prononcés dans les catégories aux préférences nuancées (Luxe, Sports, Instruments, Beauté).
• Études d'Ablation : Le retrait de la tête de récompense au niveau de la page ou au niveau de l'élément dégrade considérablement les performances (réduisant le NDCG@100 de 17,8 % et 15,2 % respectivement), confirmant que les signaux sont complémentaires et non redondants.
• Test A/B en Ligne : Déployé sur un moteur de recherche de commerce électronique commercial avec plus de 10 millions d'utilisateurs uniques, PageLLM a augmenté le GMV de 0,44 % et le Taux de Clic (CTR) de 0,14 % sur une période d'une semaine.
• Robustesse : Dans les simulations de démarrage à froid (réduction de 50 % des données), PageLLM a moins dégradé que les bases de référence séquentielles (SASRec) et auto-encodeur (Multi-VAE).
• Efficacité du Modèle de Base : Des expériences comparant GPT-2 et Llama3.2-1B suggèrent que GPT-2 offre un équilibre optimal de Pareto entre performance et coût computationnel pour cette tâche, indiquant que la structure de récompense est le facteur limitant plutôt que la capacité du modèle.

Importance et Affirmations

L'article affirme que le principal goulot d'étranglement pour la WPO basée sur les LLM n'est pas le manque de données de supervision, mais la granularité du signal de supervision. En découplant la récompense en composants au niveau de la page et au niveau de l'élément, PageLLM aligne avec succès les LLM sur les objectifs de WPO à l'échelle du Web en utilisant uniquement des retours implicites.

Les auteurs soulignent que cette approche :

• Élimine le besoin d'annotations humaines coûteuses.
• Résout le mode de défaillance « grain unique » où les méthodes existantes ne peuvent pas optimiser simultanément la cohérence globale de la page et le placement local des éléments.
• Fournit une voie pratique vers le déploiement en production, comme en témoignent le test A/B réussi de 10 millions d'utilisateurs et la capacité de déployer partiellement des composants sur une infrastructure CPU.

L'ouvrage conclut que les récompenses multi-granulaires dérivées de retours implicites suffisent à mettre les LLM à l'échelle de l'optimisation de page complète de niveau production, offrant une nouvelle voie pour les systèmes de recommandation qui traitent la page comme une entité générative cohésive plutôt que comme un sac d'éléments notés.