Résumé Technique : Un LLM Affiné en Prédicteur Complémentaire Améliorant le Système de Publicités

Énoncé du Problème

Bien que les Modèles de Langage à Grande Échelle (LLM) aient progressé rapidement, leur intégration directe dans des Systèmes de Recommandation (RecSys) à l'échelle de la production, en particulier pour la publicité, reste difficile. Les systèmes publicitaires industriels reposent fortement sur des caractéristiques éparses et centrées sur les identifiants (ID d'utilisateurs, ID d'annonceurs) qui ne s'alignent pas naturellement avec les représentations sémantiques basées sur les tokens. De plus, les applications existantes de LLM dans les RecSys tombent généralement dans trois catégories : la récupération générative, le re-classement en phase tardive, ou l'enrichissement de signaux auxiliaires. Cependant, ces approches peinent souvent à respecter les contraintes spécifiques des systèmes publicitaires, notamment les budgets de latence stricts, la prédominance des caractéristiques éparces, et la nécessité de modéliser des contraintes de ciblage complexes et des historiques de conversion. Le problème central abordé est de savoir comment exploiter la connaissance du monde et la capacité prédictive des LLM pour améliorer la récupération et le classement des publicités sans remplacer les piles industrielles existantes, hautement optimisées, ni engendrer des coûts d'inférence prohibitifs.

Méthodologie

Les auteurs proposent un paradigme complémentaire où un LLM open-source affiné agit non pas comme un classeur direct, mais comme un prédicteur auxiliaire spécifique aux publicités. Le système prédit les annonceurs probables et les intérêts des utilisateurs conditionnés par des profils utilisateurs structurés et des historiques de conversion. Ces prédictions servent de priors informatifs pour les étapes de récupération et de classement en aval.

Architecture du Système

Le pipeline se compose de quatre étapes :

1. Sélection des Utilisateurs : L'inférence est restreinte aux segments à haute valeur (utilisateurs américains actifs avec des conversions récentes) pour gérer la latence et les coûts.
2. Compilation des Caractéristiques : Des données hétérogènes (recherches sur site/hors site, conversions attribuées/matchées, URLs, données démographiques) sont compilées en une représentation textuelle compacte.
3. Prédiction d'Annonceurs Basée sur l'Invite : Le LLM est post-entraîné pour prédire une liste classée d'annonceurs et d'intérêts d'utilisateurs.
4. Consommation en Aval : Les annonceurs prédits sont utilisés comme filtres de ciblage lors de l'étape de récupération (Génération de Candidats) et comme caractéristiques dans les modèles de conversion (Classement).

Stratégies de Post-Entraînement

L'article explore deux approches principales de post-entraînement :

• Affinement Supervisé (SFT) : Le modèle est entraîné pour prédire un seul « prochain annonceur » basé sur une invite structurée contenant des profils d'utilisateurs, des conversions passées et un pool d'annonceurs prédéfini.
• Optimisation de Politique Relative par Groupes (GRPO) : Suite au SFT, le modèle est optimisé par apprentissage par renforcement. L'invite demande une liste classée de 20 annonceurs et 5 intérêts d'utilisateurs. La fonction de récompense ($R_{total}$) équilibre la correspondance avec l'annonceur de vérité terrain (avec des bonus pour les positions de premier rang) contre des pénalités de longueur pour la déviation par rapport au format de sortie requis (20 annonceurs, 5 intérêts). Cela encourage à la fois la précision et une adhésion stricte au format de sortie XML structuré requis pour l'intégration en production.

Amélioration par Identifiants Sémantiques (SID)

Pour combler le fossé entre la sémantique textuelle et les systèmes publicitaires basés sur les ID, les auteurs intègrent des Identifiants Sémantiques (SIDs) dérivés d'embeddings multimodaux (PinCLIP) via RQ-VAE. Une approche d'entraînement en plusieurs phases est utilisée pour prévenir l'oubli catastrophique :

1. Phase 1 : Alignement des tokens SID avec l'espace textuel en mettant à jour uniquement les embeddings SID tout en gelant le reste du modèle.
2. Phase 2 : Pré-entraînement à paramètres complets pour intégrer les connaissances de recommandation tout en mélangeant des données de domaine général.
3. Phase 3 : Affinement spécifique à la tâche (SFT/GRPO) où les invites incluent à la fois des caractéristiques textuelles et des séquences SID récentes.

Intégration en Aval

• Récupération : Les annonceurs prédits par le LLM agissent comme un générateur de candidats (CG) complémentaire, filtrant l'espace de récupération pour privilégier les annonceurs ayant une forte intention de conversion. Cela est particulièrement efficace pour les utilisateurs avec une faible couverture de signaux existants.
• Classement : Les annonceurs et intérêts prédits sont transformés en caractéristiques et alimentent les modèles de conversion en aval (ctcvr, vtcvr).

Résultats Clés

Performance Hors Ligne

• Qualité de Prédiction : Sur le jeu de données V1 (aligné avec le trafic de production), la combinaison du SFT (invite à 1 annonceur) suivie du GRPO a nettement surpassé l'invite en zéro-shot. L'inclusion des Identifiants Sémantiques a apporté des gains substantiels, améliorant le Recall@1, le Recall@5 et le Recall@20 de plus de 10 % par rapport aux modèles basés uniquement sur le texte.
• Ablation des Caractéristiques : La caractéristique d'entrée la plus critique était « les annonceurs actifs avec des conversions passées ». Les URLs hors site et les recherches hors site étaient les caractéristiques suivantes les plus influentes. Fait intéressant, il a été constaté que les chaînes de raisonnement explicites étaient moins utiles qu'un entraînement direct de type SFT pour cette tâche spécifique d'agrégation d'intentions.
• Modèles de Conversion : L'ajout de caractéristiques d'annonceurs dérivées du LLM aux modèles de conversion a entraîné des améliorations mesurables hors ligne, en particulier dans le PR-AUC (AUC Précision-Rappel), qui est crucial pour les paramètres de conversion épars.

Impact Commercial en Ligne

• Récupération : Les tests A/B sur les Publicités d'Achats aux États-Unis ont montré que le générateur de candidats basé sur le LLM a augmenté le Retour sur Dépenses Publicitaires (RoAS) de 4,94 % pour la tranche de traitement générale et de 6,69 % pour la tranche opt-in.
• Mécanisme : Les gains ont été motivés par le fait que le système a mis en avant du trafic provenant d'annonceurs à forte intention de conversion qui étaient auparavant sous-couverts par les canaux standards de filtrage collaboratif.
• Contraintes Opérationnelles : L'étude a souligné que le réglage minutieux du quota du générateur de candidats et de l'objectif d'entraînement (en utilisant des clics avec des pondérations basées sur la durée plutôt que des impressions brutes ou des conversions éparces) était essentiel pour équilibrer la survie dans l'entonnoir et l'engagement.

Signification et Revendications

L'article prétend démontrer une voie pratique pour la recommandation améliorée par les LLM à grande échelle en redéfinissant le rôle des LLM dans les systèmes publicitaires industriels. Plutôt que d'essayer de remplacer les piles existantes de récupération et de classement multi-étapes ou d'utiliser les LLM uniquement comme des classeurs coûteux, les auteurs montrent que les LLM affinés peuvent servir de prédicteurs complémentaires.

Les contributions clés incluent :

1. Changement de Paradigme : Formulation réussie d'une tâche de prédiction d'annonceurs qui exploite la connaissance du monde des LLM pour combler le fossé entre la sémantique textuelle et les caractéristiques ID éparces dans la publicité.
2. Recette Pratique : Fourniture d'un flux de travail validé pour la compilation de données, la conception d'invites (incluant l'intégration SID) et l'affinement (SFT + GRPO) qui génère des signaux stables et à faible latence utilisables dans l'ensemble du pipeline publicitaire.
3. Validation de Bout en Bout : Démonstration que ces signaux dérivés des LLM peuvent débloquer une valeur commerciale mesurable (améliorations du RoAS) en améliorant à la fois la couverture de récupération et la précision du classement sans perturber l'infrastructure centrale.

Les auteurs restent modestes, notant que bien que l'extension SID multimodale ait montré de solides résultats hors ligne, elle n'a pas encore été pleinement validée dans des environnements de production en ligne et est donc exclue des revendications empiriques principales. Le travail souligne que le succès de cette approche repose sur la conception spécifique de la tâche de prédiction auxiliaire et son intégration étroite avec les contraintes industrielles existantes.