High Fidelity Textual User Representation over Heterogeneous Sources via Reinforcement Learning

Résumé Technique : Représentation Textuelle Haute Fidélité des Utilisateurs via l'Apprentissage par Renforcement

1. Problématique (Le Problème)

Dans les plateformes de recrutement à grande échelle comme LinkedIn, la personnalisation repose sur la capacité à modéliser les utilisateurs à partir de sources de données hétérogènes (profils professionnels, historique de recherche, logs d'activité). Les méthodes conventionnelles présentent deux limites majeures :

• Les représentations denses (embeddings) : Elles sont opaques (non interprétables) et subissent un "décalage de distribution" à chaque mise à jour du modèle, nécessitant un réentraînement coûteux des systèmes en aval.
• Les caractéristiques manuelles (sparse features) : Elles sont difficiles à maintenir et manquent de couverture sémantique.

Avec l'émergence des Grands Modèles de Langage (LLM), il devient crucial de créer des représentations qui soient à la fois concises, interprétables et directement compatibles avec l'espace de tokens des LLM, sans nécessiter de couches de projection complexes qui augmentent la latence.

2. Méthodologie (L'Approche)

Les auteurs proposent un cadre d'Apprentissage par Renforcement (RL) pour transformer des sources textuelles massives et redondantes en un synopsis textuel compact.

• Modélisation du problème : Le problème est traité comme une tâche de génération de texte où un "acteur" (un LLM de 1,7 milliard de paramètres) apprend une politique $\pi_\theta$ pour produire une représentation optimisant l'utilité pour les tâches de recommandation.
• Cadre de RL : Ils utilisent l'algorithme Dr. GRPO (Group Relative Policy Optimization), qui élimine le besoin d'un modèle critique (critic model) coûteux en utilisant des moyennes de groupe comme ligne de base, ce qui améliore l'efficacité computationnelle.
• Conception des récompenses (Reward Design) : Au lieu de labels humains coûteux, ils utilisent un LLM de haute capacité (30B paramètres) comme "oracle de préférence" pour scorer les résumés selon deux axes :
  1. Récompense Pointwise (Ponctuelle) : Évalue la capacité à prédire si un utilisateur va postuler à un emploi spécifique (via des récompenses basées sur la chaîne de caractères ou sur la log-probabilité).
  2. Récompense Listwise (Liste) : Évalue la capacité à classer une liste d'emplois selon la pertinence (utilisation du NDCG pondéré par l'entropie pour favoriser les listes diversifiées).
• Contrôle de la concision : Pour éviter le "reward hacking" (où le modèle génère des textes trop longs pour maximiser le score), ils appliquent :
  • Un prompt explicite demandant la concision.
  • Une pénalité de longueur quadratique (Length Loss).
  • Une pénalité de format pour éviter que le modèle n'ajoute des informations auxiliaires non fondées.

3. Contributions Clés

• Approche "Label-free" : Utilisation de signaux d'engagement implicites (clics, candidatures) pour guider l'apprentissage sans supervision humaine directe.
• Synthèse de sources hétérogènes : Capacité à fusionner des données disparates en un texte unique et cohérent.
• Découverte de caractéristiques émergentes : Le modèle parvient à effectuer une "imputation de profil" (inférer des compétences manquantes à partir du contexte) et à identifier des intentions de recherche même avec des données d'entrée éparses.
• Compatibilité LLM native : Les représentations produites sont directement utilisables dans les pipelines de recherche et de classement basés sur les LLM.

4. Résultats

Les expérimentations sur les produits LinkedIn montrent des gains significatifs :

• Évaluation Offline : Le modèle utilisant la récompense Pointwise surpasse les méthodes d'embeddings et de texte brut, avec une amélioration de l'AUC de la prédiction de clic (pClick AUC) de +3,50%.
• Évaluation Online (A/B Test) : Le déploiement dans le système de classement des offres d'emploi a montré des augmentations de :
  • CTR (Taux de clic) : +1,48%
  • Candidatures (Applications) : +1,2%
  • Taux de succès de session : +0,8%
• Qualité textuelle : Les évaluations par "LLM-as-a-judge" confirment une haute précision factuelle et une excellente concision.

5. Signification (L'Impact)

Ce travail démontre qu'il est possible de passer d'un espace de vecteurs opaques à un espace textuel sémantique pour la personnalisation à l'échelle de millions d'utilisateurs. Cette méthode offre une solution scalable, interprétable et "plug-and-play" pour les systèmes de recommandation modernes basés sur les LLM, réduisant ainsi les coûts opérationnels de maintenance et de réentraînement tout en améliorant l'expérience utilisateur.