Learning User Interests via Reasoning and Distillation for Cross-Domain News Recommendation

1. Problématique et Contexte

La recommandation de nouvelles personnalisée est cruciale pour aider les utilisateurs à naviguer dans la surcharge informationnelle des plateformes en ligne. Cependant, les méthodes traditionnelles de recommandation interdomaines (Cross-Domain) présentent des limites majeures :

• Limites des approches par embedding : Il est difficile d'apprendre des embeddings personnalisés et raisonnables pour tous les utilisateurs, surtout dans des contextes interdomaines hétérogènes.
• Manque de profondeur : Les méthodes de filtrage collaboratif échouent souvent à capturer des signaux séquentiels profonds et des besoins informationnels sous-jacents au-delà des comportements superficiels (clics, historiques de navigation).
• Bruit des données : Les logs comportementaux réels sont bruyants, contenant des requêtes malformées, des numéros de téléphone ou des entrées de navigation non pertinentes.

L'objectif de ce travail est de dépasser ces limites en inférant des intérêts utilisateurs réutilisables et profonds à partir de signaux hétérogènes (recherche, clics, navigation) pour générer des listes de requêtes de recherche de nouvelles, afin d'améliorer la récupération (retrieval) de contenu pertinent.

2. Méthodologie Proposée

Les auteurs proposent un cadre d'apprentissage par renforcement (RL) piloté par le raisonnement, structuré en trois étapes principales :

A. Nettoyage des Données (Noise Cleaning)

Avant la modélisation, un pipeline de nettoyage est appliqué pour filtrer les signaux bruyants.

• Un classificateur binaire léger (basé sur RoBERTa) est entraîné pour distinguer les comportements informatifs du bruit.
• L'entraînement de ce classificateur utilise des annotations générées par un LLM (GPT-5) via des prompts spécifiques.
• Seuls les signaux jugés pertinents ($\tilde{B}_u$) sont conservés pour l'étape suivante.

B. Génération d'Intérêts par RL Multi-Récompenses

Le problème est reformulé comme une tâche de génération de listes de requêtes ($Z_u$) à partir des signaux nettoyés ($\tilde{B}_u$).

• Modèle : Un LLM instructeur (Teacher) est entraîné pour optimiser une politique de génération.
• Algorithme : Utilisation de Dr.GRPO (Group Relative Policy Optimization), une variante améliorée de GRPO, qui utilise la moyenne de groupe comme ligne de base pour stabiliser l'apprentissage.
• Fonction de Récompense Composite : Le modèle est optimisé selon cinq signaux de récompense distincts pour garantir la qualité des requêtes générées :
  1. Alignement de récupération ($R_{align}$) : Vérifie que les requêtes générées permettent de retrouver des articles pertinents dans l'index ANN (Approximate Nearest Neighbor).
  2. Couverture des intérêts ($R_{cov}$) : Assure que l'ensemble des requêtes reflète la diversité des intérêts latents de l'utilisateur.
  3. Spécificité de la requête ($R_{spec}$) : Favorise des requêtes riches en contenu et non génériques.
  4. Diversité intra-liste ($R_{div}$) : Évite la redondance sémantique entre les requêtes d'une même liste.
  5. Validité structurelle ($R_{struct}$) : Vérifie le respect du format de sortie imposé.

C. Distillation On-Policy pour le Déploiement

Pour rendre le système viable en production (faible latence, haut débit), une étape de distillation est cruciale.

• Problème : Le modèle Teacher (grand LLM) est trop coûteux en calcul pour un service en ligne direct.
• Solution : Une distillation On-Policy transfère la politique apprise du modèle Teacher vers un modèle Student compact.
• Mécanisme : L'objectif est de minimiser la divergence KL (Kullback-Leibler) entre la distribution du Student et celle du Teacher, conditionnée aux préfixes générés par le Student. Cela permet au modèle léger de conserver la capacité de raisonnement complexe tout en étant rapide.

3. Contributions Clés

1. Propriétés d'échelle (Scaling Laws) pour la modélisation d'intérêts :
   • L'étude démontre que l'augmentation de la capacité du modèle (scaling spatial) et l'augmentation de l'échantillonnage au moment de l'inférence (scaling temporel, via une stratégie best-of-N) entraînent des améliorations constantes et prévisibles de la qualité des intérêts et des performances de récupération.
2. Distillation On-Policy pour une génération d'intérêts évolutive :
   • Introduction d'un cadre de distillation qui transfère efficacement une politique de RL coûteuse vers un modèle léger, permettant un déploiement industriel avec une latence minimale tout en préservant la majeure partie des gains de performance.
3. Validation à grande échelle :
   • Validation rigoureuse via des évaluations hors ligne, des études d'ablation et des tests A/B en ligne massifs sur un système de recommandation de nouvelles en production.

4. Résultats Expérimentaux

Évaluations Hors Ligne (Offline)

• Données : Logs d'interaction réels provenant d'un système de recommandation de nouvelles (500k utilisateurs, 1.2M d'articles).
• Comparaison : Le modèle proposé surpasse tous les baselines (GRU, SASRec, NRHUB, PinSage, HSTU).
• Performance :
  • Le modèle Teacher (Qwen2.5-32B) atteint les meilleurs résultats (Recall@10 : 0.271, NDCG@10 : 0.241).
  • Le modèle Student distillé (Qwen2.5-0.5B) conserve la majorité des gains (Recall@10 : 0.261) tout en étant 64 fois plus petit, démontrant l'efficacité de la distillation.
• Études d'ablation :
  • L'augmentation de la taille du modèle améliore linéairement les métriques.
  • L'augmentation du nombre d'échantillons à l'inférence (N) améliore les résultats avec des rendements décroissants.
  • La distillation On-Policy surpasse nettement la distillation supervisée classique.

Expérimentations en Ligne (Online A/B Tests)

• Déploiement : Intégré comme un chemin de rappel (recall path) supplémentaire dans un système de production.
• Résultats sur 7 jours :
  • DAU (Utilisateurs Actifs Quotidiens) : +0.95% (significatif).
  • CTR (Taux de Clic) : +0.22% (significatif).
  • Utilisateurs Froids (Cold Users) : Gain exceptionnel de +4.38% sur le DAU. Cela confirme que l'approche est particulièrement efficace pour inférer les intérêts des utilisateurs ayant peu d'historique de clics sur les nouvelles, en exploitant les signaux interdomaines (recherche, navigation).

5. Signification et Impact

Ce travail représente une première déploiement pionnier d'un cadre d'apprentissage par renforcement piloté par le raisonnement pour la modélisation des intérêts utilisateurs dans un système de recommandation de nouvelles commercial à grande échelle.

• Innovation Technique : Il réussit à combiner la puissance de raisonnement des LLMs avec les contraintes de latence et de coût du déploiement industriel via la distillation on-policy.
• Impact Business : L'amélioration significative, notamment pour les utilisateurs "froids", démontre la capacité du système à découvrir des besoins informationnels profonds là où les méthodes traditionnelles échouent.
• Futur : Cette étude ouvre de nouvelles directions pour l'intégration du raisonnement des LLMs, du RL évolutif et des pipelines de recommandation industriels.

En résumé, l'article prouve qu'il est possible de transformer des signaux comportementaux bruyants et hétérogènes en représentations d'intérêts utilisateurs de haute qualité, exploitables en temps réel pour améliorer l'expérience utilisateur.