RGAlign-Rec: Ranking-Guided Alignment for Latent Query Reasoning in Recommendation Systems

1. Problématique

L'article aborde le défi de la prédiction proactive d'intention dans les chatbots de commerce électronique (notamment chez Shopee). L'objectif est de permettre des recommandations "Zero-Query" (sans requête explicite de l'utilisateur) en anticipant les besoins de l'utilisateur (ex: retard de livraison, échec de paiement) dès son entrée dans l'interface.

Deux défis fondamentaux limitent les systèmes industriels actuels :

1. Écart Sémantique et Inadéquation des Modalités : Les modèles de recommandation classiques (DLRM) reposent sur des identifiants discrets (ID utilisateur, ID intention). Or, les intentions dans un chatbot sont riches en texte et sémantiquement fines. Il existe un fossé entre les caractéristiques comportementales éparses de l'utilisateur et les descriptions textuelles continues de la Base de Connaissance (KB).
2. Désalignement des Objectifs : Les techniques d'alignement des LLM (comme le SFT ou le DPO) sont généralement optimisées pour des préférences humaines linguistiques (fluidité, utilité perçue). Ces objectifs ne correspondent pas directement aux métriques de classement en aval (comme le CTR ou le taux de clic). Les représentations dérivées des LLM peuvent être interprétables par les humains mais sous-optimales pour le classement.

2. Méthodologie : RGAlign-Rec

Les auteurs proposent RGAlign-Rec, un cadre d'alignement en boucle fermée qui intègre un raisonneur sémantique basé sur un LLM avec un modèle de classement enrichi par une requête (Query-Enhanced). L'approche repose sur trois étapes principales :

A. Architecture du Modèle

• Raisonneur de Requête Utilisateur (LLM) : Utilise un LLM (Qwen3-4B) pour transformer les caractéristiques discrètes de l'utilisateur (profil, historique, contexte) en une description textuelle unifiée ("Feature Verbalization"). Le LLM génère ensuite une représentation latente de la requête (Latent Query) via une technique de Last Token Pooling (LTP), qui capture l'état caché du dernier token comme embedding sémantique.
• Modèle de Classement Enrichi par la Requête (QE-Rec) : Une architecture à trois tours (User, Intent, Query) :
  • Tour Utilisateur : Encodage hiérarchique des caractéristiques statiques et séquentielles.
  • Tour Intention : Représentation hybride (ID + embedding sémantique).
  • Tour Requête : Projette l'embedding LTP du LLM dans l'espace de classement.
  • Le score de classement combine la similarité utilisateur-intention (signaux collaboratifs) et requête-intention (adéquation sémantique).

B. Alignement Guidé par le Classement (RGA)

Pour aligner le LLM sur les objectifs de classement, l'approche utilise le modèle QE-Rec entraîné comme Modèle de Récompense (Reward Model) dans un processus itératif :

1. Phase 1 : Entraînement Initial de QE-Rec. Entraînement du modèle de classement avec les embeddings LTP d'un LLM figé pour établir une ligne de base stable.
2. Phase 2 : Alignement Guidé par le Classement (RGA) :
   • Génération Multi-LLM : Plusieurs modèles (GPT-5, Gemini, CompassMax, Qwen3) génèrent des requêtes candidates pour un même utilisateur.
   • Échantillonnage Best-of-N : Le modèle QE-Rec (Phase 1) classe ces requêtes. La meilleure requête (selon le NDCG) est sélectionnée comme "Gold" ($q_w$) et les autres comme négatives ($q_l$).
   • Stratégies d'Alignement :
     • RG-SFT (Supervised Fine-Tuning) : Entraînement du LLM sur les requêtes optimales sélectionnées.
     • RG-DPO (Direct Preference Optimization) : Optimisation basée sur les préférences pour maximiser l'écart entre les requêtes optimales et sous-optimales.
     • RG-CL (Contrastive Learning) : Alignement au niveau des représentations en forçant la cohérence géométrique entre les embeddings cachés du LLM et les embeddings sémantiques optimaux du classeur.
3. Phase 3 : Calibration en Boucle Fermée. Le LLM affiné est réutilisé pour régénérer les requêtes et réentraîner le modèle QE-Rec, créant un cycle vertueux d'amélioration mutuelle.

3. Contributions Clés

1. Architecture RGAlign-Rec : Intégration d'un raisonneur sémantique LLM dans un cadre de recommandation à trois tours pour combler l'écart sémantique dans les scénarios Zero-Query.
2. Alignement en Boucle Fermée (RGA) : Une méthode innovante utilisant le modèle de classement comme récompense pour guider l'alignement du LLM, assurant que les représentations sémantiques sont directement optimisées pour les métriques de classement (CTR, GAUC).
3. Impact Industriel : Validation à grande échelle sur la plateforme Shopee, démontrant une amélioration tangible des performances en production.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données industriel de 7,53 millions d'échantillons (Shopee) et validées par des tests A/B en ligne.

• Performances Hors Ligne (Offline) :
  • RGAlign-Rec (version complète) améliore le GAUC de +0,12 % (réduction de l'erreur de 3,52 %).
  • Gain de +0,56 % sur Recall@3 et amélioration du NDCG@3.
  • L'alignement par apprentissage contrastif (RG-CL) s'avère plus robuste et évolutif que le DPO seul lors des itérations.
• Performances En Ligne (Online A/B Test) :
  • Le modèle QE-Rec (sans alignement RGA) apporte déjà +0,98 % de CTR.
  • L'étape d'alignement RGA ajoute un gain supplémentaire de +0,13 % de CTR.
  • Le taux de réussite de l'intention (IHR) augmente de +1,43 % par rapport à la base.
  • Note : Une légère baisse de -0,21 % sur le CSAT (Customer Satisfaction) a été observée, suggérant que si la détection de l'intention est meilleure, la qualité du contenu de réponse associé reste un facteur limitant indépendant du classement.

5. Signification et Conclusion

Ce travail démontre que l'intégration des LLM dans les systèmes de recommandation industriels ne doit pas se limiter à l'extraction de caractéristiques statiques. En introduisant un mécanisme d'alignement guidé par le classement, les auteurs réussissent à synchroniser le raisonnement sémantique profond des LLM avec les objectifs opérationnels stricts du classement.

La méthode RGAlign-Rec offre une pipeline pratique et évolutive pour transformer l'intelligence générative en capacités de recommandation fiables, résolvant le problème de l'alignement des objectifs entre la génération de langage naturel et la maximisation des métriques de business dans des environnements réels complexes.