Résumé Technique : GFlowGR

Énoncé du Problème

Les cadres de Recommandation Générative (GR - Generative Recommendation), qui utilisent des modèles de langage de grande taille (LLM) pour générer de manière autorégressive des identifiants d'articles, ont montré leur potentiel dans les applications industrielles. Cependant, les paradigmes d'entraînement actuels, principalement le Fine-Tuning Supervisé (SFT), souffrent de deux désalignements fondamentaux avec les exigences de déploiement en conditions réelles :

1. Décalage Point par Point vs Ensemble (Set-wise) : Le SFT optimise la prédiction d'un seul article de vérité terrain par instance d'entraînement. En revanche, les systèmes de production nécessitent la génération d'un ensemble diversifié et de haute valeur de candidats. Le SFT ignore l'ensemble complet des articles pertinents lors de l'entraînement, créant un fossé entre la prédiction hors ligne d'un article unique et l'inférence en ligne sur un ensemble.
2. Valeur d'Interaction Uniforme : Le SFT traite toutes les interactions utilisateur (ex: impressions, clics, achats) comme étant également informatives. Il ne parvient pas à rendre compte des différences inhérentes d'utilité, où un signal d'achat indique une intention plus forte et une valeur plateforme plus élevée qu'une simple impression.

Bien que les approches récentes de fine-tuning basées sur la récompense (ex: Apprentissage par Renforcement, Direct Preference Optimization) tentent de traiter la conscience de la valeur, elles manquent souvent de supervision au niveau du token. Étant donné que les articles dans la GR sont représentés sous forme de séquences multi-tokens, l'attribution de récompenses uniquement au niveau de l'article limite la précision de l'optimisation et la qualité de la génération.

Méthodologie : GFlowGR

Pour répondre à ces défis, les auteurs proposent GFlowGR, un cadre de fine-tuning basé sur les réseaux de flux génératifs (GFlowNets). Le cadre reformule la GR comme un problème de génération d'ensembles séquentiels où la probabilité de générer une séquence d'articles est explicitement alignée avec son utilité.

Composants Clés

GFlowGR se compose de trois composants étroitement intégrés :

1. Échantillonneur de Trajectoire (Trajectory Sampler) :

   • Construit des trajectoires d'entraînement à partir d'ensembles de candidats plutôt que d'articles uniques pour permettre un apprentissage par ensemble.
   • Prend en charge plusieurs stratégies d'échantillonnage :
     • Journaux d'Interaction (Interaction Logs) : Utilisation des données de sessions historiques.
     • Échantillonnage Aléatoire (Random Sampling) : Augmentation des données éparses avec des négatifs aléatoires.
     • Échantillonnage par Modèle Collaboratif (CM Sampling) : Une approche adaptative de type curriculum où un CM pré-entraîné guide la sélection d'échantillons négatifs. Le début de l'entraînement utilise des négatifs "faciles" (scores CM faibles), tandis que les étapes ultérieures incorporent des négatifs plus "difficiles" (scores CM élevés) pour maintenir la difficulté de l'entraînement.
     • Échantillonnage basé sur le LLM (LLM-based Sampling) : Utilisation du beam search du LLM actuel pour générer des négatifs on-policy.

2. Modèle de Récompense Sensible au Comportement (Behavior-Aware Reward Model) :

   • Quantifie l'utilité de l'article en intégrant des signaux utilisateurs hétérogènes dans une récompense composite $R(s_L)$.
   • La récompense combine trois signaux :
     • Signal d'Interaction ($r_a$) : Basé sur les niveaux de feedback observés (ex: achat > clic > impression).
     • Score Estimé ($r_c$) : Scores provenant d'un modèle collaboratif ou des probabilités de forward du LLM.
     • Objectif Métier ($r_{sim}$) : Exactitude partielle mesurée par le nombre de tokens partagés avec l'échantillon positif.
   • Ce modèle attribue des récompenses à la fois aux articles positifs observés et aux échantillons augmentés (incluant les articles non présentés), évitant ainsi le biais d'exposition lié à l'attribution de récompenses nulles aux articles non observés.

3. Objectif GFlowNet :

   • Fournit une supervision au niveau du token en imposant un principe d'équilibrage de flux. Le cadre garantit que la probabilité de générer une séquence d'articles complète est proportionnelle à sa récompense terminale ($P(\tau) \propto R(s_L)$).
   • Il utilise soit des fonctions de perte de Équilibre Détaillé (Detailed Balance - DB) soit d'Équilibre de Trajectoire (Trajectory Balance - TB) pour aligner les probabilités de génération forward avec le flux backward, décomposant les récompenses au niveau de l'article en signaux d'apprentissage au niveau du token.
   • La perte totale combine la perte standard de prédiction du prochain token (SFT) pour les échantillons positifs et la perte GFlowNet ($L_{GFN}$) sur les trajectoires échantillonnées, équilibrée par un hyperparamètre $\lambda$.

Contributions Clés

1. Formalisation : Le papier formalise la GR comme une tâche de génération d'ensembles multi-étapes et sensible à la valeur, et propose GFlowGR comme le premier cadre de fine-tuning basé sur les GFlowNets pour la GR permettant une supervision au niveau du token.
2. Conception Modulaire : Il présente une architecture flexible comprenant un échantillonneur de trajectoire, un modèle de récompense multi-signaux et une perte GFlowNet, démontrée à travers diverses instanciations pratiques.
3. Validation Empirique : Des expériences approfondies sur trois jeux de données réels (Yelp, Beauty, Instruments) utilisant deux backbones de GR basés sur des LLM représentatifs (TIGER et LETTER) montrent des améliorations constantes et significatives par rapport aux bases solides, incluant le SFT, GRPO et les variantes de DPO.
4. Déploiement Industriel : Le cadre a été intégré avec succès dans l'activité de publicité de recherche de Taobao, servant des centaines de millions d'utilisateurs actifs quotidiens.

Résultats

Évaluation Hors Ligne

• Performance : Les variantes de GFlowGR (DB et TB) ont systématiquement surpassé les bases sur tous les indicateurs (Hit Rate et NDCG à top-5 et top-10). GFlowGR-TB a montré des performances particulièrement fortes, probablement grâce à sa capacité à optimiser sur des trajectoires complètes.
• Études d'Ablation :
  • Le retrait de n'importe quel composant du modèle de récompense a dégradé les performances, confirmant la nécessité de combiner les signaux d'interaction, les scores collaboratifs et la similitude de tokens.
  • L'échantillonnage adaptatif (basé sur CM) a surpassé l'échantillonnage aléatoire.
  • Apprendre à partir d'ensembles d'articles (trajectoires augmentées) était crucial ; les modèles entraînés sur des articles positifs uniques ($N=1$) présentaient une moins bonne généralisation.
• Intégration de la Récompense : Une somme pondérée apprenable des signaux de récompense a légèrement mieux performé qu'une simple sommation, suggérant que le calibrage des signaux hétérogènes améliore les résultats.

Déploiement en Ligne (Taobao)

• Impact sur le Revenu : Depuis la mi-2025, GFlowGR a généré une amélioration relative de 0,4 % du revenu annuel dans la publicité de recherche de Taobao, ce qui correspond à des gains monétaires de l'ordre du milliard.
• Tests A/B : Un test de 15 jours sur 10 % du trafic a montré une augmentation statistiquement significative de +0,43 % du revenu total.
• Efficacité : Bien que GFlowGR nécessite environ 2,1 fois plus de temps d'entraînement que le SFT standard (en raison des échantillons augmentés), il atteint cela avec une efficacité d'utilisation des interactions utilisateurs nettement supérieure par rapport à d'autres méthodes de RL comme GRPO.
• Performance sur la Longue Traîne : Le modèle a montré des améliorations notables sur les cas sous-servis, incluant une augmentation de +4,0 % du revenu pour les articles nouvellement listés et de +1,8 % pour les requêtes de longue traîne, parallèlement à une augmentation de la diversité de couverture des articles.

Signification et Revendications

Le papier affirme que GFlowGR fournit une base principielle pour les systèmes de recommandation génératifs de nouvelle génération en comblant le fossé entre l'entraînement point par point et le service par ensemble. En modélisant la génération d'articles comme une trajectoire stochastique et en alignant les probabilités de génération avec des récompenses sensibles au comportement, le cadre permet des recommandations proportionnelles à la valeur, diversifiées et de haute qualité.

Les auteurs soulignent que GFlowGR répond au goulot d'étranglement critique des paradigmes de formation dans la GR, passant d'une optimisation d'article unique à une approche par ensemble et sensible à la valeur, qui est à la fois théoriquement fondée sur les GFlowNets et pratiquement validée dans un contexte industriel à grande échelle. Ce travail démontre que l'incorporation de la supervision au niveau du token et d'ensembles de candidats diversifiés est essentielle pour aligner les systèmes de recommandation basés sur les LLM avec les objectifs métier réels.