Dual-Enhancement Product Bundling: Bridging Interactive Graph and Large Language Model

1. Problématique

Le bundling de produits (la recommandation de combinaisons d'articles complémentaires, comme un hamburger avec des frites et une boisson) est crucial pour augmenter les revenus du e-commerce. Cependant, les méthodes existantes rencontrent deux défis majeurs :

• Limites du Filtrage Collaboratif (CF) : Les approches traditionnelles basées sur le CF dépendent fortement des données d'interaction historiques. Elles échouent souvent face aux articles "cold-start" (nouveaux produits sans historique d'interactions), car elles ne peuvent pas modéliser leurs relations sans données passées.
• Limites des Grands Modèles de Langage (LLM) : Bien que les LLM possèdent une excellente compréhension sémantique et des connaissances mondiales, ils manquent de capacité native pour modéliser directement les structures de graphes interactifs (les relations complexes entre utilisateurs, articles et bundles). Ils peinent à comprendre les contraintes combinatoires spécifiques au domaine sans adaptation.

L'objectif de l'article est de combler ce fossé en créant un système hybride qui exploite à la fois la puissance des graphes d'interaction et la compréhension sémantique des LLM.

2. Méthodologie : DPB-LLM

Les auteurs proposent un cadre d'apprentissage en deux étapes nommé DPB-LLM (Dual-Enhancement Product Bundling - Large Language Model). Ce cadre vise à affiner un LLM pour qu'il comprenne à la fois les connaissances du domaine (produits) et les structures de graphes.

Étape 1 : Renforcement des connaissances d'interaction (Interaction Knowledge Enhancement)

Cette phase prépare le LLM à comprendre le domaine spécifique et les relations graphes avant la tâche finale de bundling.

• Mécanisme de Liaison de Concepts Dynamiques (DCBM) :
  • Pour combler l'écart entre le vocabulaire général du LLM et les entités spécifiques du domaine, chaque ID d'article est mappé à un "token additionnel" apprenable.
  • Ce token est initialisé en utilisant l'embedding moyen des sous-mots de la description textuelle de l'article.
  • Cela permet au LLM de lier précisément les IDs d'articles à leurs descriptions sémantiques, résolvant l'ambiguïté sémantique.
• Modélisation Native Graph-to-Text :
  • Les structures de graphes (interactions utilisateur-article et affiliations bundle-article) sont converties en paires Question-Réponse (QA) structurées.
  • Le LLM est entraîné via des prompts pour prédire les prochains articles préférés ou valider la co-occurrence d'articles dans un bundle. Cela transforme les relations graphes en connaissances textuelles compréhensibles par le modèle.

Étape 2 : Fusion des caractéristiques de structure de graphe et sémantique

Cette phase optimise la tâche de bundling en intégrant les caractéristiques collaboratives dans le LLM.

• Intégration des caractéristiques LightGCN : Un modèle LightGCN est entraîné séparément pour extraire les caractéristiques de haut niveau des graphes utilisateur-article et bundle-article.
• Fusion par Attention Croisée :
  • Les embeddings de LightGCN sont projetés dans l'espace latent du LLM via un projecteur à deux couches (MLP).
  • Un mécanisme d'attention croisée fusionne ces caractéristiques graphes avec les représentations textuelles du LLM.
  • Cela permet au modèle de conserver les avantages de la modélisation relationnelle du graphe tout en bénéficiant de la compréhension sémantique du LLM.
• Affinage Supervisé (SFT) : Le modèle est affiné sur une tâche de type "Question à choix multiples" (Multiple Choice Question). Étant donné un bundle partiel, le modèle doit sélectionner le meilleur article complémentaire parmi une liste de candidats, en utilisant les représentations fusionnées comme entrée.

3. Contributions Clés

1. Cadre Dual-Enhancement : Une architecture novatrice à deux étapes qui combine l'apprentissage de graphes interactifs et la compréhension sémantique des LLM pour le bundling de produits.
2. Mécanisme de Liaison de Concepts Dynamiques (DCBM) : Une méthode d'adaptation qui permet de préserver les connaissances mondiales du LLM tout en assurant une liaison précise avec les entités produits spécifiques, comblant le fossé lexical.
3. Modélisation Native Graph-to-Text : Un paradigme de conversion qui transforme les informations d'interaction complexes en descriptions textuelles structurées, atténuant efficacement la perte d'information lors de l'alignement inter-modal.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois jeux de données : POG (vêtements), POG dense (version plus dense de POG) et Steam (jeux vidéo).

• Performance Globale : DPB-LLM surpasse systématiquement les méthodes de l'état de l'art (y compris ICL, MultiVAE, BiLSTM, UHBR, CLHE et Bundle-MLLM).
  • Amélioration du HitRate@1 (taux de réussite) allant de 6,3 % à 26,5 % par rapport aux meilleures baselines.
  • Sur le jeu de données Steam (purement textuel), le modèle atteint un HitRate@1 de 0,83 (avec Qwen2-7B), surpassant largement les autres méthodes.
• Robustesse : Le modèle atteint un ValidRatio de 100 % sur tous les jeux de données, indiquant que toutes les réponses générées sont valides et formatées correctement.
• Analyse Ablative :
  • La version sans fusion GCN (basée uniquement sur le texte) performe bien, mais l'ajout des caractéristiques graphes améliore significativement les résultats, prouvant la valeur de la double amélioration.
  • L'approche en deux étapes (séquentielle) est supérieure à l'entraînement conjoint (Joint Training), évitant les interférences entre les tâches d'apprentissage.
• Impact de l'échelle du modèle : Les performances diminuent de manière monotone avec la réduction de la taille du modèle (de 7B à 0,5B paramètres), mais le modèle reste robuste, surtout sur le jeu de données Steam.

5. Signification et Conclusion

Cet article démontre qu'il est possible de surmonter les limitations des systèmes de recommandation traditionnels (problème du cold-start) et des LLM purs (incapacité à modéliser les graphes) en les combinant de manière synergique.

• Innovation : La proposition d'un paradigme "Graph-to-Text" natif permet d'injecter des connaissances de filtrage collaboratif directement dans la logique de raisonnement d'un LLM.
• Impact Pratique : La méthode offre une solution robuste pour la recommandation de bundles, capable de gérer des nouveaux produits grâce à la compréhension sémantique, tout en exploitant les schémas d'achat historiques via le graphe.
• Perspectives Futures : Les auteurs suggèrent d'explorer des méthodes d'injection de connaissances plus efficaces, d'évaluer le cadre sur des scénarios réels plus diversifiés et d'optimiser le compromis entre complexité du modèle et efficacité computationnelle pour un déploiement en temps réel.

En résumé, DPB-LLM représente une avancée significative en fusionnant la puissance des graphes de connaissances relationnelles avec la flexibilité sémantique des grands modèles de langage pour la recommandation de produits.