Semantic-Retrieval-Reasoning Pipeline: A Hybrid Large Language Model Framework for Intent-Aware and Explainable Bundle Recommendation

Résumé Technique : Pipeline de Sémantique-Récupération-Raisonnement (SRRP)

Énoncé du Problème
Les systèmes actuels de recommandation de lots (Bundle Recommender Systems - BRS) sont confrontés à une triade de défis : le manque d'explicabilité, la taille rigide des lots et l'hypothèse de l'« intention unique ». Les méthodes traditionnelles, allant des algorithmes basés sur des contraintes (Apriori, FP-Growth) aux réseaux de neurones sur graphes (GNN comme BGCN et BundleNet), fonctionnent souvent comme des « boîtes noires », échouant à fournir des justifications logiques pour les regroupements d'articles. De plus, ces modèles supposent fréquemment une intention unique par panier d'achat, ce qui conduit à des recommandations monotones. Bien que les approches génératives récentes utilisant des modèles de langage de grande taille (LLM) aient introduit l'explicabilité, elles souffrent d'inefficacités computationnelles, d'une explosion combinatoire et d'une tendance à l'hallucination. Pour atténuer ces problèmes, les modèles génératifs existants imposent souvent des tailles de lots statiques et réduites (par exemple, 2 à 3 articles), ce qui ne parvient pas à répondre à la nature dynamique et diversifiée des besoins réels des consommateurs, particulièrement pour les achats en gros ou multi-intentions.

Méthodologie : Le Pipeline de Sémantique-Récupération-Raisonnement (SRRP)
Les auteurs proposent le SRRP, un cadre hybride qui intègre le prompting de LLM et les techniques d'embedding dans un pipeline à trois étapes pour générer des lots conscients de l'intention, dynamiques et explicables.

1. Unité de Segmentation Sémantique (SSU) :

   • Fonction : Agit comme un filtre cognitif pour décomposer les paniers d'achat bruités et multi-intentions en clusters d'intentions distincts.
   • Mécanisme : Utilise un LLM avec de l'Apprentissage en Contexte (In-Context Learning - ICL) et du prompting few-shot pour effectuer un clustering sémantique. Au lieu de traiter le panier comme un vecteur unique, la SSU étiquette les articles selon les occasions d'usage (ex: « Petit-déjeuner », « Fournitures de bureau »).
   • Base Théorique : Le « Théorème de Réduction de la Variance Sémantique » postule que le regroupement des articles par proximité fonctionnelle réduit la variance sémantique intra-cluster, minimisant ainsi les bornes d'erreur de récupération par rapport au traitement de l'ensemble du panier comme une entité unique.

2. Unité de Récupération Contextuelle (CRU) :

   • Fonction : Récupère des lots candidats factuels à partir d'une base de données historique basée sur les clusters d'intentions générés par la SSU.
   • Mécanisme : Transforme les clusters d'intentions en vecteurs denses de haute dimension à l'aide d'un Sentence-Transformer (ex: all-MiniLM-L6-v2). Ces vecteurs interrogent une base de données vectorielle (ChromaDB) via la Similarité Cosinus pour trouver des lots historiquement pertinents.
   • Base Théorique : Le « Théorème de la Borne de Pertinence Sémantique » démontre que la récupération par vecteurs denses peut identifier des articles sémantiquement pertinents même sans chevauchement de mots-clés, surpassant les méthodes traditionnelles de correspondance exacte ou de règles d'association en termes de rappel (recall).

3. Unité de Validation par Raisonnement (RVU) :

   • Fonction : Valide les lots candidats, ajuste dynamiquement la taille du lot et génère des explications en langage naturel et des noms persuasifs.
   • Mécanisme : Emploie le prompting de Chaîne de Pensée (Chain-of-Thought - CoT) pour évaluer la complémentarité logique des articles candidats par rapport au panier original de l'utilisateur. Elle filtre les hallucinations, écarte les articles non pertinents et construit des récits explicatifs.
   • Alignement Humain-dans-la-Boucle (HITL) : Pour assurer l'alignement cognitif et prévenir les hallucinations, le raisonnement de la RVU est validé par rapport à une vérité de terrain établie par neuf annotateurs humains indépendants. Le système utilise une approche de « CoT Dynamique », injectant des exemples curatés issus de ce consensus humain pour aligner le raisonnement de la machine avec la perception humaine.
   • Base Théorique : Le « Théorème d'Optimalité de la Taille Dynamique des Lots » soutient que l'élagage conditionnel basé sur la pertinence logique minimise les erreurs d'inclusion par rapport aux systèmes à taille statique.

Principales Contributions

• Cadre Hybride : L'introduction du SRRP, qui unifie la précision technique (via la récupération par embedding) et la transparence cognitive (via le raisonnement par LLM) dans un seul pipeline.
• Décomposition Multi-Intention : L'utilisation des LLM comme filtre cognitif pour décomposer dynamiquement les paniers d'utilisateurs bruités en clusters multi-intentions, éliminant la dépendance à un réglage manuel rigide des caractéristiques.
• Taille Dynamique des Lots : Un module de validation par raisonnement qui brise les contraintes statiques des modèles génératifs précédents, permettant aux tailles de lots de s'adapter dynamiquement (allant de 3 à 45 articles) selon le contexte de l'utilisateur.
• Explicabilité et Validation : L'intégration d'une méthodologie Humain-dans-la-Boucle pour valider rigoureusement le nommage des lots et les explications, assurant l'alignement avec le consensus cognitif humain et réduisant les hallucinations.

Résultats Expérimentaux
Évalué sur le jeu de données Instacart 2017 selon un protocole Leave-One-Out, le SRRP a été comparé à cinq modèles de référence (Apriori, FP-Growth, BundleNet, BGCN, CrossCBR).

• Pertinence et Classement : Le SRRP a démontré une performance supérieure dans les recommandations Top-20. La stratégie de Masquage Aléatoire (Random Masking - RM) a atteint un taux de succès (Hit Rate) de 0,1100 et un Rappel de 0,1298, tandis que la stratégie de Division Séquentielle (Sequential Splitting - SS) a atteint un Rappel de 0,1502 et un MRR de 0,0683. Ces métriques surpassent significativement les modèles de graphes de pointe (ex: Recall de CrossCBR : 0,0942).
• Diversité : Le SRRP a maintenu une haute Diversité Intra-Liste (ILD > 0,53), atteignant un compromis optimal entre précision et diversité, là où les modèles de graphes affichent une haute diversité mais une précision nettement inférieure.
• Taille Dynamique : Le système a généré avec succès des lots de tailles comprises entre 3 et 5 articles pour environ 79 % des utilisateurs, tout en accommodant de manière robuste les distributions de longue traîne jusqu'à 45 articles pour les acheteurs en gros. Il a efficacement supprimé le biais vers les paires de 2 articles commun dans les modèles de deep learning.
• Explicabilité et Alignement : Les textes explicatifs générés ont obtenu un score de fluidité G-Eval de 4,79/5,0. L'alignement sémantique avec les annotateurs humains (mesuré par la Similarité Cosine) a atteint un score global de 0,5907 (LLaMA-3), indiquant un fort alignement avec le raisonnement cognitif humain concernant la validité et le nommage des lots.

Signification et Revendications
L'article affirme que le SRRP représente une avancée significative pour les systèmes de recommandation de lots en adressant la nature de « boîte noire » des modèles précédents et la rigidité de la taille statique. En exploitant les LLM non seulement pour la génération mais aussi comme filtre cognitif pour la détection d'intention et la validation du raisonnement, le cadre livre des recommandations qui sont non seulement précises mais aussi transparentes et dignes de confiance. Les auteurs affirment que le système comble avec succès le fossé entre la récupération mathématique et la compréhension logique humaine, fournissant un assistant de shopping rationnel et crédible. Cependant, les auteurs reconnaissent modestement certaines limites, notant que le système souffre occasionnellement de « rationalisation forcée » (justification excessive de combinaisons d'articles aléatoires) et que des travaux futurs sont nécessaires pour réduire la latence d'inférence et calibrer davantage les seuils de rejet afin de minimiser les faux positifs.