Comparative Analysis of Neural Retriever-Reranker Pipelines for Retrieval-Augmented Generation over Knowledge Graphs in E-commerce Applications

1. Problématique

L'article aborde les défis spécifiques de l'application du Retrieval-Augmented Generation (RAG) aux bases de connaissances structurées et semi-structurées, en particulier dans le contexte du commerce électronique (e-commerce).

• Limites des LLMs standards : Les grands modèles de langage (LLMs) entraînés sur des données publiques sont sujets aux hallucinations et aux informations obsolètes, surtout lorsqu'ils traitent de données propriétaires (catalogues produits, prix, relations complexes).
• Défis des Graphes de Connaissances (KG) : L'application du RAG aux graphes de connaissances pose des problèmes de mise à l'échelle pour la récupération sur des graphes connectés et de préservation des relations contextuelles lors de la génération.
• Compromis Performance/Coût : Les méthodes de récupération denses (sémantiques) manquent souvent de précision lexicale, tandis que les méthodes éparses (BM25) manquent de profondeur sémantique. De plus, l'intégration de réordonnanceurs (rerankers) puissants, comme les LLMs, est souvent trop coûteuse en temps de calcul pour des déploiements en production.

L'objectif est de concevoir et d'évaluer des pipelines Récupérateur-Réordonnanceur (Retriever-Reranker) optimisés pour interroger des bases de connaissances semi-structurées (SKB) via des requêtes en langage naturel.

2. Méthodologie

Les auteurs ont mené une étude comparative systématique en trois phases sur le jeu de données Amazon STaRK (Semi-structured Table-to-text Retrieval and Question-answering Knowledge), qui contient plus d'un million de nœuds produits et 9 millions d'arêtes relationnelles (ex: "aussi acheté", "aussi vu").

A. Architecture des Pipelines

Trois configurations principales de pipelines ont été conçues et comparées :

1. FRWSR (FAISS Retrieval and Webis Set-encoder Reranking) :
   • Récupération : Densité via E5-Large embeddings et indexation FAISS-HNSW.
   • Réordonnancement : Webis Set-Encoder/Large (un modèle set-wise qui traite l'ensemble des documents simultanément pour capturer les interactions inter-documents).
2. FRMR (FAISS Retrieval and MS MARCO Reranking) :
   • Récupération : Densité via E5-Large et FAISS-HNSW.
   • Réordonnancement : MS MARCO MiniLM-L-6-v2 (un modèle point-wise classique).
3. BARMR (BM25 Augmented Retrieval and MS MARCO Reranking) :
   • Récupération : Approche éparsée BM25, enrichie par une expansion de 1-hop (ajout des nœuds voisins du graphe de connaissances) pour enrichir le contexte initial.
   • Réordonnancement : MS MARCO MiniLM-L-6-v2.

B. Protocole d'Évaluation

• Jeu de données : 9 100 requêtes synthétiques avec des réponses de référence (Ground Truth) sous forme d'identifiants de nœuds.
• Métriques : Hit@1, Hit@5, Recall@20 et Mean Reciprocal Rank (MRR).
• Comparaison : Les résultats ont été comparés à des benchmarks publiés (Wu et al.) incluant des modèles comme GritLM, ColBERTv2, et des réordonnanceurs basés sur des LLMs (Claude, GPT).
• Prétraitement : Optimisation du texte (nettoyage, normalisation) et comparaison des stratégies d'indexation (Flat vs HNSW).

3. Contributions Clés

1. Conception de Pipelines Spécialisés : Développement et implémentation de trois architectures distinctes combinant des stratégies de récupération (dense/éparse) et de réordonnancement (point-wise/set-wise) spécifiquement pour les bases de connaissances e-commerce.
2. Évaluation Empirique Rigoureuse : Une comparaison quantitative sur le benchmark STaRK, démontrant que les approches hybrides surpassent les méthodes de base.
3. Analyse des Architectures de Réordonnancement : Mise en évidence de l'efficacité supérieure des réordonnanceurs Cross-Encoders spécialisés (notamment les modèles set-wise comme Webis Set-Encoder) par rapport aux LLMs généraux pour des tâches de réordonnancement, offrant un meilleur équilibre entre précision et coût computationnel.

4. Résultats Principaux

Les résultats expérimentaux montrent des améliorations significatives par rapport aux benchmarks existants :

• Performance Globale : Le meilleur modèle (FAISS HNSW + Webis Set-Encoder Large) a atteint un Hit@1 de 54,75 %, soit une amélioration de 20,4 % par rapport au meilleur benchmark publié (Claude 3 Reranker à 45,49 %). Le MRR a également augmenté de 14,5 %.
• Récupération Dense vs Éparse : Les méthodes de récupération denses (FAISS) ont systématiquement surpassé les méthodes éparse (BM25), même lorsque le BM25 était augmenté par l'expansion du graphe.
• Impact du Réordonnancement : L'ajout d'une étape de réordonnancement par Cross-Encoder a apporté des gains statistiquement significatifs par rapport à la simple récupération.
• Set-wise vs Point-wise : Le modèle Webis Set-Encoder Large (set-wise) a obtenu les meilleures performances globales, surpassant les modèles point-wise (comme MS MARCO) grâce à sa capacité à modéliser les relations entre les documents candidats. Cependant, il est beaucoup plus lent (100s/requête vs 0,55s pour MS MARCO).
• Efficacité Computationnelle : Le pipeline FRMR (FAISS HNSW + MS MARCO) offre le meilleur compromis pour la production, avec un temps de traitement de 0,55 seconde par requête tout en maintenant des performances très élevées (Hit@1 ~51,25 % sur l'ensemble filtré).

5. Signification et Implications

• Pour l'E-commerce : L'étude fournit un cadre pratique pour déployer des assistants IA en production capables d'interroger des catalogues produits massifs et complexes avec une grande précision factuelle.
• Choix Architecturaux : Elle démontre que pour les applications nécessitant une faible latence (ex: chatbots clients), les pipelines Dense Retrieval + Cross-Encoder Point-wise sont optimaux. Pour les analyses en arrière-plan où la précision prime sur la vitesse, les approches Set-wise sont préférables.
• Au-delà du RAG Classique : L'article valide que les architectures de récupération spécialisées (Cross-Encoders) sont souvent plus efficaces et moins coûteuses que l'utilisation de LLMs génériques pour le réordonnancement.
• Perspectives Futures : Les auteurs suggèrent d'explorer des récupérateurs nativement conscients du graphe (graph-aware) et des techniques d'hybridation pour mieux exploiter les relations multi-sauts dans les bases de connaissances.

En résumé, cette recherche établit une nouvelle référence de performance pour le RAG sur les bases de connaissances semi-structurées, prouvant qu'une combinaison stratégique de récupération dense et de réordonnancement par Cross-Encoder permet de surmonter les limites des systèmes actuels dans des environnements industriels complexes.