🤖 AI

One Retrieval to Cover Them All: Co-occurrence-Aware Knowledge Base Reorganization for Session-Level RAG

Cet article propose une méthode de réorganisation de base de connaissances sensible à la cooccurrence qui améliore considérablement la couverture et l'efficacité de la recherche au niveau de la session pour les systèmes RAG d'entreprise en regroupant les documents connexes et en élargissant les candidats de requête, soutenant que la couverture au niveau de la session devrait remplacer le rappel par requête unique comme métrique d'évaluation primaire.

Auteurs originaux : Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un problème complexe sur votre site web, comme la mise en place d'une nouvelle boutique en ligne. Vous devez faire quatre choses : connecter votre nom de domaine, choisir un modèle de design, configurer les paiements et configurer l'e-mail.

Dans un système d'IA standard (appelé RAG), l'ordinateur agit comme un bibliothécaire qui sait seulement trouver des livres qui ressemblent exactement à votre question.

Vous demandez : « Comment puis-je connecter mon domaine ? »
Le bibliothécaire trouve trois articles sur les domaines.
Le Problème : Le bibliothécaire ne réalise pas que vous avez aussi besoin des articles sur les modèles et les paiements en ce moment même. Ces articles se trouvent sur des étagères complètement différentes dans la bibliothèque. Pour les obtenir, vous devez poser quatre questions distinctes, attendre que le bibliothécaire trouve chacune d'elles, et espérer qu'il réussisse à chaque fois.

Les auteurs de ce document appellent cela un « angle mort ». Ils ont découvert qu'un système standard ne trouve qu'environ 41 % de l'information dont vous avez réellement besoin en une seule fois.

La Solution : Une nouvelle façon d'organiser la bibliothèque

Les chercheurs proposent une astuce ingénieuse : réorganiser la bibliothèque en fonction de ce que les gens font réellement ensemble, et non pas seulement de l'apparence de leurs livres.

Pensez à un supermarché.

Système Standard : Il place le « Lait » à côté du « Fromage » parce qu'ils sont tous deux des produits laitiers blancs (similarité sémantique).
Ce Nouveau Système : Il remarque que les personnes qui achètent du « Lait » achètent aussi presque toujours des « Céréales » et des « Fraises » (cooccurrence), même si le lait et les fraises ne se ressemblent pas. Il déplace donc les Céréales et les Fraises dans le même rayon que le Lait.

Comment ça marche (Les étapes simples)

Réorganisation Hors-ligne (Le « Travail de Nuit ») : Avant que quiconque ne pose une question, le système examine des milliers de sessions passées d'utilisateurs. Il voit que lorsque les gens posent des questions sur les domaines, ils ont souvent aussi besoin d'aide pour les modèles et les paiements. Il regroupe ces sujets non liés en « clusters » ou « quartiers ».
Recherche en Ligne (Le « Travail de Jour ») : Lorsque vous posez votre question, le système fait deux choses :
- Il trouve la réponse la plus évidente (comme le bibliothécaire standard).
- L'Étape Magique : Il regarde immédiatement le « quartier » où se trouve cette réponse et récupère les autres éléments de ce cluster (les modèles et les paiements), même s'ils ne ressemblent pas à votre question.
Le Résultat : Au lieu de vous donner uniquement les articles sur le domaine, il vous donne les articles sur le domaine plus les articles sur les modèles et les paiments dans une seule réponse.

Pourquoi c'est important

Le document a testé cela sur une base de connaissances d'entreprise réelle comprenant plus de 6 000 articles. Voici ce qu'ils ont trouvé :

Un seul appel, plus de réponses : Au lieu d'avoir besoin de quatre questions distinctes pour obtenir toute l'information, une seule question couvre désormais 58 % des besoins de l'utilisateur (contre 41 %).
Moins d'étapes : Pour obtenir 70 % de l'information dont vous avez besoin, les utilisateurs ont désormais besoin de 34 % de questions en moins. C'est comme terminer ses courses en un seul voyage au lieu de quatre.
Une bibliothèque plus petite : Parce que le système regroupe les choses efficacement, il peut réduire la taille effective de la base de connaissances à 20 % de sa taille d'origine tout en trouvant les bonnes réponses.
Fonctionne partout : Cette astuce a fonctionné quel que soit le « cerveau » (modèle d'IA) utilisé pour comprendre les mots, et elle a fonctionné à travers six types différents de sujets (comme les paiements, l'e-mail et le design).

Le Compromis

Les auteurs admettent qu'il y a un léger coût. Parce qu'ils lancent un filet plus large d'informations, la toute première réponse peut parfois être légèrement moins parfaite qu'avant (passant de 96 % à 93 % de précision). Cependant, ils soutiennent que c'est un excellent compromis. Il est bien préférable d'avoir 58 % de la solution devant soi immédiatement plutôt que d'avoir la réponse « parfaite » unique et de devoir poser trois questions supplémentaires pour obtenir le reste.

Ce qu'ils n'ont pas affirmé

Ils n'ont pas affirmé que cela fonctionne pour des questions ponctuelles sans suivi (comme un quiz de culture générale).
Ils n'ont pas affirmé que cela rend la réponse écrite finale de l'IA parfaite ; ils ont seulement mesuré si les bons documents étaient trouvés.
Ils n'ont pas utilisé de journaux d'utilisateurs réels pour l'entraînement (pour des raisons de confidentialité), mais ont utilisé des données étiquetées par des experts et des parcours d'utilisateurs simulés pour enseigner au système comment regrouper les choses.

En résumé, ce document suggère que pour les problèmes complexes du monde réel, nous ne devrions pas seulement demander à l'IA de trouver le document le « plus similaire ». Nous devrions apprendre à l'IA à trouver le « groupe de documents le plus utile » basé sur la façon dont les humains les utilisent ensemble.

Résumé technique : Un seul processus de récupération pour tout couvrir

Énoncé du problème

Les systèmes actuels de génération augmentée par récupération (RAG) sont optimisés pour la pertinence d'une requête unique, récupérant des documents qui sont sémantiquement similaires à une requête utilisateur isolée. Cependant, les utilisateurs en entreprise interagissent avec les bases de connaissances (KB) par le biais de sessions : des épisodes cohérents de questions liées qui couvrent des parties sémantiquement distantes de la base de connaissances.

L'article identifie un « écart de couverture de session » critique : les systèmes RAG standards ne parviennent pas à récupérer l'ensemble complet des documents dont un utilisateur a besoin au cours d'une seule session, car ces documents résident souvent dans des voisinages sémantiques différents. Par exemple, un utilisateur configurant un site web a besoin d'articles sur la configuration du domaine, la conception de modèles et le traitement des paiements. Bien que fonctionnellement liés, ces documents sont sémantiquement distants dans l'espace des plongements (embeddings).

Le point aveugle : Les métriques de récupération standard (par exemple, Recall@k) optimisent la recherche du meilleur document unique pour une question unique, ignorant les besoins d'information multi-documents.
La conséquence : Sur le benchmark WixQA, un système RAG standard ne couvre que 41 % du besoin d'information d'une session d'utilisateur avec un seul appel de récupération ( $k=8$ ). Les utilisateurs doivent émettre plusieurs requêtes de suivi pour accéder au reste des connaissances, ce qui augmente la latence, les coûts d'API et la friction utilisateur.

Méthodologie

Les auteurs proposent une réorganisation de la base de connaissances sensible à la cooccurrence, une approche de pré-récupération qui restructure la base de connaissances hors ligne pour l'aligner sur les schémas de comportement des utilisateurs plutôt que sur la simple similitude sémantique. La méthode se compose de deux phases :

1. Hors ligne : Clustering sensible à la cooccurrence

Le système apprend un nouvel espace de plongement basé sur les schémas de cooccurrence des documents (documents accédés ensemble lors de sessions) plutôt que sur la similitude textuelle sémantique.

Construction de séquences : Les séquences de cooccurrence sont construites à partir de trois sources :
1. Vérité terrain (Ground-truth) : Requêtes étiquetées par des experts comportant plusieurs identifiants d'articles pertinents.
2. Marches dans le voisinage des plongements : Marches aléatoires à travers le graphe de similitude sémantique avec une probabilité de saut élevée (40 %) pour capturer les relations entre les voisinages.
3. Séquences pilotées par QA : Paires questions-réponses synthétiques et leurs documents sources voisins.
Apprentissage de plongement : Les identifiants de documents sont traités comme des jetons (tokens), et les séquences comme des phrases. Un modèle Word2Vec (CBOW) est entraîné pour générer des plongements de cooccurrence ( $z_d$ ). Cela capture la parenté fonctionnelle : les documents nécessaires ensemble dans une session sont proches dans l'espace $z$ , même s'ils sont sémantiquement distants.
Clustering hiérarchique : Un clustering agglomeratif est appliqué aux plongements de cooccurrence pour regrouper les documents en clusters. L'objectif est de réduire la taille effective de la KB à 20 % de sa taille originale (ex: 6 221 documents $\to$ 1 244 clusters).

2. En ligne : Récupération hybride avec expansion de cluster

Au moment de la requête, le système effectue un processus de récupération hybride :

Récupération classique (Vanilla) : Récupère les top- $k_v$ (ex: 3) documents basés sur la similitude sémantique standard (en utilisant n'importe quel encodeur).
Expansion de cluster : Pour chaque document récupéré, collecte tous les autres documents présents dans son cluster pré-calculé en tant que candidats d'expansion.
Ré-classement (Re-ranking) : Ré-classe l'union des résultats classiques et des candidats d'expansion en utilisant la similitude requête-document originale pour retourner les top- $k$ finaux (ex: 8).

Cette approche est indépendante de l'encodeur (la structure du cluster est apprise indépendamment de l'encodeur de la requête) et se fait en pré-récupération (la KB est réorganisée une seule fois hors ligne).

Contributions clés

Métriques d'évaluation au niveau de la session : L'article introduit la Couverture de session par requête unique (la fraction des documents d'une session récupérés en un seul appel) et les Appels pour la $\tau$ -couverture (le nombre d'appels nécessaires pour couvrir une fraction spécifique d'une session). Ces métriques déplacent l'accent de l'évaluation du rappel par requête unique vers la satisfaction globale de la session.
Réorganisation de la KB sensible à la cooccurrence : Une méthode novatrice qui réorganise la KB hors ligne en utilisant des schémas de cooccurrence pour permettre une récupération hybride par expansion de cluster.
Validation empirique : Démonstration de gains constants sur quatre modèles de plongement différents, six domaines fonctionnels et des complexités de session variables sur un benchmark d'entreprise.

Résultats

Évalué sur WixQA (6 221 articles de support d'entreprise) et un corpus de Support E-Commerce :

Couverture de session : La méthode proposée augmente la couverture de session par requête unique de 41,4 % (RAG classique) à 59,1 % à $k=8$ (+17,7 % en valeur absolue ; IC 95 % : [14,1, 20,4]).
Efficacité de la récupération : Pour atteindre 70 % de couverture de session, la méthode réduit le nombre moyen d'appels de récupération de 4,0 (Classique) à 2,6, soit une réduction de 34 %.
Robustesse de l'encodeur : La méthode améliore la couverture sur les quatre modèles de plongement testés (MiniLM, BGE, GTE, E5) avec des gains absolus allant de +17,1 % à +20,6 %.
Généralisation du domaine : Les gains sont constants à travers six domaines fonctionnels distincts (ex: Réservations, Apps, Éditeur), avec des améliorations allant de +12,7 % à +21,5 %.
Compression de la KB : Le clustering réduit la taille effective de la KB à 20 % de l'originale tout en améliorant la couverture.
Compromis de précision : La précision au premier impact (Hits@K) diminue légèrement (96,0 % à 93,0 %), ce que les auteurs considèrent comme un compromis acceptable pour une couverture de session nettement plus large.
Conditions limites : La méthode ne montre aucun gain sur HotpotQA, confirmant que l'amélioration repose sur des bases de connaissances persistantes avec réutilisation de documents entre les sessions, et non sur le mécanisme d'expansion lui-même.

Signification et affirmations

L'article soutient que la couverture au niveau de la session, et non le rappel par requête unique, devrait être la métrique principale pour l'évaluation du RAG en entreprise. La signification de ce travail réside dans :

Combler le fossé sémantique : Il démontre que la similitude sémantique et les besoins d'information des utilisateurs sont des signaux distincts. Les documents nécessaires ensemble ne sont pas toujours sémantiquement similaires, et s'appuyer uniquement sur la similitude des plongements fait manquer un contexte critique.
Efficacité et coût : En récupérant les bons documents dès le premier appel, la méthode réduit le nombre d'appels d'API, la latence et la friction utilisateur nécessaires pour résoudre des problèmes de support complexes.
Complémentarité : L'approche est orthogonale à la réécriture de requête ou à la compression post-récupération. Elle peut être combinée avec des optimisations existantes côté requête (comme la réécriture multi-requête) ou des méthodes post-récupération (comme EDC2-RAG) pour une optimisation de session de bout en bout.
Praticité : La réorganisation hors ligne est efficace en termes de calcul (moins de 20 minutes pour 6k documents) et la surcharge en ligne est négligeable, ce qui la rend viable pour un déploiement en production.

Les auteurs concluent que bien que leurs séquences de cooccurrence soient actuellement dérivées de sources synthétiques et basées sur les plongements, la méthode établit un cadre où les schémas de cooccurrence peuvent servir de signal puissant et complémentaire aux plongements sémantiques pour les systèmes RAG d'entreprise.