Résumé Technique : MCOMPASSRAG

Problématique

Les systèmes de génération augmentée par récupération (RAG) sont confrontés à un compromis fondamental concernant la granularité des documents. Les fragments à grain fin (ex: phrases) offrent une preuve précise mais augmentent considérablement l'espace de recherche, ce qui accroît la latence et le coût computationnel. À l'inverse, les fragments à grain grossier (ex: paragraphes larges ou documents entiers) réduisent le nombre de candidats et améliorent l'efficacité, mais introduisent un bruit sémantique important. Dans les fragments grossiers, les scores de similitude dense deviennent peu fiables car l'embedding mélange plusieurs sujets et rôles discursifs, diluant la preuve pertinente avec du contenu non lié. Cette limitation est particulièrement aiguë dans les tâches de recherche approfondie nécessitant une récupération rapide et précise à travers de vastes corpus hétérogènes. Les solutions existantes traitent souvent cela en ajoutant des étapes de récupération hiérarchiques, des structures d'indexation complexes ou un filtrage post-récupération coûteux (ex: re-classement basé sur les LLM), ce qui augmente les coûts de pré-traitement ou la latence d'inférence.

Méthodologie : MCOMPASSRAG

Les auteurs proposent MCOMPASSRAG, un cadre de récupération guidé par les métadonnées conçu pour rendre les fragments à grain grossier plus exploitables sans augmenter l'espace de recherche de la récupération. L'innovation centrale consiste à utiliser des signaux de niveau thématique comme un « compas sémantique » pour guider la récupération.

1. Enrichissement des métadonnées

Au lieu de se fier uniquement à la similitude cosinus entre une requête et un embedding de fragment bruité, MCOMPASSRAG enrichit les requêtes et les fragments avec des métadonnées thématiques :

• Modélisation thématique : Un modèle de thèmes (spécifiquement CEMTM dans l'implémentation) projette les documents et les fragments dans des vecteurs sensibles aux thèmes au sein du même espace sémantique que le récupérateur.
• Banque de métadonnées : Les distributions thématiques au niveau du fragment sont pré-calculées et mises en cache dans une banque de métadonnées au niveau du corpus. Cette banque sert de carte des régions sémantiques disponibles dans le corpus.

2. Pipeline d'inférence

Au moment de l'inférence, le système fonctionne sans appels de LLM :

• Sélection de métadonnées : Un sélecteur léger compare l'embedding de la requête à la banque de métadonnées pour identifier les distributions thématiques les plus pertinentes.
• Abstraction : Un module d'abstraction (utilisant un encodeur Transformer) résume les distributions thématiques sélectionnées en un vecteur de requête-thème compact et raffiné. Cette étape réduit le bruit et le biais provenant de toute entrée sélectionnée.
• Scoring sensible aux thèmes : La représentation raffinée de la requête (concaténée avec l'embedding de base de la requête) est évaluée par rapport à des représentations de fragments enrichies par les métadonnées à l'aide d'un classificateur perceptron multicouche (MLP) léger. Cela permet au récupérateur d'identifier quelles directions sémantiques au sein d'un grand fragment sont pertinentes pour la requête.

3. Entraînement via la distillation par un LLM-Enseignant

Pour entraîner le récupérateur étudiant léger sans nécessiter d'appels de LLM lors de l'inférence, les auteurs emploient une stratégie de distillation :

• Enseignant (Teacher) : Un LLM (GPT-4o) génère des requêtes étendues (ajoutant du contexte à partir des fragments voisins) et fournit une supervision de pertinence (étiquettes dures et scores mous) pour les paires requête-fragment.
• Étudiant (Student) : Le modèle étudiant ne reçoit que la requête de base. Il apprend à récupérer le contexte manquant et les jugements de pertinence grâce aux modules de sélection et d'abstraction de métadonnées.
• Objectif : L'entraînement combine une perte de l'entropie croisée binaire (BCE) avec une perte de distillation de connaissances (KD), traitant la récupération comme un problème de classification multi-étiquettes extrême.

Contributions Clés

1. Cadre MCOMPASSRAG : Un système de récupération guidé par les métadonnées qui améliore la précision de la récupération à grain grossier en intégrant des métadonnées thématiques, évitant ainsi d'avoir à étendre l'espace de recherche ou à ajouter des étapes hiérarchiques.
2. Mécanisme de Sélection et d'Abstraction : Un pipeline novateur qui sélectionne les métadonnées pertinentes à la requête à partir d'une banque au niveau du corpus et les abstrait en un signal compact, rendant la représentation de la requête sensible aux thèmes avant la correspondance avec les fragments.
3. Distillation Efficace : Un paradigme d'entraînement qui distille un LLM enseignant vers un récupérateur étudiant léger en utilisant un objectif multi-étiquettes extrême. Cela permet une sélection de preuves sensible aux thèmes sans appels de LLM lors de l'inférence, préservant l'efficacité des fragments grossiers tout en atténuant le bruit sémantique.

Résultats Expérimentaux

Les auteurs ont évalué MCOMPASSRAG à travers six benchmarks de récupération complexes (incluant HotpotQA, DRBench, LegalBench-RAG et SCI-DOCS) et des tâches de génération en aval.

• Performance de Récupération : MCOMPASSRAG a systématiquement surpassé les bases solides non-LLM (ex: DenseXRetrieval, SAKI-RAG, RAPTOR) sur tous les indicateurs (Précision, Rappel et Efficacité de l'Information). En moyenne, il a amélioré l'Efficacité de l'Information (IE) de 8,24 % par rapport à la base non-LLM la plus forte.
• Efficacité vs Qualité : Le système a atteint une performance comparable aux bases de référence Oracle basées sur les LLM (qui utilisent des LLM au moment de la récupération) avec une latence plus de 5 fois inférieure. Par exemple, sur DRBench, MCOMPASSRAG a atteint une IE de 47,97 contre 37,47 pour la meilleure base non-LLM, tout en maintenant une latence nettement inférieure aux systèmes RAG basés sur les LLM.
• Génération en Aval : Dans les tâches de génération, MCOMPASSRAG a délivré des scores F1 et de précision compétitifs tout en utilisant nettement moins de tokens (environ 4 126 tokens par requête) et une latence plus faible (174 ms) par rapport aux bases de référence RAG efficaces comme SAKI-RAG et REFRAG.
• Généralisabilité : Les études d'ablation ont montré que le modèle se généralise bien lorsqu'il est entraîné sur des jeux de données hors domaine (ex: MS-MARCO), suggérant que le pipeline de distillation apprend des comportements de récupération transférables plutôt que de faire du surapprentissage sur des benchmarks spécifiques.

Signification et Revendications

L'article affirme que MCOMPASSRAG résout avec succès le compromis de granularité dans les systèmes RAG. En traitant les métadonnées thématiques comme un compas sémantique, le cadre rend les fragments larges et grossiers recherchables avec une haute précision, éliminant le besoin de filtrage post-récupération coûteux ou d'indexation hiérarchique.

Les auteurs soulignent que leur approche offre un compromis efficacité-qualité pratique : elle récupère la majeure partie de la qualité de preuve des méthodes à contexte long coûteuses ou des méthodes de récupération basées sur les LLM, pour une fraction du coût computationnel. Le système est particulièrement significatif pour les agents de recherche approfondie qui doivent récupérer des preuves de manière répétée, car il évite les pénalités de latence des appels de LLM itératifs tout en maintenant une haute fidélité de récupération. Le travail démontre qu'avec le bon guidage par les métadonnées et une stratégie de distillation, la récupération à grain grossier peut être à la fois rapide et précise.