Résumé Technique : CompactRAG

Énoncé du Problème

La génération augmentée par récupération (RAG - Retrieval-Augmented Generation) est devenue un paradigme standard pour la réponse à des questions nécessitant une grande intensité de connaissances. Cependant, les systèmes RAG multi-sauts (multi-hop) existants font face à des inefficacités significatives lors du traitement de requêtes complexes qui nécessitent l'intégration de preuves provenant de plusieurs documents. Les approches itératives actuelles (par exemple, Self-Ask, IRCoT, Iter-RetGen) alternent entre la récupération et le raisonnement par LLM à chaque étape. Cette conception entraîne trois problèmes principaux :

1. Évolutivité et Coût : La consommation de tokens et la latence augmentent linéairement avec le nombre de sauts de raisonnement en raison des appels répétés au LLM.
2. Redondance : Les contextes récupérés contiennent souvent des informations redondantes, ce qui gonfle l'utilisation des tokens.
3. Dérive d'Entité (Entity Drift) : La décomposition automatique de questions complexes en sous-questions peut entraîner la perte de mentions explicites d'entités (par exemple, remplacer « Où est-il né ? » après avoir identifié que « il » désigne un scientifique). Cette ambiguïté provoque des erreurs de récupération et des résultats incohérents à travers les sauts.

Méthodologie : CompactRAG

Les auteurs proposent CompactRAG, un cadre qui découple la restructuration hors ligne du corpus du raisonnement en ligne pour parvenir à une inférence multi-saut efficace. Le système fonctionne en deux étapes distinctes :

1. Étape Hors Ligne : Construction d'une Base de Connaissances de QA Atomique

Au lieu de récupérer des passages bruts du corpus lors de l'inférence, CompactRAG traite le corpus une seule fois hors ligne.

• Processus : Un LLM lit le corpus brut et reformule le contenu des documents en un ensemble de paires QA atomiques (Questions-Réponses).
• Granularité : Chaque paire représente une unité factuelle minimale et fine (par exemple, « Qui a dirigé X ? » $\to$ « Y »).
• Ancrage d'Entité : Les entités au sein du corpus sont automatiquement annotées (via SpaCy) et explicitement imposées lors de la génération pour garantir la complétude sémantique et prévenir la perte référentielle.
• Indexation : Chaque paire QA atomique est plongée (embedded) dans un espace sémantique partagé via une récupération dense (Contriever). La question et la réponse sont concaténées ($[q; a]$) pour préserver la portée factuelle complète, permettant au récupérateur de correspondre à la fois à l'intention et au contenu.

2. Étape En Ligne : Inférence à Deux Appels

Pendant l'inférence, le système résout des requêtes complexes via un pipeline léger et fixe qui n'invoque le LLM principal que deux fois, quel que soit la profondeur du raisonnement.

• Étape 1 : Décomposition (Appel LLM #1) : La requête complexe est décomposée en un graphe de sous-questions ordonné par dépendance.
• Étape 2 : Résolution Itérative (Modules Légers) :
  • Récupération : Les sous-questions sont utilisées pour récupérer les $k$ meilleures paires QA atomiques de la base de connaissances pré-construite.
  • Extraction de Réponse : Un Extracteur de Réponse basé sur RoBERTa léger identifie l'emplacement (span) de la réponse correcte dans les paires récupérées, évitant ainsi les appels au LLM pour l'extraction.
  • Réécriture de Sous-Question : Un Réécrivain de Sous-Question basé sur Flan-T5 prend l'entité de la réponse extraite et réécrit la prochaine sous-question pour ancrer explicitement les références ambiguës (par exemple, changer « Où est-il né ? » en « Où [Entité] est-il né ? »). Cela empêche la dérive d'entité.
• Étape 3 : Synthèse (Appel LLM #2) : Une fois que toutes les sous-questions sont résolues et que les preuves sont agrégées, le LLM principal effectue une étape unique de synthèse pour générer la réponse finale.

Principales Contributions

1. Analyse de l'Évolutivité : L'article analyse comment la consommation de tokens et les appels de LLM dans les pipelines RAG itératifs évoluent linéairement avec la profondeur du raisonnement, identifiant cela comme un goulot d'étranglement pour le déploiement à grande échelle.
2. Cadre CompactRAG : L'introduction d'une architecture RAG à deux appels qui utilise une base de connaissances de QA atomique hors ligne et des modules en ligne légers (extracteur et réécrivain) pour permettre un raisonnement multi-saut efficace sans appels répétés au LLM.
3. Validation Empirique : Évaluation complète sur HotpotQA, 2WikiMultiHopQA et MuSiQue démontrant que CompactRAG atteint une précision compétitive tout en réduisant drastiquement la consommation de tokens par rapport aux bases de référence itératives robustes.

Résultats Expérimentaux

Évalué sur trois benchmarks multi-sauts en utilisant LLaMA-3.1-8B comme LLM de base :

• Précision : CompactRAG affiche des performances compétitives. Sur HotpotQA, il a atteint un Exact Match (EM) de 45,20 % et une précision basée sur le LLM de 70,40 %, comparable ou supérieur aux bases de référence itératives comme IRCoT (42,80 % EM) et Iter-RetGen (46,80 % EM).
• Efficacité : Le système réduit considérablement la surcharge de tokens.
  • CompactRAG : ~1,9K tokens par échantillon.
  • Iter-RetGen : ~4,7K tokens.
  • IRCoT : ~10,2K tokens.
  • Self-Ask : ~6,9K tokens.
• Études d'Ablation : Le retrait des modules Réécrivain de Sous-Question ou Extracteur de Réponse a entraîné des baisses de précision constantes (par exemple, le retrait du réécrivain sur HotpotQA a fait chuter la précision de 70,4 % à 63,2 %), confirmant leur nécessité pour maintenir l'ancrage d'entité et la précision de la récupération.
• Limite Supérieure (Upper Bound) : L'utilisation de GPT-4 pour la construction de la QA hors ligne a encore amélioré la précision (par exemple, 49,60 % EM sur HotpotQA), suggérant que la qualité de la base de connaissances hors ligne influence directement la performance de l'inférence.

Signification et Revendications

L'article soutient que CompactRAG offre une alternative pratique et rentable aux systèmes RAG itératifs. Sa principale importance réside dans :

• Inférence à Coût Fixe : En limitant les appels au LLM à deux par requête (décomposition et synthèse), le système découple le coût d'inférence de la profondeur du raisonnement, ce qui le rend hautement évolutif pour les tâches multi-sauts profondes.
• Découplage de la Récupération et du Raisonnement : Le cadre démonte que le raisonnement multi-saut de haute qualité ne nécessite pas strictement des interactions répétées avec le LLM. Au contraire, structurer les connaissances externes en unités atomiques sémantiquement alignées et exploiter des modules locaux légers peut produire une précision comparable avec une surcharge de calcul nettement inférieure.
• Déployabilité : Contra à les méthodes reposant sur des signaux internes au modèle (par exemple, l'entropie de l'attention) qui ne sont pas disponibles dans les modèles à poids fermés, l'approche architecturale de CompactRAG est compatible avec les LLM ouverts et fermés.

Les auteurs concluent que cette approche fournit un modèle pour développer des systèmes RAG évolutifs et économes en tokens, adaptés aux applications à grande échelle et à forte intensité de connaissances.