Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective

---

1. Problématique et Contexte

La Génération Augmentée par la Récupération (RAG) permet d'enrichir les Grands Modèles de Langage (LLM) avec des connaissances externes, réduisant ainsi les hallucinations et améliorant la pertinence des réponses. Cependant, l'intégration de documents entiers dans la fenêtre de contexte du modèle pose deux problèmes majeurs :

1. Coût et Latence : L'augmentation de la longueur du contexte alourdit considérablement les coûts d'inférence et la latence.
2. Bruit et Pertinence : Les documents récupérés contiennent souvent beaucoup d'informations redondantes ou non pertinentes par rapport à la requête spécifique, ce qui peut induire le modèle en erreur (phénomène de « lost in the middle »).

Les méthodes récentes de compression douce (soft compression) tentent de résoudre ce problème en encodant de longs documents en représentations vectorielles denses (embeddings) compactes. Cependant, l'approche dominante actuelle repose sur une compression complète (full-compression) de type auto-encodeur, qui force l'encodeur à compresser toutes les informations du document, indépendamment de leur pertinence pour la requête.

Le constat des auteurs : Cette approche de compression complète présente deux limitations fondamentales :

• Inviabilité (Infeasibility) : Elle entre en conflit avec la capacité du LLM à suivre des instructions. L'entraînement à la reconstruction complète fait que le modèle accorde une attention excessive aux embeddings compressés, au détriment des tokens d'instruction.
• Non-nécessité (Non-necessity) : Pour répondre à une question, le LLM n'a besoin que d'une sous-ensemble d'informations pertinentes conditionnées par la requête. La compression complète dilue l'information pertinente dans du bruit, réduisant la densité d'information utile.

2. Méthodologie : SeleCom

Pour surmonter ces limites, les auteurs proposent SeleCom, un nouveau cadre de compression douce qui redéfinit le rôle de l'encodeur : au lieu d'être un compresseur complet, il devient un sélecteur d'informations conditionné par la requête (query-conditioned information selector).

Architecture du système

Le pipeline de SeleCom se compose de trois modules principaux :

1. Le Sélecteur (Selector) : Un modèle de type decoder-only (générateur) qui prend en entrée à la fois la requête ($q$) et le document ($d$). Au lieu de reconstruire le texte, il sélectionne et comprime uniquement les informations pertinentes pour la requête en un nombre fixe d'embeddings denses (notés $\langle ENCODE \rangle$).
2. Le Projecteur (Projector) : Un module (MLP simple) qui aligne les embeddings sortants du sélecteur sur l'espace sémantique du générateur LLM.
3. Le Générateur (Generator) : Le LLM final qui utilise la requête et les embeddings compressés (insérés comme des tokens spéciaux) pour produire la réponse finale.

Entraînement en deux étapes

L'entraînement de SeleCom est conçu pour maximiser l'efficacité de la sélection et de l'utilisation de l'information :

• Étape 1 : Entraînement du Sélecteur et du Projecteur.
  • Utilisation d'un jeu de données synthétique massif (~14 millions de paires question-document-réponse) généré via un pipeline de synthèse de données rigoureux (filtrage de documents, génération de questions par LLM, vérification par LLM).
  • Apprentissage par curriculum : Les données sont triées par difficulté croissante pour stabiliser l'optimisation.
  • L'objectif est d'apprendre au sélecteur à extraire uniquement les informations nécessaires pour répondre à la question, sans reconstruire le texte.
• Étape 2 : Entraînement du Générateur.
  • Le générateur est fine-tuné pour apprendre à interpréter et à utiliser les embeddings compressés fournis par le sélecteur pour générer des réponses précises.

3. Contributions Clés

1. Analyse Principée : Démonstration théorique et empirique que la compression complète de documents est à la fois impossible (elle nuit au suivi d'instructions) et inutile (elle dilue l'information pertinente).
2. Nouveau Paradigme (SeleCom) : Introduction d'un framework où l'encodeur agit comme un sélecteur autoregressif conditionné par la requête, garantissant que seules les informations critiques sont conservées.
3. Pipeline de Données Synthétiques : Création d'un jeu de données d'entraînement massif, diversifié et gradué par difficulté, spécifiquement conçu pour l'apprentissage de la sélection d'informations.
4. Performance et Efficacité : Validation expérimentale montrant que SeleCom surpasse les méthodes de compression existantes tout en rivalisant avec les approches sans compression, tout en réduisant drastiquement les coûts de calcul.

4. Résultats Expérimentaux

Les expériences ont été menées sur six tâches intensives en connaissances (ODQA, Multi-hop QA, Fact-checking) avec différents modèles de base (Mistral-7B, Qwen2.5-7B).

• Performance (Précision) :

  • SeleCom surpasse systématiquement les méthodes de compression douce existantes (ICAE, xRAG, COCOM, PISCO) et les méthodes de compression dure (LLMLingua-2, RECOMP).
  • Il atteint des performances comparables, voire supérieures, aux baselines RAG non compressées (LLM with RAG*), tout en utilisant une fraction du contexte.
  • Exemple : Sur Natural Questions, SeleCom atteint un EM de 41.80 contre 41.12 pour le RAG non compressé (Mistral-7B), surpassant largement les autres méthodes compressées.

• Efficacité (Latence et Coût) :

  • Réduction significative de la latence d'inférence totale (TIL) et du temps jusqu'au premier token (TTFT).
  • Réduction des coûts de calcul (GFLOPs) de 33,8 % à 84,6 % par rapport aux baselines non compressées.
  • Contrairement aux autres méthodes de compression qui voient leur performance chuter avec l'augmentation du nombre de documents ($k=5$), SeleCom maintient une haute efficacité et une performance stable.

• Analyse du Comportement :

  • Les cartes de chaleur d'attention montrent que SeleCom permet au générateur de maintenir son attention sur les instructions (contrairement aux méthodes de compression complète qui deviennent « aveugles » aux instructions).
  • Le sélecteur montre une attention focalisée uniquement sur les régions du document pertinentes pour la requête, éliminant le bruit.

5. Signification et Impact

Ce travail remet en question le paradigme dominant de la compression de contexte dans le RAG. En passant d'une logique de « compression totale » à une logique de « sélection conditionnée par la requête », les auteurs démontrent qu'il est possible de réduire drastiquement la charge computationnelle des LLM sans sacrifier la qualité de la réponse.

Implications majeures :

• Scalabilité : Rend le RAG viable pour des applications en temps réel et à grande échelle où la latence et le coût sont critiques.
• Robustesse : Améliore la capacité des modèles à suivre des instructions complexes même avec des contextes compressés.
• Open Source : Les auteurs ont rendu publics le code, les données d'entraînement et les modèles, favorisant la reproductibilité et l'adoption par la communauté.

En résumé, SeleCom propose une solution élégante et efficace au goulot d'étranglement du contexte dans le RAG, prouvant que la qualité de l'information (pertinence) est plus importante que la quantité (longueur du document) pour la génération assistée par récupération.