Résumé Technique : GeoRAG – Optimisation de la Couverture de la Demande d'Information pour le RAG

1. Énoncé du Problème

La génération augmentée par récupération (RAG) traite généralement la sélection de contexte comme un problème de classement par morceaux (chunk-wise ranking), supposant que le besoin d'information d'une requête peut être capturé par un vecteur d'embedding unique, $\text{emb}(Q)$. Cette hypothèse de « besoin à point unique » échoue pour les requêtes complexes nécessitant un raisonnement multi-étapes ou répondant à des questions ambiguës.

Le papier identifie une limitation structurelle dans les méthodes existantes (qu'il s'agisse de classements par morceaux comme le Cosine top-k ou de méthodes de diversité d'ensemble comme MMR ou DPP) :

• Redondance : Les sélections top-k se concentrent souvent sur une seule dimension sémantique la plus proche de $\text{emb}(Q)$, laissant d'autres sous-questions critiques sans réponse. L'analyse empirique montre une similitude cosinus moyenne par paire de 0,82 parmi les 5 meilleurs candidats sélectionnés.
• Échec de la Sélection vs Rappel : Le problème n'est pas que les preuves sont absentes du pool de récupération (le Recall@200 est élevé, 88,7 %–93,8 %), mais que le mécanisme de sélection les écarte parce qu'elles sont distantes du vecteur de requête unique.
• Barrière Théorique : Les auteurs prouvent (Proposition 1) que tout « sélecteur monotone à proximité de la requête » (qui score les morceaux en fonction de leur similitude avec un vecteur de requête unique) est structurellement incapable de couvrir une demande bimodale si les deux pics sont séparés en termes de proximité de la requête. Cette limitation subsiste quel que que soit la capacité du modèle de scoring.

2. Méthodologie : GeoRAG

GeoRAG reformule la sélection de contexte, passant d'un problème de classement à un problème d'Optimisation de la Couverture de la Demande d'Information. Il opère de manière non supervisée, sans entraînement et agnostique à la récupération, via un pipeline en six étapes :

A. Formulation Fondamentale

Au lieu de maximiser la pertinence par rapport à un point unique, GeoRAG vise à maximiser la couverture d'une distribution de Proxy de Demande d'Information multidimensionnelle ($P_Q$).

• Objectif : Maximiser la couverture de type localisation de facilité pondérée par la demande $F_Q(S)$, ce qui équivaut à minimiser la distance de Sinkhorn–Wasserstein entropique entre la distribution de la demande $P_Q$ et la mesure de couverture de l'ensemble sélectionné $E_S$.
• Propriétés : L'objectif est prouvé comme étant sous-modal monotone, permettant une stratégie de sélection gloutonne avec une garantie d'approximation de $(1 - 1/e)$.

B. Étapes du Pipeline

1. Récupération des Candidats : Récupère $K=200$ morceaux candidats à l'aide d'un récupérateur dense.
2. Génération de Sous-requêtes Diversifiées (Axe A) :
   • Génère $n=20$ sous-requêtes candidates à l'aide d'un LLM.
     • Applique un filtre de cosinus max-min glouton pour sélectionner $m=10$ sous-requêtes qui sont maximalement dispersées dans l'espace d'embedding, approximant la structure multidimensionnelle de la requête.
3. Pondération de Qualité par Validation Inverse :
   • Filtre les sous-requêtes de faible qualité (celles présentant une dérive sémantique ou une redondance élevée) en vérifiant leur chevauchement de récupération avec le pool de candidats principal et leur nouveauté par rapport aux autres sous-requêtes.
   • Assigne des poids de qualité $\tilde{q}_j$ aux sous-requêtes restantes.
4. Construction de $P_Q$ :
   • Fusionne le prior de récupération globale ($r_i$) et la couverture dimensionnelle locale ($L_i$, dérivée des similitudes pondérées des sous-requêtes) en utilisant une formulation de produit bayésien : $w_i \propto r_i^\alpha \cdot L_i^\beta$.
   • Cela crée une distribution où les morceaux doivent être à la fois globalement pertinents et couvrir des sous-dimensions spécifiques.
5. Sélection de l'Ensemble de Couverture Gloutonne (Axe B) :
   • Sélectionne $k$ morceaux de manière itérative pour maximiser le gain marginal.
   • Utilise un surrogate basé sur Sinkhorn pour estimer le gain marginal. Le score de sélection combine deux facteurs :
     • Porte de Réassignation : $1 - \max_{s \in S} \cos(c_i, s)$, qui pénalise les morceaux qui dupliquent le contenu déjà sélectionné.
     • Masse de Demande Récupérée ($\Delta W_\epsilon$) : La réduction de la distance de Sinkhorn entre $P_Q$ et la couverture de l'ensemble, guidant la sélection vers les dimensions de demande non couvertes.
6. Sortie : L'ensemble final de $k$ morceaux est transmis au générateur.

3. Contributions Clés

1. Preuve de la Limitation Théorique : Le papier prouve formellement que les représentations de besoin à point unique ne peuvent pas couvrir les demandes bimodales, établissant cela comme une barrière de représentation plutôt qu'une déficience d'ingénierie. Il confirme empiriquement que même les puissants re-rankers cross-encodeurs (ex: BGE-Reranker) souffrent de cet échec.
2. Framework GeoRAG : Un framework non supervisé et sans entraînement qui construit un proxy de demande multidimensionnel et optimise la sélection via un objectif de localisation de facilité sous-modulaire réalisé par la distance de Sinkhorn–Wasserstein.
3. Mécanisme à Double Axe : La méthode modélise explicitement l'Axe A (où se situe la demande via $P_Q$) et l'Axe B (ce qui reste non couvert via la sélection sensible à l'ensemble). Les études d'ablation montrent que ces axes contribuent indépendamment (+2,7 et +3,4 EM respectivement sur HotpotQA).

4. Résultats Expérimentaux

Les expériences ont été menées sur six benchmarks de QA en domaine ouvert (NQ, TriviaQA, HotpotQA, 2WikiMHQA, ASQA, FEVER) en utilisant six méthodes de récupération différentes.

• Gains de Performance : GeoRAG obtient des améliorations constantes de l'Exact Match (EM) de +6,5 à +7,5 par rapport au troncature top-k standard à travers toutes les méthodes de récupération.
• Comparaison avec l'État de l'Art : GeoRAG surpasse les bases solides incluant MMR, DPP, BGE-Reranker, SMART-RAG et AdaGReS.
  • Sur HotpotQA, GeoRAG obtient +9,7 EM par rapport à la troncature top-k et +3,9 EM par rapport à BGE-Reranker.
  • Sur ASQA, les gains atteignent +9,4 EM.
• Robustesse :
  • Agnostique à la Récupération : Les gains sont constants à travers divers récupérateurs (Dense, BM25, Hybride, GraphRAG), confirmant que le goulot d'étranglement est la sélection, et non le rappel.
  • Indépendance du Corpus : Dans un test "Full-Wikipedia" sans injection de données d'or (où le Recall@200 chute significativement), GeoRAG maintient tout de même un gain de +7,7 EM par rapport au top-k, prouvant que le mécanisme de sélection fonctionne même lorsque la recherche de preuves est plus difficile.
  • Stabilité du Budget : Les gains restent stables à travers différents budgets de contexte ($k=3$ à $k=10$).
• Analyse de Couverture : La mesure directe montre que GeoRAG augmente la couverture des "deux pics" (couvrir les deux sous-questions dans les requêtes multi-étapes) d'environ 38 % à 74 % sur HotpotQA, ce qui est directement corrélé aux améliorations de l'EM.

5. Signification et Revendications

Le papier affirme que GeoRAG traite un défaut structurel du paradigme RAG : la dépendance aux représentations de requête à point unique pour la sélection de contexte.

• Changement de Paradigme : Il fait passer le domaine de "classer les morceaux par pertinence par rapport à une requête" à "optimiser la couverture d'une distribution de demande multidimensionnelle".
• Utilité Pratique : En tant que module de post-traitement sans entraînement et prêt à l'emploi, il peut être intégré à n'importe quel pipeline RAG existant sans données étiquetées ni fine-tuning.
• Insight Mécaniste : Les résultats démontrent que le principal goulot d'étranglement dans les QA complexes n'est pas la récupération des preuves (qui est souvent suffisante), mais la sélection d'un ensemble de preuves diversifié et non redondant qui couvre toutes les dimensions sémantiques nécessaires de la requête.

Les auteurs soulignent que les améliorations ne sont pas dues à une meilleure récupération ou à une plus grande capacité de modèle, mais plutôt à la formulation correcte de l'objectif de sélection pour gérer les besoins d'information multimodaux.