Résumé technique : Diagnostic et réparation des erreurs factuelles dans le RAG sous contraintes budgétaires

Énoncé du problème

Le RAG (Retrieval-Augmented Generation) vise à améliorer la véracité des modèles de langage (LLM) en ancrant les réponses dans des preuves externes. Cependant, les déploiements réels restent fragiles, échouant souvent en raison d'une preuve manquante ou faiblement pertinente, ou d'une génération qui ne reflète pas fidèlement le contexte extrait. Ces modes de défaillance sont particulièrement problématiques dans des contextes dotés de budgets stricts en termes de latence et de matériel (par exemple, mémoire GPU limitée, API avec limitation de débit, ou déploiements en périphérie à coûts contraints), où l'itération de la recherche ou le reclassement (reranking) gourmand en ressources est informatiquement prohibitif.

Les solutions existantes présentent des limitations significatives :

• Les modifications au moment de l'entraînement (ex. Self-RAG) nécessitent un ajustement fin (fine-tuning) et un couplage architectural, ce qui limite leur utilisation dans des contextes de modèles "boîte noire" ou basés sur des API.
• Le contrôle au moment de l'inférence (ex. DRAGIN) repose souvent sur des signaux internes du modèle comme l'accès aux logits, lesquels sont indisponibles dans les API de LLM fermées.
• Les politiques basées sur l'apprentissage (ex. MBA-RAG, QueryBandits) ciblent souvent des étapes spécifiques du pipeline ou nécessitent des composants de supervision et de modélisation supplémentaires.

Il existe un besoin pour un cadre de travail agnostique au modèle et conscient des ressources, capable de diagnostiquer les échecs en utilisant uniquement des artefacts observables et de sélectionner l'action corrective la moins coûteuse sous des contraintes explicites de latence et de VRAM.

Méthodologie : D2R-RAG

Les auteurs proposent D2R-RAG (Diagnose-to-Repair RAG), un cadre qui augmente un pipeline RAG standard avec deux modules primaires : le Diagnostic de défaillance et la Réparation adaptative.

1. Diagnostic de défaillance

Cette étape détermine la fiabilité de la sortie initiale du RAG et identifie le type de défaillance en utilisant uniquement des signaux observables : la requête ($q$), l'évidence extraite ($E$), la réponse générée ($r$), et une étiquette prédite ($y$). Le système triangule la vérification à l'aide de trois signaux complémentaires :

• Implication de la requête (Query Entailment, $e_q$) : Vérifie si l'évidence implique la requête.
• Implication de la réponse (Response Entailment, $e_r$) : Vérifie si l'évidence implique la réponse.
• Alignement avec le Graphe de Connaissances (KG Alignment, $\kappa$) : Extrait des triplets relationnels de la réponse et les aligne avec un KG pour identifier les décalages d'entités ou de prédicats.

Sur la base de ces signaux, le système classifie les défaillances en quatre signatures interprétables :

• Prédicat erroné (Wrong-Predicate, WP) : Conflit de KG.
• Preuve insuffisante (Insufficient-Evidence, IE) : L'évidence extraite n'implique pas la requête ($e_q = \text{neutre}$).
• Mauvaise réponse (Wrong-Response, WR) : La réponse n'est pas impliquée par l'évidence ($e_r \in \{\text{neutre, contradiction}\}$).
• Décalage Étiquette–Évidence (Label–Evidence Mismatch, LEM) : Spécifiquement pour les tâches FEVER, où l'étiquette prédite entre en conflit avec l'implication requête-contexte.

Pour les tâches FEVER, les cas IE et LEM déclenchent une étiquette d'abstention « Non vérifié » afin de donner la priorité aux réparations orientées vers la recherche.

2. Réparation adaptative via les bandits contextuels

Une fois une signature de défaillance identifiée, D2R-RAG formule la sélection de la réparation comme un problème de Bandit Multi-Bras Contextuel (CMAB).

• Espace d'actions ($A$) : Un petit ensemble d'interventions déployables en boîte noire :
  1. Réécritures au niveau du prompt : Paraphraser ou simplifier la requête pour réduire l'ambiguïté.
  2. Activation du reclassificateur (Reranker) : Utiliser un encodeur croisé pour améliorer la précision de l'évidence.
  3. Interventions au niveau de la recherche : Ajuster la profondeur ($k$), basculer entre la recherche BM25 et la recherche dense, ou rafraîchir l'index.
• Apprentissage de la politique : Le système utilise LinUCB pour apprendre une politique qui équilibre la récupération factuelle attendue et le coût computationnel. La politique suppose un modèle de récompense linéaire $\hat{r}(a | x) = x^\top \theta_a$ et sélectionne les actions en maximisant une borne supérieure de confiance.
• Récompense sensible aux ressources : La fonction de récompense ($r(a)$) évalue les réparations en fonction de la fiabilité de la sortie (Pas de défaillance, cohérence KG, implication NLI) et de la conformité au budget. Elle inclut :
  • Portes strictes (Hard gates) : Mise à zéro des récompenses si la latence ($L_a$) ou la VRAM ($V_a$) dépasse les budgets par action ($B_L, B_V$).
  • Termes multiplicatifs : Encourager les actions moins coûteuses parmi celles qui sont réalisables.

Principales contributions

1. Cadre agnostique au modèle : D2R-RAG fonctionne sans ajustement fin du générateur ni accès aux logits internes, permettant un déploiement avec des API de LLM fermées.
2. Signatures de défaillance interprétables : Le système distingue l'insuffisance du côté de la recherche de l'infidélité du côté de la génération en utilisant uniquement des artefacts observables.
3. Réparation adaptative et contrainte par le budget : En formulant la réparation comme un problème de bandit contextuel avec des contraintes explicites de latence et de VRAM, le système apprend à sélectionner l'action corrective la "moins coûteuse" pour des types de défaillance spécifiques.
4. Validation empirique : Le cadre est évalué sur la vérification de faits (FEVER) et le questionnement multi-étapes (HotpotQA), démontré une amélioration de la fiabilité et des compromis précision-efficacité par rapport aux bases récentes.

Résultats expérimentaux

Les auteurs ont évalué D2R-RAG contre Naive-RAG, Query Paraphrase, Context Expansion et Thompson Sampling (une politique sans contexte) en utilisant GPT-4o-mini.

• FEVER (Vérification de faits) :
  • D2R-RAG (Thompson Sampling) a atteint 61,5 % de précision, surpassant Naive-RAG (56,3 %) et Context Expansion (61,8 % avec une latence plus élevée).
  • Il a maintenu un profil de coût supérieur (latence de 1,14 s, 0,17 Mo de VRAM) par rapport à la variante LinUCB (1,47 s, 0,36 Mo).
• HotpotQA (Questionnement multi-étapes) :
  • D2R-RAG (Thompson Sampling) a atteint 40,4 % de correspondance exacte (EM) avec 71,52 % de fidélité.
  • La variante LinUCB a égalé 39,8 % d'EM mais a engendré une latence plus élevée (3,41 s contre 2,37 s) et a parfois dépassé les budgets de VRAM.
• Adaptation de la politique (RQ2) : L'analyse a montré que la politique conditionne correctement les actions sur les types de défaillance. Par exemple, les cas de « Preuve insuffisante » sur FEVER favorisaient l'escalade de la recherche (dense/BM25 plus profond), tandis que les défaillances de « Mauvaise réponse » et de « Prédicat erroné » sur HotpotQA orientaient vers l'activation du reclassificateur.
• Sensibilité au budget (RQ3) : Les études d'ablation ont confirmé que la formulation de la récompense contrôle efficacement les compromis qualité-coût. Les paramètres de budget « Stricts » ont réduit l'utilisation de la VRAM tout en préservant la performance, tandis que les paramètres « Relâchés » ont abaissé la latence et boosté la fidélité.

Signification et limites

L'article soutient qu'une récupération fiable dans les contextes RAG de type "boîte noire" nécessite une double capacité : une différenciation légère du diagnostic des types de défaillance et la sélection de l'action corrective la moins coûteuse sous des contraintes de ressources. D2R-RAG démontre que la fiabilité s'améliore davantage lorsque la réparation est ciblée sur des signatures de défaillance spécifiques plutôt que d'utiliser une stratégie uniforme.

Les auteurs notent modestement deux limitations :

1. Imperfections des signaux de diagnostic : L'alignement KG et les modèles NLI peuvent avoir des difficultés avec les preuves bruitées et le raisonnement multi-étapes, ce qui peut entraîner des erreurs en cascade vers des réparations sous-optimales.
2. Contraintes de l'espace d'actions : La politique est limitée aux actions de réparation exposées ; si des alternatives moins coûteuses sont indisponibles, le système peut abuser de correctifs coûteux ou manquer de capacité pour résoudre des défaillances complexes.

Le travail conclut que D2R-RAG offre une approche pratique et respectueuse des ressources pour améliorer la fiabilité du RAG dans des environnements contraints sans nécessiter l'accès aux paramètres internes du modèle.