Rag Performance Prediction for Question Answering

1. Problématique

Le RAG (Retrieval-Augmented Generation) est devenu une approche standard pour améliorer les Grands Modèles de Langage (LLM) en intégrant des connaissances externes afin de réduire les hallucinations. Cependant, l'application systématique du RAG n'est pas toujours bénéfique : dans de nombreux cas, le contenu récupéré peut être inutile, distractif ou contradictoire, dégradant ainsi la qualité de la réponse générée.

L'objectif principal de cette étude est de répondre à la question suivante : Peut-on prédire, avant ou après la génération, si l'application du RAG apportera un gain de performance significatif pour une question donnée par rapport à une génération sans récupération ?
Une prédiction fiable permettrait d'adopter une stratégie de RAG sélectif, n'activant la récupération que lorsque cela est bénéfique, optimisant ainsi l'efficacité du système et réduisant les coûts computationnels.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation systématique des stratégies de prédiction du "gain RAG", défini comme l'amélioration relative de la qualité de la réponse (mesurée par une métrique de qualité) lors de l'utilisation de contexte récupéré par rapport à l'absence de contexte.

A. Définitions et Métriques

• Gain RAG : Calculé comme le logarithme du rapport entre la qualité de la réponse avec RAG et sans RAG (équation 1).
• Métriques de Qualité : Pour éviter les limites des métriques traditionnelles (Exact Match, F1) qui ignorent la sémantique, l'étude utilise trois métriques basées sur l'alignement sémantique :
  • QE5 : Similarité cosinus des embeddings (modèle E5-large-v2).
  • QCE : Score d'association sémantique via un cross-encoder (RoBERTa-large).
  • QNLI : Probabilité d'inférence naturelle (NLI) indiquant si la réponse générée est entaillée par la réponse de référence (modèle DeBERTa-v3-large).
• Données : Trois jeux de données QA open-domain (NQ-Open, HotpotQA, TriviaQA) et deux LLMs (Falcon3-10B, Llama-3.1-8B).
• Récupération : Deux paradigmes testés : Sparse (BM25) et Dense (E5-large-v2).

B. Catégories de Prédicteurs

L'étude compare trois types de prédicteurs, classés par le moment où ils opèrent dans le pipeline :

1. Pré-récupération (Pre-retrieval) :

   • Analyse uniquement la question et les statistiques du corpus.
   • Méthodes testées (adaptées de la recherche d'information ad hoc) : SCQ, IDF, VAR.
   • Hypothèse : Estimer l'efficacité de la requête avant toute recherche.

2. Post-récupération (Post-retrieval) :

   • Analyse la question et les passages récupérés (avant génération de la réponse).
   • Non supervisés : WIG, NQC, SMV, REF (basé sur le recouvrement avec une liste de référence reclassée).
   • Supervisés : Bert-Post, un modèle BERT (ModernBERT-large) entraîné pour prédire le gain en utilisant la question et les passages récupérés.

3. Post-génération (Post-generation) :

   • Analyse la question, les passages récupérés et les réponses générées (avec et sans RAG).
   • Non supervisés :
     • Uncertainty : Réduction de l'entropie (incertitude) du modèle lors de la génération avec RAG vs sans RAG.
     • Entailment : Score d'inférence sémantique entre le contexte et la réponse.
   • Supervisés : Bert-Gen, une extension de Bert-Post qui inclut les deux réponses générées (avec et sans RAG) dans l'entrée du modèle pour capturer les relations sémantiques complètes.

3. Contributions Clés

1. Évaluation Comparative Systématique : C'est l'une des premières études à comparer exhaustivement des prédicteurs pré-récupération, post-récupération et post-génération spécifiquement pour la prédiction du gain RAG en QA.
2. Proposition d'un Prédicteur Supervisé Post-Génération (Bert-Gen) : Les auteurs introduisent une nouvelle approche supervisée qui modélise explicitement les relations sémantiques entre la question, les passages récupérés et la réponse générée.
3. Analyse des Limites des Métriques Traditionnelles : Démonstration que les métriques de récupération classiques (pré-récupération) sont inefficaces dans ce contexte, tandis que les signaux post-génération sont cruciaux.
4. Validation Multi-Configuration : Les résultats sont validés sur plusieurs LLMs, méthodes de récupération (BM25 vs Dense) et jeux de données, assurant la robustesse des conclusions.

4. Résultats

Les résultats sont présentés via le coefficient de corrélation de Pearson entre le gain prédit et le gain réel.

• Pré-récupération : Les méthodes non supervisées (IDF, SCQ, VAR) sont totalement inefficaces, affichant des corrélations proches de zéro (0 à 0,1). Elles ne peuvent pas prédire le gain RAG.
• Post-récupération :
  • Les méthodes non supervisées montrent une capacité prédictive limitée mais non négligeable (corrélations ~0,1 à 0,3).
  • Le prédicteur supervisé Bert-Post surpasse nettement les méthodes non supervisées (corrélations jusqu'à ~0,49), prouvant que l'apprentissage des relations sémantiques est supérieur aux heuristiques de scores.
• Post-génération (Les meilleurs résultats) :
  • La métrique Uncertainty (réduction de l'entropie) est un signal non supervisé fort (corrélations ~0,35 à 0,55).
  • Bert-Gen atteint les performances les plus élevées, avec des corrélations allant de 0,71 à 0,89 selon les configurations (notamment 0,89 sur TriviaQA avec E5).
  • Bert-Gen surpasse statistiquement tous les autres prédicteurs. Cela confirme l'hypothèse qu'une prédiction précise nécessite une vue holistique incluant la réponse générée.

Tableau 1 (Résumé) : Les prédicteurs supervisés post-génération (Bert-Gen) dominent largement, suivis par les prédicteurs post-génération non supervisés (Uncertainty) et les prédicteurs post-récupération supervisés (Bert-Post). Les méthodes pré-récupération sont à rejeter pour cette tâche.

5. Signification et Conclusion

Cette étude démontre que la prédiction du bénéfice du RAG est un problème complexe qui ne peut être résolu par des signaux de récupération simples.

• Inefficacité du pré-récupération : Il est impossible de prédire si le RAG aidera uniquement en regardant la requête et le corpus.
• Nécessité de l'analyse post-génération : Pour obtenir une prédiction fiable, le système doit analyser l'interaction entre le contexte récupéré et la réponse générée par le LLM.
• Impact pratique : Le prédicteur Bert-Gen proposé offre une solution viable pour implémenter des systèmes de RAG sélectif en production. En estimant le gain attendu, un système peut décider dynamiquement d'activer ou non la récupération, optimisant ainsi le compromis entre la qualité de la réponse et le coût computationnel (latence et tokens).

En conclusion, les auteurs proposent une approche supervisée novatrice qui établit un nouvel état de l'art pour la prédiction de la performance RAG, ouvrant la voie à des systèmes de réponse aux questions plus intelligents et économes en ressources.