Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

Résumé Technique : Vers une Génération Augmentée par la Recherche Fiable Grâce à la Prédiction de la Confiance Factuelle

Énoncé du Problème
La Génération Augmentée par la Recherche (RAG) est devenue une norme pour doter les Grands Modèles de Langage (LLM) de connaissances spécifiques à un domaine. Cependant, une vulnérabilité critique persiste : il n'existe aucune garantie inhérente que le contexte récupéré par recherche de similarité soutienne effectivement les faits générés, ni que le LLM n'hallucine pas d'informations malgré la présence d'un contexte pertinent. Les méthodes actuelles d'assurance de sécurité reposent souvent sur des améliorations heuristiques ou des modifications de composants spécifiques, sans protocole général, agnostique de l'architecture, pour fournir des garanties certifiables au pipeline RAG. Le défi central consiste à associer des mesures de confiance significatives à la fois au processus de récupération (assurant la fidélité à la source) et au processus de génération (assurant la factualité par rapport au contexte récupéré).

Méthodologie
Les auteurs proposent un protocole de certification en deux étapes, agnostique de l'architecture, qui fonctionne sans modifier les composants sous-jacents du récupérateur ou du LLM.

1. Estimation de la Confiance de Récupération (Bloc 1) :

   • Approche : Les auteurs appliquent la Prédiction Conformelle (CP) au processus de récupération pour sélectionner uniquement les fragments de documents ayant une chance statistiquement garantie de provenir de la source correcte.
   • Mécanisme : En utilisant un ensemble de calibration de triplets question-référence-réponse, le système calcule un seuil de non-conformité basé sur les scores de récupération et une métrique de similarité (RougeL). Un seuil $s_{thres}$ est établi pour distinguer les fragments corrects des incorrects.
   • Garantie : Sous l'hypothèse d'échangeabilité des échantillons, cette méthode fournit une garantie statistique (contrôlée par le taux d'erreur $\alpha$) que l'ensemble des fragments « de confiance » inclut le fragment source véritable.
   • Diagnostics : Les auteurs introduisent deux métriques, $m_1$ (existence binaire d'un fragment de confiance) et $m_2$ (proportion de fragments de confiance), pour diagnostiquer si une combinaison spécifique récupérateur-ensemble de données satisfait l'hypothèse d'échangeabilité requise pour que la CP soit valide.

2. Estimation de la Confiance de la Réponse (Bloc 2) :

   • Approche : Pour détecter les hallucinations dans la réponse finale, les auteurs utilisent un classificateur de factualité basé sur l'attention.
   • Mécanisme : Le système extrait les valeurs d'attention intermédiaires du LLM pendant la génération. Plus précisément, il calcule les ratios de retour en arrière par fragment (CW LR), qui mesurent l'attention moyenne que le modèle accorde à des fragments de contexte récupérés spécifiques par rapport à l'attention totale accordée au contexte et à la sortie générée.
   • Classificateur : Une unité de régression logistique simple est entraînée sur ces ratios de retour en arrière pour prédire un score de factualité. Crucialement, les auteurs excluent l'attention provenant des invites système et de la question de l'utilisateur du vecteur de caractéristiques pour empêcher le classificateur d'apprendre des biais spécifiques au domaine (par exemple, « les questions financières sont plus difficiles ») plutôt que l'ancrage factuel.

Contributions Clés

• Pipeline RAG Certifiable : Un flux de travail novateur qui intègre la prédiction conformelle pour la récupération et la détection basée sur l'attention pour la génération, fournissant des métriques de confiance séparées pour chaque étape.
• Métriques de Diagnostic : L'introduction des métriques $m_1$ et $m_2$ pour évaluer l'adéquation d'une configuration RAG. L'article démontre que si ces métriques indiquent une mauvaise performance du récupérateur (violation de l'échangeabilité), les garanties statistiques de la CP échouent, et le filtrage des fragments peut dégrader la qualité de la réponse.
• Détection Affinée des Hallucinations : Une démonstration montrant que, bien que les modèles d'attention sur le contexte complet (incluant les invites) puissent atteindre des AUROC plus élevés en validation croisée, les ratios de retour en arrière par fragment fournissent un ancrage factuel plus fiable en excluant les sources d'attention non liées à la récupération qui pourraient induire le classificateur en erreur.

Résultats
La méthodologie a été évaluée sur l'ensemble de données Natural Questions (NQ) et la collection Ragbench (RB) (12 ensembles de données diversifiés) en utilisant Llama-3-8B-Instruct et la récupération BM25.

• Confiance de Récupération :

  • Sur les ensembles de données où le récupérateur performe bien (par exemple NQ, RB-cuad), la métrique $m_1$ s'aligne avec l'attente théorique de $1-\alpha$, validant l'hypothèse d'échangeabilité.
  • Sur les ensembles de données avec des tâches de récupération difficiles (par exemple RB-finqa, RB-tatqa), $m_1$ chute significativement, indiquant que les fragments corrects n'apparaissent pas dans le top-K. Dans ces cas, l'application d'un filtrage basé sur la CP a en réalité dégradé la cohérence des réponses jusqu'à 10 %, confirmant que les garanties statistiques ne tiennent pas lorsque le récupérateur échoue à trouver la source.
  • Pour les récupérateurs performants, le filtrage des fragments non fiables a amélioré la cohérence des réponses jusqu'à 6 %.

• Confiance de Réponse :

  • Le classificateur basé sur le ratio de retour en arrière par fragment a atteint un AUROC de test maximal de 77 % dans une validation croisée au sein du même groupe.
  • La validation croisée entre différents groupes d'ensembles de données a montré des baisses de performance allant jusqu'à 16 %, soulignant le défi de la généralisation.
  • Les comparaisons ont montré que les ratios de retour en arrière sur le contexte complet (FC) (incluant les invites) produisaient des AUROC plus élevés (jusqu'à 82 %) mais étaient jugés moins fiables pour l'ancrage factuel en raison d'un biais potentiel provenant des motifs des invites. L'approche Fragment par Fragment (CW) proposée est préférée pour les systèmes fiables malgré un AUROC légèrement inférieur.

Signification et Revendications
L'article revendique établir une fondation pour des systèmes RAG certifiés adaptés aux applications industrielles critiques pour la sécurité. Sa signification principale réside dans le passage d'une robustesse heuristique à une certification statistique. Les auteurs soulignent que leur approche n'est pas une « solution miracle » pour toutes les configurations RAG ; elle fournit plutôt un cadre de diagnostic. L'article indique explicitement que la validité des garanties de confiance de récupération dépend de l'échangeabilité des échantillons, laquelle est conditionnée par la capacité du récupérateur à faire apparaître les fragments corrects. Par conséquent, les métriques proposées ($m_1, m_2$) sont des prérequis essentiels pour déterminer si une configuration RAG spécifique convient au déploiement avec ces garanties de confiance. Le travail vise à guider le développement d'applications RAG fiables en identifiant les faiblesses du pipeline (récupération vs génération) et en offrant des mesures quantifiables de confiance.