💬 NLP

Quantifying Retriever-Generator Alignment in RAG with Local Explanations

Cet article présente RAG-E, un cadre d'explicabilité qui quantifie l'interaction souvent mal alignée entre les récupérateurs et les générateurs dans les systèmes de génération augmentée par récupération en utilisant de nouvelles méthodes d'attribution et la métrique du Weighted Attribution-Relevance Gap (WARG) afin de permettre des déploiements plus transparents et fiables.

Auteurs originaux : Korbinian Randl, Guido Rocchietti, Aron Henriksson, Ziawasch Abedjan, Tony Lindgren, John Pavlopoulos

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Korbinian Randl, Guido Rocchietti, Aron Henriksson, Ziawasch Abedjan, Tony Lindgren, John Pavlopoulos

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chercheur très intelligent mais légèrement distrait (le Générateur) qui essaie de répondre à vos questions. Pour l'aider, vous engagez un bibliothécaire (le Récupérateur) dont le travail est de trouver les meilleurs livres dans une immense bibliothèque et de les remettre à l'assistant.

Dans un monde parfait, le bibliothécaire remet les livres les plus pertinents et l'assistant les lit attentivement pour rédiger la réponse parfaite. Mais en réalité, les choses tournent souvent mal : le bibliothécaire peut donner les mauvais livres, ou l'assistant peut ignorer les bons pour inventer une réponse basée sur une page aléatoire qu'il a trouvée plus tôt.

Ce document présente un nouvel outil appelé RAG-E (Retrieval-Augmented Generation Explainer) pour agir comme un inspecteur de type "boîte noire". Il met en lumière exactement ce que le bibliothécaire et l'assistant ont en tête, révélant à quel point ils travaillent réellement bien ensemble.

Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. Le Problème : La « Déconnexion Silencieuse »

Les auteurs ont découvert que le bibliothécaire et l'assistant parlent souvent des langues différentes.

Le Bibliothécaire (Récupérateur) : Cette partie du système est comme un chasseur de mots-clés. Si vous demandez : « Où Marie Curie est-elle née ? », le bibliothécaire scanne les mots « Marie Curie » et « née ». Il saisit les documents qui contiennent ces mots exacts, même si le contexte n'est pas parfait.
L'Assistant (Générateur) : C'est l'IA qui rédige la réponse. Les auteurs ont découvert que l'assistant traite les documents de manière binaire : il considère soit qu'un document est « Super Important » (et l'utilise intensément), soit qu'il est du « Bruit Total » (et l'ignore complètement). Il ne se soucie pas vraiment du classement du bibliothécaire.

Le Résultat : L'assistant ignore souvent le premier choix du bibliothécaire (gâchant ainsi l'effort du bibliothécaire) ou se laisse distraire par un document que le bibliothécaire jugeait non pertinent (Distraction par le Bruit). Dans de nombreux cas, ce décalage se produit dans plus de 70 % des recherches de tête.

2. La Solution : RAG-E (L'Inspecteur)

Pour corriger cela, l'équipe a construit RAG-E, un cadre qui agit comme une loupe sur le cerveau de l'IA.

Pour le Bibliothécaire : Ils ont utilisé une technique appelée Gradients Intégrés. Imaginez baisser lentement le volume de chaque mot d'un document pour voir quels mots étaient assez « forts » pour pousser le bibliothécaire à choisir ce livre. Ils ont découvert que l'utilisation d'un jeton « inconnu » spécifique (comme un espace réservé pour une information manquante) comme base de référence offrait l'image la plus claire de ce que le bibliothécaire regardait.
Pour l'Assistant : Ils ont utilisé une méthode appelée PMCSHAP (une version stabilisée et sophistiquée des valeurs de Shapley). Imaginez jouer à un jeu où vous retirez un livre à la fois de la pile de l'assistant pour voir à quel point la réponse finale change. Si retirer un livre modifie radicalement la réponse, ce livre était crucial. Ils ont découvert que faire cela de manière répétée (style Monte Carlo) donnait une lecture beaucoup plus stable et précise que les méthodes précédentes.

3. Le Nouveau Carnet de Notes : WARG

L'équipe a créé une nouvelle métrique appelée WARG (Weighted Alignment between Retriever and Generator - Alignement Pondéré entre le Récupérateur et le Générateur).

L'Analogie : Imaginez que le bibliothécaire vous remette une pile de 10 livres, classés du « Meilleur » au « Moins Bon ». L'assistant rédige ensuite une réponse. Le WARG demande : « L'assistant a-t-il réellement utilisé les livres que le bibliothécaire considérait comme les meilleurs ? »
Pourquoi c'est meilleur : Les anciennes méthodes de mesure consistaient à essayer de faire correspondre deux listes de nombres à l'aide d'une ligne droite (corrélation de Pearson). Mais comme l'assistant traite les documents comme étant soit « Utilisés », soit « Ignorés », une ligne droite ne fonctionne pas. Le WARG est comme une règle spécialisée qui ne mesure que la distance entre les « Meilleurs » livres et les « Ignorés », offrant un score bien plus clair de la qualité de leur alignement.

4. Ce qu'ils ont trouvé

Le désalignement est courant : Le bibliothécaire et l'assistant sont fréquemment en désaccord. L'assistant ignore souvent les documents les mieux classés ou s'appuie sur des documents moins bien classés.
Chasse aux mots-clés : Le bibliothécaire dépend encore fortement de la correspondance de mots exacts (noms et prénoms) plutôt que de la compréhension profonde de la phrase.
Le score compte : Lorsque le score WARG est élevé (signifiant que le bibliothécaire et l'assistant sont synchronisés), la réponse finale est beaucoup plus susceptible d'être correcte. S'ils sont désynchronisés, la réponse est souvent erronée.

Résumé

Ce document ne se contente pas de dire que « l'IA est opaque ». Il construit un outil (RAG-E) pour mesurer précisément comment les parties de recherche et d'écriture de l'IA échouent à s'entendre. Ils ont découvert que ces deux parties travaillent souvent à l'opposé l'une de l'autre, et ils ont créé un nouveau score (WARG) pour détecter ce désalignement, ce qui peut aider les ingénieurs à construire des systèmes d'IA plus fiables qui utilisent réellement les informations qui leur sont données.

Résumé technique : Quantifier l'alignement entre le récupérateur et le générateur dans la RAG avec des explications locales

Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) combinent des récupérateurs denses (RET) et des modèles de langage (GEN) pour ancrer les sorties dans des documents externes. Bien que cette architecture réduise l'opacité des LLM en fournissant du matériel source, l'interaction entre le récupérateur et le générateur reste opaque. Les systèmes RAG actuels présentent souvent un manque de transparence concernant la manière dont l'information circule entre les composants. Plus précisément, les méthodes d'explicabilité existantes analysent généralement RET ou GEN de manière isolée, échouant à quantifier l'alignement entre eux. Cela crée des défis pour le déploiement dans des domaines à enjeux élevés où comprendre si un générateur utilise réellement les documents les plus pertinents récupérés est critique. Les auteurs identent un « désalignement » significatif où les générateurs ignorent fréquemment les documents les mieux classés (Récupération Gaspillée / Wasted Retrieval) ou s'appuient sur des documents classés comme moins pertinents (Distraction par le Bruit / Noise Distraction).

Méthodologie : Le cadre RAG-E

Les auteurs proposent RAG-E, un cadre d'explicabilité de bout en bout conçu pour auditer l'interaction entre les composants RET et GEN. Le cadre emploie des méthodes d'attribution distinctes adaptées aux caractéristiques spécifiques de chaque composant :

Analyse du Récupérateur (Gradients Intégrés) :
- Le cadre applique les Gradients Intégrés (IG) aux récupérateurs denses.
- Un choix de conception clé concerne l'embedding de base (baseline embedding). Par une analyse empirique, les auteurs ont constaté que le remplacement des embeddings de jetons non spéciaux par le jeton [unk] du modèle surpasse considérablement les bases standards comme [pad] ou [mask] en termes de fidélité (mesurée par l'Aire sous les Courbes de Perturbation, AIPC).
- IG est choisi pour les RET car ils sont entièrement différentiables, permettant des explications intrinsèques basées sur le gradient qui ne passent pas mal à l'échelle avec le nombre de jetons d'entrée.
Analyse du Générateur (Valeurs de Shapley Stabilisées) :
- Pour les générateurs autorégressifs, le cadre utilise les Valeurs de Shapley (SV) pour attribuer les jetons générés à des documents de contexte spécifiques.
- Pour remédier à l'intraitabilité computationnelle des SV exactes ( $O(2^{|D|})$ ) et à l'instabilité des approximations standard de Kernel-SHAP (KSHAP), les auteurs introduisent PMCSHAP (Paired Monte Carlo Stabilized SHAP).
- PMCSHAP combine l'échantillonnage de Monte Carlo avec un échantillonnage complémentaire (appariement d'ensembles entrée-sortie) pour obtenir des approximations de Valeurs de Shapley plus précises et reproductibles que le KSHAP natif, tout en maintenant des coûts de calcul gérables.
- Le cadre emploie la Génération de Jetons Contrainte pour garantir que, lors de l'évaluation de sous-ensembles de documents perturbés ( $D'$ ), la sortie du générateur reste comparable à la sortie originale en contraignant la séquence de génération basée sur le prompt original et les jetons précédents.
Métrique d'Alignement : WARG :
- Pour répondre à la question de recherche sur la façon de quantifier l'accord RET-GEN, les auteurs proposent le Weighted Attribution-Relevance Gap (WARG).
- WARG mesure la différence normalisée des scores d'importance moyens de RET entre les documents que le générateur juge « pertinents » (haute attribution) et ceux qu'il juge « non pertinents ».
- Il utilise un seuil ( $\tau = 1.5$ ) pour identifier les documents pertinents pour la génération, normalisant les attributions et assignant des poids binaires.
- La métrique est plafonnée à $[-1, 1]$ , où des valeurs plus élevées indiquent un meilleur alignement (le générateur se concentre sur les documents que le récupérateur a classés hautement).

Résultats Clés

Des expériences ont été menées sur trois jeux de données en domaine ouvert (PopQA, QAMPARI, TREC CAST) en utilisant deux récupérateurs denses (DRAGON, Arctic Embed 2) et trois modèles de génération (Llama 3.1, Qwen 2.5, Gemma 3).

Désalignement Systématique : L'étude révèle un désalignement substantiel entre RET et GEN. Selon le modèle et le réglage, les générateurs ignorent souvent les documents les mieux classés. Pour les 3 premiers documents, le désalignement (Récupération Gaspillée ou Distraction par le Bruite) affecte plus de 70 % des requêtes dans certaines configurations.
Comportement de la Récupération : L'analyse quantitative montre que même les récupérateurs denses s'appuient fortement sur la correspondance de mots-clés, particulièrement les noms et les noms propres, plutôt que sur une compréhension sémantique profonde.
Comportement du Générateur : Les générateurs présentent un motif d'attribution quasi binaire : les documents pertinents reçoivent des scores systématiquement élevés, tandis que les documents non pertinents se regroupent près de zéro.
Supériorité de la Métrique : WARG surpasse les corrélations de Pearson et de Spearman standard pour capturer l'alignement RET-GEN. Contraکirement aux corrélations, WARG est robuste à la structure quasi binaire de l'importance du générateur et au bruit des distributions de queue.
Corrélation de Performance : Des scores WARG élevés sont corrélés à la performance des tâches en aval. Les réponses générées contenant des étiquettes de vérité terrain (ground-truth) sont plus de deux fois plus susceptibles d'obtenir un score WARG élevé ( $>0.5$ ) que celles qui ne le font pas.

Signification et Revendications

Le papier affirme que RAG-E et WARG fournissent un cadre pratique pour auditer les systèmes RAG, comblant une lacune où les travaux précédents se concentraient sur les composants de manière isolée. La signification de ce travail réside dans :

Transparence : Rendre l'interaction entre la récupération et la génération explicite et mesurable, ce qui est crucial pour les domaines à enjeux élevés comme la santé et le droit.
Capacité de Diagnostic : Identifier des modes de défaillance spécifiques (Récupération Gaspillée, Distraction par le Bruit) que les métriques standard pourraient manquer.
Potentiel d'Optimisation : Les auteurs suggèrent que WARG peut servir d'indicateur de la performance RAG et potentiellement guider l'optimisation du système, comme la réduction des coûts de calcul en récupérant moins de documents si l'alignement est connu pour être faible.
Contribution Méthodologique : L'introduction de PMCSHAP pour stabiliser les approximations de Valeurs de Shapley dans les modèles autorégressifs et la validation du jeton [unk] comme une base supérieure pour les Gradients Intégrés dans les tâches de récupération.

Les auteurs font preuve de modestie concernant leurs affirmations, notant que bien qu'un score WARG élevé soit corrélé aux réponses correctes, il ne s'agit pas d'une garantie mathématique de correction factuelle. Ils reconnaissent également des limites, notamment le coût de calcul de PMCSHAP pour des pipelines très larges et l'accent actuel mis sur les architectures RAG standard sans réclasseurs (rerankers) ou systèmes de récupération hybrides.