💬 NLP

The RAT: A Unified Bayesian Model for RAG Evaluation

Ce document présente « The RAT », un cadre bayésien unifié qui décompose l'évaluation du RAG en composantes de recherche, d'abstention et de génération afin de révéler des différences comportementales cachées, d'optimiser les stratégies d'annotation et d'intégrer les évaluations humaines et celles de l'LLM-as-a-judge au sein d'un modèle probabiliste unique.

Auteurs originaux : Pius von Däniken, Felix Matthias Saaro, Mark Cieliebak, Jan Deriu

Publié 2026-08-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pius von Däniken, Felix Matthias Saaro, Mark Cieliebak, Jan Deriu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le paysage moderne de l'intelligence artificielle, une approche populaire connue sous le nom de génération augmentée par récupération est apparue comme un moyen de rendre les grands modèles de langage plus fiables. Ces systèmes fonctionnent en recherchant d'abord dans une vaste bibliothèque de documents des informations pertinentes par rapport à la question d'un utilisateur, puis en utilisant l'information trouvée pour aider le modèle à construire une réponse. Ce processus en deux étapes est conçu pour empêcher le modèle d'inventer des choses, un problème courant où les systèmes d'IA énoncent avec assurance des contrevérités. Cependant, évaluer l'efficacité de ces systèmes s'est avéré difficile. Les méthodes traditionnelles ne regardent souvent que le résultat final : l'utilisateur a-t-il obtenu une réponse correcte ? Cette métrique unique, bien qu'utile, masque une réalité complexe. Elle ne parvient pas à distinguer un système qui a trouvé la bonne information et a répondu correctement, d'un système qui a répondu correctement malgré n'avoir rien trouvé, ou d'un système qui a trouvé la bonne information mais a échoué à l'utiliser. Pour véritablement comprendre ces machines, les chercheurs doivent regarder à l'intérieur du pipeline, en observant non seulement la sortie finale, mais aussi comment la recherche, la décision de répondre et la réponse finale interagissent les unes avec les autres.

Une équipe de chercheurs de la Haute école spécialisée de Zurich a développé une nouvelle façon de scruter cette boîte noire, en traitant l'évaluation de ces systèmes comme un puzzle statistique unifié plutôt que comme une simple liste de contrôle. Ils ont introduit un cadre qui sépare le succès de la recherche du comportement du générateur de réponses. Dans leur modèle, un système est considéré comme performant uniquement s'il se comporte de manière appropriée compte tenu de la qualité de l'information qu'il a trouvée. Cela signifie qu'un système qui ne trouve aucun document pertinent et qui refuse sagement de répondre est jugé comme se comportant correctement, tout comme un système qui trouve les bons documents et répond avec précision. Inversement, un système qui ne trouve rien mais qui devine quand même, ou qui trouve tout mais répond de manière incorrecte, est signalé comme ayant échoué à sa politique interne, même si la réponse finale s'avère juste par chance. En modélisant ces étapes distinctes ensemble, les chercheurs ont pu suivre comment les erreurs dans la phase de recherche se répercutent sur la réponse finale, et comment différents modèles gèrent l'incertitude.

Pour tester cette approche, l'équipe a mené une expérience massive impliquant vingt-sept configurations différentes de ces systèmes. Ils ont combiné trois moteurs de recherche différents, trois modèles de langage différents et trois ensembles de questions distincts couvrant la vérification des faits et le raisonnement complexe. Lorsqu'ils regardaient uniquement les scores finaux, beaucoup de ces systèmes semblaient presque identiques. Cependant, le nouveau cadre a révélé des différences de comportement profondes que les métriques standards avaient dissimulées. Par exemple, un modèle refusait systématiquement de répondre lorsque la recherche échouait, respectant strictement une politique de ne parler que lorsqu'il disposait de preuves. Un autre modèle, atteignant un taux de réussite globale similaire, donnait fréquemment des réponses par devinette même lorsque la recherche n'avait rien trouvé. L'étude a montré que deux systèmes peuvent paraître également bons en surface tout en opérant selon des principes totalement différents, l'un étant bien plus fiable dans des scénarios réels où l'information est souvent manquante.

Les chercheurs ont également abordé un problème pratique auquel est confronté quiconque tente d'améliorer ces systèmes : comment dépenser un budget limité de révision humaine. Vérifier chaque étape de chaque requête est coûteux et chronophage. L'équipe a cherché à savoir s'il était préférable que des humains vérifient si la recherche a trouvé les bons documents, ou s'ils ont trouvé la bonne réponse, ou les deux. Ils ont découvert une asymétrie frappante : vérifier les résultats de la recherche fournissait nettement plus d'informations sur la capacité du système à suivre ses règles que la vérification de la réponse finale. C'est parce que la décision de répondre ou de rester silencieux dépend fortement du succès de la recherche. Si un humain confirme que la recherche a échoué, il sait instantanément que le système aurait dû rester silencieux ; s'il a répondu, il a échoué à sa politique. Connaître la réponse finale, en revanche, en dit moins sur la capacité du système à prendre une bonne décision sur le moment. Cette découverte suggère que pour les développeurs visant à ajuster ces systèmes afin qu'ils soient plus honnêtes et prudents, concentrer l'attention humaine sur la qualité de l'information récupérée offre un bien meilleur retour sur investissement que de se concentrer uniquement sur la sortie finale.

Enfin, l'étude a exploré le rôle des juges automatisés, où une intelligence artificielle est utilisée pour noter une autre, une pratique courante pour économiser de l'argent. Les chercheurs ont constaté que, bien que ces juges automatisés puissent traiter de vastes quantités de données, ils sont sujets à un type d'erreur spécifique : ils prétendent souvent qu'une recherche a réussi alors qu'elle a échoué. En raison de cette tendance à surestimer le succès, l'ajout de milliers de labels automatisés n'a guère amélioré la précision de l'évaluation. L'étude a conclu qu'un petit nombre de jugements humains méticuleux, correctement calibrés, reste bien plus précieux qu'une montagne de données automatisées bruyantes. Ce travail fournit une carte plus claire et plus honnête de la manière dont ces systèmes complexes pensent et échouent, offrant une voie pour construire une IA qui ne soit pas seulement correcte, mais aussi digne de confiance dans son raisonnement.

Résumé technique : Le RAT : Un modèle bayésien unifié pour l'évaluation du RAG

Problématique

L'évaluation des systèmes de Génération Augmentée par Récupération (RAG) présente un défi significatif car les métriques de bout en bout standard confondent souvent des aspects distincts du comportement du système. Les benchmarks actuels évaluent fréquemment les composants de récupération et de génération de manière isolée ou s'appuient sur des métriques marginales qui occultent la manière dont les erreurs se propagent à travers le pipeline. Plus précisément, le « succès de la tâche » (si l'utilisateur a reçu une réponse correcte) est souvent traité comme synonyme de la qualité du système, ignorant le « succès du générateur » (si le générateur s'est comporté de manière appropriée compte tenu du résultat de la récupération). Un générateur qui ne s'abstient jamais peut atteindre un taux de succès de tâche raisonnable tout en violant systématiquement la politique souhaitée consistant à s'abstenir lorsque la récupération échoue. De plus, les cadres existants traitent généralement les dimensions du pipeline de manière indépendante, échouant ainsi à modéliser les dépendances statistiques entre les résultats de la récupération, les décisions d'abstention et la justesse de la réponse.

Méthodologie

Les auteurs proposent le RAT, un cadre d'évaluation bayésien unifié qui modélise explicitement les dépendances au sein d'un pipeline RAG.

Le modèle probabiliste

Le cadre décompose la distribution jointe du comportement RAG en quatre variables binaires suivant le flux d'information du pipeline :

Succès de la récupération ( $R$ ) : Si le contexte récupéré contient toutes les informations nécessaires ( $R=1$ ) ou non ( $R=0$ ).
Abstention ( $A$ ) : Si le générateur refuse de répondre ( $A=1$ ) ou tente une réponse ( $A=0$ ).
Succès de la tâche ( $T$ ) : Si la réponse finale est correcte ( $T=1$ ). Notez que $T$ n'est signifiant que lorsque $A=0$ .
Succès du générateur ( $G$ ) : Une variable déterministe représentant l'adhésion à la politique. $G=1$ si le générateur s'abstient lorsque la récupération échoue ( $R=0, A=1$ ) ou répond correctement lorsque la récupération réussit ( $R=1, A=0, T=1$ ).

Cette distribution jointe est factorisée comme suit :
$P(R, A, T) = P(R) \cdot P(A | R) \cdot P(T | A, R)$

Cette factorisation permet d'estimer des probabilités conditionnelles avec des interprétations comportementales directes : la qualité de la récupération ( $P(R)$ ), le comportement d'abstention conditionnel à la récupération ( $P(A|R)$ ), et la justesse de la réponse conditionnelle à la fois à la récupération et à la décision de répondre ( $P(T|A, R)$ ).

Inférence bayésienne et extensions

Le modèle est implémenté dans Stan à l'aide de l'algorithme Hamiltonian Monte Carlo (NUTS) pour propager l'incertitude à travers toute la structure de dépendance. Cette approche offre deux avantages clés :

Quantification de l'incertitude : Elle quantifie l'incertitude non seulement pour les probabilités primitives mais aussi pour les quantités dérivées comme l'adhésion à la politique ( $G$ ).
Observabilité partielle : Elle gère les scénarios où certaines annotations sont coûteuses (par exemple, les étalons de référence humains pour la récupération) tandis que d'autres sont peu coûteuses (par exemple, la correspondance de chaînes de caractères pour l'abstention) en marginalisant sur les variables non observées.

Le cadre est étendu pour incorporer les annotations de type LLM-as-a-judge (LLM comme juge). Ceux-ci sont traités comme des observations bruitées et calibrées des variables de vérité terrain ( $R$ et $T$ ). Un modèle de calibration estime le taux de vrais positifs (TPR) et le taux de faux positifs (FPR) du juge, permettant l'intégration de grands volumes de jugements automatisés avec un nombre limité d'annotations humaines au sein du même cadre probabiliste.

Configuration expérimentale

Les auteurs ont évalué le modèle à travers 27 configurations RAG, combinant :

3 Datasets : FEVER (vérification de faits), HotpotQA (QA multi-étapes) et Natural Questions (QA en domaine ouvert), tous ancrés dans un instantané partagé de Wikipédia.
3 Récupérateurs : Sparse (BM25), Dense (embeddings sémantiques) et Hybride (Reciprocal Rank Fusion).
3 Générateurs : Apertus 8B, Gemma3 12B et Qwen3.5 9B.

Résultats clés

1. La décomposition conditionnelle révèle des différences cachées

Les métriques marginales (par exemple, le succès global de la tâche) masquent souvent des différences comportementales significatives. Par exemple, sur le dataset Natural Questions avec une récupération dense, Apertus, Gemma3 et Qwen3.5 ont atteint des taux de succès de tâche presque identiques (~0,24). Cependant, leur adhésion à la politique ( $P(G=1)$ ) différait nettement (0,164, 0,414 et 0,496, respectivement). La décomposition conditionnelle a révélé que ces différences étaient principalement dues aux politiques d'abstention : Qwen3.5 et Gemma3 s'abstenaient efficacement lorsque la récupération échouait, tandis qu'Apertus s'abstenait rarement, entraînant une adhésion à la politique plus faible malgré des taux de réussite de tâche similaires.

2. Le problème de l'allocation des annotations

Les auteurs ont analysé comment allouer de manière optimale un budget d'annotation fixe entre les annotations de succès de récupération et de succès de tâche pour estimer l'adhésion à la politique ( $G$ ).

Asymétrie : Les annotations de succès de récupération sont nettement plus informatives pour estimer l'adhésion à la politique que les annotations de succès de tâche.
Explication informationnelle : Puisque $G$ est déterminé par $(R, A)$ dans trois cas sur quatre, l'observation de $R$ résout $G$ dans 75 % des scénarios. En revanche, l'observation de $T$ ne résout $G$ que dans le cas spécifique où le générateur a répondu ( $A=0$ ) et que la réponse est correcte ( $T=1$ ), ce qui est un sous-ensemble des cas restants.
Validation empirique : Les expériences ont montré que les stratégies se concentrant sur les annotations de récupération (All-R) réduisaient l'erreur d'estimation de $P(G=1)$ plus efficacement que les stratégies axées sur la tâche (All-T), égalant souvent la performance des annotations conjointes complètes.

3. Impact du LLM-as-a-Judge

Lors de l'intégration des jugements automatisés, les résultats ont souligné l'importance critique de la calibration. Le juge LLM utilisé (gpt-4o-mini) présentait une sensibilité élevée mais des taux de faux positifs substantiels. Par conséquent, l'ajout de milliers d'annotations automatisées n'apportait qu'une amélioration marginale de la qualité d'estimation (réduction légère de la largeur de l'intervalle de crédibilité) par rapport à un petit ensemble d'annotations humaines de haute qualité. Cela souligne que sans calibration précise, le volume automatisé ne peut remplacer la précision humaine.

Signification et contributions

L'article revendique les contributions suivantes :

Cadre unifié : Il introduit un modèle bayésien qui factorise l'évaluation du RAG selon le flux d'information, distinguant le succès de la tâche du succès du générateur (adhésion à la politique).
Aperçu comportemental : Il démontre que la décomposition conditionnelle révèle des différences de comportement entre des systèmes qui semblent équivalents sous des métriques marginales, particulièrement sur la manière dont les systèmes gèrent les échecs de récupération.
Efficacité de l'annotation : Il fournit une explication informationnelle et une validation empirique de l'asymétrie de la valeur des annotations, montrant que les annotations de succès de récupération sont plus efficaces pour estimer l'adhésion à la politique que les annotations de succès de tâche.
Intégration pratique : Il étend le modèle pour incorporer des annotations de type LLM-as-a-judge calibrées, offrant une manière rigoureuse de combiner les jugements humains coûteux avec les évaluations automatisées moins coûteuses.

Les auteurs concluent que le fait de traiter l'évaluation du RAG comme une inférence probabiliste permet de raisonner sur l'incertitude, l'observabilité partielle et l'efficacité de l'annotation, offrant une vision plus nuancée de la performance du système que les métriques traditionnelles de bout en bout.

Limites

L'article reconnaît plusieurs limites :

Simplification binaire : Le modèle suppose des jugements binaires (succès/échec), alors que l'IR utilise souvent des métriques continues (ex: MAP, MRR).
Politique fixe : Le succès du générateur est défini par une politique unique et fixe (s'abstenir si et seulement si la récupération échoue), ce qui peut ne pas couvrir toutes les politiques spécifiques aux applications (ex: réponses partielles).
Portée : Les expériences sont limitées à trois datasets et trois modèles à poids ouverts relativement petits.
Complexité du pipeline : Le modèle couvre un pipeline minimal de type "récupérer puis générer" et ne prend pas encore en compte le ré-ordonnancement (reranking), la reformulation de requête ou les contextes de conversation multi-tours.
Détection de l'abstention : L'abstention est détectée via une correspondance exacte de chaînes de caractères, ce qui peut ne pas capturer les refus nuancés ou indirects dans une génération de texte libre.