Résumé technique : Dans quelle mesure le rappel est-il important pour mesurer la qualité de la récupération ?

Énoncé du problème

Dans les systèmes de génération augmentée par récupération (RAG), la qualité des documents récupérés (la sélection « top-K ») impacte directement la qualité de la réponse générée par un modèle de langage de grande taille (LLM). Les métriques de récupération standard, telles que la mesure F, reposent sur le rappel ($R = n_p / N_p$), ce qui nécessite de connaître le nombre total de documents pertinents ($N_p$) dans la base de connaissances (KB) pour une requête donnée.

Cependant, dans des bases de connaissances réalistes, à grande échelle et évolutives, $N_p$ est généralement inconnu à l'avance. Par conséquent, le rappel ne peut pas être calculé, rendant la mesure F et des métriques similaires inapplicables pour une évaluation en temps réel. Les stratégies existantes pour contourner ce problème incluent la création de benchmarks fixes (qui deviennent obsolètes lorsque la KB change), l'estimation de $N_p$ par regroupement ou extrapolation, ou l'utilisation de métriques ne nécessitant pas $N_p$ (par exemple, le nDCG). L'article examine quelle approche corrèle le mieux avec la qualité réelle de la réponse générée par le LLM lorsque le nombre total de documents pertinents est inconnu.

Méthodologie

Construction du jeu de données

Les auteurs ont construit un jeu de données de référence (« retrieval-response ») comprenant des requêtes, des documents positifs (pertinents) et des documents négatifs (non pertinents) issus de quatre sources :

1. ARXIV : Résumés scientifiques.
2. HotpotQA : Paragraphes et phrases.
3. MSMARCO : Extraits de recherche web.
4. Natural Questions : Requêtes web.

Le jeu de données présente un nombre relativement faible de documents pertinents ($N_p \in [2, 15]$). Les auteurs ont fait varier la taille de récupération $K$ sur une plage par rapport à $N_p$ (à la fois $K < N_p$ et $K \ge N_p$).

Configuration de récupération et d'évaluation

• Embeddings : Quatre modèles d'embedding populaires (all-MiniLM-L12-v2, multilingual-e5-small, e5-small-v2, multi-qa-MiniLM-L6-cos-v1) ont été utilisés pour récupérer les documents top-K.
• Génération de réponse : Un LLM (GPT-4o-mini) a généré des réponses basées uniquement sur les documents top-K récupérés.
• Évaluation de la qualité : Les réponses générées ont été comparées à une réponse « idéale » (générée en utilisant tous les documents positifs). Le LLM a attribué un score de qualité (échelle de Likert de 1 à 5) basé sur l'exhaustivité du contenu et l'alignement.
• Validation : Le scoring du LLM a été validé par rapport à des jugements humains, montrant une forte corrélation ($\alpha$ de Krippendorff $\approx 0,77–0,82$).

Métriques comparées

L'étude a évalué la corrélation entre les métriques de récupération suivantes et le score de qualité de la réponse du LLM :

1. Mesure F : Nécessite une connaissance exacte de $N_p$.
2. Fe (F-estimé) : Utilise une estimation grossière de $N_p$ (nombre de positifs dans le top $2K$) au lieu du vrai $N_p$.
3. nDCG : Ne nécessite pas $N_p$ ; prend en compte l'ordre de classement des documents.
4. T (Proposé) : Une nouvelle métrique définie comme $T = \frac{(1-\alpha)n_p - \alpha n_n}{K}$, où $n_p$ est le nombre de positifs et $n_n$ le nombre de négatifs dans le top-K. Elle est conçue pour être indépendante de $N_p$.

Les auteurs ont analysé les corrélations de Spearman, Pearson et Kendall Tau à travers différents jeux de données, modèles d'embedding et ratios $K/N_p$.

Résultats clés

1. Corrélation avec la qualité de la réponse

• Performance des métriques : La métrique T proposée a généralement performé aussi bien ou mieux que la métrique F standard dans les scénarios où $K < N_p$ ou $K \approx N_p$ (spécifiquement sur ARXIV et HotpotQA-phrases).
• Limites du nDCG : Le nDCG a généralement montré une corrélation plus faible avec la qualité de la réponse que F ou T, sauf dans des cas spécifiques avec des ratios $K/N_p$ élevés sur des jeux de données complexes (comme ARXIV). Dans ces scénarios à ratio élevé, l'ordre des documents (pertinents en premier, non pertinents plus tard) est devenu critique pour le LLM, favorisant le nDCG.
• Estimation vs Réalité : De manière surprenante, Fe (utilisant une estimation de $N_p$ à partir du top $2K$) a parfois surpassé la vraie métrique F à des ratios $K/N_p$ élevés. Les auteurs émettent l'hypothèse que les documents pertinents apparaissant dans le top $2K$ sont intrinsèquement plus importants pour le LLM que ceux apparaissant plus tard, rendant le $N_p$ « estimé » un meilleur proxy pour les documents pertinents utiles.

2. Impact du ratio $K/N_p$

• Ratio $K/N_p$ faible/modéré : Lorsque le nombre de documents récupérés est comparable ou inférieur au nombre total de documents pertinents, la présence de documents non pertinents (négatifs) est le principal facteur de mauvaise qualité de réponse. Les métriques se concentrant sur l'équilibre entre positifs et négatifs (comme T et F) performent le mieux.
• Ratio $K/N_p$ élevé : Lorsque $K$ dépasse significativement $N_p$, le jeu de données contient de nombreux documents non pertinents. Ici, l'ordre de ces documents compte. Si le LLM reçoit des documents pertinents tôt dans le contexte, la performance est plus élevée. C'est là que le nDCG gagne un avantage, bien qu'il reste inférieur à T et F sur des jeux de données plus simples (MSMARCO, Natural Questions).

3. Sensibilité au modèle d'embedding

Le choix de la métrique de récupération s'est révélé plus dépendant du type de jeu de données et du ratio $K/N_p$ que du modèle d'embedding spécifique utilisé.

Contributions clés

1. Introduction de la métrique T : Les auteurs proposent une mesure simple et normalisée de la qualité de récupération (T) qui ne nécessite pas de connaître le nombre total de documents pertinents ($N_p$). Elle équilibre le nombre de documents pertinents ($n_p$) par rapport aux documents non pertinents ($n_n$) au sein du top-K.
2. Benchmark complet : Création d'un jeu de données diversifié reliant les configurations de récupération (divers $K$, $N_p$ et embeddings) aux réponses générées par le LLM et aux scores de qualité, facilitant l'étude de la qualité de récupération en l'absence de rappel de vérité terrain.
3. Insights empiriques :
   • Démonstration que T est une alternative robuste à F pour l'évaluation réelle où $N_p$ est inconnu.
   • Démonstration que le nDCG n'est pas universellement supérieur ; son avantage est limité aux ratios $K/N_p$ élevés sur des jeux de données complexes où l'ordre des documents impacte significativement la performance du LLM.
   • Observation que l'estimation de $N_p$ via le top $2K$ (Fe) peut parfois produire de meilleures corrélations avec la qualité de la réponse que l'utilisation du vrai $N_p$, suggérant que les documents pertinents « précoces » ont plus de poids pour les LLM.

Importance et affirmations

L'article affirme que dans des contextes RAG réalistes où le nombre total de documents pertinents est inconnu, le rappel n'est pas strictement nécessaire pour mesurer efficacement la qualité de la récupération.

• Utilité pratique : La métrique T offre une solution « bien fondée et pratique » pour les évaluations de la vie réelle, évitant le besoin de benchmarks fixes ou de techniques complexes d'estimation de $N_p$.
• Nuance contextuelle : L'étude met en évidence que la « meilleure » métrique dépend du contexte opérationnel (spécifiquement le ratio $K/N_p$ et la complexité des documents). Bien que F (ou T) soit généralement suffisant, le nDCG peut être préféré uniquement lors de la gestion de grandes fenêtres de récupération ($K \gg N_p$) sur des données complexes où l'ordre des documents non pertinents confond le LLM.
• Évaluation centrée sur le LLM : Ce travail renforce le passage vers une évaluation des systèmes de récupération basée sur leur impact en aval sur la qualité de la réponse du LLM plutôt que sur des métriques de récupération d'information abstraites uniquement.

Les auteurs restent modestes quant à la portée, notant que leurs expériences se sont concentrées sur des plages modérées de $N_p$ et que les considérations de latence pour l'évaluation en temps réel (par exemple, l'utilisation de LLM pour étiqueter la pertinence à la volée) n'ont pas été pleinement explorées.