Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations
Cet article présente une étude empirique évaluant la pertinence de diverses métriques RAG issues de quatre bibliothèques en comparant leurs scores avec des évaluations humaines et des métriques standards sur un ensemble de données de questions-réponses métier, tout en discutant des limites méthodologiques et des directions de recherches futures.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes le manager d'un bibliothécaire très intelligent, mais parfois confus, nommé « RAG ». Le travail de ce bibliothécaire consiste à répondre à vos questions en allant d'abord chercher les bonnes pages de livres dans les étagères (récupération/retrieval) puis en rédigeant un résumé de la réponse basé sur ces pages (génération).
Le problème ? Comment savoir si votre bibliothécaire fait réellement du bon travail ? Vous ne pouvez pas simplement lui demander : « Ai-je bien travaillé ? », car il pourrait mentir ou faire preuve d'un excès de confiance. Vous avez besoin d'un moyen pour noter son travail.
Ce document est essentiellement un bulletin de notes pour les outils de notation (métriques) que nous utilisons pour évaluer ce bibliothécaire. L'auteur, Quentin Brabant d'Orange Research, a mis en place une petite expérience pour voir quels outils de notation correspondent réellement à ce que pensent les experts humains.
Voici la décomposition de l'expérience, des résultats et des mises en garde, expliquée simplement :
1. La configuration : L'« examen blanc »
L'équipe a créé un test pratique avec 96 questions spécifiques basées sur de vrais documents commerciaux (comme des offres de télécom et des règles clients).
- Les correcteurs humains : Deux experts ont lu les questions et les réponses du bibliothécaire, en leur attribuant une note de 1 à 5.
- 5 : Réponse parfaite, faits exacts, juste assez de détails.
- 1 : Le bibliothécaire a parlé de quelque chose de complètement sans rapport.
- Les correcteurs automatisés : Ils ont testé quatre bibliothèques de « logiciels de notation par IA » populaires (Ragas, DeepEval, RAGChecker et Opik). Ces outils tentent de donner une note automatiquement sans qu'un humain n'ait à examiner chaque réponse.
2. L'objectif : Trouver la meilleure « règle »
L'objectif n'était pas de déclarer un logiciel de bibliothèque comme le « vainqueur » définitif. Au lieu de cela, ils voulaient voir : « Est-ce que ces règles automatisées mesurent réellement ce que les experts humains mesurent ? »
Si un programme informatique dit qu'une réponse est « Excellente » (5/5), mais qu'un humain dit qu'elle est « Terrible » (1/5), ce programme informatique est une règle cassée. L'équipe a recherché la corrélation — un accord statistique entre le score de l'ordinateur et le score de l'humain.
3. Les résultats : Qui a eu la bonne note ?
Les résultats ont été un mélange de surprises et de déceptions :
- Les outils de la vieille école : Étonnamment, certains outils plus anciens et plus simples (comme METEOR) corrélaient en fait assez bien avec les humains.
- Les outils « sans référence » : Certains outils tentent de noter les réponses sans même regarder la « clé de correction » (la bonne réponse). Ces outils font généralement un mauvais travail. C'est comme essayer de noter un test de mathématiques sans connaître les bonnes réponses ; l'ordinateur ne fait que deviner.
- La grande surprise (RAGChecker) : Un outil, RAGChecker, a montré une corrélation très forte avec les scores humains. En fait, elle était si forte que les auteurs sont devenus suspects.
- Le contrôle de l'« hallucination » : Les outils conçus pour vérifier si le bibliothécaire a inventé des choses (la fidélité/faithfulness) ne corrélaient pas bien avec le score de qualité globale. Cela fait sens car un bibliothécaire peut dire la vérité mais donner une réponse ennuyeuse ou non pertinente.
4. Le piège : Le problème de la « règle cassée »
C'est la partie la plus importante du document. Les auteurs soulignent une faille majeure dans leur propre expérience.
L'analogie : Imaginez que vous testez un thermomètre. Vous n'avez qu'une seule pièce dans votre maison, et la température de cette pièce est toujours de 21°C (70°F).
- Vous mettez le thermomètre dans la pièce. Il affiche 21°C.
- Vous mettez un second thermomètre. Il affiche 21°C.
- Vous concluez : « Ces thermomètres sont parfaits ! »
La réalité : Vous ne pouvez pas savoir si ces thermomètres mesurent réellement la température, ou s'il s'agit simplement d'appareils cassés qui affichent toujours 21. Parce que vous n'avez testé qu'un seul système de bibliothécaire (une seule pièce), vous ne pouvez pas savoir si le correcteur automatisé mesure réellement la qualité de la réponse, ou s'il mesure tout autre chose, comme la difficulté de la question posée.
- Exemple : Si une question est très simple, le bibliothécaire obtient un score élevé. Si le correcteur automatisé est simplement « intelligent » pour deviner que les questions simples obtiennent des scores élevés, il corrélera parfaitement avec les humains. Mais si vous posez une question difficile, il pourrait échouer complètement. Les auteurs soupçonnent que RAGChecker fait précisément cela — il mesure accidentellement la « difficulté de la question » plutôt que la « qualité de la réponse ».
5. La conclusion : Et après ?
Le document conclut que bien que ces outils automatisés soient utiles pour filtrer les pires options, nous ne pouvons pas encore leur faire confiance à 100 % sur la base de ce type de test.
Pour obtenir une note réelle et fiable, les auteurs suggèrent que nous devons tester le correcteur contre plusieurs bibliothécaires différents (différents systèmes d'IA) et plusieurs types de questions. Si un outil peut systématiquement faire la différence entre un bon bibliothécaire et un mauvais bibliothécaire de manière constante, alors nous saurons qu'il s'agit d'une bonne règle.
En bref : Le document a testé les règles utilisées pour noter les bibliothécaires IA. Certaines règles semblaient bonnes, mais parce que le test n'utilisait qu'un seul bibliothécaire, les auteurs nous avertissent que les règles pourraient simplement deviner en fonction de la facilité des questions, plutôt que de mesurer la qualité réelle des réponses. Pour corriger cela, nous devons tester les règles sur toute une classe de différents bibliothécaires la prochaine fois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.