💬 NLP

(Towards) Scalable Reliable Automated Evaluation with Large Language Models

Cet article introduit un cadre évolutif et indépendant du domaine qui exploite les comparaisons par paires entre plusieurs LLM et un système de classement Elo pour générer des évaluations fiables, de niveau expert, des sorties de LLM avec des seuils de confiance ajustables, réduisant considérablement le besoin d'intervention humaine.

Auteurs originaux : Bertil Braun, Martin Forell

Publié 2026-07-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bertil Braun, Martin Forell

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez l'éditeur d'une bibliothèque immense et chaotique où des milliers de nouveaux livres sont écrits chaque jour par une flotte de robots super intelligents. Ces robots, connus sous le nom de Grands Modèles de Langage (LLM), peuvent écrire des histoires, répondre à des questions et résumer des idées complexes avec une vitesse incroyable. Mais voici le hic : comment savoir quel robot a écrit la meilleure histoire ? Autrefois, il vous aurait fallu une équipe de bibliothécaires humains pour lire chaque page, les comparer et débattre pour savoir qui était le meilleur. Cela prend un temps infini, coûte une fortune et différents bibliothécaires pourraient ne pas être d'accord sur ce que signifie « bon ». C'est le problème que les scientifiques du domaine de l'Intelligence Artificielle tentent de résoudre : créer un moyen de juger l'écriture des robots qui soit rapide, équitable et qui ne nécessite pas qu'un humain lise chaque mot. Pour ce faire, ils utilisent quelques astuces ingénieuses. Premièrement, ils demandent aux robots de se juger entre eux, comme un panel de critiques. Deuxièmement, ils utilisent un système de notation emprunté aux échecs, appelé classement Elo, qui classe les joueurs en fonction de qui bat qui lors de matchs en tête-à-tête. Enfin, ils vérifient à quel point les juges robots sont en accord avec de véritables experts humains pour voir si le système fonctionne.

Ce document introduit une nouvelle manière évolutive d'évaluer la qualité du texte généré par ces robots d'IA. Au lieu de demander à un seul robot de donner un score (ce qui peut être biaisé ou incohérent), les auteurs mettent en place un tournoi massif. Ils prennent un ensemble de différentes productions textuelles — comme des résumés de recherches scientifiques — et font jouer à plusieurs modèles d'IA différents des matchs « face à face » les uns contre les autres. Dans chaque match, deux textes sont présentés à un juge d'IA, qui doit décider lequel est le meilleur en se basant sur des règles spécifiques. Pour s'assurer que le juge ne choisit pas simplement le texte qui apparaît en dernier ou celui qui est le plus verbeux, le système inverse l'ordre des textes et utilise plusieurs modèles d'IA différents pour voter sur le vainqueur.

Une fois que tous les matchs ont été joués, les résultats sont injectés dans un système de classement Elo. Pensez à cela comme à un classement d'échecs : si un texte gagne contre un adversaire fort, il gagne beaucoup de points ; s'il perd, il perd des points. Avec le temps, cela crée une liste classée de la « meilleure » au « pire » des productions. Les auteurs ont testé cela en demandant à des modèles d'IA de générer des « profils de compétences » (des résumés de ce qu'un chercheur maîtrise) basés sur des résumés scientifiques. Ils ont ensuite comparé les classements générés par l'IA aux classements établis par 20 experts humains. Les résultats suggèrent que lorsque plusieurs modèles d'IA votent ensemble, leurs classements correspondent étonnamment bien à ceux des experts humains. En fait, l'utilisation d'un simple vote à la majorité (où l'IA a seulement besoin de 50 % d'accord pour déclarer un vainqueur) a mieux fonctionné que d'exiger une unanimité totale, ce qui entraînait souvent trop de « matchs nuls » et aucun vainqueur clair. L'étude montre que cette méthode peut réduire considérablement la nécessité pour les humains de faire le plus gros du travail, offrant un moyen fiable et automatisé de trier de vastes quantités de contenu généré par l'IA. Cependant, les auteurs notent que ce processus reste coûteux en termes de calcul, car il nécessite de nombreuses comparaisons, et qu'il fonctionne mieux lorsque plusieurs modèles d'IA différents sont utilisés pour équilibrer leurs particularités et leurs biais respectifs.

Résumé technique : Vers une évaluation automatisée fiable et scalable des grands modèles de langage

Énoncé du problème

Évaluer la qualité et la pertinence des sorties textuelles des grands modèles de langage (LLM) demeure un défi important. Les approches traditionnelles font face à deux limitations principales :

Le jugement humain : Bien qu'accurate, il est gourmand en ressources, incohérent et difficile à mettre à l'échelle.
Les métriques basées sur des références : Les métriques standards (ex. : BLEU, ROUGE) reposent sur des étalons de référence explicites, ce qui limite leur utilité pour les tâches ouvertes ou créatives où les benchmarks objectifs n'existent pas. De plus, ces métriques échouent souvent à capturer la variabilité nuancée inhérente au texte généré par les LLM.

Les méthodes automatisées existantes, telles que le scoring par un LLM unique ou les métriques basées sur la probabilité sans référence, présentent souvent une corrélation limitée avec les jugements humains et souffrent de biais (ex. : biais de position, de verbosité et de style). Il existe un besoin critique pour un cadre d'évaluation robuste, scalable et agnostique au domaine, capable d'approcher les évaluations de niveau expert sans intervention humaine extensive.

Méthodologie

Le papier propose un cadre d'évaluation en trois étapes qui exploite plusieurs LLM et un système de classement Elo pour générer des classements stables et interprétables de textes de forme libre.

1. Aperçu du pipeline

La méthodologie se compose de trois étapes distinctes :

I. Génération d'items : Plusieurs sorties candidates (items) sont générées pour une tâche donnée (ex. : résumé ou extraction de profil de compétences). La diversité est assurée par la variation des hyperparamètres, l'utilisation de LLM distincts ou des styles de formulation alternatifs.
II. Comparaison par paires systématique : Au lieu d'attribuer des scores absolus (qui sont sujets à la subjectivité), le cadre effectue des comparaisons directes d'item à item.
- Agrégation Multi-LLM : Plusieurs LLM évaluent chaque paire pour réduire les biais individuels des modèles.
- Évaluation bidirectionnelle : Pour atténuer le biais de position, chaque paire est évaluée dans les deux ordres (ex. : « Est-ce que A est meilleur que B ? » et « Est-ce que B est meilleur que A ? »).
- Ingénierie de prompt : Le système emploie des techniques de pointe (SOTA) incluant le Role Prompting, le raisonnement par chaîne de pensée (Chain-of-Thought - CoT) et la génération augmentée par récupération (RAG). Le RAG est utilisé pour injecter des exemples contextuellement pertinents dans les prompts, créant un scénario de few-shot pour guider les LLM vers des critères cohérents.
III. Système de classement Elo : Les résultats des comparaisons par paires sont agrégés à l'aide du système de classement Elo pour produire un classement global final. Ce système dynamique met à jour les classements des items en fonction des résultats de victoire/défaite/nul, garantissant que les classements reflètent la qualité relative.

2. Gestion des évaluations multiples et des seuils d'accord

Pour réconcilier les jugements de plusieurs LLM, le cadre explore deux stratégies d'agrégation :

Consensus basé sur un seuil : Un jugement par paire ne résulte en une victoire/défaite que si un pourcentage spécifié de LLM est d'accord (ex. : 100 %, 75 %, 50 %). Si le seuil n'est pas atteint, la comparaison est traitée comme un nul.
Sans seuil (mises à jour individuelles) : Chaque jugement de LLM déclenche une mise à jour Elo indépendante. Cette approche agrège les signaux proportionnellement (ex. : si 80 % préfèrent A, la mise à jour reflète une poussée nette de 60 % vers A) plutôt que de réduire les jugements à une décision binaire unique ou à un nul.

3. Atténuation des biais

Le cadre traite les biais spécifiques des LLM via :

Prompting neutre : Des prompts soigneusement élaborés pour éviter d'influencer les jugements.
Vérifications bidirectionnelles : Inversion de l'ordre des items pour contrer le biais de position.
Intégration du RAG : Utilisation d'exemples récupérés pour ancrer les évaluations dans des critères établis, réduisant ainsi les biais de style et de verbosité.

Implémentation expérimentale

Le cadre a été implémenté et testé à l'aide d'un cas d'usage spécifique : la génération de profils de compétences à partir de résumés scientifiques.

Données : Les résumés proviennent de dépôts publics (KITopen, OpenAlex).
Génération : Un modèle llama-3.1-70B a généré des profils de compétences (identifiant les domaines de recherche et 5 à 8 compétences clés) à partir des résumés.
Évaluation : Plusieurs LLM de pointe (incluant gemma2-9b-it, llama-3.1-8b, gpt-4o-mini, gemini-2.0-flash, et mixtral-8x7b) ont effectué des comparaisons par paires des profils générés par rapport aux résumés sources.
Vérité de terrain (Ground Truth) : 20 experts humains ont fourni leurs propres résumés de recherche et ont classé manuellement les profils générés selon la pertinence et l'exactitude.

Résultats

L'étude a comparé les classements automatisés (via Elo) aux classements des experts humains en utilisant le coefficient de corrélation de rang de Spearman ( $\rho$ ) et le tau de Kendall ( $\tau$ ).

Performance Multi-LLM :
- Les seuils d'accord élevés (1.0 ou 0.9) ont entraîné des corrélations modérées mais ont souffert de taux de nuls élevés, écartant des accords partiels informatifs.
- L'abaissement du seuil à une simple majorité (0.5) ou l'utilisation de l'approche Sans seuil a produit les corrélations les plus fortes avec les jugements des experts.
- Meilleurs résultats : La configuration multi-LLM avec un seuil de 0.5 a atteint un Spearman $\rho$ de 0,830 et un Kendall $\tau$ de 0,780. L'approche Sans seuil a obtenu des résultats similaires ( $\rho$ = 0,820).
- Les résultats suggèrent que des LLM diversifiés se modèrent mutuellement leur bruit, rendant l'approche Sans seuil efficace.
Performance Single-LLM :
- Lors de l'utilisation d'un modèle unique (llama-3.1-8b), l'approche Sans seuil était moins efficace que le seuil de 0.5, car les signaux contradictoires ne pouvaient pas être compensés par d'autres modèles.
- Cependant, même dans les scénarios à modèle unique, les seuils plus bas (0.5) ont surpassé les exigences de consensus élevées.
Robustesse : Les corrélations sont restées stables (à $\pm 0,03$ près) lors de la variation des seuils entre 0,50 et 0,75, indiquant que les classements finaux sont robustes à ce choix de paramètre.

Contributions clés

Cadre novateur : Introduction d'un cadre d'évaluation scalable qui approche les évaluations d'experts en utilisant des comparaisons par paires de plusieurs LLM et un système de classement Elo.
Stratégie d'atténuation des biais : Une approche systématique pour réduire les biais des LLM (position, verbosité, style) grâce à l'évaluation bidirectionnelle, le prompting enrichi par RAG et l'agrégation multi-modèles.
Agrégation flexible : Proposition et évaluation de seuils d'accord ajustables (de l'unanimité totale au vote majoritaire) et d'une variante « Sans seuil » qui préserve la proportionnalité du signal.
Validation empirique : Démonstration que les classements dérivés automatiquement corrèlent bien avec les jugements des experts (Spearman $\rho \approx 0,83$ ), réduisant considérablement le besoin d'intervention humaine extensive.
Interprétabilité : L'utilisation des scores Elo permet de quantifier les écarts de performance (ex. : une différence de 100 points implique une probabilité de victoire de ~64 %), offrant plus d'informations qu'un simple ordre de classement.

Signification et affirmations

Le papier affirme offrir une couche d'évaluation scalable, cohérente et agnostique au domaine pour les sorties de LLM. En exploitant l'intelligence collective de plusieurs modèles et la robustesse statistique du système Elo, le cadre répond aux limites de la mise à l'échelle humaine et des métriques basées sur des références.

Les auteurs soulignent que cette approche soutient des évaluations de qualité plus efficaces et fiables à travers diverses applications, particulièrement pour la génération de texte libre où les benchmarks objectifs font défaut. Bien que la méthode réduise considérablement la charge de travail humaine, le papier maintient une position modeste, reconnaissant qu'elle sert d'approximation du jugement expert plutôt que de remplacement parfait. Le cadre est présenté comme un outil pour soutenir, et non entièrement supplanter, la supervision humaine, particulièrement pour les décisions à enjeux élevés.

Limites

Le papier note explicitement plusieurs limites :

Surcharge de calcul : L'exigence $O(n^2)$ pour les comparaisons par paires, multipliée par les inférences de plusieurs LLM, crée des coûts de calcul importants, surtout avec les modèles commerciaux.
Problèmes de transitivité : Les comparaisons de LLM peuvent manquer de transitivité, compliquant l'utilisation d'algorithmes de tri basés sur la comparaison pour réduire la complexité à $O(n \log n)$ .
Différences subtiles : Lorsque les items sont presque équivalents, les biais individuels des LLM peuvent mener à des résultats divergents, bien que le système Elo aide à les faire ressortir comme des scores « pratiquement ex æquo ».
Taille du pool d'experts : La validité des résultats est contrainte par la taille et la diversité actuelles du pool d'experts utilisé pour la vérité de terrain.