💬 NLP

CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks

CoEval est un cadre open-source qui génère des benchmarks sans contamination et contrôlés par attributs, et emploie un ensemble diversifié de modèles juges pour classer de manière fiable les modèles de langage pour des tâches personnalisées sans nécessiter de données étiquetées ni faire confiance aux benchmarks publics.

Auteurs originaux : Alexander Apartsin, Yehudit Aperstein

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Apartsin, Yehudit Aperstein

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un responsable du recrutement essayant de choisir le meilleur employé pour un poste très spécifique, comme « organiser un entrepôt chaotique » ou « écrire des blagues drôles sur le jardinage ». Vous avez un problème : vous n'avez aucun compte rendu de performance passé (données étiquetées) et les tests standards que tout le monde utilise (benchmarks publics) sont inutiles car les candidats ont déjà mémorisé les réponses en les étudiant auparavant.

C'est exactement le problème que CoEval résout. C'est un nouvel outil open-source qui vous aide à classer les modèles d'IA selon vos besoins spécifiques sans avoir besoin d'experts humains pour les noter ou craindre la triche.

Voici comment cela fonctionne, décomposé en analogies simples :

1. Le générateur de « Tests Frais » (Pas de triche autorisée)

Habituellement, les modèles d'IA passent les mêmes vieux tests (comme le SAT ou le GRE) qui existent depuis des années. Parce que ces tests sont si populaires, les modèles d'IA ont probablement vu les questions lors de leur entraînement et ont simplement mémorisé les réponses. C'est comme un élève qui mémorise le corrigé au lieu d'apprendre les mathématiques.

CoEval change la donne. Au lieu d'utiliser de vieilles questions, il utilise une « IA Professeur » pour inventer de nouvelles questions sur le champ, basées uniquement sur la description de votre tâche.

L'analogie : Imaginez un professeur qui crée un test de mathématiques pendant que l'élève est dans la salle. L'élève ne pouvait pas mémoriser les réponses car les questions n'existaient pas avant cet instant précis.
Le résultat : L'article prouve que ces nouvelles questions sont 100 % fraîches. Elles ne partagent aucune séquence de 13 mots avec les grandes banques de tests publics, ce qui signifie que l'IA ne peut pas tricher en se remémorant d'anciennes données.

2. Un « Jury » de Juges (La diversité plutôt que le nombre)

Une fois que les modèles d'IA ont répondu à ces questions fraîches, quelqu'un doit les noter. Vous pourriez demander à une seule IA super intelligente de les noter, mais c'est risqué. Ce juge unique pourrait avoir des biais étranges, comme préférer les réponses longues aux réponses courtes et pertinentes, ou aimer les réponses qui ressemblent à sa propre famille de modèles.

CoEval utilise une approche de « Jury ». Il rassemble un petit groupe de juges provenant de différentes entreprises (par exemple, un d'OpenAI, un d'Anthropic, un de Google).

L'analogie : Pensez à un tribunal. Si vous avez un seul juge connu pour être grincheux, le verdict peut être injuste. Mais si vous avez un jury de trois personnes issues de milieux différents, leurs particularités individuelles s'annulent. Si un juge aime les réponses longues et qu'un autre les déteste, la note moyenne devient équitable.
La grande découverte : L'article a découvert que qui compose le jury importe plus que combien de personnes il y a. Ajouter plus de juges de la même entreprise ne fait qu'amplifier leur biais partagé. En fait, un petit groupe de juges diversifiés est incroyablement fiable. En fait, un juge unique peut parfois être « anti-corrélé » (donner la mauvaise réponse), mais un jury diversifié ne l'est presque jamais.

3. L'usine « Sans Humain »

Habituellement, pour construire un bon test, il faut des humains pour rédiger les questions et noter les réponses. C'est lent et coûteux.

L'analogie : CoEval est comme une usine entièrement automatisée. Vous lui donnez un plan (une description de votre tâche), et il :
1. Conçoit les questions du test.
2. Fait passer le test aux candidats IA.
3. Assemble le jury diversifié pour noter les réponses.
4. Produit un classement final.
Le coût : Les auteurs ont mené une étude massive de près de 8 000 évaluations pour le prix d'une tasse de café (5,89 $). C'est tellement bon marché que vous pourriez lancer un nouveau test chaque fois qu'un nouveau modèle d'IA sort.

4. Pourquoi cela importe

L'article a testé CoEval dans trois scénarios réels où aucune « bonne réponse » n'existait :

Interactions médicamenteuses : Déterminer si deux médicaments entrent en conflit.
Raisonnement clinique : Diagnostiquer les symptômes d'un patient.
Analyse juridique : Interpréter des lois.

Dans ces domaines, il n'existe pas de tests « standards de référence ». CoEval a réussi à classer les modèles, montrant lesquels étaient les meilleurs pour ces tâches spécifiques. Il a même détecté qu'un modèle plus petit et moins cher était en réalité moins performant qu'un modèle plus grand, ce qu'un juge unique biaisé aurait pu manquer.

L'essentiel

CoEval est un outil qui dit : « Ne faites pas confiance aux vieux tests mémorisés. Ne comptez pas sur un seul juge qui pourrait être biaisé. Au lieu de cela, générez un test frais pour votre tâche spécifique et faites-le noter par une petite équipe de juges IA diversifiés. »

Il transforme le processus complexe et coûteux de test des IA en un processus peu coûteux, répétable et équitable que n'importe quelle équipe peut utiliser pour trouver l'IA adaptée à ses besoins spécifiques.

Résumé Technique : CoEval

Problématique

Les praticiens sont confrontés à un goulot d'étranglement critique lors de la sélection de modèles de langage pour des applications spécifiques et personnalisées (par exemple, résumer des notes cliniques ou trier des tickets de support). Ce défi découle de deux conditions convergentes :

Absence de données étiquetées : La construction manuelle d'un benchmark représentatif et spécifique à une tâche est lente, coûteuse et souvent impossible pour de nouveaux domaines ou des domaines propriétaires.
Benchmarks publics peu fiables : Les benchmarks statiques standards sont de plus en plus contaminés. Les éléments de test s'infiltrent souvent dans les corpus de pré-entraînement, ce qui fait que des scores élevés reflètent la mémorisation plutôt que la généralisation ou l'adéquation à un cas d'usage spécifique.

Les solutions existantes comme les benchmarks statiques souffrent de rigidité (non-extensibilité), de susceptibilité à la contamination et de généricité (discordance avec les distributions d'entrée). Parallèlement, les approches de type « LLM-as-judge » (le LLM comme juge) répondent aux problèmes de coût et d'extensibilité mais introduisent de nouveaux biais, notamment le biais de position, le biais de verbosité et l'auto-préférence (les juges favorisant les sorties de leur propre famille de modèles).

Méthodologie : Le Framework CoEval

CoEval est un framework open-source et déclaratif conçu pour générer un pipeline d'évaluation frais, exempt de contamination, et pour classer les modèles candidats sans étiquettes humaines. Il fonctionne via un pipeline en cinq phases piloté par un fichier de configuration unique, séparant trois rôles de modèles distincts : Enseignant (Teacher), Étudiant (Student) et Juge (Judge).

1. Séparation des rôles

Enseignant : Synthétise des éléments de benchmark ciblés sur le domaine (prompts et réponses de référence) conditionnés par des attributs cibles déclarés.
Étudiant : Les modèles candidats sous évaluation produisent des réponses aux prompts générés.
Juge : Note les réponses des étudiants par rapport à une rubrique générée automatiquement.
Principe de conception : L'ensemble des juges est explicitement disjoint de la famille du fournisseur du modèle étudiant. Cette séparation structurelle empêche un modèle de noter sa propre famille, éliminant ainsi le canal d'auto-préférence par conception.

2. Génération stratifiée par attributs

Au lieu d'un échantillonnage uniforme, CoEval définit un ensemble d'attributs cibles (ex: difficulté, sujet, type de raisonnement) et stratifie la génération sur leur produit cartésien. L'échantillonneur garantit un nombre minimum d'éléments par strate ( $n_s \ge \lfloor N/|S| \rfloor$ ), assurant la couverture des cas limites et des régions minoritaires de la distribution de déploiement. Comme les éléments sont synthétisés de manière fraîche à partir de la spécification des attributs à chaque exécution, ils sont structurellement résistants à la contamination ; ils ne peuvent pas être apparus dans les données de pré-entraînement d'un étudiant.

3. Ensemble de juges inter-familles et agrégation

Les réponses sont notées par un panel de juges issus de différents fournisseurs de modèles (ex: OpenAI, Anthropic, Google, modèles à poids ouverts).

La composition plutôt que la taille : Le framework postule que la fiabilité est portée par la diversité des fournisseurs (composition) plutôt que par la taille du panel. Un grand panel de juges de même famille amplifie les biais partagés, tandis qu'un petit panel diversifié les annule.
Annulation des biais : Les juges individuels portent souvent des biais de signes opposés (ex: un juge récompense la verbosité tandis qu'un autre la pénalise). Faire la moyenne des scores d'un panel diversifié en termes de fournisseurs permet d'annuler ces biais.
Agrégation : L'agrégateur par défaut est une moyenne non pondérée. CoEval propose également un agrégateur pondéré par la fiabilité non supervisée, qui pondère les juges selon leur accord moyen avec le consensus du panel, minimant ainsi l'influence des valeurs aberrantes sans nécessiter de vérité terrain.

Principales Contributions

Benchmarks auto-générés et résistants à la contamination : CoEval génère des benchmarks frais et contrôlés par attributs à chaque exécution, garantissant que les éléments n'ont jamais été vus lors du pré-entraînement des étudiants.
Fiabilité pilotée par la composition : L'article établit que la composition du panel de juges (diversité des fournisseurs), et non sa taille, est le facteur décisif de la fiabilité. Un petit panel inter-familles bien choisi est plus fiable qu'un grand panel homogène.
Agrégation d'annulation de biais : Le framework empêche structurellement l'auto-préférence de même famille et annule empiriquement le biais de verbosité grâce à l'agrégation d'un panel diversifié.
Framework réutilisable et sans étiquettes : Il fournit un pipeline déclaratif et agnostique vis-à-vis des modèles, qui peut être régénéré pour n'importe quel domaine ou sortie de modèle à faible coût, remplaçant les classements statiques par des évaluations renouvelables et spécifiques à l'application.

Résultats Empiriques

Le framework a été validé à travers une étude à échelle moyenne sur quatre tâches (résumé, QA, génération de code, raisonnement) impliquant 7 978 évaluations.

Corrélation avec la vérité terrain : Sur les tâches de QA à correspondance exacte (SciQ, ARC-Challenge) où la vérité terrain existe, les scores sans étiquette de CoEval suivent la correction avec une corrélation de Spearman $\rho = 0,86$ . Il reproduit avec succès le classement réel des modèles (ex: $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$ ).
Fiabilité de l'ensemble : La fiabilité (mesurée par l'ICC(3,k)) est non monotone par rapport à la taille du panel. Un panel inter-familles de deux juges sélectionnés a atteint un ICC = 0,70, tandis que l'ajout indiscriminé de juges à faible accord a réduit la fiabilité à 0,40.
Regret du choix du juge : Sélectionner un juge unique sans étiquettes est risqué ; les candidats étaient allant d'une anti-corrélation ( $\rho = -0,04$ ) à une corrélation positive ( $\rho = 0,31$ ), soit un regret de 0,35. L'ensemble inter-familles n'est jamais anti-corrélé.
Annulation des biais : Les juges individuels présentaient des biais de verbosité allant de $r = -0,177$ à $r = +0,234$ . L'ensemble a réduit le biais absolaire moyen de 93 %, résultant en une corrélation longueur-score de $r = +0,010$ (l'intervalle de confiance inclut zéro).
Résistance à la contamination : Les éléments générés par CoEval ne présentaient aucun chevauchement verbatim de 13 grammes avec cinq benchmarks publics majeurs. Une étude contrôlée a démontré que les benchmarks statiques pouvaient classer un modèle de 0,5B mémorisant au-dessus d'un modèle frontalier, alors que les nouveaux éléments de CoEval classaient correctement le modèle frontalier plus haut.
Efficacité des coûts : L'étude complète de 7 978 évaluations a coûté 5,89 USD (environ 0,00074 $ par évaluation), ce qui la rend faisable à chaque sortie de modèle.
Études de cas par domaine : Appliqué à trois secteurs personnalisés (interactions médicamenteuses, clinique, juridique) sans données étiquetées, CoEval a produit des classements défendables où les juges étaient soit unanimement d'accord, soit révélaient de véritables désaccords qu'un juge unique aurait cachés.

Signification et Revendications

L'article affirme que CoEval résout le dilemme du "manque de données et des benchmarks non fiables" en fournissant un instrument d'évaluation renouvelable, exempt de contamination et durci contre les biais. Sa principale signification réside dans le passage d'un paradigme de benchmarks statiques et curatés par l'humain vers des pipelines dynamiques et déclaratifs.

Les auteurs soulignent que la composition plutôt que la taille est un principe de conception fondamental pour le jugement par LLM : un panel diversifié et inter-familles est le choix par défaut à faible regret qui neutralise l'auto-préférence et annule les biais de signes mixtes sans calibration humaine. En fermant la boucle entre la génération d'items et la notation, CoEval garantit que tant les éléments d'évaluation que les juges sont robustes face aux modes de défaillance spécifiques (mémorisation et biais) qui affectent les pratiques d'évaluation actuelles. Le framework est présenté non pas comme un benchmark ponctuel, mais comme un outil réutilisable pour permettre aux équipes de régénérer leurs propres classements spécifiques à leurs applications.