🤖 machine learning

Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards

Cet article révèle qu'un désaccord significatif entre les annotateurs experts et la foule au niveau de l'item est masqué par la petite taille des classements, créant un faux sentiment de stabilité dans le classement des modèles qui ne parvient pas à se généraliser à mesure que le nombre de modèles augmente.

Auteurs originaux : Anik Jha

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anik Jha

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans la course à la construction d'une intelligence artificielle plus intelligente, les chercheurs s'appuient sur une idée simple mais puissante : pour savoir si une machine s'améliore, il faut demander à un humain de juger son travail. Ce processus, connu sous le nom de benchmark de préférence, consiste à présenter à un humain deux réponses différentes provenant d'une IA et à lui demander laquelle est la meilleure. La collecte de ces votes humains devient l'« étalon-or », un point de référence fiable contre lequel tous les nouveaux modèles sont mesurés. Pendant des années, le domaine a fonctionné sur une hypothèse tacite : peu importe quels humains sont engagés pour effectuer le jugement. La croyance dominante est que, si des individus peuvent commettre des erreurs aléatoires, le groupe dans son ensemble est un instrument fiable, mesurant une vérité unique et stable sur ce qui fait la qualité d'une réponse. Si cette hypothèse se vérifie, alors l'identité spécifique des juges n'est qu'un détail mineur, comme la marque du stylo utilisé pour écrire le score.

Mais une nouvelle enquête suggère que ce détail est en réalité la partie la plus importante de l'équation. Les chercheurs ont cherché à tester si le choix des juges humains importait réellement en faisant passer deux fois le même ensemble de comparaisons d'IA, en utilisant deux groupes de personnes totalement différents. L'un des groupes était composé de travailleurs de plateforme ordinaires, le type de personnes embauchées par milliers pour des tâches en ligne. L'autre groupe était composé d'experts du domaine sélectionnés, des individus possédant des connaissances spécialisées dans le domaine. Les chercheurs ont pris un ensemble massif de données comprenant des milliers de comparaisons d'IA et ont demandé aux deux groupes de voter pour les vainqueurs. Ils ont découvert que les deux groupes d'humains ne concordaient pas avec l'autre aussi souvent que le domaine le supposait. Sur près d'un article sur quatre, les deux groupes choisissaient des vainqueurs majoritaires différents. Dans presque un cas sur dix, les travailleurs de plateforme et les experts choisissaient des vainqueurs opposés, déclarant le perdant d'un groupe comme le champion de l'autre.

Malgré ce désaccord massif au niveau des articles individuels, le résultat final paraissait trompeusement stable. Lorsque les chercheurs ont utilisé ces votes contradictoires pour classer les six modèles d'IA de l'étude, le classement final était identique, quel que soit le groupe d'humains ayant effectué le jugement. L'ordre des modèles ne changeait pas du tout. Cela créait une image déroutante : les juges criaient des réponses différentes, pourtant le tableau des scores restait silencieux. Les chercheurs ont réalisé que cette stabilité n'était pas le signe d'un système robuste, mais plutôt un coup de chance causé par le petit nombre de modèles comparés. Comme les modèles étaient très espacés en termes de performance, les légers décalages de vote causés par le changement de juges n'étaient pas suffisants pour faire dépasser un modèle par un autre.

Pour tester la fragilité de cette stabilité, les chercheurs ont mené des simulations pour voir ce qui se passerait si le classement était plus large, contenant les dizaines de modèles qui sont courants dans les compétitions réelles. Les résultats étaient frappants. Alors qu'un classement de six modèles restait inchangé, un classement de seulement dix modèles verrait un modèle détrôné dans 86 % des cas. Avec vingt modèles, la probabilité d'un remaniement était de presque 100 %. L'étude a conclu que la pratique actuelle du domaine consistant à publier de petits classements n'est sûre que parce que les modèles sont peu nombreux et espacés. Si le domaine publiait une arène de modèles plus large et plus réaliste, le choix des juges humains bouleverserait immédiatement les classements. L'« étalon-or » n'est pas une vérité fixe ; c'est une cible mouvante qui change selon qui est engagé pour tenir le ruban à mesurer.

L'enquête ne s'est pas arrêtée aux juges humains. Les chercheurs ont également examiné comment les juges d'intelligence artificielle, qui sont de plus en plus utilisés pour automatiser ces classements, gèrent le désaccord entre les groupes humains. Ils ont testé trois juges d'IA différents, incluant des modèles de différentes entreprises, pour voir avec quel groupe d'humains ils étaient en accord plus fréquemment. Chaque juge d'IA s'alignait de manière significative davantage sur les travailleurs de plateforme que sur les experts. Cela suggère que les juges d'IA ont appris à imiter les préférences de la foule, probablement parce que les données utilisées pour les entraîner provenaient de travailleurs de plateforme similaires. Les chercheurs ont découvert que l'accord d'un juge d'IA avec les humains n'est pas seulement une mesure de son intelligence, mais aussi un reflet des décisions d'embauche prises des années auparavant lors de la collecte des données d'entraînement.

L'étude a également révélé que la manière dont ces juges d'IA sont sollicités (promptés) peut changer leur avis plus que le choix des juges humains. Lorsque les chercheurs ont modifié l'ordre de présentation des réponses, les juges d'IA ont inversé leurs décisions sur près de la moitié des articles (plus précisément 44,6 % pour un modèle). De plus, lorsque les chercheurs ont modifié uniquement le format de sortie (en demandant un objet JSON plutôt qu'un jeton brut) tout en gardant tout le reste inchangé, le même juge n'était d'accord avec lui-même que sur 47,2 % des articles, montrant un décalage systématique dans une direction. Cette sensibilité à l'ordre de présentation et au formatage est une source d'erreur bien plus importante que la différence entre les opinions des experts et celles de la foule. Les chercheurs soutiennent que l'ensemble du domaine doit changer sa façon de rapporter ces résultats. Simplement déclarer qu'un modèle est en accord avec les humains un certain pourcentage du temps est incomplet sans préciser quels humains ont été utilisés. La sécurité des classements actuels est une illusion créée par de petits échantillons, et la fiabilité des futurs classements dépend entièrement de la reconnaissance du fait que le choix des annotateurs n'est pas un détail mineur, mais une variable fondamentale qui façonne le résultat.

Résumé Technique : « Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards »

Énoncé du Problème
Les benchmarks de préférence utilisés pour l'évaluation des grands modèles de langage (LLM) s'appuient sur des annotations humaines pour établir une « vérité terrain » (gold standard). Cependant, l'identité de ces annotateurs (par exemple, travailleurs de la foule vs experts du domaine) est généralement traitée comme un détail d'implémentation, sous l'hypothèse implicite que les annotateurs ne sont que des instruments bruyants mesurant une vérité sous-jacente unique. Cet article remet en question cette hypothieèse, en examinant si le choix du groupe d'annotateurs (annotator pool) modifie de manière significative les étiquettes au niveau de l'item et, par conséquent, le classement des modèles. L'auteur note que les jeux de données existants comme MULTIPREF supposent explicitement l'absence de variabilité intra-groupe, une hypothèse que ce travail cherche à tester.

Méthodologie
L'étude emploie une analyse comparative à travers deux corpus distincts où plusieurs groupes d'annotateurs ont évalué les mêmes items :

MULTIPREF : Un jeu de données de 10 461 comparaisons par paires annotées à la fois par des travailleurs de la foule (crowdworkers) et par des experts du domaine sélectionnés. L'analyse se concentre sur un sous-ensemble de 2 885 items où les deux groupes étaient internes unanimes (aucune convention de départage de l'égalité n'était requise), garantissant une comparaison propre entre les étiquettes « expert-gold » et « crowd-gold ».
MT-BENCH : Un sous-ensemble de 246 items évalués à la fois par les auteurs originaux du benchmark et par un groupe d'experts recrutés.

L'auteur a mesuré trois niveaux de divergence :

Divergence au niveau de l'item : La fréquence à laquelle les groupes assignent des étiquettes majoritaires différentes ou inversent le vainqueur.
Invariance agrégée : La stabilité des classements de modèles (mesurée via Kendall $\tau$ ) lors du passage des étiquettes d'experts à celles de la foule.
Analyse de perturbation : Un examen statistique de la manière dont le changement de groupe affecte les taux de victoire des modèles et la probabilité de déplacement des modèles dans des classements de tailles variables ( $K=6$ à $K=50$ ).
Validation par juge LLM : Trois juges LLM (deux provenant d'un fournisseur et un d'un autre) ont été évalués par rapport aux deux groupes pour déterminer s'ils s'alignent davantage sur les préférences de la foule ou des experts.

Crucialement, l'auteur a pré-enregistré les règles de décision pour éviter le biais de sélection post-hoc, incluant une règle pour arrêter l'analyse si les classements restaient identiques ( $\tau > 0,9$ ) afin d'éviter de « chercher » des inversions.

Résultats Clés

Désaccord significatif au niveau de l'item : Malgré l'hypothèse d'uniformité, les groupes divergent substantiellement. Sur le sous-ensemble unanime de MULTIPREF, les groupes d'experts et de la foule ont assigné des étiquettes majoritaires différentes à 23,6 % des items et ont inversé le vainqueur dans 9,2 % des cas. Des résultats similaires ont été trouvés dans MT-BENCH (30,5 % de différence d'étiquette, 8,5 % d'inversion de vainqueur).
Invariance agrégée dans les petits classements : Malgré le bruit élevé au niveau de l'item, les classements de modèles résultants pour les deux corpus étaient bit-identiques ( $\tau = 1,00$ ) avec zéro modèle déplacé lors du passage d'un groupe à l'autre. Cette invariance s'est maintenue à travers plusieurs conventions de départage d'égalité.
Fragilité de l'invariance : L'auteur démontre que cette stabilité est un artefact du petit nombre de modèles (6) et de l'espacement spécifique de leurs taux de victoire.
- Le changement de groupe déplace les taux de victoire des modèles de 1,9 point de pourcentage (pp) en moyenne (écart-type).
- Bien que le classement de 6 modèles soit resté stable, une estimation paramétrique montre qu'un classement de 10 modèles serait déplacé avec une probabilité de 86 %, et un classement de 20 modèles avec une probabilité de 99,97 % sous la même perturbation.
- La stabilité observée est le « résultat commun » pour de petits $K$ , et non une propriété de la méthode d'agrégation.
Biais des juges LLM : Les trois juges LLM testés s'alignent de manière mesurable davantage avec la majorité de la foule qu'avec la majorité des experts (différences de -6,9 pp, -5,2 pp et -3,7 pp). Cela suggère que l'accord déclaré d'un juge LLM avec les « humains » est partiellement une déclaration sur le groupe humain qui a été engagé.
Sensibilité des juges : L'étude a également révélé que les juges LLM sont très sensibles au format de sortie (JSON vs jetons bruts) et à l'ordre de présentation, les changements de format faisant chuter l'auto-accord à environ 47 %.

Contributions Clés

Mesure de la divergence : Quantifie que la divergence au niveau de l'item entre les groupes d'experts et de la foule est importante (environ 9 à 30 % selon la métrique) et ne se limite pas aux cas limites difficiles.
Distinction entre les niveaux : Établit une distinction critique entre la fiabilité au niveau de l'item et la stabilité du classement. L'article soutient qu'un classement stable n'implique pas des étiquettes fiables par item ; cela implique plutôt que les modèles sont suffisamment espacés pour absorber le bruit.
Alignement des juges LLM : Démontre que les juges LLM suivent systématiquement les préférences de la foule plutôt que celles des experts, contestant la validité de l'utilisation des juges comme validateurs neutres sans spécifier le groupe de référence.
Limites des jeux de données : Souligne que de nombreux corpus existants (par exemple, PRISM, HELPSTEER2) rejettent l'identité par annotateur, rendant ce type d'analyse impossible et masquant potentiellement des biais d'évaluation importants.

Signification et Revendications
L'article affirme que la dépendance du domaine vis-à-vis des petits classements (par exemple, 6 modèles) crée un faux sentiment de sécurité concernant la robustesse de l'évaluation. L'invariance observée ( $\tau=1,00$ ) n'est pas une preuve de l'insignifiance du choix de l'annotateur ; c'est la preuve que la configuration spécifique du classement était « sûre » pour cette taille de perturbation.

L'auteur soutient que :

Rapporter un classement sans spécifier le groupe d'annotateurs est une spécification insuffisante.
L'inférence de la fiabilité par item à partir de la stabilité du classement est invalide.
Tout mécanisme d'évaluation qui consomme des étiquettes par item (comme l'entraînement de modèles de récompense, le routage d'annotation active ou la validation par juge LLM) n'est pas sûr à n'importe quelle échelle, car le bruit sous-jacent des étiquettes est substantiel.
La « sécurité » des classements actuels de petite taille ne se généralise pas aux arènes plus larges que le domaine publie réellement.

L'article conclut que le choix du groupe d'annotateurs est une décision de conception fondamentale qui impacte directement la compétence mesurée des modèles, présentant cela comme une question de coévolution humain-IA plutôt que de simple hygiène de données.

Articles similaires