💻 computer science

The Trust Paradox: How CS Researchers Engage LLM Leaderboards

À travers des entretiens avec huit chercheurs en informatique, cet article révèle un paradoxe où les praticiens se méfient des classements de modèles de langage tout en s'y appuyant comme guides approximatifs, concluant finalement que les réseaux de pairs et les classements basés sur des arènes influencent davantage la sélection de modèles que les benchmarks statiques, tout en mettant en lumière une demande critique de transparence des coûts.

Auteurs originaux : Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Pouya Sadeghi, Anamaria Crisan, Jimmy Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de la recherche en intelligence artificielle comme une ligue sportive massive et à haut risque. Dans cette ligue, les classements sont les tableaux de score officiels. Ils classent les modèles d'IA (les « athlètes ») en fonction de leurs performances à des tests spécifiques, tels qu'un examen de mathématiques standardisé ou un quiz de compréhension de lecture.

L'hypothèse courante est simple : Si un modèle se trouve en haut du tableau de score, c'est le meilleur athlète.

Cependant, une nouvelle étude de l'Université de Waterloo révèle que les chercheurs qui jouent réellement le jeu ne croient pas que le tableau de score raconte toute la vérité. En fait, ils entretiennent avec lui une relation étrange et contradictoire.

Voici une analyse détaillée de leurs découvertes, utilisant des analogies du quotidien :

1. Le « Paradoxe de la confiance » : Savoir que le tableau de score est imparfait, mais le consulter quand même

Les chercheurs ont interviewé huit informaticiens de différents domaines. Ils ont observé un schéma universel appelé « scepticisme pragmatique ».

L'analogie : Imaginez que vous achetez une voiture. Vous savez que les classements officiels du magazine « Voiture de l'année » sont imparfaits, car le magazine pourrait être biaisé ou que les tests ne reflètent pas les conditions réelles de conduite. Vous savez que les classements sont fragiles.
La réalité : Même si ces chercheurs se méfient profondément des classements, ils les consultent quand même. Pourquoi ? Non pas pour prendre la décision finale, mais pour réduire la liste.
Le résultat : Ils traitent le classement comme un « filtre grossier ». Il les aide à éliminer les options clairement mauvaises afin qu'ils n'aient pas à tester 100 modèles, mais ils ne font jamais confiance à la première place comme à une vérité absolue.

2. Le véritable « Entraîneur » : Les réseaux de pairs plutôt que les tableaux de score

Si les chercheurs ne font pas confiance au tableau de score, à qui font-ils confiance ? À leurs amis et collègues.

L'analogie : Pensez-y comme au choix d'un restaurant. Vous pourriez consulter le guide officiel « Michelin » (le classement), mais vous êtes beaucoup plus susceptible de demander à votre ami de confiance : « Hé, où as-tu mangé hier soir qui était vraiment bon ? »
La découverte : Pour 7 chercheurs sur 8, le facteur le plus important dans le choix d'un modèle d'IA était une recommandation d'un pair. Ils font beaucoup plus confiance à l'expérience personnelle d'un collègue (« J'ai essayé cela, et cela a fonctionné pour mon projet spécifique ») qu'à la publicité d'une entreprise ou à un score de test statique.
La hiérarchie de confiance :
1. Pairs/Collègues (Les plus fiables)
2. Experts tiers
3. Les entreprises créant l'IA (Les moins fiables, perçues comme des annonceurs biaisés)

3. L'« Arène » contre l'« Examen écrit »

L'étude a révélé que les chercheurs préfèrent un type de classement à l'autre.

Les Benchmarks statiques (L'examen écrit) : Ce sont des tests fixes où les modèles répondent aux mêmes questions encore et encore. Les chercheurs se méfient d'eux car les entreprises peuvent « réviser pour le test » et tricher, ou le test pourrait être obsolète.
Les classements basés sur l'arène (Le spectacle en direct) : Ce sont des plateformes où de vrais humains votent en temps réel pour la réponse d'IA qu'ils préfèrent (comme un concours de popularité).
Le verdict : Tout le monde a préféré l'« Arène ». Ils ont estimé qu'elle était plus honnête car elle reflétait la façon dont les humains interagissent réellement avec l'IA, plutôt que la capacité de l'IA à mémoriser un test spécifique.

4. Tout le monde ne joue pas au même jeu

L'étude a révélé que la pression pour viser le sommet du classement dépend entièrement de l'« équipe » (sous-domaine) dans laquelle vous vous trouvez.

L'équipe NLP (Traitement du Langage Naturel) : Ces chercheurs subissent une pression immense. C'est comme une ligue sportive de lycée où, si vous n'avez pas le meilleur GPA, vous ne pouvez pas entrer à l'université. Ils doivent comparer leur travail aux modèles les mieux classés pour publier leurs résultats.
Les équipes HCI et Vie privée : Ces chercheurs sont comme des gens qui pratiquent un sport totalement différent. Ils ne se soucient pas du classement. Ils se soucient de l'expérience utilisateur, de la sécurité ou de la confidentialité. Être « classé premier » à un test de mathématiques n'a pas d'importance si leur IA est dangereuse ou confuse à utiliser.
La surprise : Certains chercheurs de ces autres domaines ne savaient même pas que les classements existaient ! Ils naviguaient dans le monde de l'IA sans jamais regarder le tableau de score.

5. La pièce manquante : Le prix

Si les chercheurs pouvaient redessiner ces classements pour les rendre réellement utiles, qu'ajouteraient-ils ?

La grande demande : La transparence des coûts.
L'analogie : Imaginez un classement qui vous indique qu'une voiture consomme 50 miles par gallon, mais qui ne vous dit pas que la voiture coûte 200 000 $. C'est une information inutile.
La réalité : Les chercheurs doivent savoir combien il coûte d'exécuter ces modèles. Un modèle peut être « intelligent », mais s'il coûte une fortune à utiliser, il n'est pas pratique. Sept chercheurs sur huit ont déclaré que c'est la fonctionnalité manquante la plus importante. Ils voulaient également savoir qui votait dans l'« Arène » pour s'assurer qu'il ne s'agissait pas simplement d'un groupe de personnes provenant d'un seul pays ou d'une seule culture.

Résumé

L'article conclut que les classements sont brisés en tant que « révélateurs de vérité », mais qu'ils sont utiles en tant que « déclencheurs de conversation ».

Les chercheurs ne suivent pas aveuglément les classements. Ils les utilisent comme point de départ, mais ils s'appuient sur leur réseau humain, leurs tests personnels et leurs calculs de coûts pour prendre les vraies décisions. L'étude suggère que si nous voulons que ces tableaux de score soient plus utiles, ils doivent cesser de prétendre être parfaits et commencer à montrer l'image complète : le coût, les forces spécifiques et les électeurs humains derrière les scores.

Résumé technique : Le paradoxe de la confiance : comment les chercheurs en informatique s'engagent avec les classements de modèles de langage

Énoncé du problème

Les classements de modèles de langage (LLM) sont devenus des artefacts centraux dans la recherche moderne en intelligence artificielle, agrégeant les scores des modèles sur des tâches standardisées pour fournir des classements. Ces plateformes prennent généralement deux formes : les classements de référence statiques (par exemple, MMLU, Open LLM Leaderboard) qui classent les modèles sur des ensembles de tests fixes, et les classements de type arène (par exemple, Chatbot Arena) qui agrègent les votes de préférence humaine.

Malgré leur visibilité, la littérature technique a établi des limitations significatives concernant leur fiabilité et leur robustesse. Les études indiquent que les classements sont sensibles à de légères perturbations (par exemple, l'ajustement des invites d'évaluation ou la suppression de petites fractions de données), vulnérables à une manipulation stratégique (par exemple, la triche aux votes ou les tests ciblés), et que différents algorithmes de classement (par exemple, Elo contre Glicko) peuvent produire des ordres divergents à partir des mêmes données.

Cependant, un vide critique subsiste : bien que la fragilité technique des classements soit documentée, il reste empiriquement inexploré comment ces plateformes façonnent réellement les pratiques quotidiennes des chercheurs, leurs processus de prise de décision et leurs jugements de confiance. Il est incertain que les chercheurs traitent les positions dans les classements comme des proxies définitifs du progrès ou s'ils se méfient et utilisent sélectivement ces signaux. Cette étude comble ce vide en examinant le rôle socio-technique des classements à travers différents sous-domaines de l'informatique.

Méthodologie

L'étude adopte une approche qualitative et interprétiviste ancrée dans l'analyse thématique réflexive (ATR).

Participants : Huit chercheurs en informatique ont été recrutés dans quatre sous-domaines : Traitement du Langage Naturel (TLN, $n=3$ ), Interaction Humain-Ordinateur (IHO, $n=2$ ), Systèmes/Vie privée ( $n=2$ ), et une catégorie interdisciplinaire « Autres » ( $n=1$ ). L'échantillon comprenait des doctorants, un étudiant en master et des chercheurs postdoctoraux.
Collecte de données : Les données ont été recueillies par le biais d'entretiens semi-directifs (30–45 minutes) précédés d'un questionnaire de contexte et suivis d'un processus de vérification par les membres, où les participants ont examiné des résumés de leurs entretiens pour en vérifier l'exactitude factuelle.
Procédure : Les participants ont été présentés à une typologie visuelle des conceptions de classements pour ancrer les discussions. Les entretiens ont exploré les stratégies de sélection de modèles, les attitudes envers la fiabilité des classements et l'influence des classements sur la formulation de la recherche.
Analyse : Les transcriptions ont été analysées en utilisant le processus d'ATR en six phases de Braun et Clarke. Le chercheur principal a généré 210 segments codés répartis sur 71 codes uniques, organisés en sept dimensions analytiques et six thèmes. La fiabilité intercodeurs n'a pas été recherchée ; la réflexivité a été maintenue par la rédaction de mémos analytiques et les vérifications par les membres participants.

Contributions principales

L'article apporte trois contributions principales :

Preuve empirique du paradoxe du « scepticisme pragmatique » : L'étude identifie une position quasi universelle où les chercheurs expriment une profonde méfiance envers les classements tout en continuant à les utiliser comme aides grossières à la prise de décision.
Comparaison inter-sous-domaines de l'influence : La recherche démontre que l'influence des classements est médiatisée par la culture disciplinaire plutôt que par les attitudes individuelles. Par exemple, les chercheurs en TLN subissent une pression significative de comparaison avec l'état de l'art (SoTA), tandis que les chercheurs en IHO et Systèmes/Vie privée signalent peu ou pas de telles attentes.
Recommandations de conception actionnables : L'étude traduit les besoins des chercheurs en améliorations concrètes de l'infrastructure, allant au-delà des hypothèses sur l'évaluation pour répondre aux schémas d'utilisation réels.

Résultats clés

1. Le paradoxe de la confiance et les schémas d'utilisation

Contrairement à un spectre allant de l'adoption enthousiaste au rejet total, tous les huit participants ont fait preuve de scepticisme pragmatique.

Méfiance : Les participants ont reconnu que les références statiques peuvent être « apprises » ou manipulées, et que les classements de type arène peuvent être truqués. Ils ont reconnu que les classements ne sont pas des mesures définitives de la qualité.
Utilisation : Malgré cette méfiance, les participants ont utilisé les classements comme des « priors faibles » pour réduire leur espace de recherche. Ils ne traitaient pas les classements comme une vérité fondamentale, mais comme un point de départ pour de nouvelles investigations.
Mécanisme principal de sélection : Les réseaux de pairs, et non les classements, sont apparus comme le mécanisme dominant de sélection de modèles. Sept participants sur huit s'appuyaient principalement sur les recommandations de pairs (conversations en laboratoire, réseaux sociaux, experts de confiance). Un chercheur en TLN a noté : « 90 % de mon utilisation repose sur une recommandation. »
Expérience plutôt que preuves : Les essais et erreurs personnels, pratiques, ont été privilégiés par rapport aux classements quantitatifs. Les participants ont souvent recouru à la « satisfaction », acceptant des modèles qui étaient « assez bons » plutôt que de chercher l'option classée première.

2. Différences disciplinaires dans l'engagement

L'influence des classements variait nettement en fonction du sous-domaine :

TLN : Les chercheurs subissaient une forte pression pour comparer leurs modèles avec l'état de l'art en raison des normes de publication. Ils étaient fortement engagés avec les classements, mais restaient sceptiques quant à leur stabilité.
IHO et Systèmes/Vie privée : Les chercheurs de ces domaines n'ont signalé aucune pression de publication liée aux classements. Leurs critères d'évaluation (par exemple, la latence, l'expérience utilisateur, les garanties formelles de confidentialité) tombaient souvent en dehors des métriques de référence standard. Fait notable, cinq des huit participants (y compris les chercheurs en IHO et Systèmes/Vie privée) avaient peu ou pas connaissance préalable de plateformes de classement spécifiques, soulignant un échec de la découvrabilité pour les publics non-TLN.

3. Fiabilité et métriques manquantes

Arène contre Statique : Il y avait un consensus universel (8/8) à travers tous les sous-domaines selon lequel les classements de type arène (votes humains) étaient préférés aux classements de référence statiques. Les participants trouvaient les résultats de l'arène plus interprétables et alignés sur l'expérience utilisateur réelle.
Transparence des coûts : La fonction manquante la plus demandée, soulevée par sept participants sur huit, était la transparence des coûts. Les chercheurs ont critiqué l'absence de données sur les prix ou l'efficacité, notant que le coût par requête est souvent une contrainte contraignante pour les chercheurs universitaires.
Granularité : Les participants ont demandé des décomptes de scores spécifiques à la tâche (par exemple, des scores séparés pour les mathématiques, la programmation, le multilingue) plutôt que des nombres agrégés uniques.
Transparence : Des appels ont été lancés pour la divulgation de la démographie des électeurs afin d'évaluer les biais, ainsi que pour des informations sur la provenance des modèles et les conflits d'intérêts institutionnels.

Importance et affirmations

L'article soutient que les classements de LLM doivent être compris non pas simplement comme une infrastructure technique, mais comme des artefacts socio-techniques intégrés dans la culture de la recherche.

Ancrage social : L'étude remet en question l'idée que de meilleures métriques à elles seules amélioreront l'adoption. Elle postule que la sélection de modèles est profondément sociale, pilotée par des réseaux de confiance entre pairs qui filtrent et interprètent (ou ignorent) les signaux des classements.
Le paradoxe de l'utilité : La persistance de l'utilisation des classements malgré une méfiance généralisée suggère que leur valeur réside non pas dans l'exactitude, mais dans leur fonction de dispositifs de coordination qui réduisent un espace de recherche écrasant.
Préoccupations éthiques et structurelles : Les auteurs soulignent que la culture actuelle des classements encode une inégalité de ressources, pénalisant les chercheurs sans budgets de calcul à l'échelle industrielle qui ne peuvent pas rivaliser sur les références de l'état de l'art. De plus, le manque de transparence dans la gouvernance et le potentiel de triche aux références posent des risques éthiques, en particulier pour les praticiens en dehors du TLN qui peuvent manquer de l'expertise nécessaire pour évaluer de manière critique les méthodologies de référence.

L'étude conclut que l'infrastructure d'évaluation doit être redessinée pour s'aligner sur la façon dont les chercheurs l'utilisent réellement, en intégrant des données sur les coûts, une granularité spécifique à la tâche et une transparence concernant la démographie des électeurs et la gouvernance, plutôt que de s'appuyer sur des classements à score unique qui ne parviennent pas à capturer les utilités hétérogènes requises par les chercheurs.