How Closely Do LLM Reviews Align with Human Peer Review?
Cette étude évalue trois modèles de langage de grande taille de premier plan par rapport aux évaluations par les pairs humaines pour les soumissions à l'ICLR 2026, constatant que si les LLM peuvent distinguer globalement les articles acceptés des articles rejetés, ils ne parviennent pas à reproduire les distinctions humaines entre les présentations orales et les présentations par poster et présentent des biais de notation spécifiques au fournisseur ainsi que des différences thématiques dans l'identification des faiblesses.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où chaque nouvelle idée scientifique doit passer par un gardien avant de pouvoir être partagée avec le reste du monde. Pendant des décennies, ce gardien a été un expert humain, un évaluateur par les pairs, qui lit un article, réfléchit à ses forces et ses faiblesses, et lui donne une note. C'est un peu comme un juge de concours de talents, mais au lieu de chanter, ils jugent des mathématiques complexes et du code informatique. Récemment, un nouveau type de juge est entré dans l'arène : l'Intelligence Artificielle, plus précisément les Grands Modèles de Langage (LLM). Ce sont des programmes informatiques super intelligents entraînés sur de vastes quantités de texte qui peuvent lire un article et rédiger une critique tout comme un humain. Mais voici la grande question : ces juges IA pensent-ils réellement comme les juges humains, ou ne font-ils que mimer les mots ? Si une IA dit qu'un article est « bon », cela signifie-t-il la même chose que lorsqu'un humain dit qu'il est « bon » ? C'est le mystère que les scientifiques tentent de résoudre, car si nous commençons à utiliser l'IA pour décider quels articles scientifiques sont publiés, nous devons savoir si elles jouent selon les mêmes règles que les humains qu'elles remplacent.
Cet article est comme une expérience contrôlée géante où les chercheurs ont mis en place un « duel d'évaluation ». Ils ont pris 300 véritables articles scientifiques provenant d'une grande conférence en informatique (ICLR 2026) et ont demandé à trois modèles d'IA différents — le GPT-5.4 d'OpenAI, le Gemini 3.1 Pro de Google et le Claude Opus 4.6 d'Anthropic — de les évaluer. Pour que le combat soit équitable, les chercheurs ont apparié les articles de sorte que pour chaque présentation « orale » (les articles de haut niveau, les plus brillants), il y ait un article « poster » similaire (bon, mais pas de haut niveau) et un article « rejeté ». Ils ont ensuite comparé les critiques de l'IA aux véritables critiques humaines et aux décisions finales prises par la conférence.
Les résultats étaient un mélange de « pas mal » et de « très différent ». D'abord, la bonne nouvelle : les trois modèles d'IA étaient assez intelligents pour faire la différence entre un article accepté et un article rejeté. Ils pouvaient voir la forêt. Cependant, ils ont complètement échoué à voir les arbres. Alors que les évaluateurs humains attribuaient des scores distincts aux articles « oraux » par rapport aux articles « posters » (reconnaissant que les articles oraux étaient légèrement meilleurs), les modèles d'IA les traitaient exactement de la même manière. Ils ne pouvaient pas faire la différence entre un « bon » article et un « excellent » article.
De plus, les modèles d'IA ne se contentaient pas de noter différemment ; ils avaient leurs propres personnalités uniques. Le Gemini de Google était le « gentil » du groupe, donnant systématiquement des scores plus élevés à tout le monde, distribuant même des notes élevées à des articles que les humains avaient rejetés. OpenAI et Claude étaient plutôt des « critiques sévères », surtout lorsqu'il s'agissait des articles de haut niveau (oraux), où ils étaient en fait plus durs que les humains.
Enfin, les chercheurs ont examiné ce dont les évaluateurs se plaignaient. Les humains et l'IA étaient d'accord sur la vue d'ensemble, comme « cette expérience est faible » ou « l'écriture est peu claire ». Mais lorsqu'il s'agissait des détails, ils avaient des priorités différentes. Les modèles d'IA étaient obsédés par l'absence de comparaisons avec d'autres méthodes (les bases de référence), tandis que les évaluateurs humains étaient beaucoup plus préoccupés par la quantité de puissance informatique et d'argent que la recherche coûterait.
En bref, l'article suggère que, bien que l'IA puisse être un second regard utile pour repérer les erreurs évidentes, elle n'est pas prête à remplacer les juges humains. Elle peut vous dire si un article est une « réussite » ou un « échec », mais elle a du mal à comprendre les nuances subtiles qui rendent un article véritablement excellent, et elle ne se soucie pas des mêmes choses que les humains. Traiter un score d'IA comme étant exactement le même qu'un score humain reviendrait à faire confiance à un robot pour juger un concours de cuisine parce qu'il peut faire la différence entre un cookie brûlé et un cookie frais, même s'il n'a aucune idée de ce qu'est le goût « gastronomique ».
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.