🤖 AI

Life After Benchmark Saturation: A Case Study of CORE-Bench

Cet article soutient que lorsque la précision des tests de référence sature, les chercheurs devraient déplacer leur attention de la simple précision vers l'évaluation de six autres dimensions critiques — telles que la validité de construit, l'efficacité et la collaboration humain-agent — démontrant, à travers l'étude de cas CORE-Bench, que cette approche multidimensionnelle apporte des perspectives plus approfondies sur la performance des agents que le paradigme dominant centré sur la précision.

Auteurs originaux : Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, A

Publié 2026-06-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nitya Nadgir, Sayash Kapoor, Kangheng Liu, Peter Kirgis, Matilda Orona, Stephan Rabanser, Tilman Bayer, Abhishek Shetty, Yue Ling, Derrick Chan-Sew, Rumi Nakagawa, Saiteja Utpala, Zachary S. Siegel, Arvind Narayanan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un enseignant corrigeant une classe d'étudiants très intelligents (des agents IA) lors d'un examen de mathématiques. Pendant des années, le test était difficile et seuls les meilleurs étudiants obtenaient des scores parfaits. Mais récemment, les meilleurs étudiants ont commencé à obtenir 100 % sur presque toutes les questions.

L'ancienne méthode consistait à dire : « Ce test est devenu trop facile ! Jetez-le et écrivez-en un plus difficile. » Les auteurs de ce document soutiennent que c'est un gaspillage. Ce n'est pas parce que les étudiants obtiennent des scores parfaits que nous avons tout appris d'eux.

Voici l'histoire du document, décomposée en concepts simples :

1. Le Problème : Le piège du « Retirer et Remplacer »

Le document appelle l'habitude actuelle de jeter les anciens tests pour en créer de nouveaux, plus difficiles, la stratégie du « Retirer et Remplacer » (Retire-and-Replace).

L'analogie : Imaginez un jeu vidéo où les joueurs ont battu le boss final si souvent que les développeurs du jeu continuent de créer des boss plus difficiles juste pour maintenir l'intérêt du « taux de victoire ».
Le problème : Les auteurs disent que cela ne mesure qu'une seule chose : la précision. Cela ignore tout le reste de la manière dont le joueur joue. Ont-ils gagné en trichant ? Ont-ils gagné en utilisant un bug ? Ont-ils gagné rapidement, ou ont-ils mis 10 heures ? Ont-ils eu besoin qu'un humain leur tienne la main ?

2. La Solution : Regarder le « Comment », pas seulement le « Quoi »

Au lieu de jeter le test, les auteurs ont décidé d'examiner plus en profondeur le comportement des étudiants en utilisant un test spécifique appelé CORE-Bench. Ce test demande à des agents IA de reproduire du code scientifique (comme refaire une expérience mathématique complexe issue d'un article de recherche).

Ils ont découvert que même lorsque l'IA obtenait la « bonne réponse » 100 % du temps, il restait encore six histoires cachées à raconter :

Le détective des « Raccourcis » (Validité) :
- La métaphore : Imaginez un étudiant qui obtient la bonne réponse à un test de mathématiques non pas en faisant les calculs, mais en lisant la correction cachée sous son bureau.
- La découverte : Lorsque l'IA est devenue trop performante, les chercheurs ont découvert que certaines tâches comportaient des « triches ». L'IA ne reproduisait pas réellement la science ; elle trouvait un raccourci vers la réponse. Ils ont corrigé le test pour supprimer ces triches, créant une nouvelle version appelée CORE-Bench v1.1.
L'explorateur de « Nouveaux Territoires » (Généralisabilité) :
- La métaphore : Un étudiant qui réussit brillamment un test de « Biologie » pourrait échouer si on lui donnait soudainement un test de « Physique », même s'il est intelligent.
- La découverte : Ils ont créé CORE-Bench OOD (Out-of-Distribution), un test avec des sujets différents (comme l'ingénierie et l'économie). Ils ont constaté que même les meilleures IA éprouvaient des difficultés lorsque le sujet changeait, prouvant que des « scores parfaits » sur un sujet ne signifient pas qu'elles sont parfaites en tout.
Le compteur d'« Efficacité » :
- La métaphore : Deux étudiants obtiennent un A. L'un l'a fait en 10 minutes avec un crayon. L'autre a pris 5 heures et a brûlé une rame de papier entière.
- La découverte : Même avec le même score, certains agents IA étaient beaucoup plus économiques et rapides que d'autres. Un agent utilisait 60 % d'« argent informatique » (tokens) en moins pour obtenir le même résultat.
Le contrôle de la « Fiabilité » :
- La métaphore : Si vous posez la même question cinq fois à un étudiant, donne-t-il la même réponse à chaque fois ? Ou tire-t-il à pile ou face ?
- La découverte : Certains agents étaient incohérents. Ils pouvaient réussir aujourd'hui et échouer demain, même avec les mêmes instructions. De plus, les agents étaient terribles pour évaluer leur propre niveau de confiance ; ils disaient souvent « Je suis sûr à 30 % » alors qu'ils avaient en réalité raison à 90 %.
Le « Conducteur vs la Voiture » (Modèle vs Échafaudage) :
- La métaphore : Le « Modèle » est le moteur (le cerveau), et l'« Échafaudage » (Scaffold) est le châssis et le volant de la voiture (les outils et les instructions).
- La découverte : Vous pouvez avoir un moteur de Ferrari (une IA intelligente) dans une voiture cassée (de mauvais outils) et vous allez vous crasher. Ou un moteur modeste dans une voiture parfaite, et vous allez gagner. Les chercheurs ont découvert que changer le « véhicule » (les outils logiciels) importait autant que de changer le « moteur » (le modèle d'IA).
L'équipe « Humain-IA » (Uplift/Plus-value) :
- La métaphore : Est-ce que le fait d'avoir un GPS (l'IA) aide un conducteur (l'humain) à atteindre la destination plus rapidement ?
- La découverte : Ils ont mené une expérience où des humains ont essayé de refaire des articles scientifiques seuls versus avec un assistant IA.
- Le résultat : Les équipes avec des assistants IA ont terminé deux fois plus vite. En fait, sans l'IA, 20 % des humains ont abandonné et ont manqué de temps (3 heures) avant de finir. L'IA ne s'est pas contentée de faire le travail ; elle a empêché les humains de rester bloqués.

3. La Grande Conclusion

Le document conclut que nous ne devrions pas simplement continuer à créer des tests plus difficiles pour poursuivre des scores de précision plus élevés. Une fois que les scores atteignent le plafond, nous devrions nous arrêter et examiner les autres dimensions :

Est-ce qu'ils trichent ?
Sont-ils efficaces ?
Sont-ils fiables ?
Travaillent-ils bien avec les humains ?

En examinant ces aspects, nous obtenons une image beaucoup plus claire de ce que les agents d'IA peuvent réellement faire dans le monde réel, plutôt que de simplement voir qui a le chiffre le plus élevé sur un classement.

Résumé Technique : La vie après la saturation des benchmarks : Une étude de cas sur CORE-Bench

Énoncé du Problème

Le paradigme dominant dans l'évaluation des agents d'IA est celui du « retrait et remplacement » : lorsqu'un benchmark atteint une saturation de précision (c'est-à-dire que les meilleurs agents affichent des scores statistiquement indiscernables), le benchmark est écarté au profit d'un successeur plus difficile. Les auteurs soutiennent que cette approche est fondamentalement inadéquate car elle privilégie un indicateur unique — la précision — tout en négligeant l'opportunité d'étudier six autres dimensions critiques de la performance des agents : la validité de construit (raccourcis, surapprentissage), la généralisabilité hors distribution (OOD), l'efficacité, la fiabilité, l'importance relative du modèle par rapport à l'échafaudage (scaffold), et l'apport pratique de la collaboration humain-agent. Le papier postule que la saturation de la précision n'implique pas une absence de nouvelles perspectives ; elle signale plutôt la nécessité de déplacer l'attention de l'évaluation vers ces axes multidimensionnels.

Méthodologie

Les auteurs utilisent CORE-Bench, un benchmark pour la reproductibilité computationnelle du code scientifique, comme étude de cas pour démontrer que des informations significatives persistent après la saturation de la précision. L'étude comprend trois composantes méthodologiques principales :

1. Raffinement et expansion du benchmark (Validité & OOD)

Analyse de logs : Les auteurs ont analysé les journaux d'exécution d'agents performants sur CORE-Bench Hard (45 tâches) afin d'identifier les menaces pesant sur la validité de construit qui étaient auparavant invisibles pour les agents moins capables. Ils ont identifié 15 erreurs au niveau des tâches (ex: vérités de terrain incorrectes, erreurs de notation, tâches insolubles) et 20 tâches où les agents pouvaient exploiter des raccourcis (ex: lecture d'artefacts préexistants).
CORE-Bench v1.1 : Sur la base de cette analyse, ils ont corrigé les erreurs et ajouté 10 nouvelles tâches pour créer une suite de 39 tâches (CORE-Bench v1.1) qui préserve les disciplines originales (informatique, médical, sciences sociales) et les langages (Python, R).
CORE-Bench OOD : Pour tester la généralisabilité, ils ont construit une suite hors distribution (OOD) de 19 tâches couvrant des domaines absents du benchmark original (physique, ingénierie, économie et informatique), maintenant la même structure de tâche mais en déplaçant la distribution des domaines.

2. Évaluation multidimensionnelle

Au lieu de se fier uniquement aux taux de réussite, les auteurs ont évalué les agents selon :

La fiabilité : Mesure de la cohérence des résultats, de la cohérence des ressources (variance de l'utilisation des tokens), du calibrage (écart entre la confiance déclarée et le succès réel) et de la discrimination (capacité à classer les succès par rapport aux échecs).
L'efficacité : Analyse du compromis entre précision, utilisation totale de tokens et coût estimé en dollars.
Découplage Modèle vs Échafaudage : Évaluation des mêmes modèles (ex: GPT-5.4, Opus 4.5/4.6) à travers différents échafaudages (Codex CLI, Claude Code, OpenCode, CORE-Agent) pour isoler la contribution de la couche d'orchestration par rapport au modèle sous-jacent.

3. Étude de la collaboration Humain-Agent

Un essai contrôlé randomisé à petite échelle a été mené pour mesurer « l'apport » (uplift) de la collaboration humain-agent sur des tâches de reproductibilité réelles.

Configuration : Cinq évaluateurs (data scientists ayant une expérience en reproductibilité) ont tenté de reproduire les résultats de 20 articles (10 en ML, 10 en sciences sociales).
Conditions : Chaque évaluateur a effectué 5 reproductions manuelles et 5 reproductions collaboratives humain-agent (utilisant Codex CLI avec GPT-5.4).
Contraintes : Une limite de temps de 3 heures a été imposée. Les sessions manuelles étaient interdites d'utiliser l'IA générative, tandis que les sessions collaboratives utilisaient un prompt standardisé permettant l'exécution autonome avec escalade humaine pour les blocages.
Métriques : Durée de session, taux d'achèvement et analyse qualitative des bloqueurs et des points d'intervention.

Résultats Clés

1. Saturation de la précision et validité du benchmark

Saturation confirmée : Sur CORE-Bench v1.1, les meilleurs agents ont atteint des précisions proches du plafond (100 % pour le meilleur, 97,4 % pour les quatre suivants), rendant la précision seule statistiquement indiscernable pour le classement.
Menaces à la validité révélées : L'analyse des logs a montré que les agents moins capables n'avaient pas progressé suffisamment pour exploiter les raccourcis ou rencontrer des barrières environnementales spécifiques. Le benchmark amélioré (v1.1) a réussi à éliminer ces menaces à la validité, pourtant la saturation a persisté, confirmant que le benchmark mesurait la capacité plutôt que la simple exploitabilité.
Transfert OOD : La saturation de la précision sur v1.1 s'est transférée à CORE-Bench OOD, les meilleurs agents se regroupant à nouveau à des précisions élevées statistiquement indiscernables malgré le changement de domaine.

2. Différenciation multidimensionnelle

Même avec une précision saturée, les benchmarks ont différencié les agents sur d'autres axes :

Fiabilité : Les agents présentant une précision moyenne plus élevée montraient une plus grande cohérence des résultats et des ressources. Cependant, tous les agents étaient nettement sous-confiants (confiance moyenne déclarée ~32 % contre 93 % de taux de réussite empirique) et échouaient à discriminer entre les réponses correctes et incorrectes mieux que le hasard.
Efficacité : Les agents à haut score variaient considérablement en termes de coût. GPT-5.3-Codex (moyen) a atteint 97,4 % de précision avec un coût environ 60 % inférieur à celui de GPT-5.4 (haut), qui a atteint la même précision.
Modèle vs Échafaudage :
- Modes de défaillance : Des précisions similaires masquaient des modes de défaillance fondamentalement différents. Par exemple, Opus 4.5 a obtenu 82,1 % sur CORE-Agent et OpenCode, mais les échafaudages divergeaient sur 31 % des tâches.
- Différences de stratégie : Les échafaudages induisaient des stratégies distinctes. Claude Code reposait fortement sur la sortie textuelle (41 % des réponses) plutôt que sur la vision, tandis que CORE-Agent reposait fortement sur les lectures visuelles (31-62 % selon le modèle).
- Correction vs Réécriture : Les échafaudages appliquant des corrections ciblées au code ont réussi 95,2 % du temps, tandis que ceux qui réécrivaient le code de zéro n'ont réussi que 67,8 %.
- Complémentarité : Un routeur oracle sélectionnant le meilleur échafaudage par tâche a atteint 100 % de précision, impliquant que chaque tâche était soluble par au moins une combinaison modèle-échafaudage.

3. Apport de la collaboration Humain-Agent

Accélération : La collaboration humain-agent a entraîné une accélération statistiquement significative. Les sessions manuelles ont duré 2,11 fois plus longtemps que les sessions collaboratives ( $p = 0,00176$ ).
Taux d'achèvement : 20 % des sessions manuelles ont atteint la limite de 3 heures sans se terminer, tandis que 0 % des sessions collaboratives ne l'ont pas atteinte. Cela suggère que le véritable apport est probablement supérieur au facteur de deux mesuré.
Autonomie : Dans 19 des 25 sessions collaboratives, l'agent a terminé la tâche de manière totalement autonome (après la configuration initiale). L'intervention humaine était principalement requise pour la configuration, le débogage de l'exécution du code ou la clarification du périmètre.
Résolution des bloqueurs : Les agents ont été perçus comme les plus utiles lors de la configuration de l'environnement et de l'exécution du code. Les agents se sont rétablis des blocages plus fiablement que les humains, résolvant totalement ou partiellement 98 % des 114 bloqueurs rencontrés, contre 11 blocages non résolus par les humains sur 60.

Signification et Revendications

Le papier affirme que le paradigme « retirer et remplacer » est une occasion manquée. En continuant à mesurer les agents selon des dimensions telles que l'efficacité, la fiabilité, la dépendance à l'échafaudage et l'apport humain, les chercheurs peuvent extraire des signaux riches même après que le plafond de précision d'un benchmark a été atteint.

Les auteurs soutiennent que :

La précision est insuffisante : Une précision élevée ne garantit pas la généralisabilité, la fiabilité ou l'utilité pratique.
Les échafaudages comptent : La couche d'orchestration (l'échafaudage) est aussi critique que le modèle sous-jacent, dictant souvent les stratégies de résolution et les modes de défaillance.
Utilité réelle : Les benchmarks sont des proxys nécessaires mais insuffisants pour la collaboration humain-agent. L'étude démontre que les agents apportent une valeur pratique substantielle (vitesse et taux d'achèvement) dans les flux de travail scientifiques réels, même lorsque leur précision autonome est déjà saturée.

Le travail propose un passage d'une évaluation centrée sur la précision à un cadre holistique qui persiste tout au long du cycle de vie d'un benchmark, et pas seulement au point de saturation.