Benchmarking AI Performance on End-to-End Data Science Projects
Cette étude présente un benchmark de 40 projets de science des données de bout en bout pour évaluer les modèles d'IA générative, révélant qu'ils peuvent accomplir des tâches routinières mais nécessitent une vérification humaine pour les tâches exigeant du jugement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🍳 Le Grand Défi : L'IA peut-elle être un vrai chef ?
Imaginez que le Data Science (science des données) ne soit pas seulement du code informatique, mais un grand repas complet à préparer. Ce n'est pas juste savoir couper des légumes (écrire du code) ou assaisonner une sauce (faire des statistiques). C'est tout le processus : choisir les ingrédients, laver les légumes, cuisiner, présenter le plat dans une belle assiette, écrire la recette, et expliquer pourquoi ce plat est délicieux à des convives.
Jusqu'à présent, on testait les intelligences artificielles (IA) uniquement sur leur capacité à couper des légumes (écrire une fonction Python) ou à assaisonner (faire un calcul). Mais dans la vraie vie, un data scientist doit gérer tout le repas, de la commande à l'assiette.
Les auteurs de cette étude (Evelyn Hughes et Rohan Alexander) ont voulu savoir : « Si on donne à une IA une mission complète de data science, peut-elle réussir le repas tout seul, ou va-t-elle brûler la sauce ? »
📝 La Recette du Test (Le Benchmark)
Pour tester cela, ils ont créé un examen pratique basé sur 40 vrais projets réalisés par des étudiants universitaires.
- La mission : Prendre des données publiques de Toronto, les nettoyer, les analyser, créer des graphiques et écrire un article scientifique complet.
- Le jury : Au lieu de laisser des robots noter des robots (ce qui est risqué), ils ont d'abord fait noter ces 40 projets par des humains experts. Ils ont établi un "standard" : un bon étudiant doit obtenir au moins 80 % pour avoir une excellente note (A-).
Ensuite, ils ont demandé à 7 IA différentes (comme Claude Opus, GPT-5, Gemini, etc.) de réaliser ces mêmes 40 projets. Pour les noter, ils ont utilisé un "robot-juge" (une IA entraînée à corriger) qui a vérifié chaque détail : le code, les graphiques, la grammaire, et la logique.
🏆 Les Résultats : Qui a gagné le concours de cuisine ?
Les résultats sont surprenants et montrent que tout le monde n'est pas au même niveau :
Les Super-Chefs (Les modèles récents) :
- Claude Opus 4.6 (Anthropic) et GPT-5.2 (OpenAI) ont obtenu environ 85 %.
- Gemini 3 Flash a obtenu 78 %.
- Verdict : Ces IA sont maintenant au niveau d'un excellent étudiant universitaire. Elles peuvent presque faire le travail d'un débutant en data science sans aide.
Les Apprentis (Les modèles moyens) :
- Grok-4 (xAI) et Gemini 3 Pro sont autour de 59-70 %. Ils font des plats comestibles, mais il y a des erreurs de goût ou de présentation.
Le Vieux Chef (Le modèle ancien) :
- GPT-4o (un modèle plus ancien) a obtenu un désastreux 32 %.
- Verdict : C'est comme si un chef qui a travaillé il y a 10 ans essayait de cuisiner avec une nouvelle technologie qu'il ne maîtrise pas. Il a raté presque tout le repas.
🥗 Ce qu'elles savent faire (et ce qui les bloque)
L'étude révèle deux choses très importantes :
✅ Leurs super-pouvoirs (Les tâches de routine) :
Les IA sont excellentes pour suivre des recettes précises. Si on leur dit : « Crée un fichier de test », « Mets le titre en gras », ou « Fais un graphique en barres », elles le font parfaitement, souvent mieux que les humains. C'est comme si elles étaient des robots de cuisine très rapides pour éplucher des pommes de terre.❌ Leurs faiblesses (Le jugement et l'âme du plat) :
Là où elles trébuchent, c'est quand il faut réfléchir ou expliquer le "pourquoi".- L'Abstract (Résumé) : Elles écrivent des phrases qui semblent bien, mais qui disent souvent peu de choses réelles. C'est comme un plat qui sent bon mais qui est vide à l'intérieur.
- Les Citations : Elles inventent parfois des références de livres qui n'existent pas (des "hallucinations"). C'est comme si le chef disait avoir utilisé du safran de Madagascar, alors qu'il n'y en avait pas.
- Le Contexte : Elles ont du mal à expliquer pourquoi elles ont choisi telle donnée. Elles suivent le chemin, mais ne comprennent pas la destination.
💡 La Conclusion pour nous, humains
Cette étude nous dit une chose rassurante mais sérieuse :
L'IA est devenue un excellent "stagiaire" ou un "assistant de cuisine" très efficace, mais elle n'est pas encore le "Chef de Cuisine".
Elle peut faire 80 % du travail technique (nettoyer les données, coder, faire des graphiques) très vite. Mais elle a besoin d'un humain pour vérifier le goût final. Si vous laissez une IA seule gérer un projet de données important, vous risquez d'avoir un plat qui a l'air beau mais qui est dangereux à manger (erreurs de logique, fausses données).
En résumé : L'IA peut remplacer le travail manuel d'un débutant, mais elle ne peut pas encore remplacer le jugement, l'éthique et la créativité d'un expert. Il faut toujours garder un humain dans la boucle pour vérifier le travail.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.