Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging
Cet article présente Imaging-101, un banc d'essai de 57 tâches d'imagerie computationnelle vérifiées par des experts à travers six domaines scientifiques conçu pour évaluer les agents de codage basés sur les LLM, révélant que les modèles de pointe actuels peinent face aux défis spécifiques à un domaine tels que la sélection d'algorithmes et la gestion des conventions physiques, soulignant ainsi la nécessité d'agents spécialisés et dotés de compétences accrues pour permettre une découverte scientifique fiable.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous possédez une boîte magique capable de transformer une photo floue et bruitée d'un objet secret en une image d'une clarté cristalline. Dans le monde réel de la science, ce n'est pas de la magie ; c'est ce qu'on appelle l'imagerie computationnelle. Les scientifiques l'utilisent pour voir des choses qu'ils ne peuvent pas toucher directement, comme l'intérieur d'un trou noir, la structure d'un virus ou ce qui se passe profondément sous la terre. Mais construire la « recette » permettant de transformer ce désordre flou en une image nette est incroyablement difficile. Cela nécessite une compréhension de niveau doctorat en physique, en mathématiques et en codage, ainsi qu'une grande patience pour corriger les minuscules erreurs qui peuvent ruiner l'image entière.
Voici venu Imaging-101, un nouveau « examen du permis de conduire » pour l'Intelligence Artificielle. Les chercheurs ont créé un défi composé de 57 puzzles différents (tâches) tirés de véritables articles scientifiques issus de six domaines : l'astronomie, la biologie, la chimie, les sciences de la Terre, la médecine et la physique. Ils n'ont pas seulement demandé à l'IA d'écrire du code ; ils lui ont demandé de construire une machine complète et fonctionnelle capable de résoudre ces puzzles de bout en bout.
Le test en trois parties
Pour voir si l'IA était réellement intelligente ou simplement chanceuse, les chercheurs lui ont proposé trois manières différentes de passer le test :
- Le Plan : D'abord, l'IA devait rédiger un blueprint (un plan directeur). Pouvait-elle déterminer les mathématiques et les étapes appropriées avant d'écrire la moindre ligne de code ?
- Les Blocs Lego : Ensuite, elle devait construire des parties spécifiques de la machine (comme les blocs de « prétraitement » ou de « solveur ») et réussir de petits tests unitaires stricts pour chaque bloc.
- La Conduite Complète : Enfin, elle devait assembler toute la machine, l'exécuter et produire une image suffisamment précise pour passer un contrôle de qualité rigoureux.
Les résultats : L'IA sait bien parler, mais elle est mauvaise en physique
Les chercheurs ont testé sept des modèles d'IA les plus performants du moment. Voici ce qu'ils ont découvert :
- Le « Plan » était correct : Les IA étaient étonnamment douées pour rédiger le blueprint. Environ 52,6 % du temps, les meilleurs modèles (GPT-5.4 et Kimi-k2.5) comprenaient l'idée générale. Ils pouvaient nommer le type de mathématiques à utiliser.
- Les « Blocs Lego » étaient fragiles : Quand venait le moment de construire réellement les pièces, les choses devenaient compliquées. Le taux de réussite pour construire tous les composants correctement en même temps chutait entre 1,8 % et 22,8 %.
- La « Conduite Complète » était le plus difficile : Seuls 29,8 % du temps, la meilleure IA (Claude-4.6-Opus) parvenait à construire une machine qui fonctionnait réellement et produisait une image de bonne qualité. Les autres faisaient bien pire, certaines ne réussissant que 7 % du temps.
Les pièges « invisibles »
La partie la plus intéressante de l'étude est de comprendre pourquoi les IA ont échoué. Elles n'ont pas échoué parce qu'elles ne savaient pas écrire de code ; elles ont échoué parce qu'elles ignoraient les « règles secrètes » de la physique que les scientifiques apprennent après des années d'expérience.
L'article appelle cela la « dérive des conventions numériques » (numerical-convention drift). Imaginez que vous préparez un gâteau. L'IA sait que la recette dit d'« ajouter de la farine », mais elle oublie que dans cette cuisine spécifique, vous devez mesurer la farine en grammes, et non en tasses, et que vous devez d'abord la tamiser. Le gâteau de l'IA ressemble à un gâteau et sent le gâteau, mais il n'a ni la bonne taille, ni la bonne texture.
Dans l'étude, les IA ont commis ces erreurs spécifiques :
- Mauvettes unités : Dans une tâche impliquant la diffusion de la lumière, l'IA a oublié de convertir l'« intensité » (la brillance de la lumière) en « amplitude » (la force de l'onde). C'était comme essayer de mesurer la vitesse d'une voiture en « luminosité » plutôt qu'en « kilomètres par heure ».
- Mauvais solveurs : L'IA choisissait un outil mathématique générique (comme un marteau standard) quand le travail exigeait un outil spécialisé (comme un scalpel laser). Elle disait : « J'utiliserai cette méthode courante », même si l'article qu'elle suivait exigeait spécifiquement une méthode rare et complexe.
- Absence de normalisation : Dans les scanners IRM, l'IA a oublié d'ajuster le fait que certaines parties du corps sont plus proches du capteur que d'autres. Cela faisait que l'image finale semblait présenter une ombre étrange, même si le code s'exécutait sans erreur.
La surprise de la « boîte noire »
Les chercheurs ont également testé un agent de type « boîte noire » (Claude Code) qui a accès à un véritable terminal informatique, peut installer des logiciels et consulter des fichiers. Cet agent a bien mieux réussi, avec un taux de succès de 56,1 %. Cela suggère que donner plus de liberté à l'IA pour explorer et corriger ses propres erreurs aide, mais même avec cet avantage, elle n'est toujours pas parfaite.
Ce que cela signifie
L'article souligne que, bien que l'IA s'améliore dans l'écriture de code, elle éprouve encore des difficultés avec les connaissances tacites profondes de l'imagerie scientifique. C'est comme un étudiant qui peut réciter les règles du baseball, mais qui ne sait pas comment attraper une balle courbe.
Les chercheurs ont constaté que les IA échouent souvent parce qu'elles se fient à ce qui est « statistiquement courant » dans leurs données d'entraînement, plutôt qu'à ce qui est physiquement correct pour le problème spécifique traité. Ils suggèrent que, pour y remédier, nous pourrions avoir besoin de construire des assistants d'IA dotés d'une « boîte à outils » de compétences spécifiques à chaque domaine, déjà vérifiées, plutôt que d'attendre d'eux qu'ils déduisent chaque règle de physique à partir de zéro.
En résumé, l'IA peut écrire l'histoire de la résolution du puzzle, mais elle a encore besoin d'un expert humain pour vérifier les calculs et s'assurer que la physique est bien respectée. Le rêve d'une machine de découverte scientifique entièrement automatisée est encore un travail en cours.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.