Science Edge Evaluation: SEE the Missing Step Toward Real Scientific Discovery
Le test de référence Science Edge Evaluation (SEE) révèle que les modèles de langage multimodaux actuels peinent à dériver de manière fiable des informations fondées sur des preuves à partir de données expérimentales en chimie, en biologie et en science des matériaux, atteignant au mieux 52,7 % de précision même avec l'utilisation d'outils, ce qui souligne un écart critique entre l'explication de concepts établis et la réalisation d'une véritable découverte scientifique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective essayant de résoudre un mystère, mais au lieu de simplement lire la déposition d'un témoin, vous devez examiner simultanément une photo floue, une empreinte digitale, le résultat d'un test chimique et une carte déchirée. C'est ce à quoi ressemble la véritable découverte scientifique. Les scientifiques ne se contentent pas de mémoriser des faits provenant d'un manuel ; ils doivent examiner des données réelles et désordonnées — comme des images de cellules minuscules, des lignes sinueuses provenant de machines et des chiffres issus d'expériences — et comprendre ce qui se passe réellement. Ils doivent veiller à ne pas deviner en fonction de ce qu'ils pensent devoir arriver, mais uniquement sur la base de ce que les preuves montrent réellement.
Pendant longtemps, nous avons testé des cerveaux informatiques, appelés « Grands Modèles de Langage » (LLM), pour voir s'ils étaient assez intelligents pour aider à ce travail de détective. Ce sont les mêmes types d'IA qui peuvent écrire des histoires ou répondre à des questions de culture générale. Mais une grande question subsiste : peuvent-ils gérer la réalité complexe, visuelle et désordonnée d'un véritable laboratoire ? Si une IA doit aider les scientifiques à découvrir de nouveaux médicaments ou matériaux, elle ne peut pas se contenter d'être une bonne parleur ; elle doit être une bonne observatrice et une penseuse prudente qui sait dire : « Je n'ai pas encore assez d'indices ».
Le Grand Test du Laboratoire : L'IA peut-elle « voir » la science ?
Une équipe de chercheurs a décidé de soumettre ces détectives IA à l'ultime test. Ils ont créé un nouveau défi appelé Science Edge Evaluation (SEE). Voyez le SEE comme un examen géant et extrêmement difficile qui ne demande pas : « Quelle est la capitale de la France ? » ou « Quelle est la formule de l'eau ? ». Au lieu de cela, il remet à l'IA un véritable mystère scientifique : une photo d'une lame de microscope, un graphique issu d'une expérience de chimie, et une question qui nécessite de relier tous ces points pour trouver la réponse.
L'examen couvre trois grands domaines : la Chimie (comment les choses changent), la Biologie (comment la vie fonctionne) et la Science des Matériaux (comment nous construisons de nouvelles choses). Les questions proviennent de véritables articles scientifiques publiés et de véritables expériences de laboratoire. Il y a 1 116 questions au total, et elles sont conçues pour être difficiles. Certaines demandent à l'IA de lire un nombre spécifique sur un graphique, d'autres lui demandent de repérer une erreur dans un diagramme biologique, et certaines exigent que l'IA mélange des connaissances de biologie et de chimie.
Les Résultats : Un retour à la réalité
Les chercheurs ont testé 19 modèles d'IA différents lors de cet examen. Cela comprenait les IA « générales » les plus grandes et les plus célèbres (celles qui savent tout faire) ainsi que quelques IA « spécialisées en sciences » (celles qui ont été entraînées spécifiquement sur des livres de sciences).
Voici la grande surprise : Aucune d'entre elles n'a réussi avec brio.
En fait, le modèle le plus performant, une puissance nommée GPT-5.6-Sol (Max), n'a obtenu que 48,7 % de bonnes réponses. C'est moins de la moitié ! Les autres modèles ont fait encore moins bien, certains affichant des scores aussi bas que 15,9 %. C'est comme un élève passant un examen final et obtenant un 7/20.
Plus intéressant encore, les modèles « spécialisés en sciences » (ceux qui ont beaucoup étudié en cours de sciences) ont en fait obtenu de moins bons résultats en moyenne que les modèles généralistes. Les modèles généraux ont obtenu une moyenne de 34,9 % de bonnes réponses, tandis que les experts scientifiques n'ont obtenu que 22,2 %. Cela suggère que mémoriser un grand nombre de faits scientifiques ne suffit pas. L'IA doit savoir comment utiliser ces faits lorsqu'elle regarde une image réelle et désordonnée.
Le Problème de l'« Outil » : Une calculatrice aide-t-elle ?
Les chercheurs se sont demandé : « Et si nous donnions une calculatrice et un moteur de recherche à l'IA ? ». Ils ont laissé les six meilleurs modèles utiliser des outils comme la recherche sur le Web (pour chercher des faits) et un interprète de code (pour faire des mathématiques ou analyser des images).
Le fait de leur donner des outils a aidé, mais pas beaucoup. Le score du meilleur modèle est passé de 48,7 % à 52,7 %. Bien qu'il s'agisse d'une légère amélioration, ce n'est toujours pas une note de passage. Les outils ont donné plus d'informations à l'IA, mais l'IA a toujours eu du mal à déterminer quelles informations étaient importantes et comment les assembler. Parfois, les outils ont même rendu l'IA confuse, la poussant à choisir la mauvaise voie ou à s'enfermer dans une boucle de réflexion excessive.
Le Vrai Problème : Pourquoi échouent-elles ?
L'article approfondit la question pour découvrir pourquoi l'IA échoue. Il s'avère que le problème n'est pas que l'IA ne connaît pas assez de faits. Le problème est que l'IA est mauvaise pour s'en tenir aux preuves.
- L'habitude de la « Devinette Aveugle » : Lorsque les chercheurs ont retiré les images et n'ont donné que le texte à l'IA, celle-ci n'a pas dit : « Hé, je ne peux pas résoudre ceci sans l'image ! ». Au lieu de cela, elle a simplement deviné en fonction de ce qu'elle avait lu auparavant. Elle a tenté de résoudre le mystère en utilisant sa mémoire plutôt qu'en regardant les indices. En fait, l'IA n'a admis manquer d'informations que dans seulement 4,6 % des cas.
- Ignorer l'Image : Si l'image montrait quelque chose d'étrange qui ne correspondait pas à ce que l'IA attendait, l'IA ignorait souvent l'image pour suivre son « intuition » (ce qu'elle a appris lors de son entraînement). C'est comme un détective qui ignorerait une empreinte digitale parce qu'elle ne correspond pas à l'histoire du suspect.
- L'Excès de Confiance : L'IA tentait souvent de combler les lacunes. Si une expérience était incomplète, l'IA inventait une conclusion comme si elle possédait toutes les données. Les vrais scientifiques savent que, parfois, on n'a tout simplement pas assez de preuves pour faire une affirmation, mais l'IA est trop impatiente de donner une réponse.
L'Étape Manquante
L'article conclut que nous manquons une étape cruciale pour rendre l'IA utile à la science. Nous avons essayé d'apprendre à l'IA à être une bibliothèque (stocker des faits) ou une calculatrice (faire des mathématiques). Mais la vraie science exige que l'IA soit un détective capable d'examiner des preuves désordonnées, d'admettre qu'elle ne connaît pas la réponse, et de ne tirer des conclusions que ce qui est strictement soutenu par ce qu'elle voit.
Les auteurs suggèrent que pour que l'IA aide véritablement à la découverte scientifique, elle doit apprendre à mieux gérer les preuves. Elle doit apprendre quand arrêter de deviner et quand demander plus de données. Tant que l'IA ne pourra pas faire cela, elle pourra être une excellente assistante pour rédiger des rapports, mais elle n'est pas encore prête à diriger le laboratoire elle-même. Le fossé entre « connaître des faits » et « raisonner à partir de preuves » est l'étape manquante vers une véritable découverte scientifique.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.