Dans un laboratoire, un scientifique suit rarement une recette imprimée exactement telle qu'elle est écrite. Le monde de la biologie expérimentale est défini par l'adaptation. Un protocole, qui est simplement un ensemble détaillé d'instructions pour une expérience, n'est souvent qu'un point de départ. Lorsqu'un chercheur transpose cette expérience à un nouveau type de cellule, à une machine différente ou à un environnement chimique légèrement différent, il doit modifier les étapes. Il ne s'agit pas seulement de changer un chiffre ; il s'agit de comprendre comment un changement se répercute sur le reste du processus. Si un scientifique modifie la température lors de la première étape, il devra peut-être ajuster le temps lors de la troisième étape, ou remplacer un produit chimique dans la phase finale. Faire cela correctement nécessite une compréhension profonde et pratique de la cause et de l'effet, où une petite erreur au milieu peut gâcher les résultats à la fin. Pendant des décennies, ce type de raisonnement a été une compétence purement humaine, reposant sur l'expérience et l'intuition que les ordinateurs ont eu du mal à imiter.

Des chercheurs chez Benchling, une entreprise qui développe des logiciels pour les scientifiques, ont créé une nouvelle façon de tester si l'intelligence artificielle peut maîtriser ce type spécifique de pensée. Ils ont introduit un test appelé BenchBench-Protocol. Au lieu de demander à un ordinateur de résoudre un problème fictif ou de réciter des faits tirés d'un manuel, ils lui ont donné un défi du monde réel : prendre un protocole scientifique publié et le modifier pour une nouvelle situation, tout comme le ferait un scientifique humain. L'équipe n'a pas inventé ces défis de toutes pièces. Ils ont examiné des milliers d'expériences réelles réalisées par de vrais scientifiques sur la plateforme Benchling. Ils ont trouvé des cas où un scientifique a pris un protocole standard publié et l'a modifié pour répondre à ses besoins spécifiques. En comparant les instructions originales avec la version modifiée par le scientifique, les chercheurs ont extrait la logique exacte utilisée par l'humain. Ils ont ensuite transformé ces changements de la vie réelle en 149 questions de test distinctes. Chaque question demande à une intelligence artificielle d'expliquer comment elle adapterait un protocole et, surtout, de justifier pourquoi ces changements sont nécessaires.

Pour garantir que ces tests soient équitables et précis, les chercheurs n'ont pas compté sur les ordinateurs pour évaluer les réponses. Ils ont fait appel à des experts humains. Chacune des 149 tâches a été examinée par des scientifiques titulaires de diplômes avancés ayant passé au moins trois ans à travailler dans un laboratoire. Ces experts ont vérifié que les questions étaient cohérentes, que les règles pour une réponse correcte étaient scientifiquement fondées et que la tâche reflétait réellement le travail d'un véritable scientifique. Ils n'ont conservé que les tâches ayant reçu les évaluations les plus élevées en termes de qualité et de pertinence. L'ensemble final couvre neuf domaines différents de la biologie, allant du travail sur les protéines et les cellules au séquençage de l'ADN et à la culture de microbes. L'objectif était de créer un étalon capable de mesurer si une machine peut raisonner sur les conséquences en aval d'un changement, plutôt que de simplement deviner la bonne réponse.

Les chercheurs ont ensuite mis à l'épreuve neuf modèles d'intelligence artificielle différents. Ces modèles recevaient le protocole original, une description du nouvel objectif expérimental et l'accès à des outils de recherche pour trouver des informations. On leur demandait de rédiger une réponse libre expliquant comment modifier le protocole. Les réponses ont ensuite été évaluées par rapport aux règles vérifiées par les experts. Les résultats ont montré que, bien que ces modèles aient fait des progrès significatifs, ils ont encore un long chemin à parcourment. Le modèle le plus performant, Claude Opus 5, a obtenu un score de 59,2 %. Cela signifie qu'il a traité correctement les changements nécessaires et leurs conséquences dans un peu plus de la moitié des cas. Les autres modèles ont obtenu des scores compris entre 34,1 % et 47,1 %. Même le meilleur performeur a laissé une grande partie des points non obtenus, indiquant que le test est difficile et que les modèles ne sont pas encore parfaits.

L'étude a également examiné ce qui se passe lorsqu'un modèle est autorisé à essayer la même question plusieurs fois, simulant ainsi un scientifique qui pourrait lancer une simulation ou vérifier différentes options avant de décider. Lorsque les chercheurs ont pris la meilleure réponse sur dix tentatives, les scores se sont améliorés, mais l'écart entre les modèles a changé. Certains modèles qui étaient moyens lors d'un essai unique sont devenus beaucoup plus forts lorsqu'ils avaient plusieurs chances, tandis que d'autres sont restés constants. Cela suggère que les différents modèles ont des forces différentes ; certains sont plus fiables, tandis que d'autres sont plus susceptibles de produire une réponse brillante s'ils ont de la chance. Cependant, même avec dix essais, le meilleur modèle n'a toujours pas capturé tous les points disponibles, prouvant que le benchmark n'est pas encore « saturé » ou trop facile pour la technologie actuelle.

Les chercheurs ont constaté que les modèles performaient différemment selon le type de tâche. Ils étaient relativement bons pour les tâches exigeant l'examen de preuves expérimentales et la déduction d'une conclusion logique. Cependant, ils éprouvaient plus de difficultés avec les tâches nécessitant des « connaissances tacites » — le genre de pressentiment ou d'intuition qu'un expert possède concernant l'approche la plus probable ou la meilleure dans une situation réelle et complexe. Cela était particulièrement vrai pour le dépannage (troubleshooting), où un modèle doit comprendre pourquoi une expérience a échoué et comment la corriger. Les modèles variaient également dans leur utilisation des outils de recherche. Certains modèles, comme Grok, consommaient une quantité massive de données en effectuant des recherches étendues sur Internet, tandis que d'autres étaient plus conservateurs. L'étude a noté que ces réglages de haut raisonnement, qui permettaient aux modèles de réfléchir profondément et de chercher largement, s'accompagnaient d'un coût élevé en termes de puissance de calcul et de temps.

En fin de compte, ce travail fournit une manière concrète de mesurer les progrès de l'intelligence artificielle pour la science. En construisant le test sur des modifications réelles effectuées par de vrais scientifiques, les chercheurs ont évité le piège de créer des problèmes artificiels qui pourraient ne pas refléter la complexité du travail de laboratoire réel. Les conclusions montrent que, bien que l'intelligence artificielle devienne un outil utile pour les scientifiques, elle n'est pas encore un remplacement du jugement humain en laboratoire. Les modèles peuvent mémoriser des faits et suivre des instructions, mais ils peinent encore avec le raisonnement nuancé, étape par étape, requis pour adapter un protocole scientifique de manière sûre et efficace. À mesure que ces outils deviennent plus courants dans la recherche, des benchmarks comme BenchBench-Protocol seront essentiels pour comprendre là où ils réussissent et là où ils doivent encore apprendre. La voie à suivre consiste non seulement à rendre les modèles plus intelligents, mais aussi à leur apprendre à comprendre la chaîne de cause à effet qui définit la méthode scientifique.