Experimental reasoning in large language models

La science a toujours été une conversation entre une question et le monde physique. Un chercheur propose une idée, conçoit un test pour voir si le monde est d'accord, puis observe ce qui se passe. Si le résultat est inattendu, le chercheur modifie le plan et réessaie. Ce cycle de questionnement, d'action et d'ajustement est le moteur de la découverte. Depuis des décennies, les scientifiques tentent de construire des machines capables de faire ce travail pour eux. Les premières tentatives se sont concentrées sur l'automatisation : des robots capables de suivre un ensemble strict d'instructions, comme un chef suivant une recette à la lettre. Ces machines sont excellentes pour la répétition, mais elles ont du mal lorsque la cuisine prend feu ou qu'un ingrédient manque. Elles ne peuvent pas improviser. La question est maintenant de savoir si la nouvelle génération d'intelligence artificielle, spécifiquement les modèles de langage étendus, peut faire plus que simplement suivre des ordres. Ces programmes informatiques peuvent-ils réellement raisonner à travers une expérience scientifique, en décidant de la marche à suivre en fonction de ce qu'ils voient, tout comme un scientifique humain le ferait ?

Une équipe de chercheurs de l'Université Duke s'est donné pour mission de répondre à cette question en construisant un système qu'ils appellent PEARL. Ils ont connecté un programme informatique standard, conçu pour comprendre et générer le langage humain, à un robot de laboratoire simple et à une webcam. Le robot pouvait déplacer des liquides entre de petits récipients, et la caméra pouvait observer les résultats. Les chercheurs ont donné au système un objectif, tel que « créer un arc-en-ciel dans le plateau de récipients », mais ils ne lui ont pas fourni de guide étape par étape pour y parvenir. Ils n'ont pas dit au système quels couleurs mélanger, dans quel ordre, ni même quels flacons contenaient quels colorants. Le système devait découvrir l'ensemble du processus par lui-même. Il devait regarder les outils disponibles, décider quoi mélanger, effectuer l'action, observer le résultat, puis décider s'il avait réussi ou s'il devait essayer quelque chose de différent.

Le système fonctionnait en divisant le processus de réflexion en différents rôles qui communiquaient entre eux. Une partie du système planifiait l'expérience, une autre prédisait ce qui allait se passer, et une troisième surveillait les erreurs. Lorsque le robot mélangeait deux liquides et que la couleur obtenue était incorrecte, le système ne continuait pas simplement son cours. Il s'arrêtait, observait les preuves et réalisait que sa prédiction était erronée. Il révisait ensuite son plan et essayait un nouveau mélange. Dans un test, les chercheurs ont demandé au système de fabriquer du violet en utilisant uniquement des colorants rouges et verts. Le système a correctement réalisé que cela était impossible et a refusé de les mélanger, demandant une meilleure instruction à la place. Dans un autre test, un humain a secrètement fait pivoter le plateau de récipients pendant que le système travaillait. Le système a remarqué que les couleurs n'étaient plus aux bons endroits, a mis à jour sa carte mentale du plateau et a ajusté ses actions pour mélanger les bons liquides aux nouveaux emplacements. Il a fait cela sans être informé que le plateau avait bougé.

Les chercheurs ont poussé l'expérience plus loin en demandant au système d'effectuer un véritable test biochimique pour mesurer la vitesse à laquelle une enzyme fonctionne. Cela nécessitait des mesures précises et un minutage rigoureux. Le système devait décider de la quantité de liquide à mélanger, du moment où prendre une photo et de la manière d'analyser l'évolution des couleurs au fil du temps. Lorsque les chercheurs introduisaient un problème, comme l'ajout accidentel de trop de liquide dans un récipient, le système repérait l'erreur, ignorait les données erronées et utilisait les données restantes valides pour terminer le calcul. Lorsque le mélange initial était trop concentré pour être mesuré avec précision, le système réalisait qu'il avait besoin de plus d'informations. Au lieu de deviner, il concevait une nouvelle expérience plus petite, juste pour diluer le mélange et observer les vraies couleurs. Il utilisait ensuite cette nouvelle information pour corriger l'expérience principale. Dans chaque scénario, le système a réussi à traduire un objectif vague en une action physique, a interprété le résultat et a décidé de la suite des opérations.

L'étude a également testé de quelle aide le système avait besoin pour réussir. Les chercheurs ont tenté d'exécuter les mêmes tâches avec une configuration plus simple possédant moins de rôles internes et aucun partage de mémoire de l'historique de l'expérience. Cette version simplifiée échouait souvent à faire le lien entre ce qu'elle voyait et ce qu'elle devait faire ensuite. Elle pouvait repérer un problème mais oublier de le corriger, ou se perdre dans la séquence des étapes. Cependant, lorsque le système disposait d'un enregistrement persistant de l'expérience et de quelques rôles spécialisés pour vérifier le travail des autres, il réussissait presque à chaque fois. Cela suggère que la capacité de raisonner à travers une expérience provient largement de l'intelligence sous-jacente du modèle de langage lui-même, mais qu'une certaine structure aide à rester concentré et fiable.

Ces résultats suggèrent un changement dans notre façon de concevoir l'automatisation des laboratoires. Au lieu de programmer des robots pour prévoir chaque éventualité à l'avance, nous pourrons bientôt leur donner un objectif et les laisser gérer les détails. Le système n'avait pas besoin d'une recette pré-écrite pour gérer un plateau pivoté ou un colorant concentré ; il a résolu ces situations sur le moment. Les chercheurs soulignent qu'il ne s'agit pas encore d'un scientifique pleinement autonome capable d'inventer de nouvelles théories ou de poser des questions profondes sur l'univers. Les expériences étaient limitées à des tâches spécifiques avec des résultats visuels. Cependant, ce travail montre que des modèles informatiques à usage général peuvent déjà agir comme une couche de réflexion entre un objectif scientifique et le monde physique. Ils peuvent observer, interpréter et s'adapter, transformant l'acte d'expérimentation en une partie intégrante du processus de raisonnement. Cela fait passer le domaine d'une simple automatisation vers un futur où les machines peuvent participer directement au processus scientifique, en gérant l'imprévu et en apprenant de ce qu'elles voient.