Auditing an AI-Agent Computational Drug-Discovery Workflow Through an SMPD1 Case Study

Dans la recherche moderne de nouveaux médicaments, les scientifiques s'appuient souvent sur de puissants ordinateurs pour simuler la manière dont de minuscules molécules pourraient interagir avec les protéines du corps. Ce domaine, connu sous le nom de découverte de médicaments par voie computationnelle, agit comme un filtre à haute vitesse, permettant aux chercheurs de tester des millions de candidats potentiels avant même de mélanger des produits chimiques en laboratoire. Le processus consiste à enchaîner divers outils numériques : des bases de données répertoriant des cibles biologiques connues, des moteurs prédisant comment les molécules s'emboîtent comme des pièces de puzzle, et des programmes de simulation observant comment ces structures se déplacent au fil du temps. Récemment, une nouvelle couche d'automatisation a été ajoutée : des agents d'intelligence artificielle. Il s'agit de programmes logiciels conçus pour agir comme des chercheurs, prenant des décisions, exécutant des simulations et rédigeant des rapports en connectant ces outils de manière autonome. La promesse est un chemin plus rapide et plus efficace vers les remèdes, mais le risque est que ces systèmes automatisés commettent des erreurs subtiles — confondre des unités de mesure, confondre des protéines similaires, ou mal interpréter des données — qui survivent à leurs propres contrôles internes et mènent à de fausses conclusions.

Une étude récente de Yiming Zuo, de l'Université de technologie de Wuhan, soumet cette nouvelle approche automatisée à un test rigoureux. Le chercheur n'a pas simplement lancé une campagne de découverte de médicaments ; il a construit un système où un agent d'intelligence artificielle tentait de trouver un candidat médicament pour une enzyme humaine spécifique appelée SMPD1, liée à l'altération cognitive, tandis qu'un second agent indépendant jouait le rôle d'auditeur strict. L'objectif était de voir si le flux de travail automatisé pouvait produire une science fiable ou s'il générerait un rapport cohérent mais rempli d'erreurs cachées. L'étude s'est concentrée sur la SMPD1 car elle est un acteur connu dans les maladies neurologiques, mais les chercheurs ont veillé à traiter les conclusions initiales comme des hypothèses à tester, et non comme des faits prouvés.

L'agent automatisé a commencé par rassembler des preuves pour nommer la SMPD1 comme cible. Il a compilé des données issues de bases de données génétiques et de la littérature scientifique, sélectionnant finalement l'enzyme sur la base de la disponibilité de sa structure 3D et d'un bénéfice revendiqué par une inhibition partielle. L'agent est ensuite passé à l'étape suivante : le criblage virtuel. Il a filtré une bibliothèque de plus de 20 000 molécules pour n'en garder que quelques milliers de prometteuses, les a soumises à une simulation de docking pour voir comment elles s'inséraient dans le site actif de l'enzyme, et a sélectionné les meilleurs candidats. Suite à cela, l'agent a lancé de courtes simulations de dynamique moléculaire, qui sont essentiellement des films des mouvements et interactions des molécules, pour voir si les meilleurs candidats restaient liés à la cible. Enfin, l'agent a prédit la sécurité et la synthétisabilité de ces candidats et a proposé une voie chimique pour les fabriquer. En surface, le flux de travail semblait complet et réussi, produisant un récit suggérant une voie viable vers une nouvelle thérapie.

Cependant, lorsque le second agent, l'auditeur, a examiné les données brutes et les étapes suivies par le premier agent, l'histoire a radicalement changé. L'audit a révélé que la confiance initiale était mal placée. L'erreur la plus significative fut une erreur d'identité : l'agent avait confondu la SMPD1 avec une enzyme très similaire appelée SMPD2. Les données que l'agent a utilisées pour justifier la direction de l'effet du médicament appartenaient en réalité à la SMPD2, et non à la cible qu'il était censé étudier. De plus, l'audit a découvert que l'agent avait confondu des unités de mesure, étiquetant des distances en nanomètres comme si elles étaient des angströms, et qu'il avait utilisé un ensemble de paramètres physiques différent de celui qu'il prétendait utiliser pour un ion métallique. Il ne s'agissait pas de simples fautes de frappe mineures ; elles altéraient fondamentalement l'interprétation des résultats de la simulation.

Les conséquences de ces erreurs furent graves. Lorsque l'auditeur a relancé l'analyse avec les unités et les paramètres corrects, la simulation a montré que le candidat médicament proposé ne restait pas dans le site actif comme le prétendait le rapport original. En fait, sous les conditions corrigées, le candidat ne répondait pas aux critères de liaison que l'agent avait initialement cités. De plus, l'audit a mis au jour une partie de la littérature scientifique existante qui contredisait directement la conclusion de l'agent concernant l'utilité d'inhiber cette enzyme pour la mémoire. L'agent avait omis cette contre-preuve, menant à une stratégie clinique que l'audit a signalée comme contestée et potentiellement dangereuse.

L'étude a également testé la fiabilité des systèmes d'intelligence artificielle à travers une série d'expériences contrôlées. Les chercheurs ont créé un ensemble de dix-huit erreurs spécifiques, telles que l'inversion de chiffres ou l'étiquetage erroné de données, et les ont injectées dans le flux de travail pour voir si le système les détecterait. Les contrôles automatisés ont réussi à détecter quinze des dix-huit erreurs, montrant un haut niveau de sensibilité pour les erreurs spécifiques pour lesquelles ils avaient été conçus. Cependant, les chercheurs ont noté que, puisque les tests étaient conçus au sein du même projet, ils ne pouvaient pas prouver que le système détecterait tout type d'erreur dans un autre contexte. L'audit a également comparé trois façons de faire fonctionner le flux de travail : un agent travaillant seul, une équipe d'agents travaillant ensemble, et une équipe avec un auditeur. Bien que les trois aient produit des résultats, l'étude n'a pas trouvé de vainqueur clair en termes de précision scientifique, et le temps pris par l'équipe auditée était plus long, soulignant le compromis entre vitesse et vérification.

En fin de compte, l'étude n'a pas produit un nouveau médicament ou un traitement validé pour l'altération cognitive. Elle a plutôt produit une analyse détaillée d'échec. Le résultat final est un compte rendu corrigé et transparent de ce qui s'est mal passé et de la manière dont cela a été corrigé. Les chercheurs ont conclu que, bien que les agents d'intelligence artificielle puissent enchaîner des tâches scientifiques complexes, ils sont enclins à propager des erreurs qui survivent à leur propre auto-examen. Les rapports « cohérents » qu'ils génèrent peuvent masquer des failles critiques d'identité, d'unités et de logique. La seule façon de garantir la solidité de la science, suggère l'étude, est de soumettre ces récits automatisés à des audits adverses et frais qui vérifient les données brutes plutôt que de simplement accepter le résumé. Le résultat survivant de cette campagne n'est pas un médicament, mais un protocole réutilisable pour vérifier le travail des machines, prouvant que dans la course à l'automatisation de la découverte, l'outil le plus important reste un œil sceptique et indépendant.