Verification Debt in Automated Biological Research Workflows: A Proof-of-Concept

La biologie moderne entre dans une ère où les ordinateurs ne sont plus de simples outils pour traiter des chiffres, mais des partenaires actifs de la découverte. Les scientifiques commencent à utiliser des agents d'intelligence artificielle — des programmes logiciels conçus pour agir comme des chercheurs — pour planifier des expériences, parcourir de vastes bibliothèques de littérature médicale et établir des liens entre les gènes et les maladies. Ces systèmes peuvent accéder à des milliers de bases de données biologiques et exécuter des flux de travail complexes qui demandaient autrefois des semaines de travail à des équipes humaines. La promesse est immense : des remèdes plus rapides, une compréhension plus profonde de la vie et une échelle de recherche que les humains ne pourraient jamais gérer seuls. Cependant, cette rapidité apporte un nouveau type de risque. Lorsqu'un ordinateur prend une décision, il n'est pas toujours clair pourquoi il a fait ce choix, quelles preuves il a utilisées, ou s'il a sauté une étape cruciale. Si un humain ne peut pas facilement vérifier le travail de l'ordinateur, un fardeau d'incertitude caché commence à s'accumuler. C'est ce que les chercheurs appellent la « dette de vérification » : l'accumulation croissante d'hypothèses non vérifiées et d'étapes cachées qui pourraient conduire à de fausses conclusions si elles ne sont pas contrôlées.

Une équipe de chercheurs s'est donné pour mission de mesurer précisément l'ampleur de cette dette dans l'IA biologique actuelle. Ils ont choisi de tester un système spécifique appelé Biomni, un agent d'intelligence artificielle conçu pour gérer la recherche biomédicale. L'équipe ne s'est pas contentée de demander à l'ordinateur s'il était intelligent ; elle l'a mis au travail sur dix questions biologiques réelles et spécifiques. Ces questions allaient d'inquiries simples, telles que « Que fait cette protéine spécifique ? » à des énigmes complexes, comme « Comment les données sur l'ARN et les protéines se combinent-elles pour expliquer un type spécifique de cancer ? » Pour garantir la fiabilité des résultats, les chercheurs ont demandé à l'IA de répondre à chaque question trois fois séparément, en traitant chaque exécution comme une expérience indépendante. Ils ont ensuite examiné méticuleusement chaque étape franchie par l'IA, du moment où elle a reçu la question jusqu'à la réponse finale produite. Leur objectif était de voir si le raisonnement de l'IA pouvait être retracé jusqu'à des preuves solides, ou si elle faisait des bonds qu'un scientifique humain ne pourrait pas vérifier.

Les chercheurs ont découvert que, bien que l'IA soit capable de produire des réponses rigoureuses et souvent correctes, elle laissait fréquemment derrière elle une trace de choix non vérifiés. Dans de nombreux cas, l'IA citait une étude scientifique pour appuyer une affirmation, mais elle n'avait pas réellement lu le texte intégral de cette étude. Au lieu de cela, elle s'appuyait sur un bref résumé fourni par un outil de recherche, supposant que le résumé contenait le fait spécifique dont elle avait besoin. Cela créait une situation où l'IA semblait fondée sur des preuves, alors que les preuves étaient en réalité manquantes ou incomplètes. L'équipe a découvert que pour les faits biologiques bien connus, l'IA sautait souvent le processus de recherche, répondant à partir de sa mémoire interne sans en informer l'utilisateur. Cela signifiait que pour certaines questions, il n'y avait aucun moyen pour un humain de vérifier la provenance de l'information, laissant un vide dans la chaîne de preuve.

La nature du problème changeait selon la difficulté de la question. Pour les questions plus simples, le problème principal était un manque de transparence ; l'IA faisait des suppositions ou sautait des étapes sans expliquer pourquoi. Pour les questions plus complexes, les problèmes se déplaçaient vers l'interprétation. L'IA tirait parfois des conclusions plus fortes que ce que les données permettaient réellement de soutenir, ou mélangeait différents types de preuves, comme combiner des résultats d'études sur des souris avec des données génétiques humaines, sans clarifier la différence de leur fiabilité. Les chercheurs ont noté que ces erreurs n'étaient pas constantes ; elles arrivaient de manière imprévisible. Une fois, l'IA pouvait suivre un chemin parfait, et la fois suivante, elle pouvait emprunter une route différente avec des failles cachées. Cette imprévisibilité rend difficile le simple fait de faire confiance au système, même lorsqu'il donne la bonne réponse, car le chemin pour y parvenir peut être erroné.

Une conclusion clé de l'étude est que le fait de disposer d'un enregistrement des étapes de l'IA, appelé « trace », ne suffisait pas à garantir l'exactitude du travail. L'IA pouvait fournir un journal détaillé de chaque outil utilisé et de chaque base de données interrogée, tout en arrivant à une conclusion basée sur une mauvaise compréhension des données ou une hypothèse tacite. Les chercheurs ont identifié un type de risque spécifique appelé « conséquence de dépendance », où une seule décision non vérifiée au début du processus peut se propager à travers tout le flux de travail, corrompant tous les résultats suivants. Ils ont découvert que, dans presque chaque question testée, la plupart des décisions de l'IA comportaient ce genre de risque à enjeux élevés. Si un chercheur humain ne vérifiait pas soigneusement chaque maillon de la chaîne, une petite erreur pourrait conduire à une erreur scientifique majeure.

L'étude conclut que, bien que ces systèmes automatisés soient puissants, ils ne peuvent pas être considérés comme capables de fonctionner entièrement seuls. La vitesse et l'échelle qu'ils offrent sont précieuses, mais elles créent un fossé entre ce que l'ordinateur fait et ce qu'un humain peut vérifier. Les chercheurs soutiennent que la transparence — montrer les étapes suivies par l'IA — est nécessaire mais non suffisante. Un système peut être entièrement traçable et pourtant produire des résultats peu fiables si le raisonnement derrière ces étapes est défectueux. Pour progresser, la communauté scientifique doit trouver de nouvelles manières de vérifier systématiquement non seulement la réponse finale, mais l'intégralité du parcours parcouru par l'IA pour y parvenir. Tant que ces méthodes de vérification ne seront pas en place, les experts humains devront rester dans la boucle, prêts à détecter les dettes cachées que les machines accumulent au fil de leur travail.