Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

Imaginez le monde de la recherche médicale comme une immense bibliothèque chaotique qui ne cesse de croître. Chaque jour, des milliers de nouveaux livres — des articles scientifiques — sont écrits sur de minuscules microbes et la façon dont ils pourraient provoquer des maladies comme le cancer. Pendant longtemps, la seule façon de savoir si un microbe spécifique était un méchant était de faire appel à une équipe de détectives surdoués (des experts du domaine) pour lire chaque page, croiser les faits et décider si les preuves étaient assez solides. Mais avec plus d'un million de nouveaux articles publiés chaque année, ce travail de détective « uniquement humain » est devenu impossible. C'est comme essayer de boire à un jet d'eau de haute pression ; les experts ne peuvent tout simplement pas suivre. C'est là que l'intelligence artificielle (IA), et plus précisément un type appelé modèles de langage étendus (LLM), entre en scène. Considérez ces IA comme des lecteurs super rapides capables de parcourir toute la bibliothèque en quelques secondes. Mais voici la grande question : un robot peut-il vraiment penser comme un expert humain ? Peut-il repérer les indices subtils qui prouvent qu'un microbe provoque un cancer, ou va-t-il simplement inventer des histoires (un problème appelé « hallucination ») et se tromper dans les faits ? Les scientifiques avaient besoin de savoir s'ils pouvaient faire confiance à ces détectives numériques avant de les laisser prendre en charge le tri de l'ensemble des preuves médicales mondiales.

Cet article met en place un duel à enjeux élevés entre des experts humains et l'IA pour voir qui est le meilleur pour enquêter sur un mystère spécifique : un virus appelé le virus de la tumeur mammaire de la souris de type MMTV (MMTV-LV) provoque-t-il le cancer du sein chez l'humain. Les chercheurs ont rassemblé 24 articles scientifiques réels sur ce virus et ont créé un immense quiz de 77 questions pour tester les détectives. Ils ont demandé à quatre modèles d'IA différents (deux de Google appelés Gemini, et deux d'OpenAI appelés GPT-5) de lire les articles et de répondre au quiz, tandis qu'une équipe d'experts humains faisait de même. Le but n'était pas seulement de voir qui obtenait le plus de bonnes réponses, mais de voir si l'IA pouvait réfléchir et juger les preuves exactement comme les humains.

Les résultats étaient un mélange de « wow » et de « ouah ». L'étude a révélé que deux des modèles d'IA, GPT-5 et GPT-5 Nano, ont performé presque exactement comme les experts humains. Lorsque les chercheurs ont mélangé les réponses de l'IA avec celles des humains, l'accord global du groupe n'a pas changé du tout. C'était comme si l'IA avait rejoint l'équipe d'experts et était simplement un autre collègue brillant. Ces IA étaient excellentes pour lire le texte, comprendre le langage médical complexe et résumer ce que les articles disaient. Elles inventaient rarement des faits (hallucinations), et quand elles le faisaient, c'était généralement avec les modèles plus petits et moins puissants.

Cependant, l'IA n'était pas parfaite. L'étude a montré que les modèles d'IA, en particulier les modèles Google Gemini, avaient tendance à être trop gentils. Ils étaient « indulgents », ce qui signifie qu'ils étaient plus susceptibles de dire qu'un article fournissait une preuve solide qu'un virus cause un cancer que ne le faisaient les humains. Ils voyaient parfois un lien là où les humains n'en voyaient aucun, comme supposer un lien entre les études sur les souris et la maladie humaine sans preuve suffisante. L'IA a également eu du mal avec les parties les plus délicates du travail : trouver des contradictions au sein d'un article (comme lorsque les chiffres d'un tableau ne correspondent pas au texte) et critiquer les méthodes de l'étude. C'est comme un étudiant qui peut résumer parfaitement une histoire mais qui ne remarque pas que la chronologie du personnage principal n'a pas de sens.

En fin de compte, l'article suggère que nous pouvons faire confiance à l'IA avancée pour nous aider à passer au crible la montagne de recherches médicales. Elles sont rapides, elles sont pour la plupart précises et elles peuvent égaler les experts humains dans l'extraction de faits clés. Mais elles ne sont pas encore prêtes à remplacer entièrement les humains. La meilleure approche, suggèrent les auteurs, est d'utiliser l'IA comme un assistant puissant pour effectuer le gros du travail de lecture et de résumé, tout en gardant les experts humains dans la boucle pour revérifier la logique complexe et attraper les erreurs subtiles. C'est un partenariat où le robot fait la lecture et l'humain fait la réflexion critique.