Label-free, low-cost AI ranking for systematic review screening

Chaque année, les médecins et les chercheurs s'appuient sur des revues systématiques pour donner un sens à l'océan vaste de la littérature médicale. Ces revues sont le fondement des directives cliniques, indiquant aux praticiens quels traitements fonctionnent et lesquels ne fonctionnent pas. Cependant, en créer une est un processus laborieux et lent qui peut prendre plus d'un an du début à la fin. La partie la plus épuisante n'est pas l'analyse, mais le tri : une équipe d'experts humains doit lire des milliers de titres et de résumés, décidant un par un si chaque étude est suffisamment pertinente pour être lue intégralement. C'est une tâche qui exige une concentration intense et consomme un temps humain massif, retardant souvent la transmission d'informations vitales aux personnes qui en ont besoin.

Pendant des années, les scientifiques ont tenté d'utiliser des ordinateurs pour aider à ce tri, espérant présenter les études les plus prometteuses en premier afin que les humains puissent arrêter de lire plus tôt. Mais ces outils nécessitent généralement qu'un humain étiquette des centaines d'exemples avant de pouvoir apprendre à fonctionner, et ils peinent à savoir exactement quand il est sûr d'arrêter la lecture. Récemment, de nouveaux modèles d'intelligence artificielle puissants sont apparus, capables de comprendre le texte sans nécessiter d'entraînement préalable sur des sujets médicaux spécifiques. La question à laquelle les chercheurs étaient confrontés était de savoir si ces nouveaux outils pouvaient agir comme un filtre bon marché, rapide et précis pour organiser ces listes massives d'études avant même qu'un seul humain n'y touche.

Dans une étude récente, une équipe de l'Indiana University School of Medicine a mis à l'épreuve un nouveau type d'intelligence artificielle, appelée Jev, face à ce défi précis. Ils n'ont pas demandé à l'IA de lire les études et de prendre une décision finale ; ils lui ont simplement demandé de les classer. L'objectif était de voir si l'IA pouvait organiser une liste de près de 170 000 enregistrements provenant de 128 revues médicales différentes de sorte que les plus pertinentes apparaissent tout en haut de la liste, sans que l'IA n'ait jamais vu un seul exemple étiqueté par un humain pour ces revues spécifiques. Les chercheurs ont comparé ce nouvel outil à d'anciens logiciels gratuits et à certains des modèles d'IA générative les plus avancés et les plus coûteux disponibles.

Les résultats ont montré que la nouvelle IA était remarquablement efficace dans sa tâche. Lorsque les chercheurs ont laissé l'IA trier les enregistrements, elle a placé les études pertinentes bien plus haut sur la liste que ne le faisait le meilleur logiciel gratuit. En fait, elle a surpassé les outils gratuits dans chacune des revues testées. Comparée aux modèles d'IA générative les plus puissants, la nouvelle IA s'en est approchée de très près, se classant juste derrière la meilleure performance, mais en réalisant la tâche pour une fraction du coût. Alors que les modèles les plus avancés coûtent environ quatorze dollars et soixante-cinq cents pour traiter mille enregistrements, ce nouvel outil n'en coûte que deux cents pour la même tâche. Il n'était pas seulement moins cher ; il était également plus rapide et plus précis que d'autres modèles de milieu de gamme qui coûtent nettement plus cher.

Les chercheurs ont ensuite exploré comment ce classement pouvait être combiné au travail humain pour gagner du temps. Ils ont constaté que si les humains commençaient à lire la liste dans l'ordre suggéré par l'IA, ils trouveraient les études pertinentes beaucoup plus rapidement que s'ils lisaient dans un ordre aléatoire ou utilisaient d'anciennes méthodes de tri. En utilisant le classement de l'IA comme point de départ, puis en ajoutant le retour d'information d'un humain au fur et à mesure, l'équipe a calculé qu'elle pourrait économiser un temps de lecture substantiel tout en trouvant presque toutes les études importantes. Cependant, l'étude a également révélé une limite cruciale : bien que l'IA puisse trier la liste magnifiquement, elle ne pouvait pas dire de manière fiable à l'équipe exactement quand arrêter de lire.

Parce que les scores de l'IA n'étaient pas parfaitement calibrés pour prédire la probabilité exacte qu'une étude soit pertinente, fixer un seuil de lecture pour arrêter de lire s'est avéré risqué. Dans quelques cas, l'utilisation d'un simple seuil de score a fait en sorte que l'équipe manque des études importantes qui auraient dû être incluses. Les chercheurs ont découvert que la seule façon d'arrêter en toute sécurité était de continuer à lire jusqu'à ce qu'un contrôle statistique confirme qu'ils avaient probablement trouvé toutes les études pertinentes. Cela signifie que l'IA est un excellent outil pour organiser le travail et montrer aux humains où regarder en premier, mais qu'elle ne peut pas encore remplacer le jugement humain nécessaire pour décider quand la recherche est véritablement terminée.

En fin de compte, ce travail démontre qu'une IA à faible coût et sans étiquetage préalable peut considérablement améliorer l'efficacité du tri de la recherche médicale. Elle offre un moyen d'obtenir un ordre de lecture de haute qualité dès le premier enregistrement, épargnant aux équipes le fait de devoir lire des milliers d'études non pertinentes avant de trouver celles qui comptent vraiment. Bien qu'elle ne résolve pas l'intégralité du problème de savoir quand s'arrêter, elle fournit un point de départ puissant et peu coûteux qui rend le travail humain qui suit beaucoup plus concentré et efficace. Pour le domaine de la médecine fondée sur les preuves, cela représente une étape importante vers une création de directives cliniques plus rapide et moins pénible, garantissant que les meilleures connaissances médicales parviennent plus tôt aux patients.