Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

Dans le monde de la recherche médicale, la façon la plus fiable de répondre à une question consiste à rassembler toutes les études jamais écrites sur ce sujet, à toutes les lire et à combiner leurs conclusions en un tableau clair. Ce processus est appelé revue systématique. Il s'agit de l'étalon-or pour décider quels traitements fonctionnent et lesquels ne fonctionnent pas, formant ainsi l'épine dorsale des directives cliniques modernes. Cependant, la création de ces revues est une tâche monumentale. Elle nécessite que des équipes de chercheurs passent des mois, voire des années, à fouiller des millions d'articles, à lire des résumés pour décider lesquels sont importants, à extraire des chiffres spécifiques des textes intégraux et à vérifier la qualité de la recherche pour s'assurer qu'elle est digne de confiance. Le processus est si laborieux qu'il peut coûter des centaines de milliers de dollars et retarder l'arrivée d'informations vitales aux médecins et aux patients.

Récemment, un nouveau type de programme informatique connu sous le nom de modèle de langage étendu est apparu. Ce sont des systèmes entraînés sur de vastes quantités de textes humains qui peuvent lire, comprendre et générer du langage de manière à imiter souvent l'intelligence humaine. Les chercheurs ont commencé à se demander si ces outils pourraient prendre en charge le travail colossal de création des revues systématiques, transformant un calvaire de plusieurs mois en une question d'heures. L'espoir est que ces machines puissent gérer les parties répétitives et riches en données du travail, libérant ainsi les experts humains pour qu'ils puissent se concentrer sur les décisions complexes qui nécessitent un jugement profond. Mais pour cela, les machines doivent être assez précises pour être dignes de la confiance liée à la vie des patients.

Une équipe de chercheurs de l'Université de Montréal et de l'Université McGill s'est donné pour mission de tester cette idée avec une approche très pratique. Ils n'ont pas essayé de construire un robot complexe et entièrement automatisé qui gère l'ensemble du processus de revue du début à la fin. Au lieu de cela, ils ont demandé à une version spécifique et avancée d'un modèle de langage étendu d'accomplir chaque étape majeure d'une revue systématique, une par une, en utilisant uniquement des instructions simples et les données de cinq revues médicales déjà publiées. L'objectif était de voir si un utilisateur standard, sans formation particulière en intelligence artificielle, pouvait obtenir de l'ordinateur qu'il fasse le travail aussi bien qu'une équipe humaine. Les chercheurs se sont concentrés sur cinq étapes distinctes : la création des termes de recherche pour trouver les articles, le tri des titres et des résumés pour sélectionner les études pertinentes, l'extraction de points de données spécifiques des textes intégraux, l'évaluation de la qualité et du biais potentiel des études, et enfin, la combinaison des données pour produire les résultats finaux.

Les résultats ont révélé une histoire de forces surprenantes et de limites claires. Lorsqu'il s'agissait d'extraire des chiffres et des faits spécifiques du texte des articles médicaux, le modèle informatique était remarquablement efficace. En fait, il a surpassé les auteurs humains originaux qui avaient écrit les revues. Lorsque les chercheurs ont comparé les données extraites par l'ordinateur à une nouvelle norme hautement rigoureuse créée par des examinateurs experts, la machine était correcte environ 93 % du temps. Elle était également plus rapide, ne prenant que quelques minutes pour faire ce qui demandait des heures aux humains. De même, lorsqu'on lui a demandé de juger la qualité des études et d'identifier les failles ou les biais potentiels, l'ordinateur a de nouveau été plus performant que les humains, avec une précision de 83 %. Les chercheurs ont noté que lorsque l'ordinateur commettait une erreur de jugement de qualité, il avait tendance à être excessivement prudent, signalant une étude comme risquée alors qu'elle aurait pu être sûre, ce qui est souvent une erreur plus sûre à commettre que de manquer un problème réel.

Cependant, la machine a considérablement peiné lors des premières étapes du processus, où elle devait prendre des décisions basées sur des informations incomplètes. Lorsque l'ordinateur a été chargé de générer les chaînes de recherche — les listes spécifiques de mots utilisées pour trouver des articles dans les bases de données médicales — il a trouvé environ 85 % des articles pertinents que les humains avaient trouvés. C'était un résultat décent, mais cela signifiait qu'il manquait une partie importante de la littérature. La situation s'est aggravée lorsque l'ordinateur a tenté de filtrer le texte intégral des articles pour décider lesquels inclure dans la revue finale. Dans cette étape, le modèle a manqué plus de la moitié des articles importants que les examinateurs humains avaient correctement identifiés. Si l'ordinateur était très bon pour savoir ce qu'il ne fallait pas inclure, il était médiocre pour trouver les bons éléments à conserver. Cela suggère que, bien que la machine puisse être un outil puissant pour lire et organiser des données, elle n'est pas encore prête à remplacer les humains dans les phases initiales et critiques de décision sur la pertinence de la recherche.

La dernière étape consistait à combiner les données pour calculer les résultats globaux de la revue. Ici, l'ordinateur a produit des chiffres très proches des résultats humains, bien que pas toujours identiques. Les différences étaient minimes et probablement dues à la façon dont la machine interprétait les données ambiguës ou gérait les détails de calcul mineurs. Les chercheurs ont constaté que l'ordinateur pouvait générer ces résultats en quelques secondes, une tâche qui prendrait beaucoup plus de temps à un humain. Cependant, l'étude a souligné que pour obtenir de l'ordinateur un résultat parfait, il fallait des instructions très spécifiques et détaillées sur la gestion des données manquantes et sur les méthodes statistiques à utiliser. Sans cette orientation minutieuse, les résultats pouvaient légèrement s'écarter de la vérité.

L'étude conclut que le chemin vers l'automatisation de la recherche médicale n'est pas un saut unique, mais une série d'étapes où différents outils sont nécessaires pour différents travaux. Pour les tâches impliquant la lecture et l'extraction de faits, comme l'extraction de données à partir de tableaux ou le jugement de la qualité des études, ces modèles informatiques sont déjà supérieurs aux humains et peuvent être utilisés immédiatement pour accélérer le travail. Mais pour les tâches plus subjectives, comme décider quels articles rechercher ou quels textes intégraux conserver, les machines ne sont pas encore assez fiables pour travailler seules. Les chercheurs suggèrent que l'approche la plus efficace pour les non-experts est un modèle hybride : laisser l'ordinateur gérer la lourde tâche de l'extraction de données et des contrôles de qualité, tout en gardant les experts humains dans la boucle pour guider la recherche et prendre les décisions finales de sélection. Ce partenariat pourrait réduire considérablement le temps et le coût de production des preuves médicales sans sacrifier l'exactitude dont les patients dépendent.