Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

Chaque année, le monde produit un déluge stupéfiant de nouveaux articles scientifiques. Dans des domaines allant de la médecine à la santé environnementale, les chercheurs publient plus d'études que jamais, créant un flot d'informations qu'aucune équipe humaine ne peut raisonnablement lire en une vie. Pour donner un sens à ce chaos, les scientifiques s'appuient sur un processus rigoureux appelé revue systématique. Il ne s'agit pas d'un simple coup d'œil à la littérature ; c'est une traque méthodique de chaque étude répondant à une question spécifique, comme savoir si un certain produit chimique est nocif ou si un nouveau médicament est plus efficace qu'un ancien. La première étape, et souvent la plus épuisante, de cette traque est le tri (screening). Les chercheurs doivent lire les titres et les résumés courts de milliers d'articles, décidant instantanément lesquels valent la peine d'être conservés et lesquels doivent être jetés. Si une étude pertinente est manquée à ce stade, l'ensemble de la revue pourrait être erroné, menant à des conclusions incorrectes sur la santé et la sécurité. Pendant des décennies, cela a été un travail effectué entièrement par l'œil humain, un goulot d'étranglement lent, coûteux et laborieux qui retarde l'obtide de réponses vitales.

Une équipe de chercheurs du Bureau fédéral de la protection contre les radiations en Allemagne a testé une nouvelle façon de s'attaquer à ce problème en utilisant l'intelligence artificielle. Ils ont exploré si les grands modèles de langage — des programmes informatiques avancés capables de comprendre et de générer le langage humain — pouvaient agir comme un premier filtre, lisant ces milliers de titres et de résumés pour décider lesquels méritent l'attention d'un humain. L'objectif n'était pas de remplacer les examinateurs humains, mais d'agir comme un assistant puissant capable de faire le gros du travail, en éliminant la vaste majorité des articles non pertinents tout en garantissant qu'aucune étude importante ne soit accidentellement jetée. Les chercheurs ont traité cela comme une expérience scientifique, construisant et testant des dizaines de façons différentes de demander à l'ordinateur de faire le travail, en mesurant soigneusement l'efficacité de chaque méthode avant de lui confier des données réelles.

L'équipe a commencé par créer un terrain de test contrôlé. Ils ont généré 100 résumés synthétiques d'articles scientifiques, dont la moitié était conçue pour répondre aux critères stricts d'inclusion et l'autre moitié pour échouer. À l'aide de ce petit ensemble, ils ont essayé une grande variété de stratégies. Certaines stratégies demandaient à l'ordinateur de donner une simple réponse par oui ou par non. D'autres lui demandaient de décomposer la décision, en évaluant séparément cinq parties spécifiques de la conception d'une étude : les personnes impliquées, l'exposition ou le traitement, le groupe de comparaison, le résultat mesuré et le type d'étude. Ils ont également testé si le fait de donner à l'ordinateur quelques exemples de bons et de mauvais articles avant de lui demander de juger de nouveaux articles aidait, et si demander à l'ordinateur d'expliquer son raisonnement pour chaque décision améliorait sa précision. Ils ont mené ces tests sur des modèles open-source, qui peuvent être exécutés sur des ordinateurs locaux, et sur des modèles propriétaires de grandes entreprises technologiques, en comparant leur vitesse, leur coût et leur précision.

Après avoir réduit les meilleures approches, les chercheurs sont passés à une phase plus rigoureuse, testant leurs meilleurs candidats sur trois revues systématiques réelles qui avaient déjà été complétées par des experts humains. Ces revues portaient sur les effets sur la santé des champs électromagnétiques de radiofréquences, un sujet que l'équipe de recherche connaît bien. Ici, le travail de l'ordinateur consistait à examiner les milliers de titres et de résumés des recherches originales et à décider lesquels avaient été finalement conservés par les humains. Les résultats étaient frappants. Les flux de travail les plus réussis ont été capables d'identifier presque toutes les études que les humains avaient incluses, atteignant un taux de sensibilité de plus de 96 pour cent. Cela signifie que s'il y avait 100 études pertinentes cachées dans une pile de milliers, l'ordinateur en trouverait au moins 96. En même temps, le système a été capable d'identifier et d'écarter correctement la vaste majorité des articles non pertinents, réduisant le nombre d'enregistrements que l'humain devrait lire de plus de 80 pour cent.

L'étude a également révélé que la taille du modèle informatique importait moins que la manière dont il était sollicité. Les chercheurs ont découvert que l'approche la plus efficace ne consistait pas à utiliser les modèles les plus grands et les plus coûteux disponibles, mais à utiliser des modèles plus petits et plus rentables guidés par une méthode spécifique. Cette méthode consistait à demander au modèle d'examiner individuellement les cinq parties clés de la conception d'une étude et de fournir une brève explication de pourquoi il acceptait ou rejetait chaque partie. Ce raisonnement étape par étape, combiné à quelques exemples de ce qu'est une bonne ou une mauvaise étude, a permis même aux modèles plus petits et moins chers d'atteindre une précision proche de celle de l'humain. Les chercheurs ont découvert que diviser la tâche en cinq questions distinctes auxquelles l'ordinateur devait répondre en parallèle rendait en réalité le processus moins précis, suggérant que l'ordinateur travaille mieux lorsqu'il considère l'ensemble du tableau, même s'il analyse les parties en détail.

Lorsque l'équipe a pris ses flux de travail les plus performants et les a testés sur huit revues systématiques complètement différentes, couvrant des sujets allant de la recherche sur le cancer au traitement de l'arthrite, les résultats se sont confirmés. Le système trouvait systématiquement presque toutes les études pertinentes tout en filtrant le bruit. Le coût de fonctionnement de ce processus était remarquablement bas, s'élevant à environ un dollar américain pour 1 000 enregistrements examinés. Cela suggère que la technologie n'est pas seulement une possibilité théorique, mais un outil pratique qui pourrait être utilisé par des équipes de recherche aux budgets limités. Les chercheurs ont noté que le système n'est pas parfait ; il a parfois eu des difficultés avec les articles contenant très peu d'informations, comme ceux n'ayant qu'un titre et aucun résumé. Dans ces cas, le système signalait judicieusement l'article pour qu'un humain puisse le vérifier, garantissant ainsi qu'aucune information importante ne soit perdue.

L'étude conclut que l'intelligence artificielle peut désormais servir de partenaire hautement fiable dans le processus scientifique. En utilisant un flux de travail soigneusement conçu qui demande à l'ordinateur de réfléchir aux critères étape par étape et d'expliquer ses choix, les chercheurs peuvent réduire considérablement le temps et l'effort nécessaires pour passer en revue la littérature. Cela ne signifie pas que les humains sont obsolètes ; cela signifie plutôt qu'ils peuvent concentrer leur énergie sur les articles qui comptent vraiment, avec la certitude que l'ordinateur a déjà effectué le balayage initial. Ce travail fournit un cadre clair et transparent sur la manière dont cette technologie peut être utilisée de manière responsable, offrant une voie vers une synthèse des preuves plus rapide et plus efficace dans un monde où les connaissances scientifiques croissent plus vite que jamais.