ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
Cet article introduit ARISMA, un cadre de directives complet qui établit des principes, une taxonomie du cycle de vie et des normes de rapport pour l'intégration de l'IA et des grands modèles de langage en tant qu'assistants auditables et supervisés par l'humain dans les revues systématiques, les revues de portée et les études de cartographie afin de garantir la rigueur méthodologique et la responsabilité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la recherche scientifique, il existe un type de travail spécifique connu sous le nom de revue systématique. Imaginez une équipe d'experts essayant de répondre à une question complexe, comme savoir si un nouveau médicament est plus efficace qu'un ancien, ou quelle est l'état actuel des connaissances sur le changement climatique. Pour ce faire, ils ne peuvent pas se contenter de lire quelques articles intéressants ; ils doivent trouver chaque étude pertinente jamais publiée sur le sujet, les lire toutes et combiner leurs conclusions en une seule conclusion fiable. Ce processus est le fondement de la médecine et des politiques modernes, mais il est incroyablement difficile. À mesure que le nombre de publications scientifiques augmente chaque année, la tâche consistant à les trouver et à les lire toutes est devenue plus lente, plus coûteuse et plus difficile à tenir à jour.
Récemment, de puissants programmes informatiques connus sous le nom d'intelligence artificielle sont entrés en scène. Ces outils peuvent lire du texte, comprendre le langage et résumer des informations à des vitesses qu'aucun humain ne peut égaler. Les chercheurs ont commencé à les utiliser pour aider à trouver des articles, décider lesquels conserver et extraire des chiffres importants. Cependant, cette nouvelle rapidité s'est accompagnée d'un problème. Personne n'avait établi d'ensemble de règles claires sur la manière d'utiliser ces outils en toute sécurité. Si un programme informatique omettait une étude cruciale ou commettait une erreur en lisant un chiffre, l'ensemble de la revue pourrait être erroné, et les médecins ou les décideurs politiques qui s'appuient sur elle pourraient prendre de mauvaises décisions. La question n'était plus seulement de savoir si ces outils pouvaient fonctionner, mais comment les utiliser sans perdre le contrôle de la science.
Une équipe de chercheurs de l'Université du Danemark du Sud a maintenant proposé un nouvel ensemble de directives appelé ARISMA pour résoudre ce problème. Leur travail ne traite pas l'intelligence artificielle comme un remplacement des scientifiques humains. Au lieu de cela, ils la présentent comme un assistant hautement qualifié qui doit être surveillé, testé et consigné à chaque étape. L'idée centrale est simple mais stricte : chaque décision importante dans une revue scientifique doit rester compréhensible, vérifiable et, en fin de compte, être la responsabilité d'un être humain. Les chercheurs soutiennent que, bien que les machines puissent effectuer le gros du travail, elles ne peuvent pas être autorisées à décider silencieusement de ce qui constitue une preuve.
L'article expose un cycle de vie complet de la manière dont une revue devrait être menée lorsqu'on utilise ces outils. Il commence par l'étape de la planification, où l'équipe humaine doit clairement définir ce qu'elle recherche avant toute intervention d'un ordinateur. Les directives suggèrent que l'intelligence artificielle peut être très utile pour l'idéation de termes de recherche ou pour suggérer des synonymes pour un sujet, mais la stratégie de recherche finale doit être vérifiée par un expert humain. Les chercheurs soulignent que si un ordinateur manque une étude importante connue lors d'un test de lancement, la stratégie de recherche est considérée comme un échec et doit être corrigée avant d'être utilisée sur les données réelles. Cela garantit que la recherche est non seulement rapide, mais aussi complète.
Une fois la recherche terminée, l'équipe est confrontée à la tâche massive de filtrer des milliers de titres et de résumés pour décider quels articles lire en entier. C'est ici que l'intelligence artificielle a montré le plus de promesses, mais aussi là où les directives sont les plus prudentes. L'article explique qu'un ordinateur peut être utilisé pour classer les articles ou suggérer lesquels exclure, mais il ne peut pas prendre la décision finale de son propre chef. Les chercheurs proposent un système de « niveaux de confiance ». Dans un scénario de faible confiance, l'ordinateur ne fait que suggérer un ordre de lecture pour les humains. Dans un scénque de confiance modérée, il peut recommander des exclusions, mais un humain doit vérifier chacune de ces recommandations. Dans les revues à enjeux élevés, telles que celles qui guideront les traitements médicaux, l'ordinateur n'agit que comme une seconde paire d'yeux, et l'équipe humaine prend la décision finale. Crucialement, avant qu'un ordinateur ne soit autorisé à faire quoi que ce soit de cela, il doit être testé sur un petit ensemble de documents que les humains ont déjà évalués. Si l'ordinateur commet trop d'erreurs sur cet ensemble de test, il n'est pas autorisé à poursuivre.
Les directives abordent également la tâche délicate de l'extraction de données, où les chercheurs extraient des chiffres spécifiques comme le nombre de patients ou les résultats de traitements à partir du texte d'un article. Ici, les chercheurs sont encore plus conservateurs. Ils notent que, bien que les ordinateurs soient doués pour trouver des descriptions générales, ils ont souvent du mal avec les chiffres exacts cachés dans des tableaux ou des phrases complexes. L'article suggère qu'un ordinateur peut remplir un formulaire de brouillon avec des détails descriptifs, mais chaque chiffre qui sera utilisé pour calculer un résultat final doit être vérifié ligne par ligne par un humain. Si un humain ne vérifie pas la source d'un chiffre, ce chiffre ne peut pas être utilisé dans la revue finale. Cette règle protège contre le fait que l'ordinateur « hallucine » ou invente des faits qui semblent plausibles mais qui ne figurent pas dans le texte original.
Tout au long du processus, les directives exigent une piste de papier. Chaque fois qu'un outil informatique est utilisé, les chercheurs doivent enregistrer quel outil a été utilisé, quelle version du logiciel l'était, quelles instructions lui ont été données et quel a été le résultat. Si l'ordinateur commet une erreur, ou si l'équipe humaine décide de modifier la façon dont l'ordinateur fonctionne, ce changement doit être daté et expliqué. Cela crée un historique de la revue qui permet à quiconque lisant le rapport final de voir exactement où l'ordinateur a aidé et où les humains ont pris le relais. Le papier aborde également le côté juridique et éthique, rappelant aux équipes qu'elles doivent faire attention à ne pas envoyer de données privées ou non publiées à des services informatiques publics, car ces données pourraient être stockées ou utilisées de manières que l'équipe n'avait pas prévues.
Les chercheurs ont développé ces directives en discutant avec vingt et un experts du domaine, incluant des scientifiques et des spécialistes de l'information. Ils ont testé leurs idées et les ont affinées sur la base de retours, en se concentrant sur la création de règles pratiques et claires. Le résultat est un cadre qui permet aux équipes d'utiliser la vitesse de l'intelligence artificielle sans sacrifier la précision et la fiabilité qu'exigent les revues scientifiques. L'article conclut que l'objectif n'est pas de rendre les revues entièrement automatiques, mais de les rendre plus auditables. En traitant l'intelligence artificielle comme un outil qui est inspecté et limité plutôt que comme un décideur autonome, les directives garantissent que les conclusions finales d'une revue restent fondées sur des preuves vérifiées, avec un humain toujours dans la boucle pour assumer la responsabilité de la vérité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.