Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Cette étude évalue l'outil d'IA Elicit pour la synthèse des preuves de politiques, concluant que, bien qu'il accélère efficacement le cadrage préliminaire des sujets, il manque actuellement de la précision et de la fiabilité requises pour les revues rapides complexes sans une supervision humaine significative.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la santé publique et des politiques gouvernementales, les décisions concernant le financement de traitements ou de programmes reposent sur une base de preuves. Avant qu'une nouvelle règle ne soit rédigée, les experts doivent rassembler toutes les recherches existantes sur un sujet, les lire attentivement et résumer ce qu'elles indiquent comme étant efficace ou non. Ce processus, connu sous le nom de synthèse des preuves, est essentiel pour faire des choix équitables et efficaces, mais il est aussi incroyablement chronophage. Traditionnellement, des équipes de chercheurs passent des mois à parcourir des milliers d'articles scientifiques, à vérifier si chacun d'eux correspond à la question spécifique posée, puis à extraire les données pour construire un tableau clair. Alors que les besoins des décideurs politiques deviennent plus urgents et complexes, il existe un désir croissant d'accélérer ce travail sans perdre en précision. C'est ici que l'intelligence artificielle entre en scène, promettant d'agir comme un assistant puissant capable de lire et de trier l'information à une vitesse qu'aucun humain ne pourrait égaler.
Une équipe de chercheurs issus d'universités du Royaume-Uni a décidé de mettre l'un de ces nouveaux outils d'IA à l'épreuve. Ils voulaient voir si un programme logiciel appelé Elicit pouvait véritablement aider les chercheurs en politiques à faire leur travail plus rapidement et plus efficacement. Les chercheurs ont choisi d'évaluer l'outil de deux manières différentes. Premièrement, ils ont demandé si l'IA pouvait agir comme un guide utile pour obtenir un aperçu rapide d'un sujet vaste, une étape appelée « cadrage » (scoping) qui précède une revue complète. Deuxièmement, ils ont testé si l'IA pouvait remplacer les chercheurs humains dans la réalisation d'une revue rapide et complète des preuves sur un sujet complexe. Le sujet choisi était difficile : déterminer quels programmes encouragent avec succès l'activité physique chez les personnes âgées confrontées à des désavantages sociaux et économiques. Ce sujet a été choisi car il comporte de nombreuses variables, notamment différents types de personnes, diverses sortes d'activités et des mesures de réussite spécifiques, ce qui en fait un test rigoureux pour tout système automatisé.
Les chercheurs ont commencé par demander à l'IA d'effectuer un balayage rapide de la littérature pour les aider à comprendre le paysage des outils d'activité physique utilisés dans les soins primaires. Dans ce rôle, le logiciel s'est avéré assez utile. Il a généré un résumé des preuves disponibles en seulement six minutes, offrant une vue d'ensemble du sujet que les experts ont jugée utile pour orienter leur réflexion. Le résultat n'était pas parfait et manquait d'une explication détaillée sur la manière dont l'information avait été trouvée, mais il servait de bon point de départ. Il a donné à l'équipe une idée de ce qui existait et des lacunes potentielles, agissant efficacement comme une carte préliminaire rapide avant qu'ils ne commencent le travail plus difficile de dessiner le territoire complet.
Cependant, lorsque les chercheurs ont demandé à l'IA d'accomplir la tâche rigoureuse et complète d'une revue rapide, les résultats ont été beaucoup moins encourageants. Ils ont soumis la même question complexe concernant l'activité physique chez les populations âgées défavorisées au système et ont observé comment il gérait la tâche. Le processus a duré plus de trois heures, durant lesquelles les chercheurs humains ont dû passer un temps considérable à affiner les questions et à corriger les suppositions de l'IA. Lorsque le rapport final a été produit, il contenait une liste de quarante études que l'IA affirmait être pertinentes. Pourtant, lorsque les experts humains ont vérifié ces études par rapport aux règles strictes de la revue, ils ont constaté que trente-six d'entre elles n'avaient en réalité pas leur place. L'IA avait inclus des études qui portaient sur les mauvais résultats, se concentraient sur les mauvais groupes de personnes ou examinaient des interventions qui ne correspondaient pas aux critères. En fait, le logiciel a manqué trente-quatre études que l'équipe humaine avait réussi à trouver et à inclure dans sa propre revue.
Le problème central semblait être que l'IA peinait avec la nuance du langage utilisé dans les articles scientifiques. Elle pouvait facilement identifier des mots comme « âgé » ou « activité physique », mais elle échouait à comprendre le sens profond de savoir si une étude testait réellement la bonne chose pour le bon groupe de personnes. Par exemple, elle ne pouvait pas distinguer un programme conçu pour améliorer la santé générale d'un programme spécifiquement conçu pour accroître l'activité physique, même si la formulation était similaire. En raison de ces erreurs, le résumé final produit par l'IA était truffé d'informations qui ne répondaient pas à la question d'origine. Il traitait de résultats non pertinents et tirait des conclusions basées sur des preuves qui n'étaient pas éligibles pour la revue. La revue menée par les humains, en revanche, a été capable de filtrer le bruit et de se concentrer uniquement sur les études qui comptaient vraiment, aboutissant à une conclusion bien plus précise et fiable.
Les chercheurs ont également examiné la manière dont le logiciel gérait les données qu'il trouvait. Bien que l'IA ait été capable d'extraire des détails de base comme le pays où une étude a eu lieu ou le nombre de participants, elle se montrait incohérente lorsqu'il s'agissait d'extraire des résultats spécifiques, tels que l'ampleur de l'amélioration de la santé d'une personne grâce à une intervention. Dans certains cas, elle omettait totalement les données ; dans d'autres, il n'était pas clair ce qu'elle avait trouvé. De plus, le logiciel n'avait pas la capacité de juger la qualité des études, ce qui signifie qu'il traitait une expérience faible et mal conçue de la même manière qu'une étude solide et bien menée. Ce manque de contrôle de la qualité constitue un risque important, car il pourrait conduire les décideurs politiques à se fier à des preuves erronées.
En fin de compte, l'étude suggère que si l'intelligence artificielle peut être un outil précieux pour obtenir un aperçu rapide et de haut niveau d'un sujet, elle n'est pas encore prête à remplacer les chercheurs humains dans la tâche critique de la conduite d'une revue complète des preuves, surtout lorsque les questions sont complexes. L'IA peut accélérer les premières étapes de la recherche, mais elle commet encore trop d'erreurs dans les étapes ultérieures pour pouvoir être utilisée seule. Les chercheurs ont conclu que, pour l'instant, la meilleure approche consiste à utiliser le logiciel comme un assistant travaillant aux côtés d'un expert humain, qui doit vérifier chaque décision prise par la machine. Le temps gagné grâce à l'utilisation de l'IA est actuellement incertain, car l'effort humain requis pour corriger ses erreurs pourrait annuler les gains de vitesse initiaux. À mesure que ces outils évoluent, l'espoir est qu'ils deviennent meilleurs pour comprendre les subtilités du langage humain et de la recherche, mais pour le moment, l'esprit humain reste essentiel pour garantir que les preuves guidant les politiques publiques sont précises et fiables.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.