Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models
Cet article démontre que la combinaison de l'auto-prompting et du consensus inter-modèles avec les grands modèles de langage permet une extraction de données reproductible et évolutive à partir de la littérature scientifique tout en maintenant une supervision d'experts grâce à une division pratique du travail.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La science s'appuie sur une vaste bibliothèque de découvertes passées, mais trouver les faits spécifiques cachés dans ces vieux articles est un travail lent et fastidieux. Imaginez un chercheur ayant besoin de savoir exactement comment une protéine du muscle cardiaque se comporte sous certaines conditions. Il doit lire des dizaines d'articles, dont certains datent de plusieurs décennies, pour rechercher des détails infimes comme la température, les concentrations chimiques et les méthodes de mesure. Ces détails sont souvent enfouis dans un texte dense ou dispersés dans des tableaux, et en manquer un seul peut conduire à des erreurs dans de nouvelles recherches. Pendant des années, les scientifiques ont espéré que des programmes informatiques puissent effectuer ce travail de fond, mais jusqu'à récemment, ces outils étaient trop peu fiables pour être confiés à un travail aussi délicat. Ils manquaient souvent le contexte crucial ou inventaient des faits qui n'avaient jamais existé.
Une nouvelle étude menée par des chercheurs de l'Imperial College London et de l'Université de Cambridge teste si la dernière génération d'intelligence artificielle peut enfin résoudre ce problème. L'équipe n'a pas seulement demandé à un ordinateur de lire un article ; ils ont traité l'ordinateur comme un assistant de recherche junior qui nécessite un entraînement et une supervision attentifs. Ils ont mis en place une série d'expériences pour voir si ces programmes pouvaient extraire des données spécifiques d'articles scientifiques, allant de tâches simples où un humain donnait des instructions claires, à des tâches complexes où l'ordinateur devait trouver les articles lui-même. Le but était de cartographier précisément là où ces machines réussissent et là où elles ont encore besoin d'une main humaine pour les guider.
Les chercheurs ont commencé par un défi direct : un ordinateur pouvait-il extraire des chiffres précis sur la façon dont le calcium se lie aux protéines cardiaques à partir de dix-huit articles scientifiques différents ? Ils ont donné à sept des programmes informatiques les plus avancés un ensemble d'instructions détaillées, rédigées par des experts, et leur ont demandé de trouver sept informations spécifiques pour chaque expérience, telles que le type d'animal utilisé, la température et les valeurs chimiques. Les résultats ont été étonnamment probants. Les meilleurs programmes ont trouvé les chiffres corrects plus de quatre-vingt-quinze pour cent du temps. En fait, lorsque les ordinateurs étaient interrogés pour trouver uniquement les chiffres bruts, ils étaient corrects près de cent pour cent du temps. Cependant, les machines ont eu du mal lorsqu'on leur a demandé de comprendre l'histoire derrière les chiffres. Elles ont souvent échoué à identifier exactement quelle version de la protéine était testée ou les conditions spécifiques dans lesquelles la mesure a été prise. Cela a montré que si les ordinateurs étaient excellents pour trouver des chiffres, ils apprenaient encore à comprendre le contexte scientifique qui donne un sens à ces chiffres.
Pour voir si les ordinateurs pourraient faire mieux sans qu'un humain ne rédige les instructions, les chercheurs ont laissé les programmes écrire leurs propres guides. Ils ont demandé à chaque ordinateur de chercher les meilleures façons de poser des questions et de créer ensuite une fiche d'instructions maîtresse pour la tâche. Les ordinateurs ont réussi à créer des guides utiles, mais les données qu'ils ont extraites en utilisant ces instructions auto-rédigées étaient légèrement moins précises que lorsqu'ils suivaient le plan original de l'expert humain. L'écart était faible pour les meilleurs programmes, mais devenait plus important pour les autres. Cela suggérait que, bien que les ordinateurs puissent apprendre à poser de bonnes questions, un expert humain sait toujours mieux comment cadrer les nuances spécifiques d'un problème scientifique.
L'équipe a ensuite poussé les ordinateurs plus loin, en leur demandant d'agir comme des chercheurs autonomes. Dans ce scénario, les programmes devaient trouver eux-mêmes les articles scientifiques pertinents, les lire et extraire les données sans aucune aide humaine pour les orienter. C'est là que les systèmes ont heurté un mur. Même les programmes les plus avancés ont manqué plus de la moitié des articles corrects qu'ils étaient censés trouver. Certains d'entre eux ont inventé des citations pour des articles qui n'existaient pas, un problème connu sous le nom d'hallucination, tandis que d'autres ont simplement échoué à localiser les bonnes sources. L'étude a révélé que lorsqu'un ordinateur doit chercher ses propres informations, il devient beaucoup moins fiable. C'est comme demander à un étudiant de rédiger un rapport sans lui donner de carte de bibliothèque ; il pourrait deviner les bons livres, mais il est tout aussi susceptible d'inventer les titres.
La dernière partie de l'étude a examiné comment rendre ce processus opérationnel dans le monde réel. Les chercheurs ont testé une méthode où ils utilisaient plusieurs ordinateurs pour vérifier le travail des autres. Ils ont découvert que si un ordinateur faisait une erreur, un autre la détectait souvent. En exécutant la même tâche cinq fois et en retenant la réponse la plus commune, l'équipe a pu améliorer considérablement la précision. Ils ont également découvert que faire travailler différents ordinateurs sur le même problème était encore plus efficace que de faire répéter la tâche cinq fois par un seul ordinateur. Cette approche a créé un filet de sécurité où les ordinateurs pouvaient signaler les cas difficiles pour un examen humain. L'étude a conclu que la meilleure façon d'utiliser ces outils n'est pas de remplacer les scientifiques humains, mais de créer un partenariat. Dans ce nouveau flux de travail, l'ordinateur gère le travail répétitif de recherche et d'extraction de données, tandis que l'expert humain intervient pour vérifier les parties délicates et résoudre les désaccords entre les machines. Cette division du travail permet aux scientifiques de traiter de vastes quantités de littérature rapidement sans perdre le jugement méticuleux que seul un humain peut fournir.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.