High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

Chaque fois qu'une équipe de chercheurs entreprend de comprendre un traitement médical, elle doit d'abord rassembler les faits provenant de dizaines, parfois de centaines, d'études individuelles. Ce processus, connu sous le nom de revue systématique, est le socle de la preuve médicale moderne. Il exige des scientifiques qu'ils lisent des rapports denses et en extraient des chiffres précis : combien de patients ont été impliqués, quelle dose ils ont reçue et quels ont été les résultats. Si un seul chiffre est copié incorrectement, toute la conclusion de la revue peut basculer, ceant potentiellement conduire les médecins à recommander le mauvais traitement. Pendant des décennies, ce travail a été effectué par des mains humaines, une tâche lente et méticuleuse où deux personnes lisent souvent le même document de manière indépendante pour détecter les erreurs. C'est la norme de référence pour l'exactitude, mais c'est aussi incroyablement chronophage et coûteux.

Ces dernières années, un nouvel outil est entré dans l'arène : les grands modèles de langage. Ce sont des programmes informatiques puissants entraînés sur de vastes quantités de texte qui peuvent lire un article scientifique et tenter d'extraire les mêmes chiffres qu'un humain le ferait. L'espoir était que ces systèmes d'intelligence artificielle puissent effectuer le gros du travail, accélérant le processus et libérant les experts humains pour une réflexion plus complexe. Mais à mesure que ces outils sont devenus plus courants, une question critique a émergé : pouvons-nous leur faire confiance pour être aussi précis que les humains, et leur performance reste-t-elle constante, quel que soit le type d'information qu'on leur demande de trouver ?

Une nouvelle étude de Carlos Darcy Alves Bersot et de ses collègues examine cette question sous un angle statistique approfondi. Ils n'ont pas simplement demandé si les machines fonctionnent ; ils ont rassemblé tous les rapports disponibles qui testaient ces modèles par rapport à un standard humain et ont combiné les résultats pour voir l'image complète. Ce qu'ils ont trouvé est l'histoire de deux réalités très différentes qui coexistent. D'un côté, la performance moyenne de ces systèmes d'intelligence artificielle est étonnamment élevée. De l'autre, cette moyenne cache une réalité chaotique où la performance peut varier considérablement selon la tâche spécifique demandée.

Les chercheurs ont collecté les données de quarante-six rapports différents, représentant quarante-cinq investigations indépendantes. Ils se sont concentrés spécifiquement sur le moment précédant l'examen du travail de la machine par un humain. Ils voulaient savoir : si un grand modèle de langage est chargé d'extraire une information, quelle est la fréquence à laquelle il obtient la bonne réponse dès le premier essai ? Lorsqu'ils ont regroupé les résultats de huit études clés répondant à leurs critères stricts, la réponse fut encourageante. Les modèles ont obtenu la bonne réponse environ 86,4 % du temps. Ce chiffre suggère que, dans un sens général, ces outils sont tout à fait capables.

Cependant, l'histoire ne s'arrête pas à ce chiffre moyen. Les chercheurs ont regardé de plus près et ont découvert que cette moyenne élevée reposait sur un fondement d'incohérence extrême. Ils ont calculé une plage qui montre quel genre de performance on pourrait attendre dans une situation nouvelle et inédite. Cette plage s'étendait d'un bas de 19,2 % à un haut de 99,4 %. Pour mettre cela en perspective, imaginez un étudiant passant un examen qui obtient une note moyenne de 86 %. Si ses notes aux examens individuels varient de l'échec à la perfection, vous ne seriez pas confiant à l'idée de l'envoyer dans une classe pour corriger des copies. La même logique s'applique ici. Le fait que la moyenne soit élevée ne garantit pas que la machine performera bien dans un scénario spécifique du monde réel.

L'étude révèle que le type d'information extrait fait une différence massive. Lorsque la tâche implique des faits simples et clairement énoncés, les modèles performent très bien. Mais lorsque la tâche nécessite de trouver des chiffres enfouis dans des tableaux complexes, d'interpréter un texte ambigu ou d'extraire des données manquantes ou mal rapportées, la précision chute considérablement. Dans un cas spécifique où le modèle devait trouver des informations ouvertes nécessitant de se remémorer des détails plutôt que de simplement les copier, la précision s'est effondrée à seulement 17 %. Cette étude unique, avec sa tâche très différente, a tiré la moyenne générale vers le bas et élargi la plage des résultats possibles. Lorsque les chercheurs ont supprimé cet élément aberrant pour examiner des tâches plus similaires et structurées, la précision moyenne est montée à 91,2 %, mais même là, la performance pouvait encore varier considérablement d'un contexte à l'autre.

Les chercheurs ont également examiné comment ces outils gèrent les données numériques, ce qui est la partie la plus critique d'une revue médicale. Ici, les résultats étaient mitigés. Dans certains tests hautement structurés, les modèles ont atteint une précision quasi parfaite, trouvant 99 % des chiffres. Dans d'autres études avec des types de données différents, la précision est tombée autour de 63 %. Cette incohérence signifie qu'un chercheur ne peut pas supposer que parce qu'un modèle est bon pour une chose, il sera bon pour tout. Un modèle qui excelle à trouver un nom de médicament pourrait échouer lamentablement à trouver le nombre exact de patients ayant présenté un effet secondaire.

Une autre découverte cruciale concerne le flux de travail. De nombreuses études ont examiné comment ces outils performent lorsque des humains sont impliqués dans le processus, par exemple lorsqu'un humain vérifie le travail de la machine ou lorsque la machine agit comme un second lecteur. Ces flux de travail assistés par l'humain montrent souvent de meilleurs résultats et permettent de gagner du temps. Cependant, l'étude établit une distinction claire : la vitesse et l'exactitude d'un humain travaillant avec une machine ne sont pas les mêmes que celles d'une machine travaillant seule. Les économies de temps rapportées dans certaines études proviennent souvent du fait que la machine réalise le premier jet, mais l'humain doit toujours passer du temps à vérifier et à corriger le travail. La machine n'élimine pas la nécessité d'une supervision humaine ; elle change simplement la nature du travail.

Les chercheurs ont également examiné la qualité des études qu'ils ont passées en revue et ont constaté que beaucoup présentaient des failles méthodologiques. Certaines études n'expliquaient pas clairement comment elles testaient les modèles, ou utilisaient les mêmes données pour entraîner le modèle et pour le tester, ce qui peut rendre les résultats plus flatteurs qu'ils ne le sont réellement. En raison de ces limites et du faible nombre d'études véritablement indépendantes disponibles, les chercheurs ne peuvent pas affirmer avec une certitude absolue que ces outils fonctionneront parfaitement dans chaque situation future. Les preuves suggèrent que, bien que les outils soient puissants, ils ne sont pas encore assez fiables pour remplacer entièrement les réviseurs humains.

La conclusion de ce travail n'est pas que l'intelligence artificielle est un échec, mais qu'elle est un outil qui nécessite une manipulation prudente. La haute précision moyenne est réelle, mais c'est un indicateur trompeur si on le prend hors de son contexte. Elle nous dit que la technologie a du potentiel, mais elle nous avertit aussi que la performance est fragile. Un système qui fonctionne bien pour un type d'extraction de données peut échouer complètement pour un autre. Les chercheurs soutiennent que la meilleure voie à suivre n'est pas de faire confiance aveuglément aux machines, mais de les utiliser dans le cadre d'une stratégie adaptée au risque. Pour les tâches simples et claires, elles peuvent être utilisées avec confiance. Pour les données complexes, numériques ou ambiguës, la vérification humaine reste essentielle.

En fin de compte, cette étude déplace la conversation de « La machine peut-elle le faire ? » vers « Dans quelles conditions la machine peut-elle le faire ? ». La réponse est que la machine peut le faire bien, mais seulement quand les conditions sont réunies. Le score moyen élevé est une promesse de capacité, mais la grande variabilité est un avertissement d'imprévisibilité. Pour les scientifiques qui comptent sur ces revues pour guider la pratique médicale, la leçon est claire : la machine est une assistante utile, mais elle n'est pas encore un remplacement pour l'œil attentif et critique d'un expert humain. L'avenir de la synthèse des preuves impliquera probablement un partenariat où la machine gère le volume et l'humain assure la validité, avec la compréhension que la performance de la machine n'est jamais une garantie, mais une variable qui doit être constamment vérifiée.