A Proportionate Validation Framework for AI-Assisted Data Extraction in Evidence Synthesis: A Methodological Evaluation using Elicit Within a  Scoping Review in Health.

Résumé Technique : Un cadre de validation proportionnée pour l'extraction de données assistée par l'IA

Énoncé du problème
La croissance exponentielle de la littérature académique a rendu l'extraction manuelle traditionnelle des données dans les revues systématiques et de portée (scoping reviews) de plus en plus insoutenable, gourmande en ressources et sujette aux erreurs. Bien que l'intelligence artificielle (IA), particulièrement les modèles de langage étendu (LLM), offre un potentiel de gains d'efficacité, une incertitude significative demeure quant à la fiabilité de l'extraction assistée par l'IA et à la manière d'intégrer ces outils dans les flux de travail de synthèse des preuves sans compromettre la rigueur méthodologique. Les cadres de rapport actuels (ex. : PRISMA, PRISMA-ScR) manquent de directives standardisées pour documenter les processus assistés par l'IA, ce qui entraîne un signalement hétérogène, une reproductibilité limitée et des problèmes potentiels de crédibilité. Il existe un besoin critique d'un cadre qui aligne l'intégration de l'IA sur les normes établies, clarifie l'étendue de la supervision humaine et fournit des preuves empiriques pour une automatisation évolutive et fiable.

Méthodologie
Cette étude a développé et évalué un cadre de validation proportionnée utilisant Elicit, un assistant de recherche web basé sur l'IA, dans le contexte d'une revue de portée sur la surveillance des signes vitaux portables chez les adultes hospitalisés. La méthodologie comprenait :

• Jeu de données : Un sous-ensemble de 53 études en texte intégral provenant d'une revue de portée précédemment menée (totalisant 67 dans la version finale publiée) a été utilisé. Ces études ont été téléchargées sur Elicit.
• Ingénierie de prompts (Prompt Engineering) : Des prompts personnalisés ont été développés pour refléter 19 champs de données prédéfinis (ex. : objectifs de l'étude, méthodologie, résultats, limites). Les prompts ont été affinés de manière itérative lors d'une phase pilote afin de minimiser l'ambiguïté et la confabulation.
• Extraction par l'IA : Elicit a généré des sorties de données structurées pour l'ensemble des 53 études.
• Validation humaine : Un processus de validation humaine double a été mis en œuvre. Un réviseur principal et six co-réviseurs ont évalué indépendamment les sorties de l'IA par rapport aux textes intégraux originaux. Les écarts ont été classés à l'aide d'un cadre standardisé en trois catégories : Correct, Partiellement correct (différences mineures) et Incorrect (différences majeures).
• Analyse statistique :
  • Fiabilité inter-juges : Le coefficient d'accord de Gwet (AC2) a été utilisé pour évaluer l'accord entre les sorties générées par l'IA (validées par des humains) et les extractions humaines. L'AC2 a été choisi plutôt que le kappa de Cohen en raison de sa robustesse face aux distributions hautement asymétriques d'accord (où les classifications « correctes » prédominent).
  • Simulation de Monte Carlo (SMC) : Des simulations ont été menées pour évaluer les performances des stratégies de validation partielle. Des sous-ensembles du jeu de données (n = 3, 5, 7, 10, 15, 25) ont été échantillonnés de manière aléatoire pour déterminer le nombre minimum d'études requises pour qu'une validation humaine puisse inférer de manière fiable les niveaux d'accord de l'ensemble du jeu de données.

Principales contributions

1. Cadre de validation proportionnée : L'étude propose un flux de travail structuré, aligné sur PRISMA, pour l'extraction de données assistée par l'IA qui intègre l'IA comme un outil au sein d'un modèle de gouvernance « humain dans la boucle » (human-in-the-loop) plutôt que comme un remplacement du jugement humain.
2. Seuils empiriques pour la validation partielle : À travers des simulations de Monte Carlo, les auteurs ont identifié que la validation d'environ 10 % des enregistrements extraits (ex. : 5 articles dans un ensemble de 53 études) produit des estimations d'accord stables comparables à une double extraction complète, tandis que la validation de 20 % offre une protection plus robuste pour les champs complexes ou qualitatifs.
3. Classification standardisée des erreurs : Le développement d'un cadre spécifique pour classer les erreurs de l'IA (Correct, Mineur, Majeur) permet une évaluation nuancée de la qualité de l'extraction au-delà de la simple précision binaire.
4. Directives de rapport : L'article présente un ensemble d'éléments de rapport nécessaires pour une documentation transparente des synthèses assistées par l'IA, incluant les détails de la plateforme, les spécifications des prompts, les stratégies de validation et les mesures d'accord.

Résultats

• Haute fiabilité : L'accord global entre l'extraction assistée par l'IA (avec validation humaine) et l'extraction humaine était exceptionnellement élevé, avec un AC2 de Gwet de 0,960 (IC 95 % 0,951–0,972), interprété comme un accord « presque parfait ».
• Performance par champ : L'accord est resté systématiquement fort à travers les 19 champs de données. Les champs structurés (ex. : Titre, Pays) ont atteint des scores AC2 > 0,97. Les champs plus interprétatifs (ex. : Citations représentatives, Signes vitaux surveillés) ont montré un accord légèrement inférieur mais toujours « presque parfait » (AC2 > 0,84).
• Gains d'efficacité :
  • Économies de temps : La double extraction manuelle complète de 53 articles a nécessité environ 106 heures de réviseur. L'extraction assistée par l'IA avec une validation humaine double complète a nécessité 53 heures (une réduction de 50 %).
  • Modèle proportionné : Un modèle de validation partielle (100 % de validation primaire + 20 % de validation secondaire) a réduit le temps total à 32,5 heures, représentant une réduction de 70 % par rapport à la double extraction manuelle traditionnelle.
• Résultats de la simulation : Les simulations de Monte Carlo ont indiqué que des échantillons de validation de 5 articles ou plus produisaient des estimations d'accord stables à l'intérieur des intervalles de confiance de l'ensemble du jeu de données. Les échantillons de 10, 15 et 25 articles ont produit des intervalles interquartiles entièrement supérieurs au seuil de 95 %.
• Complétude : Elicit a généré des réponses pour tous les champs demandés sans défaillance du système. Lorsque l'information était absente du texte source, l'outil signalait l'incapacité de localiser les données plutôt que de fabriquer du contenu.

Signification et affirmations
Les auteurs affirment que cette étude fournit un modèle reproductible pour l'intégration responsable de l'IA dans la synthèse des preuves. La portée des travaux réside dans le recadrage de l'adoption de l'IA non pas comme une question de substitution d'outils, mais comme un défi de conception de la gouvernance, de responsabilité statistique et de surveillance transparente.

Les affirmations clés sont les suivantes :

• Rigueur méthodologique : L'extraction assistée par l'IA, lorsqu'elle est intégrée dans un cadre structuré de validation humaine avec une validation proportionnée, peut atteindre des niveaux de fiabilité conformes aux normes acceptées de fiabilité inter-juges.
• Évolutivité (Scalability) : Les stratégies de validation proportionnée (ex. : valider 10–20 % des enregistrements) offrent une alternative évolutive à la double extraction manuelle complète, permettant un débit plus élevé de synthèses cliniquement pertinentes sans compromettre la qualité.
• Alignement avec les normes : Le flux de travail proposé s'aligne sur les principes PRISMA et PRISMA-ScR, comblant l'écart actuel dans les normes de rapport pour les processus assistés par l'IA.
• Confiance et transparence : En liant directement les sorties de l'IA au texte source et en utilisant des statistiques d'accord formelles, le cadre atténue les préoccupations liées à la « boîte noire » et aux risques d'hallucination, favorisant ainsi la confiance dans les preuves générées par l'IA.

L'étude conclut que bien que l'IA ne puisse pas encore remplacer entièrement le jugement humain, elle peut être exploitée efficacement pour réduire la charge de travail des réviseurs et améliorer l'efficacité, à condition que des cadres de validation robustes et des directives de rapport claires soient établis. Les auteurs soulignent que les travaux futurs doivent reproduire ces résultats à travers divers types de revues, domaines cliniques et plateformes d'IA pour confirmer la généralisabilité.