Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Résumé technique : Validation d'un pipeline de criblage automatisé à deux étapes pour les revues systématiques médicales

Énoncé du problème
Les revues systématiques (RS) font face à un goulot d'étranglement croissant lors du criblage des titres et résumés en raison de l'expansion exponentielle de la littérature biomédicale. Bien que les grands modèles de langage (LLM) offrent une voie potentielle vers l'automatisation, leur validation dans ce domaine est souvent compromise par des mesures inappropriées. Les mesures standards comme le kappa de Cohen sont mathématiquement instables sous les distributions de classes déséquilibrées et à faible prévalence typiques des RS. De plus, les études de validation existantes manquent souvent d'une combinaison d'éléments de conception critiques : un pipeline hybride à deux étapes (règles + LLM), un schéma de classification à trois voies incluant une classe « incertaine » échantillonnée séparément, un échantillonnage stratifié, et l'utilisation de coefficients d'accord robustes à la prévalence (PABAK et l'AC1 de Gwet). En outre, la validité des comparaisons est souvent remise en question lorsque le concepteur du pipeline sert également de validateur humain.

Méthodologie
Cette étude présente une étude d'accord prospective validant un pipeline de criblage automatisé à deux étapes contre trois examinateurs humains indépendants dans un contexte de revue systématique médicale (réactivité plaquettaire élevée sous traitement, résistance à l'aspirine et plaque carotidienne).

• Jeu de données : 904 enregistrements récupérés à partir de plusieurs bases de données (PubMed, Scopus, Europe PMC, OpenAlex, arXiv).
• Architecture du pipeline :
  • Étape 1 (Basée sur des règles) : Un script Python utilisant des heuristiques de mots-clés dérivées du PICO (sans ML/LLM) classifie les enregistrements en INCLUDE (INCLUS), EXCLUDE (EXCLUS) ou UNCERTAIN (INCERTAIN).
  • Étape 2 (Adjudication par LLM) : Les enregistrements étiquetés UNCERTAIN par l'étape 1 sont traités par DeepSeek V4 Pro (zero-shot, température = 0) via un prompt fixe pour les résoudre en INCLUDE ou EXCLUDE.
• Conception de la validation :
  • Échantillonnage : Un échantillon stratifié de 185 enregistrements a été tiré : 50 de chacun des trois strates de l'étape 1 (INCLUDE, EXCLUDE, UNCERTAIN) et 35 de la sortie LLM de l'étape 2.
  • Examinateurs : Trois médecins ont jugé l'échantillon de manière indépendante et en aveugle des étiquettes automatisées :
    1. E.P. (concepteur du pipeline, familier avec le corpus).
    2. D.C. (externe au projet).
    3. P.P.B. (externe au projet).
  • Métriques : L'étude a utilisé la sensibilité, la spécificité, le PABAK et l'AC1 de Gwet (avec $q=3$) pour mesurer la concordance. Elle a également rapporté le Travail Économisé sur l'Échantillonnage (WSS) et le Nombre Nécessaire à Lire (NNR) en réponse aux directives éditoriales pour l'évaluation du ML/GenAI dans les RS. Les étiquettes majoritaires (2 sur 3) ont été calculées comme un panel supplémentaire mais n'ont pas remplacé les tableaux de comparaison par paires comme référence primaire pour la sensibilité.

Contributions clés
L'article affirme être la première étude à combiner simultanément cinq dimensions méthodologiques spécifiques :

1. Une application dans le domaine médical.
2. Un pipeline hybride à deux étapes (règles + LLM).
3. Une classification à trois voies avec une classe incertaine échantillonnée séparément.
4. Un échantillonnage stratifié avec trois examinateurs humains indépendants.
5. Le double rapport des coefficients robustes à la prévalence (PABAK et AC1 de Gwet) aux côtés des métriques de charge de travail.

L'étude aborde explicitement la limite du « concepteur-en-tant-que-validateur » en incluant deux examinateurs externes et en séparant l'analyse de la décision d'exclusion primaire de la classification fine secondaire des enregistrements inclus.

Résultats

• Cible primaire (Exclusion automatique de l'étape 1) : Le pipeline a démontré une concordance quasi parfaite avec les examinateurs humains sur la décision d'exclure automatiquement les enregistrements.
  • Strate EXCLUDE de l'étape 1 : Le pipeline a exclu 670/904 enregistrements (74,1 %).
  • Accord : Le PABAK et l'AC1 sont de 1,000 contre E.P. (48/48) et D.C. (50/50). Contre P.P.B., l'accord était PABAK = 0,940 / AC1 = 0,959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Accord humain : L'accord inter-humain était le plus élevé entre les deux lecteurs externes (PABAK = 0,854) et plus faible lorsque E.P. était impliqué, suggérant un effet de familiarité potentiel, bien que cela n'ait pas été une variable mesurée.
• Cible secondaire (Classification fine/INCLUDE) : Le pipeline a mal performé sur l'identification des enregistrements « INCLUDE ».
  • Sensibilité globale : 0,800 contre E.P., 0,500 contre D.C., et 0,833 contre Berti.
  • Faux négatifs : Le pipeline a manqué des enregistrements identifiés comme INCLUDE par les humains, particulièrement dans l'étape 2. Pour les quatre enregistrements où une majorité d'humains s'accordait sur « INCLUDE », la machine les a étiquetés comme UNCERTAIN ou EXCLUDE (0/4 de récupération).
  • Performance de l'étape 2 : L'adjudication par LLM des 94 enregistrements incertains a généré 11 INCLUDE et 83 EXCLUDE, mais la sensibilité par rapport aux étiquettes humaines est restée faible.
• Métriques de charge de travail : Le WSS de 74,1 % reflète la proportion d'enregistrements supprimés par le filtre de l'étape 1, validée par la strate EXCLUDE échantillonnée.

Signification et affirmations
L'article définit modestement sa portée et sa signification :

• Capacité validée : L'étude valide la décision d'exclusion automatique de l'étape 1 comme une méthode fiable pour supprimer environ 74 % des enregistrements (les articles « manifestement hors sujet ») d'un flux de travail de revue systématique. Trois médecins indépendants ont confirmé cette tranche d'exclusion.
• Capacité non validée : L'étude stipule explicitement que la classification fine des enregistrements INCLUDE n'est pas validée. Les humains eux-mêmes ont montré un faible accord sur quels enregistrés résiduels étaient « INCLUDE » (l'intersection triple n'était que d'un seul enregistrement), et la machine n'a pas réussi à récupérer les rares enregistrements sur lesquels les humains étaient d'accord pour l'inclusion.
• Implication méthodologique : Les résultats suggèrent que, bien que l'automatisation puisse gérer efficacement la majeure partie de la tâche d'exclusion, la tâche résiduelle d'identification des études pertinentes reste une tâche humaine, basée sur l'expérience du domaine. L'étude met en garde contre le fait que les résultats sont spécifiques à ce PICO et à ce pipeline et ne se généralisent pas automatiquement à d'autres sujets.
• Recommandation de métrique : Les auteurs renforcent la nécessité d'utiliser le PABAK et l'AC1 de Gwet plutôt que le kappa de Cohen pour la validation du criblage des RS en raison de l'instabilité de la prévalence.

En conclusion, l'article établit qu'un filtre basé sur des règles peut décharger en toute sécurité la majeure partie de la charge de travail de criblage dans ce contexte médical spécifique, mais il ne prétend pas que les LLM peuvent actuellement remplacer le jugement humain pour la tâche critique d'identification des études pertinentes.