Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

Technische Samenvatting: Validatie van een tweestaps geautomatiseerde screeningspipeline voor medische systematische reviews

Probleemstelling
Systematische reviews (SRs) kampen met een groeiende flessenhals in de titel–abstract screening door de exponentiële expansie van de biomedische literatuur. Hoewel Large Language Models (LLMs) een potentieel pad naar automatisering bieden, wordt hun validatie in dit domein vaak gecompromitteerd door ongepaste metrieken. Standaardmaten zoals de Cohen's kappa zijn wiskundig instabiel onder de lage prevalentie en ongebalanceerde klassenverdelingen die typerend zijn voor SRs. Bovendien missen bestaande validatiestudies vaak een combinatie van kritieke ontwerpkenmerken: een hybride tweestaps pipeline (regels + LLM), een drieweg-classificatieschema inclusief een apart gesamplede "onzekere" klasse, gestratificeerde steekproeftrekking, en het gebruik van prevalentierobuste overeenstemmingscoëfficiënten (PABAK en Gwet's AC1). Daarnaast wordt de geldigheid van vergelijkingen vaak in twijfel getrokken wanneer de ontwerper van de pipeline ook als menselijke validator dient.

Methodologie
Deze studie presenteert een prospectieve overeenkomsstudie die een tweestaps geautomatiseerde screeningspipeline valideert tegenover drie onafhankelijke menselijke reviewers binnen een medische systematische review context (Hoge on-treatment plaatjesreactiviteit, aspirine-resistentie en carotideaal plaque).

• Dataset: 904 records opgehaald uit meerdere databases (PubMed, Scopus, Europe PMC, OpenAlex, arXiv).
• Pipeline Architectuur:
  • Fase 1 (Regelgebaseerd): Een Python-script dat gebruikmaakt van PICO-afgeleide keyword heuristieken (geen ML/LLM) classificeert records in INCLUDE, EXCLUDE of UNCERTAIN.
  • Fase 2 (LLM Adjudicatie): Records die door Fase 1 als UNCERTAIN zijn gelabeld, worden verwerkt door DeepSeek V4 Pro (zero-shot, temperatuur = 0) via een vaste prompt om ze te resolveren naar INCLUDE of EXCLUDE.
• Validatieontwerp:
  • Steekproeftrekking: Een gestratificeerde steekproef van 185 records werd getrokken: 50 uit elk van de drie Fase 1 strata (INCLUDE, EXCLUDE, UNCERTAIN) en 35 uit de Fase 2 LLM-output.
  • Reviewers: Drie artsen beoordeelden de steekproef onafhankelijk en blind voor de automatische labels:
    1. E.P. (Pipeline-ontwerper, bekend met de corpus).
    2. D.C. (Extern aan het project).
    3. P.P.B. (Extern aan het project).
  • Metrieken: De studie maakte gebruik van sensitiviteit, specificiteit, PABAK en Gwet's AC1 (met $q=3$) om concordantie te meten. Er werd ook gerapporteerd over Work Saved over Sampling (WSS) en Number Needed to Read (NNR) in reactie op redactionele richtlijnen voor ML/GenAI evaluatie in SRs. Meerderheidslabels (2 van de 3) werden berekend als een aanvullend panel maar vervingen de pairwise tabellen niet als primaire referentie voor sensitiviteit.

Belangrijkste Bijdragen
Het artikel beweert de eerste studie te zijn die vijf specifieke methodologische dimensies simultaan combineert:

1. Een toepassing in het medische domein.
2. Een hybride tweestaps pipeline (regels + LLM).
3. Een drieweg-classificatie met een apart gesamplede onzekere klasse.
4. Gestratificeerde steekproeftrekking met drie onafhankelijke menselijke reviewers.
5. Dubbele rapportage van prevalentierobuste coëfficiënten (PABAK en Gwet's AC1) naast workload metrieken.

De studie adresseert expliciet de beperking van "designer-as-validator" door twee externe reviewers op te nemen en de analyse van de primaire exclusiebeslissing te scheiden van de secundaire fijne classificatie van geïncludeerde records.

Resultaten

• Primair Doel (Fase 1 Automatische Exclusie): De pipeline vertoonde bijna perfecte concordantie met menselijke reviewers wat betre betreft de beslissing om records automatisch uit te sluiten.
  • Fase 1-EXCLUDE Stratum: De pipeline sloot 670/904 records uit (74,1%).
  • Overeenkomst: PABAK en AC1 waren 1,000 versus E.P. (48/48) en D.C. (50/50). Versus P.P.B. was de overeenkomst PABAK = 0,940 / AC1 = 0,959 (48/50 EXCLUDE, 2 UNCERTAIN).
  • Menselijke Overeenkomst: De inter-menselijke overeenkomst was het hoogst tussen de twee externe lezers (PABAK = 0,854) en lager wanneer E.P. betrokken was, wat wijst op een potentieel bekendheidseffect, hoewel dit geen gemeten variabele was.
• Secundair Doel (Fijne Classificatie/INCLUDE): De pipeline presteerde slecht bij het identificeren van "INCLUDE" records.
  • Algehele Sensitiviteit: 0,800 versus E.P., 0,500 versus D.C., en 0,833 versus Berti.
  • False Negatives: De pipeline miste door mensen geïdentificeerde INCLUDE records, met name in Fase 2. Voor de vier records waar een meerderheid van de mensen instemde met "INCLUDE", labelde de machine ze als UNCERTAIN of EXCLUDE (0/4 recovery).
  • Fase 2 Prestaties: De LLM-adjudicatie van de 94 onzekere records resulteerde in 11 INCLUDE en 83 EXCLUDE, maar de sensitiviteit ten opzichte van menselijke labels bleef laag.
• Workload Metrieken: De WSS van 74,1% weerspiegelt het aandeel records dat door de Fase 1 filter werd verwijderd, gevalideerd door de gesamplede EXCLUDE stratum.

Significantie en Claims
Het artikel definieert de reikwijdte en significantie bescheiden:

• Gevalideerde Capaciteit: De studie valideert de Fase 1 automatische-exclusiebeslissing als een betrouwbare methode om ongeveer 74% van de records (de "overduidelijk irrelevante" papers) uit een systematische review workflow te verwijderen. Drie onafhankelijke artsen bevestigden deze exclusie-sectie.
• Niet-gevalideerde Capaciteit: De studie stelt expliciet dat de fijne classificatie van INCLUDE records niet is gevalideerd. Mensen vertoonden zelf ook een lage overeenkomst over welke resterende records "INCLUDE" waren (de triple intersection was slechts één record), en de machine slaagde er niet in de weinige records te herstellen waar mensen het over "INCLUDE" eens waren.
• Methodologische Implicatie: De resultaten suggereren dat hoewel automatisering effectief kan omgaan met de bulk van de exclusietaken, de resterende taak van het identificeren van relevante studies een menselijke, domeinkennis-vereiste taak blijft. De studie waarschuwt dat de resultaten specif kind zijn aan deze PICO en pipeline en niet automatisch generaliseerbaar zijn naar andere onderwerpen.
• Metriek Aanbeveling: De auteurs benadrukken de noodzaak om PABAK en Gwet's AC1 te gebruiken boven Cohen's kappa voor de validatie van SR-screening vanwege de instabiliteit van prevalentie.

Concluderend stelt het paper vast dat een regelgebaseerde filter veilig de meerderheid van de screening workload in deze specifieke medische context kan afvangen, maar het claimt niet dat LLMs momenteel het menselijk oordeel kunnen vervangen voor de kritieke taak van het identificeren van relevante studies.