Prospective validation of NeutrinoReview for LLM-assisted systematic review screening: an indoor air quality case study

Technische Samenvatting: Prospectieve Validatie van NeutrinoReview voor LLM-ondersteunde Systematische Review-screening

Probleemstelling
Systematische reviews zijn cruciaal voor het synthetiseren van bewijs, maar het screeningsproces—specifiek de screening van titels en abstracts—legt een substantiële werklast op. Om menselijke fouten en selectiebias te beperken, bevelen standaardrichtlijnen onafhankelijke screening door ten minste twee reviewers aan. Echter, deze "dubbele screening"-vereiste verhoogt de tijd en kosten van het uitvoeren van reviews aanzienlijk. Hoewel Large Language Models (LLMs) potentieel bieden voor het automatiseren of pre-filtreren van dit proces, is het bestaande bewijs grotendeels retrospectief. Retrospectieve evaluaties lijden aan beperkingen zoals potentiële datacontaminatie (indien het model getraind is op de benchmarkdata) en het onvermogen om post-hoc optimalisatie van prompts of drempelwaarden te voorkomen. Er is een gebrek aan prospectief bewijs uit live review-workflows die aantoont dat LLM-gebaseerde pre-filtratie de werklast kan verminderen zonder records uit te sluiten die uiteindelijk door menselijke consensus als relevant worden beschouwd.

Methodologie
Deze studie voerde een prospectieve validatie uit van NeutrinoReview, een open-source onderzoeksprototype voor LLM-ondersteunde screening, parallel aan een lopende systematische review van gemeten concentraties van binnenluchtverontreinigende stoffen in Italië.

• Studieontwerp: De evaluatie werd ontworpen als een niet-interventionele, prospectieve studie. De NeutrinoReview-screeningsoutputs en het evaluatieprotocol werden vastgelegd en geüpload naar een repository (Zenodo) voordat de handmatige consensus grondwaarheid beschikbaar was voor het analyse team. Dit "locked-output"-ontwerp voorkomt bias en zorgt ervoor dat de evaluatie werkelijk screeningsgedrag reflecteert in plaats van geoptimaliseerde reacties op bekende labels.
• Databron: De bronreview leverde 1.383 gededupliceerde kandidaat-records op. De uiteindelijke prestatie-analyse dataset bestond uit 1.344 records (112 uiteindelijk geïncludeerd, 1.232 uiteindelijk geëxcludeerd) op basis van de handmatige consensus van drie menselijke reviewers.
• LLM-configuratie: Screening werd uitgevoerd met een zelfgehost way LLaMA 3.1-8B instructiemodel. Zes verschillende screening-configuraties werden geëvalueerd:
  1. 5-tier Algoritme Varianten:
     • MaxSensitivity: Excludeerde alleen de laagste relevantie-categorie (Categorie 5).
     • Balanced: Excludeerde Categorieën 4 en 5.
     • Full Automation: Behield alleen de top twee categorieën (1 en 2) voor menselijke review.
  2. CAL-X Algoritme Varianten: Dit algoritme gebruikt next-token likelihood scores om laag-betrouwbare exclusies te behouden. Drie drempelwaarden werden getest, overeenkomend met gekalibreerde sensitiviteitsdoelstellingen:
     • CAL-95: Drempelwaarde 63 (95% sensitiviteitsdoelstelling).
     • CAL-98: Drempelwaarde 80 (98% sensitiviteitsdoelstelling).
     • CAL-99: Drempelwaarde 89 (99% sensitiviteitsdoelstelling).
• Vergelijkingsmateriaal: De prestaties van NeutrinoReview werden getoetst aan:
  • De handmatige consensus grondwaarheid (uiteindelijke inclusiestatus).
  • Gesimuleerde single-human screening workflows (individuele reviewer beslissingen).
  • Gesimuleerde double-human screening workflows (paren van reviewers).
• Metrieken: Primaire metrieken omvatten Sensitiviteit (proportie van uiteindelijk geïncludeerde records behouden) en Werklastreductie (proportie van records weggefilterd vóór menselijke screening). Kosten-simulaties werden ook uitgevoerd op basis van geobserveerde screeningstijden.

Belangrijkste Resultaten

• Sensitiviteit: Alle zes de NeutrinoReview-configuraties bereikten 100% sensitiviteit tegen de handmatige consensus grondwaarheid. Geen enkel record dat uiteindelijk door de menselijke reviewers werd geïncludeerd, werd uitgesloten door een van de LLM-configuraties.
• Werklastreductie: Werklastreductie varieerde aanzienlijk per configuratie:
  • CAL-99 (Meest conservatief): Verminderde de werklast met 37,1% (hield 846 records aan).
  • 5-tier Full Automation (Minst conservatief): Verminderde de werklast met 74,0% (hield 350 records aan).
  • Intermediaire configuraties (CAL-98, CAL-95, 5-tier Balanced, 5-tier MaxSensitivity) behaalden reducties variërend van 45,6% tot 66,4%.
• Prestaties van Menselijke Vergelijker:
  • Single-human workflows misten tussen de 5 en 7 uiteindelijk geïncludeerde records (Sensitiviteit: 93,8%–95,5%).
  • Double-human workflows misten tussen de 0 en 3 uiteindelijk geïncludeerde records (Sensitiviteit: 97,3%–100,0%).
  • De prestaties van NeutrinoReview in dit specifieke geval waren vergelijkbaar met of beter dan de geobserveerde double-human workflows met betrekking tot gemiste records.
• Kostenimplicaties: Simulaties gaven aan dat het gebruik van NeutrinoReview als een pre-filtratiestap tussen de CHF 571 en CHF 2.280 zou kunnen besparen (bij CHF 100/uur), afhankelijk van de configuratie en het aantal screeners betrokken, voornamelijk door het aantal records te verminderen dat handmatige titel/abstract screening vereist.

Betekenis en Claims
Het artikel claimt dat deze studie prospectief bewijs levert dat LLM-gebaseerde pre-filtratie de screeningslast in systematische reviews kan verminderen zonder de retrieval van relevante studies in gevaar te brengen, althans binnen de specifieke context van deze review en modelimplementatie.

• Geloofwaardigheid van Bevindingen: De auteurs benadrukken dat het "locked-output"-ontwerp de geloofwaardigheid van de 100% sensitiviteitsbevinding versterkt, aangezien het de mogelijkheid uitsluit dat het model of de analyse is afgestemd op de bekende grondwaarheid.
• Praktische Toepassing: De auteurs concluderen dat NeutrinoReview het meest verdedigbaar is als een aanvulling op menselijke screening in plaats van een vervanging. Specifiek bevelen zij de CAL-99 configuratie aan voor behoedzame praktische toepassing, omdat deze de prospectieve bevindingen combineert met sterker voorafgaand retrospectief bewijs voor hoge sensitiviteit.
• Beperkingen en Reikwijdte: Het artikel stelt expliciet dat deze resultaten niet geïnterpreteerd moeten worden als een algemene validatie voor alle review-onderwerpen, modellen of instellingen. De nul gemiste records in deze specifieke casus garandeert geen veiligheid in alle toekomstige implementaties. De auteurs merken op dat de studie beperkt was tot titel/abstract screening en geen rekening hield met full-text screening, conflictresolutie of infrastructuurkosten.
• Toekomstige Richting: De auteurs stellen dat verdere prospectieve evaluaties en veldtesten over meerdere reviews en domeinen noodzakelijk zijn voordat LLM's als ongesuperviseerde vervanging van menselijke screeners kunnen worden beschouwd. Totdat dergelijk bewijs beschikbaar is, moet het hulpmiddel worden gebruikt in gesuperviseerde of parallelle workflows.