Evaluating a Locally Deployed 20-Billion Parameter Large Language Model for Automated Abstract Screening in Systematic Reviews

Dit onderzoek toont aan dat een lokaal gehost 20-miljard-parameter taalmodel met een gevoeligheidsgerichte prompting-strategie abstracts voor systematische reviews 4,7 keer sneller kan screenen dan mensen, hoewel de nauwkeurigheid varieert per domein en het model momenteel het beste als tweede screener naast menselijke beoordelaars kan worden ingezet.

De kern

📚 De Grote Boekenkast en de Slimme Robot

Stel je voor dat je een enorme boekenkast hebt met 16.646 boeken (wetenschappelijke artikelen). Je wilt weten welke boeken echt belangrijk zijn voor een specifiek onderwerp, bijvoorbeeld "Hoe robots helpen bij kinderoperaties" of "Hoe ouders zich voelen als hun kind geopereerd is".

In de wereld van de wetenschap heet dit een systematische review. Normaal gesproken moeten twee menselijke experts elk boekje één voor één lezen, beslissen of het relevant is, en dat doen ze vaak wekenlang. Dat is als proberen een hele berg zand te tellen met je blote handen: het kost enorm veel tijd en energie.

🤖 De Oplossing: Een Lokale Robot

De auteurs van dit onderzoek hebben een slimme computer (een AI of "Large Language Model") gebruikt om dit sneller te doen. Maar ze hadden een belangrijk probleem: ze wilden niet dat de gegevens naar een wolk (zoals Google of Microsoft) gaan, omdat dat privacyproblemen kan geven.

De oplossing? Ze hebben de robot lokaal op hun eigen computer laten draaien.

• Vergelijking: In plaats van je geheime familiealbum naar een postkantoor te sturen om te scannen, heb je een scanner in je eigen huiskamer staan. Niemand anders ziet je foto's, en je hebt de volledige controle.

🎯 De Strategie: "Twijfel je? Neem het maar mee!"

De robot kreeg een speciale opdracht (een "prompt"). Normaal gesproken zou een computer proberen om fouten te vermijden en alleen het "perfecte" boekje te kiezen. Maar in de wetenschap is het erger om een belangrijk boekje te missen dan om een onbelangrijk boekje per ongeluk mee te nemen.

Dus kregen ze de opdracht: "Twijfel je? Dan neem je het boekje gewoon mee!"

• Vergelijking: Stel je bent een poortwachter op een festival. Als je twijfelt of iemand een ticket heeft, laat je ze binnen. Later, bij de bar, kun je zien of ze echt een ticket hadden. Het is beter om 100 mensen binnen te laten die geen ticket hebben (die je er later weer uit haalt), dan om één persoon met een ticket buiten te laten staan.

📊 Wat vonden ze?

De robot heeft 16.646 abstracts (samenvattingen van artikelen) bekeken. Hier zijn de resultaten, vertaald naar alledaags taal:

1. Snelheid: De robot was 4,7 keer sneller dan de mensen. Wat een mens 26 uur kostte, deed de robot in 5,5 uur.
2. Precisie bij technische onderwerpen: Bij onderwerpen over technologie (zoals robots in de chirurgie) was de robot perfect. Hij mistte geen enkel belangrijk artikel.
3. Moeilijkere onderwerpen: Bij onderwerpen over gevoelens en stress (zoals "stress bij ouders") was de robot iets minder goed (missen 1 op de 7 artikelen).
   • Waarom? Technische regels zijn vaak hard en duidelijk (bijv. "moet een robot bevatten"). Emotionele onderwerpen zijn vaag en subjectief, wat lastiger is voor een computer om te begrijpen.

🤝 De Mens en de Robot: Een Perfect Team

Het meest interessante resultaat was dat zowel de mens als de robot fouten maakten, maar vaak op verschillende artikelen.

• De robot vond 11 belangrijke artikelen die de mens per ongeluk had weggegooid.
• De mens vond 13 belangrijke artikelen die de robot had gemist.

De conclusie: Je kunt de robot niet volledig vertrouwen om alles alleen te doen, maar je kunt hem ook niet negeren.

• Vergelijking: Het is alsof je een tweede paar ogen hebt. De mens kijkt eerst, de robot kijkt daarna. Als ze het niet eens zijn, komt een senior expert (de "scheidsrechter") kijken wie gelijk heeft.

💡 Wat betekent dit voor de toekomst?

De onderzoekers zeggen: "Gebruik deze slimme robot als tweede screeners."
Laat de mens en de robot onafhankelijk van elkaar werken. Als ze het oneens zijn, laat een expert beslissen. Zo bespaar je tijd (want de robot doet het zware werk), maar behoud je de kwaliteit en veiligheid van de menselijke controle.

Kort samengevat:
Deze lokale robot is een snelle, privacy-vriendelijke helper die geweldig werkt bij harde feiten, maar nog een beetje hulp nodig heeft bij zachte, emotionele onderwerpen. Samen met mensen kunnen ze de wetenschap veel sneller en beter maken.

Technische samenvatting

Titel: Evaluatie van een lokaal gedeployerd LLM met 20 miljard parameters voor geautomatiseerde abstractscreening in systematische reviews

1. Het Probleem

Systematische reviews (SR's) zijn essentieel voor evidence-based medicine, maar het proces van het screenen van abstracten is extreem tijdrovend en resource-intensief. Traditionele methoden vereisen ten minste twee onafhankelijke reviewers en een derde expert voor het oplossen van meningsverschillen. Met de exponentiële groei van wereldwijd onderzoek worden reviews vaak verouderd voordat ze gepubliceerd zijn.
Hoewel cloudgebaseerde Large Language Models (LLM's) potentieel bieden voor automatisering, worden ze in onderzoeksomgevingen vaak beperkt door zorgen over:

• Dataprivacy: Het risico dat gevoelige data de institutionele omgeving verlaat.
• Intellectueel eigendom: Beperkingen bij het gebruik van gesloten API's.
• Reproduceerbaarheid: Gebrek aan volledige controle over modelversies.

2. Methodologie

De auteurs hebben een methodologische studie uitgevoerd om de prestaties van een lokaal gedeployerd LLM te evalueren voor het screenen van abstracten.

• Model en Configuratie: Er werd gebruikgemaakt van GPT-OSS:20B (een open-source model met 20 miljard parameters), lokaal gedeployerd via het Ollama-framework. Dit garandeert dat data nooit de lokale omgeving verlaat en volledige versiebeheer mogelijk is.
• Datasets: De evaluatie omvatte drie onafhankelijke systematische reviews met in totaal 16.646 abstracts:
  1. SR1: AI-toepassingen in pediatries chirurgisch pathologie (n=3.350).
  2. SR2: LLM-toepassingen in elektronische gezondheidsdossiers (n=4.326).
  3. SR3: Ouderlijke stress en verzorgingslast bij chirurgisch behandelde kinderen (n=8.970).
• Prompting Strategie: Er werd een gevoeligheidsverhogende prompting-strategie (sensitivity-enhanced) toegepast. De prompt instrueerde het model expliciet om abstracts op te nemen wanneer er twijfel was ("When in doubt, INCLUDE"). De redenering is dat het uitsluiten van een relevant onderzoek (False Negative) een onherstelbare fout is, terwijl het opnemen van een irrelevant onderzoek (False Positive) later in het proces kan worden gefilterd.
• Validatie: Alle gevallen waarbij het LLM en de menselijke reviewer het oneens waren, ondergingen een blinde expert-adjudicatie door een senior onderzoeker. Dit maakte het mogelijk om fouten in zowel menselijke als AI-screening te kwantificeren.

3. Belangrijkste Resultaten

Na expert-adjudicatie toonde het LLM variabele maar veelbelovende prestaties:

• Sensitiviteit (na correctie):
  • SR1 (Technologie-focust): 100% (geen fouten gemist).
  • SR2 (Technologie-focust): 95,7%.
  • SR3 (Psychosociaal): 85,7%.
  • Overzicht: De LLM miste in totaal 13 relevante studies die door mensen wel waren gevonden.
• Menselijke Fouten: Het LLM slaagde erin om 11 relevante studies te identificeren die door de oorspronkelijke menselijke reviewers ten onrechte waren uitgesloten.
• Efficiëntie: Het LLM was 4,7 keer sneller dan menselijke reviewers. Het screenen van SR1 duurde 5,58 uur voor het LLM versus 26 uur voor mensen (gemiddeld ~6 seconden per abstract).
• Specifiteit: De specificiteit varieerde, maar bleef hoog (bijv. 97,9% in SR1, 99,99% in SR3), hoewel er meer False Positives waren in de technologie-gedreven reviews.

4. Kernbijdragen

1. Lokale Deployering: Het bewijs dat open-source LLM's lokaal kunnen worden ingezet voor wetenschappelijk werk, waardoor privacy- en reproduceerbaarheidsproblemen worden opgelost zonder afhankelijkheid van cloud-API's.
2. Complementariteit Mens-AI: De studie toont aan dat menselijke en AI-screeners vaak verschillende fouten maken. Het LLM vond studies die mensen misten en vice versa, wat suggereert dat een combinatie van beide de beste aanpak is.
3. Invloed van Criteria: De prestaties van het LLM zijn sterk afhankelijk van de objectiviteit van de opnamecriteria. Het model presteerde uitstekend bij concrete, technische criteria (SR1 & SR2), maar minder goed bij subjectieve, psychosociale criteria (SR3).
4. Validatiemethode: De toepassing van blinde expert-adjudicatie voor alle discrepante gevallen bleek cruciaal om de ware prestaties van zowel de mens als de AI te meten, in plaats van menselijke beslissingen als de "gouden standaard" te beschouwen.

5. Betekenis en Conclusie

De studie concludeert dat lokaal gedeployerde LLM's met gevoeligheidsverhogende prompts een veelbelovende tool zijn voor het versnellen van systematische reviews, met name voor technische onderwerpen. Echter, vanwege de variabiliteit in prestaties en het risico op het missen van relevante studies (vooral bij subjectieve criteria), wordt volledige automatisering niet aanbevolen.

Aanbeveling: LLM's moeten worden ingezet als tweede screener naast menselijke reviewers, waarbij meningsverschillen worden voorgelegd aan een expert. Deze hybride aanpak behoudt de wetenschappelijke rigour van dubbele screening, vermindert de werkdruk aanzienlijk en lost privacyzorgen op. Toekomstig onderzoek moet zich richten op het ontwikkelen van output met betrouwbaarheidsscores en validatie in diverse domeinen buiten de technologie.