Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

Elk jaar produceert de wereld een verbluffende vloedgolf aan nieuwe wetenschappelijke artikelen. In vakgebieden variërend van geneeskunde tot milieugezondheid publiceren onderzoekers meer studies dan ooit tevoren, wat een overvloed aan informatie creëert die geen enkel menselijk team in een leven lang kan lezen. Om zin te krijgen in deze chaos, vertrouwen wetenschappers op een rigoureus proces dat een systematische review wordt genoemd. Dit is geen vluchtige blik op de literatuur; het is een methodische zoektocht naar elke individuele studie die een specifieke vraag beantwoordt, zoals of een bepaalde chemische stof schade veroorzaakt of of een nieuw medicijn beter werkt dan een oud middel. De eerste, en vaak meest uitputtende stap in deze zoektocht, is het screenen. Onderzoekers moeten de titels en korte samenvattingen van duizenden artikelen lezen, waarbij ze direct beslissen welke het waard zijn om te bewaren en welke weggegooid moeten worden. Als een relevante studie in deze fase wordt gemist, kan de gehele review gebrekkig zijn, wat leidt tot onjuiste conclusies over gezondheid en veiligheid. Decennialang was dit een taak die volledig door menselijke ogen werd uitgevoerd, een trage, dure en arbeidsintensieve flessenhals die vitale antwoorden vertraagt.

Een team van onderzoekers van het Bundesamt für Strahlenschutz in Duitsland heeft nu een nieuwe manier getest om dit probleem aan te pakken met behulp van kunstmatige intelligentie. Ze onderzochten of grote taalmodellen — geavanceerde computerprogramma's die menselijke taal kunnen begrijpen en genereren — als een eerste filter konden fungeren, door deze duizenden titels en abstracts te lezen om te beslissen welke de aandacht van een mens verdienen. Het doel was niet om menselijke beoordelaars te vervangen, maar om te fungeren als een krachtige assistent die het zware werk kon doen, door het overgrote deel van de irrelevante papers te verwijderen terwijl gegarandeerd wordt dat er nooit per ongeluk een belangrijke studie wordt weggegooid. De onderzoekers behandelden dit als een wetenschappelijk experiment, waarbij ze tientallen verschillende manieren bouwden en testten om de computer de opdracht te geven het werk te doen, waarbij ze zorgvuldig mat hoe goed elke methode werkte voordat ze het met echte gegevens vertrouwden.

Het team begon met het creëren van een gecontroleerde testomgeving. Ze genereerden 100 synthetische samenvattingen van wetenschappelijke papers, waarvan de helft ontworpen was om te voldoen aan de strikte criteria voor inclusie en de andere helft ontworpen was om te falen. Met deze kleine set probeerden ze een breed scala aan strategieën uit. Sommige strategieën vroegen de computer om een simpel ja-of-nee antwoord te geven. Andere vroegen de computer om de beslissing op te splitsen door vijf specifieke onderdelen van het ontwerp van een studie afzonderlijk te evalueren: de betrokken mensen, de blootstelling of behandeling, de controlegroep, de gemeten uitkomst en het type studie. Ze testten ook of het de computer helpen om een paar voorbeelden van goede en slechte papers te geven voordat de computer nieuwe papers beoordeelt, en of het vragen aan de computer om zijn redenering voor elke beslissing uit te leggen de nauwkeurigheid zou verbeteren. Ze voerden deze tests uit op zowel open-source modellen, die op lokale computers kunnen draaien, als op propriëtaire modellen van grote technologiebedrijven, waarbij ze snelheid, kosten en nauwkeurigheid vergeleken.

Na het verfijnen van de beste benaderingen, gingen de onderzoekers over naar een meer rigoureuze fase, waarbij ze hun beste kandidaten testten op drie echte systematische reviews die al door menselijke experts waren voltooid. Deze reviews richtten zich op de gezondheidseffecten van radiofrequente elektromagnetische velden, een onderwerp dat het onderzoeksteam goed kent. Hier was de taak van de computer om naar de duizenden titels en abstracts van de oorspronkelijke zoekopdrachten te kijken en te beslissen welke de mensen uiteindelijk hadden behouden. De resultaten waren opmerkelijk. De meest succesvolle workflows waren in staat om bijna elke studie die de mensen hadden opgenomen te identificeren, waarbij een sensitiviteit van meer dan 96 procent werd behaald. Dit betekent dat als er 100 relevante studies verborgen zouden zitten in een stapel van duizenden, de computer er minstens 96 zou vinden. Tegelijkertijd was het systeem in staat om het overgrote deel van de irrelevante papers correct te identificeren en weg te gooien, waardoor het aantal records dat een mens moest lezen met meer dan 80 procent werd verminderd.

De studie onthulde ook dat de grootte van het computermodel er minder toe deed dan de manier waarop de computer werd gevraagd om te werken. De onderzoekers ontdekten dat de meest effectieve benadering niet het gebruik van de grootste, duurste beschikbare modellen was, maar het gebruik van kleinere, kostenefficiëntere modellen die werden gestuurd door een specifieke methode. Deze methode hield in dat het model werd gevraagd om naar de vijf kernonderdelen van het ontwerp van een studie afzonderlijk te kijken en een korte uitleg te geven voor waarom het een onderdeel accepteerde of afwees. Deze stapsgewijze redenering, gecombineerd met een paar voorbeelden van wat een goede of slechte studie is, stelde zelfs de kleinere, goedkopere modellen in staat om te presteren met bijna menselijke nauwkeurigheid. De onderzoekers ontdekten dat het opdelen van de taak in vijf aparte vragen voor de computer om parallel te beantwoorden de nauwkeurigheid juist verminderde, wat suggereert dat de computer het beste werkt wanneer hij het hele plaatje in één keer overziet, zelfs als hij de onderdelen in detail analyseert.

Toen het team hun best presterende workflows nam en deze testte op acht volledig andere systematische reviews, variërend van kankeronderzoek tot de behandeling van artritis, bleven de resultaten standhouden. Het systeem vond consequent bijna alle relevante studies terwijl het de ruis wegfilterde. De kosten voor het draaien van dit proces waren opmerkelijk laag, ongeveer één Amerikaanse dollar voor elke 1.000 gescreende records. Dit suggereert dat de technologie niet alleen een theoretische mogelijkheid is, maar een praktisch hulpmiddel dat kan worden gebruikt door onderzoeksteams met beperkte budgetten. De onderzoekers merkten op dat het systeem niet perfect is; het had soms moeite met papers die zeer weinig informatie bevatten, zoals die met alleen een titel en geen abstract. In die gevallen markeerde het systeem de paper wijs voor een menselijke controle, om er zeker van te zijn dat er niets belangrijks verloren ging.

De studie concludeert dat kunstmatige intelligentie nu een zeer betrouwbare partner kan zijn in het wetenschappelijke proces. Door een zorgvuldig ontworpen workflow te gebruiken die de computer vraagt om stap voor stap door de criteria te denken en zijn keuzes uit te leggen, kunnen onderzoekers de tijd en inspanning die nodig is om de literatuur te beoordelen drastisch verminderen. Dit betekent niet dat mensen overbodig zijn; het betekent eerder dat zij hun energie kunnen richten op de papers die er echt toe doen, met het vertrouwen dat de computer de eerste ronde al heeft gedaan. Het werk biedt een duidelijk, transparant kader voor hoe deze technologie verantwoord kan worden ingezet, en biedt een pad voor een snellere, efficiëntere synthese van bewijs in een wereld waar wetenschappelijke kennis sneller groeit dan ooit tevoren.