Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

In de wereld van medisch onderzoek is de meest betrouwbare manier om een vraag te beantwoorden het verzamelen van elke studie die ooit over dat onderwerp is geschreven, ze allemaal lezen en hun bevindingen combineren tot één helder beeld. Dit proces wordt een systematische review genoemd. Het is de gouden standaard voor het bepalen van welke behandelingen wel en welke niet werken, en vormt de ruggengraat van moderne klinische richtlijnen. Het creëren van deze reviews is echter een monumentale taak. Het vereist teams van onderzoekers die maanden of zelfs jaren besteden aan het doorzoeken van miljoenen artikelen, het lezen van abstracts om te beslissen welke ertoe doen, het extraheren van specifieke cijfers uit de volledige teksten en het controleren van de kwaliteit van het onderzoek om te waarborgen dat het betrouwbaar is. Het proces is zo arbeidsintensief dat het honderdduizenden dollars kan kosten en de aankomst van levensreddende informatie bij artsen en patiënten kan vertragen.

Onlangs is er een nieuw soort computerprogramma opgekomen, bekend als een groot taalmodel. Dit zijn systemen die getraind zijn op enorme hoeveelheden menselijke tekst en die taal kunnen lezen, begrijpen en genereren op manieren die vaak menselijke intelligentie nabootsen. Onderzoekers zijn gaan afvragen of deze hulpmiddelen het zware werk van het maken van systematische reviews kunnen overnemen, waardoor een maandenlange onderneming een kwestie van uren wordt. De hoop is dat deze machines de repetitieve, data-intensieve delen van het werk kunnen afhandelen, waardoor menselijke experts vrijkomen om zich te concentreren op de complexe beslissingen die diep oordeelsvermogen vereisen. Maar om dit te laten gebeuren, moeten de machines nauwkeurig genoeg zijn om vertrouwd te worden met de levens van patiënten.

Een team van onderzoekers aan de Université de Montréal en McGill University besloot dit idee te testen met een zeer praktische aanpak. Ze probeerden niet een complex, volledig geautomatiseerd robotprogramma te bouwen dat het hele reviewproces van begin tot eind uitvoert. In plaats daarvan vroegen ze een specifieke, geavanceerde versie van een groot taalmodel om elke belangrijke stap van een systematische review één voor één uit te voeren, met behulp van alleen eenvoudige instructies en de gegevens van vijf eerder gepubliceerde medische reviews. Het doel was om te zien of een standaardgebruiker, zonder speciale training in kunstmatige intelligentie, de computer het werk net zo goed kon laten doen als een menselijk team. De onderzoekers concentreerden zich op vijf verschillende fasen: het creëren van de zoektermen om artikelen te vinden, het screenen van de titels en abstracts om relevante studies te selecteren, het extraheren van specifieke datapunten uit de volledige teksten, het beoordelen van de kwaliteit en de potentiële bias van de studies, en tot slot het combineren van de gegevens om de definitieve resultaten te produceren.

De resultaten onthulden een verhaal van verrassende sterktes en duidelijke beperkingen. Wanneer het ging om het naar boven halen van specifieke cijfers en feiten uit de tekst van medische artikelen, was het computermodel opmerkelijk goed. Sterker nog, het presteerde beter dan de oorspronkelijke menselijke auteurs die de reviews hadden geschreven. Toen de onderzoekers de geëxtraheerde gegevens van de computer vergeleken met een nieuwe, zeer rigoureuze standaard die door deskundige beoordelaars was opgesteld, was de machine in 93 procent van de gevallen correct. Het was ook sneller en deed er slechts minuten over om te doen waar mensen uren aan besteedden. Op dezelfde manier, toen de computer werd gevraagd om de kwaliteit van de studies te beoordelen en potentiële gebreken of biases te identificeren, presteerde de computer opnieuw beter dan de mensen, met een nauwkeurigheid van 83 procent. De onderzoekers merkten op dat wanneer de computer een fout maakte bij het beoordelen van de kwaliteit, de machine de neiging had overdreven voorzichtig te zijn, door een studie als riskant te markeren terwijl deze misschien veilig was, wat vaak een veiligere fout is dan het missen van een echt probleem.

De machine worstelde echter aanzienlijk met de eerdere stadia van het proces, waarbij zij beslissingen moest nemen op basis van onvolledige informatie. Wanneer de computer werd gevrand om de zoekstrings te genereren — de specifieke lijsten met woorden die worden gebruikt om artikelen in medische databases te vinden — vond zij ongeveer 85 procent van de relevante artikelen die mensen hadden gevonden. Dit was een redelijk resultaat, maar het betekende dat zij een aanzienlijk deel van de literatuur miste. De situatie verslechterde toen de computer probeerde de volledige tekst van de artikelen te screenen om te beslissen welke zij in de definitieve review zou opnemen. In deze stap miste het model meer dan de helft van de belangrijke artikelen die de menselijke beoordelaars correct hadden geïdentificeerd. Hoewel de computer erg goed was in weten wat niet opgenomen moest worden, was zij slecht in het vinden van de juiste zaken om te bewaren. Dit suggereert dat hoewel de machine een krachtig hulpmiddel kan zijn voor het lezen en organiseren van gegevens, zij nog niet klaar is om mensen te vervangen in de initiële, kritieke fasen van het beslissen welke onderzoek relevant is.

De laatste stap omvatte het combineren van de gegevens om de algemene resultaten van de review te berekenen. Hier produceerde de computer cijfers die zeer dicht bij de menselijke resultaten lagen, hoewel ze niet altijd exact identiek waren. De verschillen waren klein en werden waarschijnlijk veroorzaakt door de manier waarop de machine ambigue gegevens interpreteerde of kleine berekeningsdetails afhandelde. De onderzoekers ontdekten dat de computer deze resultaten in seconden kon genereren, een taak die een mens veel langer zou kosten. Echter, de studie benadrukte dat het perfect krijgen van de computer hiervoor zeer specifieke, gedetailleerde instructies vereiste over hoe om te gaan met ontbrekende gegevens en welke statistische methoden te gebruiken. Zonder deze zorgvuldige begeleiding konden de resultaten licht afwijken van de waarheid.

De studie concludeert dat de weg naar de automatisering van medisch onderzoek geen enkele sprong is, maar een reeks stappen waarbij verschillende instrumenten nodig zijn voor verschillende taken. Voor taken die het lezen en extraheren van feiten inhouden, zoals het halen van gegevens uit tabellen of het beoordelen van de kwaliteit van studies, zijn deze computermodellen al superieur aan mensen en kunnen ze onmiddellijk worden gebruikt om het werk te versnellen. Maar voor de meer subjectieve taken, zoals het beslissen over welke artikelen gezocht moeten worden of welke volledige teksten behouden moeten blijven, zijn de machines nog niet betrouwbaar genoeg om alleen te werken. De onderzoekers suggereren dat de meest effectieve aanpak voor niet-experts een hybride model is: laat de computer het zware werk van data-extractie en kwaliteitscontroles afhanden, terwijl menselijke experts in de loop blijven om de zoektocht te leiden en de uiteindelijke screeningbeslissingen te nemen. Deze samenwerking zou de tijd en kosten voor het produceren van medisch bewijs drastisch kunnen verminderen zonder de nauwkeurigheid op te offeren waarop patiënten rekenen.