High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

Elke keer dat een team van onderzoekers zich ermee bemoeit om een medische behandeling te begrijpen, moeten ze eerst de feiten verzamelen uit tientallen, soms honderden, individuele studies. Dit proces, bekend als een systematische review, is het fundament van de moderne medische bewijsvoering. Het vereist dat wetenschappers door dichte rapporten lezen en specifieke cijfers extraheren: hoeveel patiënten er betrokken waren, welke dosering zij ontvingen en wat de uitkomsten waren. Als een enkel getal onjuist wordt gekopieerd, kan de gehele conclusie van de review verschuiven, wat er potentieel toe kan leiden dat artsen de verkeerde behandeling aanbevelen. Decennialang is dit werk door menselijke handen gedaan, een traag en nauwgezet proces waarbij vaak twee mensen hetzelfde document onafhankelijk van elkaar hebben gelezen om fouten op te sporen. Het is de gouden standaard voor nauwkeurigheid, maar het is ook ongelooflijk tijdrovend en kostbaar.

In de afgelopen jaren is er een nieuw instrument in dit domein binnengekomen: grote taalmodellen. Dit zijn krachtige computerprogramma's die getraind zijn op enorme hoeveelheden tekst en die een wetenschappelijk artikel kunnen lezen en proberen dezelfde cijfers te extraheren als een mens zou doen. De hoop is geweest dat deze kunstmatige intelligentiesystemen het zware werk konden doen, het proces konden versnellen en menselijke experts konden vrijmaken voor complexer denken. Maar naarmate deze tools gebruikelijker zijn geworden, is er een kritische vraag ontstaan: kunnen we erop vertrouwen dat ze net zo nauwkeurig zijn als mensen, en blijft hun prestatie consistent, ongeacht wat voor soort informatie er van hen gevraagd wordt?

Een nieuwe studie door Carlos Darcy Alves Bersot en zijn collega's werpt een diepe, statistische blik op deze vraag. Ze vroegen niet simpelweg of de machines werken; ze verzamelden elk beschikbaar rapport dat deze modellen tegen een door mensen gemaakte standaard had getest en combineerden de resultaten om het volledige beeld te zien. Wat zij vonden, is een verhaal van twee zeer verschillende realiteiten die naast elkaar bestaan. Aan de ene kant is de gemiddelde prestatie van deze kunstmatige intelligentiesystemen verrassend hoog. Aan de andere kant verbergt dat gemiddelde een chaotische realiteit waarbij de prestaties wild kunnen schommelen, afhankelijk van de specifieke taak die voorhanden is.

De onderzoekers verzamelden gegevens uit zesentveertig verschillende rapporten, die drieënveertig onafhankelijke onderzoeken vertegenwoordigden. Ze richtten zich specifiek op het moment voordat een mens naar het werk van de machine kijkt. Ze wilden weten: als een groot taalmodel wordt gevraagd om een stuk informatie te extraheren, hoe vaak heeft het het dan in de eerste poging goed? Toen ze de resultaten uit acht belangrijke studies samenvoegden die aan hun strikte criteria voldeden, was het antwoord bemoedigend. De modellen hadden ongeveer 86,4 procent van de tijd het juiste antwoord. Dit getal suggereert dat deze tools in algemene zin zeer capabel zijn.

Echter, het verhaal eindigt niet bij dat gemiddelde getal. De onderzoekers keken dieper en ontdekten dat dit hoge gemiddelde gebouwd was op een fundament van extreme inconsistentie. Ze berekenden een bereik dat laat zien wat voor soort prestaties men zou kunnen verwwerpen in een nieuwe, onbekende situatie. Dit bereik strekte zich uit van een laag van 19,2 procent tot een hoog van 99,4 procent. Om dit in perspectief te plaatsen: stel je een student voor die een toets maakt en een gemiddelde score van 86 procent haalt. Als de scores van die student op individuele toetsen varieerden van falen tot perfectie, zou je niet vol vertrouwen een klas binnensturen om papieren te nakijken. Dezelfde logica is hier van toepassing. Het feit dat het gemiddelde hoog is, garandeert niet dat de machine goed zal presteren in een specifiek, reëel scenario.

De studie onthult dat het type informatie dat geëxtraheerd wordt, een enorm verschil maakt. Wanneer de taak bestaat uit eenvoudige, duidelijk geformuleerde feiten, presteren de modellen erg goed. Maar wanneer de taak vereist om getallen te vinden die begraven liggen in complexe tabellen, ambigue tekst te interpreteren, of data te extraheren die ontbrekend of slecht gerapporteerd zijn, daalt de nauwkeurigheid aanzienlijk. In één specifiek geval, waarbij het model open informatie moest vinden die herinnering aan details vereiste in plaats van alleen het kopiëren ervan, kelderde de nauwkeurigheid naar slechts 17 procent. Deze enkele studie, met zijn zeer afwijkende taak, trok het algemene gemiddelde naar ben{%} onder en verbredde het bereik van de mogelijke uitkomsten. Wanneer de onderzoekers deze uitschieter verwijderden om naar meer vergelijkbare, gestructureerde taken te kijken, steeg de gemiddelde nauwkeurigheid naar 91,2 procent, maar zelfs dan kon de prestatie nog steeds sterk variëren van de ene naar de andere setting.

De onderzoekers onderzochten ook hoe deze tools omgaan met numerieke gegevens, wat het meest cruciale deel van een medische review is. Hier waren de resultaten gemengd. In sommige zeer gestructureerde tests bereikten de modellen bijna perfecte nauwkeurigheid en kregen ze 99 procent van de getallen goed. In andere studies met andere soorten data daalde de nauwkeurigheid naar ongeveer 63 procent. Deze inconsistentie betekent dat een onderzoeker er niet vanuit kan gaan dat omdat een model goed is in het ene, het ook in alles goed zal zijn. Een model dat uitblinkt in het vinden van een medicijnnaam, kan er rampzalig in falen om het exacte aantal patiënten te vinden dat een bijwerking ervoer.

Nog een cruciale bevinding betreft de workflow. Veel studies keken naar hoe deze tools presteren wanneer mensen betrokken zijn bij het proces, zoals wanneer een mens het werk van de machine controleert of wanneer de machine fungeert als een tweede lezer. Deze door mensen ondersteunde workflows laten vaak betere resultaten zien en besparen tijd. Echter, de studie maakt een duidelijk onderscheid: de snelheid en nauwkeurigheid van een mens die met een machine werkt, zijn niet hetzelfde als de machine die alleen werkt. De tijdsbesparingen die in sommige studies worden gerapporteerd, komen vaak voort uit het feit dat de machine een eerste concept maakt, maar de mens moet nog steeds tijd besteden aan het verifiëren en corrigeren van het werk. De machine elimineert de noodzaak voor menselijk toezicht niet; het verandert slechts de aard van het werk.

De onderzoekers keken ook naar de kwaliteit van de studies die zij hebben beoordeeld en ontdekten dat veel methodologische gebreken vertoonden. Sommige studies legden niet duidelijk uit hoe zij de modellen hadden getest, of zij gebruikten dezelfde data om zowel het model te trainen als te testen, wat de resultaten mooier kan doen lijken dan ze werkelijk zijn. Vanwege deze beperkingen en het kleine aantal werkelijk onafhankelijke studies die beschikbaar zijn, kunnen de onderzoekers niet met absolute zekerheid zeggen dat deze tools in elke toekomstige situatie perfect zullen werken. Het bewijs suggereert dat hoewel de tools krachtig zijn, ze nog niet betrouwbaar genoeg zijn om menselijke reviewers volledig te vervangen.

De conclusie van dit werk is niet dat kunstmatige intelligentie een mislukking is, maar dat het een instrument is dat zorgvuldige behandeling vereist. De hoge gemiddelde nauwkeurigheid is echt, maar het is een misleidende benchmark als het uit zijn context wordt gehaald. Het vertelt ons dat de technologie potentie heeft, maar het waarschuwt ons ook dat prestaties fragiel zijn. Een systeem dat goed werkt voor één type data-extractie, kan volledig falen voor een ander. De onderzoekers betogen dat de beste weg vooruit niet is om de machines blind te vertrouwen, maar om ze te gebruiken als onderdeel van een risico-adaptieve strategie. Voor eenvoudige, duidelijke taken kunnen ze met vertrouwen worden gebruikt. Voor complexe, numerieke of ambigue data blijft menselijke verificatie essentieel.

Uiteindelijk verschuift deze studie het gesprek van "Kan de machine het?" naar "Onder welke omstandigheden kan de machine het?". Het antwoord is dat de machine het goed kan, maar alleen wanneer de omstandigheden juist zijn. De hoge gemiddelde score is een belofte van capaciteit, maar de grote variabiliteit is een waarschuwing voor onvoorspelbaarheid. Voor de wetenschappers die op deze reviews vertrouwen om de medische praktijk te sturen, is de les duidelijk: de machine is een nuttige assistent, maar het is nog geen vervanging voor het zorgvuldige, kritische oog van een menselijke expert. De toekomst van de bewijsvoering zal waarschijnlijk een partnerschap inhouden waarbij de machine de omvang afhandelt en de mens de geldigheid waarborgt, met het besef dat de prestaties van de machine nooit een garantie zijn, maar een variabele die constant gecontroleerd moet worden.