Accuracy and efficiency of using artificial intelligence for data extraction in systematic reviews. A noninferiority study within reviews

Deze studie toont aan dat het gebruik van kunstmatige intelligentie (Elicit) voor gegevensextractie in systematische reviews niet inferieur is aan menselijke extractie wat betreft nauwkeurigheid, maar wel aanzienlijk sneller en goedkoper is.

De kern

Titel: De AI-assistent versus de Menselijke Onderzoeker: Wie is de snelste en nauwkeurigste?

Stel je voor dat je een enorme bibliotheek moet doorzoeken om de beste recepten voor een gezond leven te vinden. Je moet 50 verschillende kookboeken (wetenschappelijke studies) lezen en de belangrijkste ingrediënten en stappen eruit halen. Dit is wat wetenschappers doen bij een "systematisch review": ze verzamelen alle bewijs om te beslissen wat werkt en wat niet.

Maar hier is het probleem: dit werk is extreem saai, tijdrovend en menselijke onderzoekers maken vaak fouten omdat ze moe worden. Het is alsof je probeert een heel boek uit je hoofd te onthouden terwijl je hard loopt.

De vraag die deze studie beantwoordt, is: Kan een slimme computer (kunstmatige intelligentie of AI) dit werk net zo goed doen als een mens, maar dan veel sneller?

Hier is wat ze hebben gedaan, vertaald in een simpel verhaal:

1. Het Experiment: De Grote Kookwedstrijd

De onderzoekers hebben een wedstrijd georganiseerd met twee teams, elk met één "chef" (een onderzoeker). Ze kregen allebei dezelfde 50 kookboeken (studies) en dezelfde lijst met ingrediënten die ze moesten noteren.

• Team Mens: Moest alle informatie zelf in de boeken zoeken en handmatig overtypen.
• Team AI: Kreeg een slimme assistent genaamd Elicit®. Deze assistent las de boeken voor de mens, haalde de informatie eruit en vulde het formulier in. De mens keek er nog even over heen om te controleren of het klopte.

Het doel was niet om te zien wie het snelste was, maar of de AI-assistent niet slechter was dan de mens. In de wereld van onderzoek noemen we dit een "non-inferiority" studie: is de nieuwe methode net zo goed als de oude?

2. De Resultaten: Wie wint?

De Nauwkeurigheid (De Smakenproef)
Stel je voor dat je de resultaten laat proeven door een blind proefpersoon (een onafhankelijke expert).

• Het verdict: Beide teams maakten bijna evenveel fouten. De AI-assistent was net zo nauwkeurig als de mens.
• De verrassing: Bij het noteren van specifieke details over de "interventie" (het recept zelf) en de "controlegroep" (de mensen die het recept niet kregen), was de AI zelfs beter dan de mens! De mens was hier wat slordiger.
• De "Hallucinaties": Mensen maken zich vaak zorgen dat AI dingen verzonnen (hallucineert). In dit experiment verzonnen de AI-assistenten net zo weinig onzin als de mensen.

De Snelheid (De Kooktijd)
Hier wint de AI met gemak.

• Het menselijke team had gemiddeld 25 minuten langer nodig per kookboek dan het team met de AI-assistent.
• Als je dit rekent voor een heel groot project, bespaar je honderden uren. Het is alsof de AI-assistent de hele dag al heeft voorgekookt, zodat de mens alleen nog maar hoeft te serveren.

De Kosten (De Rekening)
Omdat de AI zo snel was, kostte het minder geld.

• Het team met de AI-assistent was ongeveer 182 euro goedkoper dan het menselijke team. Dit komt omdat de mens minder tijd nodig had om te werken (en dus minder betaald kreeg voor zijn tijd), ondanks dat ze een abonnement op de AI moesten betalen.

3. Wat betekent dit voor de wereld?

Deze studie is als een bewijs dat je in de toekomst niet twee mensen nodig hebt om hetzelfde werk te doen. Je kunt één mens en één AI-assistent nemen.

• Vroeger: Twee mensen zaten uren te typen en maakten fouten door vermoeidheid.
• Nu: Eén mens werkt samen met een AI. De AI doet het zware, saaie werk (zoals het uitlezen van 50 boeken), en de mens kijkt er als een "kwaliteitscontroleur" overheen.

Conclusie in één zin:
De AI-assistent (Elicit®) is net zo betrouwbaar als een mens, maar werkt als een racefiets in plaats van een wandelstok, en kost bovendien minder geld. Het is een win-win situatie voor de wetenschap!

Let op: Dit is een proefversie (nog niet officieel goedgekeurd door alle experts), maar het resultaat is veelbelovend. Het betekent dat we in de toekomst sneller betere medische adviezen kunnen geven aan de bevolking.

Technische samenvatting

Titel: Nauwkeurigheid en efficiëntie van het gebruik van kunstmatige intelligentie voor data-extractie in systematische reviews: Een non-inferioriteitsstudie binnen reviews

1. Het Probleem

Systematische reviews zijn cruciaal voor het informeren van gezondheidsbeleid en programma-selectie, maar het proces is extreem arbeidsintensief en tijdrovend. Data-extractie wordt beschouwd als een van de meest foutgevoelige stappen, met foutpercentages die tot 50% kunnen lopen. De huidige best practices vereisen dat twee auteurs onafhankelijk data extraheren, gevolgd door een consensusproces, wat de tijdsinvestering per studie aanzienlijk verhoogt (gemiddeld 107 tot 172 minuten per auteur). Er is een dringende behoefte aan innovatieve methoden die zowel de nauwkeurigheid als de efficiëntie van dit proces kunnen verbeteren zonder de validiteit van de resultaten te compromitteren.

2. Methodologie

De auteurs voerden een non-inferioriteits "Study Within A Review" (SWAR) uit om te bepalen of data-extractie ondersteund door AI (met het tool Elicit®) niet inferieur is aan traditionele menselijke data-extractie.

• Onderzoekspopulatie: 50 gerandomiseerde gecontroleerde studies (RCT's) over obesitaspreventie bij kinderen en adolescenten, geselecteerd uit een bestaande Cochrane-review.
• Design: Twee-armige, parallelle groepen.
  • AI-gesteunde arm: Data-extractie met behulp van Elicit® (Pro-abonnement, "high-accuracy mode"). Deelnemers kregen toegang tot de Elicit®-notebook met gegenereerde data en quotes, maar moesten de output zelf verifiëren en aanpassen. Er was geen training in het gebruik van Elicit®.
  • Menselijke arm: Data-extractie uitsluitend op basis van de originele PDF-documenten, zonder AI-ondersteuning.
• Deelnemers: Twee getrainde onderzoekers (master's niveau) die willekeurig werden toegewezen aan beide armen voor elke studie.
• Outcome-maatstaven:
  • Primair: Nauwkeurigheid (geëvalueerd door een onafhankelijke, geblindeerde beoordelaar op een 3-puntsschaal: 0=incorrect, 1=gedeeltelijk correct, 2=correct) en tijd tot voltooiing.
  • Secundair: Type en ernst van fouten (bijv. gemiste data, hallucinaties, berekeningsfouten) en totale kosten (arbeid + abonnement).
• Statistiek: Een non-inferioriteitsmarge van 10% werd vastgesteld. De analyse gebruikte gepaarde t-tests op 50 studies.

3. Belangrijkste Bijdragen

• Eerste Non-Inferioriteitsstudie: Dit is de eerste robuuste studie die specifiek een non-inferioriteitsdesign gebruikt om AI-gesteunde data-extractie te vergelijken met menselijke extractie in systematische reviews.
• Gedetailleerde Foutanalyse: In plaats van alleen te kijken naar "juist/onjuist", werd een nuancering aangebracht in fouttypes (missen, misallocatie, hallucinaties) en ernst (groot, klein, onbeduidend).
• Kosten-batenanalyse: De studie omvatte een volledige kostenberekening, inclusief abonnementskosten, prompt-engineering en arbeidstijd, wat vaak ontbreekt in eerdere AI-evaluaties.
• Transparantie: Alle gebruikte prompts en de methodologie zijn openbaar gemaakt, wat replicatie mogelijk maakt.

4. Resultaten

• Nauwkeurigheid: Er was geen significant verschil in de algehele nauwkeurigheid tussen de AI-gesteunde arm en de menselijke arm (gemiddeld verschil 0,57 op een schaal van 0-100; 95% CI -1,29 tot 2,43). De AI-gesteunde extractie was dus non-inferieur.
  • Subgroepanalyse: De AI-gesteunde arm was significant nauwkeuriger voor variabelen die de "interventie en controlegroep" beschrijven (gemiddeld verschil +4,75). Voor andere categorieën (methodologie, participanten, data-analyse) waren er geen significante verschillen.
• Efficiëntie: De AI-gesteunde arm was significant sneller. De gemiddelde tijd per studie was 24,8 minuten korter (95% CI 18,80 tot 30,84) dan de menselijke arm.
  • AI-gesteund: ~48,5 minuten per studie.
  • Menselijk: ~73,3 minuten per studie.
• Fouten: Het type en de ernst van fouten waren vergelijkbaar.
  • Totale fouten: AI (9,7%) vs. Mens (10,1%).
  • "Hallucinaties" (verzonnen data) waren zeer zeldzaam en gelijk in beide groepen (1,0%).
  • De meest voorkomende fouten waren gemiste of onvolledige data.
• Kosten: De AI-gesteunde arm was goedkoper. De totale kosten bedroegen $3.469 AUD voor de AI-arm versus $3.651 AUD voor de menselijke arm, een besparing van $181,98 AUD over de 50 studies.

5. Betekenis en Conclusie

De studie concludeert dat het gebruik van Elicit® voor data-extractie in systematische reviews niet inferieur is aan menselijke extractie qua nauwkeurigheid, maar wel aanzienlijk efficiënter en goedkoper is.

• Praktische Implicatie: AI-gesteunde data-extractie kan één van de twee menselijke extractoren in een toekomstige systematische review vervangen, zonder verlies van kwaliteit. Dit kan de tijd voor reviews aanzienlijk verkorten en vermoeidheid bij onderzoekers verminderen.
• Aanbeveling: De auteurs pleiten voor een "human-in-the-loop" aanpak, waarbij AI de zware lading trekt en mensen de controle en validatie uitvoeren.
• Toekomstig Onderzoek: Er is meer onderzoek nodig om verschillende modellen te testen, zoals twee AI-assistenten naast elkaar, of een combinatie van AI en menselijke extractie met een tweede menselijke controle, om de beste balans tussen snelheid en validiteit te vinden.

Kortom, deze studie levert robuust bewijs dat generatieve AI-tools zoals Elicit® een haalbare en efficiënte oplossing bieden voor de arbeidsintensieve fase van data-extractie in evidence synthesis.