Artificial Intelligence Can Match Domain Experts in Evidence Extraction and Critical Appraisal of Microbial Oncogenesis Research Publications

Stel je de wereld van medisch onderzoek voor als een enorme, chaotische bibliotheek die nooit ophoudt met groeien. Elke dag worden er duizenden nieuwe boeken — wetenschappelijke artikelen — geschreven over piepkleine bacteriën (microben) en hoe ze ziekten zoals kanker zouden kunnen veroorzaken. Een lange tijd was de enige manier om uit te zoeken of een specifieke microbe een schurk was, het inhuren van een team van superintelligente menselijke detectives (domeinexperts) die elke pagina lazen, feiten met elkaar kruisverwezen en besloten of het bewijs sterk genoeg was. Maar met meer dan een miljoen nieuwe artikelen die elk jaar worden gepubliceerd, is dit "alleen menselijke" detectivewerk onmogelijk geworden. Het is alsof je probeert te drinken uit een brandslang; de experts kunnen het simpelweg niet bijbenen. Hier komt Kunstmatige Intelligentie (AI) om de hoek kijken, specifell een type genaamd Large Language Models (LLM's). Zie deze AI's als supersnelle, superlezers die de hele bibliotheek in seconden kunnen scannen. Maar hier komt de grote vraag: kan een robot echt denken als een menselijke expert? Kan het subtiele aanwijzingen opsporen die bewijzen dat een microbe kanker veroorzaakt, of zal het gewoon verhalen verzinnen (een probleem dat "hallucineren" wordt genoemd) en de feiten verkeerd krijgen? Wetenschappers moesten weten of ze deze digitale detectives konden vertrouwen voordat ze hen de taak toevertrouwden om de wereldwijde medische bewijslast te sorteren.

Dit artikel zet een confrontatie met hoge inzet op tussen menselijke experts en AI om te zien wie beter is in het onderzoeken van een specifiek mysterie: of een virus genaamd het Mouse Mammary Tumor Virus-Like Virus (MMTV-LV) borstkanker bij mensen veroorzaakt. De onderzoekers verzamelden 24 echte wetenschappelijke artikelen over dit virus en maakten een enorme quiz van 77 vragen om de detectives te testen. Ze vroegen vier verschillende AI-modellen (twee van Google genaamd Gemini, en twee van OpenAI genaamd GPT-5) om de artikelen te lezen en de quiz te beantwoorden, terwijl een team van menselijke experts hetzelfde deed. Het doel was niet alleen om te zien wie de meeste antwoorden goed had, maar om te zien of de AI kon denken en bewijs beoordelen net zoals de mensen dat doen.

De resultaten waren een mix van "wow" en "whoa". De studie toonde aan dat twee van de AI-modellen, GPT-5 en GPT-5 Nano, bijna exact presteerden als de menselijke experts. Wanneer de onderzoekers de antwoorden van de AI mengden met de antwoorden van de mensen, veranderde de algehele overeenstemming van de groep helemaal niet. Het was alsof de AI lid was geworden van het team van experts en gewoon een andere briljante collega was. Deze AI's waren geweldig in het lezen van de tekst, het begrijpen van complexe medische taal en het samenvatten van wat de artikelen zeiden. Ze verzonnen zelden feiten (hallucinaties), en wanneer ze dat wel deden, was dat meestal in de kleinere, minder krachtige modellen.

De AI was echter niet perfect. De studie toonde aan dat de AI-modellen, vooral de Google Gemini-modellen, de neiging hadden om te aardig te zijn. Ze waren "vergevingsgezind", wat betekende dat ze eerder zouden zeggen dat een artikel sterk bewijs leverde dat een virus kanker veroorzaakt dan de mensen dat zouden doen. Ze zagen soms een verband waar de mensen dat niet zagen, zoals het aannemen van een link tussen muizenstudies en menselijke ziekte zonder voldoende bewijs. De AI had ook moeite met de lastigste delen van de baan: het vinden van tegenstrijdigheden binnen een artikel (zoals wanneer de cijfers in een grafiek niet overeenkomen met de tekst) en het bekritiseren van de methoden van de studie. Het is als een student die een verhaal perfect kan samenvatten, maar mist dat de tijdlijn van het hoofdpersonage niet klopt.

Uiteindelijk suggereert het artikel dat we geavanceerde AI kunnen vertrouwen om ons te helpen door de berg medisch onderzoek te zeven. Ze zijn snel, ze zijn grotendeels accuraat en ze kunnen menselijke experts evenaren in het extraheren van belangrijke feiten. Maar ze zijn nog niet klaar om mensen volledig te vervangen. De beste aanpak, suggereren de auteurs, is om de AI te gebruiken als een krachtige assistent om het zware werk van het lezen en samenvatten te doen, terwijl menselijke experts in de loop blijven om de lastige logica te controleren en de subtiele fouten te vangen. Het is een partnerschap waarbij de robot het lezen doet en de mens het kritische denken.