Label-free, low-cost AI ranking for systematic review screening

Elk jaar vertrouwen artsen en onderzoekers op systematische reviews om grip te krijgen op de enorme oceaan aan medische studies. Deze reviews vormen het fundament van klinische richtlijnen en vertellen beoefenaars welke behandelingen wel en welke niet werken. Het maken ervan is echter een slopend, traag proces dat meer dan een jaar kan duren van begin tot eind. Het meest uitputtende deel is niet de analyse, maar de screening: een team van menselijke experts moet duizenden titels en abstracts lezen en één voor één beslissen of elke studie relevant genoeg is om volledig te lezen. Het is een taak die een intense concentratie vereist en een enorme hoeveelheid menselijke tijd opslokt, wat vaak voorkomt dat levensreddende informatie wordt vertraagd voordat deze de mensen bereikt die het nodig hebben.

Jarenlang hebben wetenschappers geprobeerd computers te gebruiken om te helpen bij dit sorteerwerk, in de hoop de meest veelbelovende studies als eerste te tonen zodat mensen eerder kunnen stoppen met lezen. Maar deze tools vereisen meestal dat een mens honderden voorbeelden labelt voordat ze leren hoe ze moeten werken, en ze worstelen ermee om precies te weten wanneer het veilig is om te stoppen met lezen. Onlangs zijn krachtige nieuwe kunstmatige intelligentiemodellen opgekomen die tekst kunnen begrijpen zonder voorafgaande training op specifieke medische onderwerpen nodig te hebben. De vraag die onderzoekers tegenkwamen was of deze nieuwe tools als een goedkope, snelle en nauwkeurige filter konden dienen om deze enorme lijsten met studies te organiseren voordat een mens er ook maar één aanraakt.

In een recente studie onderzocht een team van de Indiana University School of Medicine een nieuw type kunstmatige intelligentie, genaamd Jev, tegen deze specifieke uitdaging. Ze vroegen de AI niet om de studies te lezen en een definitieve beslissing te nemen; in plaats daarvan vroegen ze het om ze simpelweg te rangschikken. Het doel was om te zien of de AI een lijst van bijna 170.000 records uit 128 verschillende medische reviews zo kon ordenen dat de meest relevante studies helemaal bovenaan de lijst verschenen, zonder dat de AI ooit een enkel door een mens gelabeld voorbeeld uit die specifieke reviews had gezien. De onderzoekers vergeleken deze nieuwe tool met oudere, gratis software en met enkele van de meest geavanceerde, dure generatieve AI-modellen die beschikbaar zijn.

De resultaten toonden aan dat de nieuwe AI uitzonderlijk effectief was in haar werk. Wanneer de onderzoekers de AI de records lieten sorteren, plaatste deze de relevante studies veel hoger op de lijst dan de beste gratis software kon doen. Sterker nog, het presteerde beter dan de gratis tools in elke review die ze testten. Wanneer het werd vergeleken met de krachtigste generatieve AI-modellen, kwam de nieuwe tool zeer dichtbij en rangschikte deze slechts iets achter de beste performer, maar deed dit tegen een fractie van de kosten. Terwijl de meest geavanceerde modellen ongeveer veertien dollar en zesentachtig cent kostten om duizend records te verwerken, kostte deze nieuwe tool slechts twee cent voor dezelfde taak. Het was niet alleen goedkoper, maar het was ook sneller en nauwkeuriger dan andere mid-tier modellen die aanzienlijk meer kostten.

De onderzoekers verkenden vervolgens hoe deze rangschikking gecombineerd kon worden met menselijk werk om tijd te besparen. Ze ontdekten dat als mensen de lijst in de volgorde lazen die de AI suggereerde, ze de relevante studies veel sneller zouden vinden dan wanneer ze in een willekeurige volgorde lazen of oudere sorteermethoden gebruikten. Door de rangschikking van de AI als startpunt te gebruiken en vervolgens menselijke feedback toe te voegen terwijl ze bezig waren, berekende het team dat ze een aanzienlijke hoeveelheid leestijd konden besparen terwijl ze nog steeds bijna alle belangrijke studies zouden vinden. De studie onthulde echter ook een cruciale beperking: hoewel de AI de lijst prachtig kon sorteren, kon het team niet betrouwbaar aangeven wanneer ze moesten stoppen met lezen.

Omdat de scores van de AI niet perfect gekalibreerd waren om de exacte kans te voorspellen dat een studie relevant zou zijn, bleek het riskant om een vast afkappunt te gebruiken om te stoppen met lezen. In een aantal gevallen zorgde het gebruik van een eenvoudige score-drempel ervoor dat het team belangrijke studies miste die wel opgenomen hadden moeten worden. De onderzoekers ontdekten dat de enige manier om veilig te stoppen was door door te lezen totdat een statistische controle bevestigde dat ze waarschijnlijk alle relevante studies hadden gevonden. Dit betekent dat de AI een uitstekend hulpmiddel is om het werk te organiseren en mensen te laten zien waar ze eerst moeten kijken, maar dat het nog niet het menselijk oordeel kan vervangen dat nodig is om te beslissen wanneer het onderzoek echt voltooid is.

Uiteindelijk laat dit werk zien dat een goedkope, label-vrije AI de efficiëntie van medische screenings drastisch kan verbeteren. Het biedt een manier om vanaf het allereerste record een hoogwaardige leesvolgorde te krijgen, waardoor teams worden behoed voor het lezen van duizenden irrelevante studies voordat ze de weinige vinden die er echt toe doen. Hoewel het niet het volledige probleem oplost van wanneer men moet stoppen, biedt het een krachtig, goedkoop startpunt dat het daaropvolgende menselijke werk veel gerichter en effectiever maakt. Voor het vakgebied van evidence-based medicine vertegenwoordigt dit een belangrijke stap naar het sneller en minder belastend maken van de creatie van klinische richtlijnen, zodat de beste medische kennis de patiënten sneller bereikt.