ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
Dit artikel introduceert ARISMA, een uitgebreid richtlijnkader dat principes, een levenscyclus-taxonomie en rapportage-standaarden vaststelt voor de integratie van AI en grote taalmodellen als controleerbare, door mensen gesuperviseerde assistenten in systematische reviews, scoping reviews en mapping studies om methodologische strengheid en verantwoording te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van wetenschappelijk onderzoek bestaat een specifiek soort werk dat bekend staat als een systematische review. Stel je een team van experts voor die een complexe vraag proberen te beantwoorden, zoals of een nieuw medicijn beter werkt dan een oud medicijn, of wat de huidige stand van zaken is met betrekking tot de kennis over klimaatverandering. Om dit te doen, kunnen ze niet simpelweg een paar interessante artikelen lezen; ze moeten elke relevante studie die ooit over het onderwerp is gepubliceerd vinden, ze allemaal lezen en hun bevindingen combineren tot één enkel, betrouwbaar oordeel. Dit proces vormt de basis van de moderne geneeskunde en het beleid, maar het is ongelooflijk moeilijk. Naarmate het aantal wetenschappelijke papers elk jaar groeit, is de taak om ze allemaal te vinden en te lezen trager, duurder en moeilijker bij te houden geworden.
Onlangs zijn krachtige computerprogramma's, bekend als kunstmatige intelligentie, op het toneel verschenen. Deze tools kunnen tekst lezen, taal begrijpen en informatie samenvatten met een snelheid die geen mens kan evenaren. Onderzoekers begonnen deze tools te gebruiken om te helpen bij het vinden van papers, te beslissen welke ze moeten houden en om belangrijke cijfers eruit te halen. Deze nieuwe snelheid bracht echter een probleem met zich mee. Niemand had een duidelijke set regels voor hoe deze tools veilig te gebruiken. Als een computerprogramma een cruciale studie mist of een fout maakt bij het lezen van een getal, kan de gehele review onjuist zijn, en kunnen de artsen of beleidsmakers die er op vertrouwen, slechte beslissingen nemen. De vraag werd niet alleen of deze tools konden werken, maar hoe ze gebruikt konden worden zonder de controle over de wetenschap te verliezen.
Een team van onderzoekers van de Universiteit van Zuid-Denemarken heeft nu een nieuwe set richtlijnen voorgesteld genaamd ARISMA om dit probleem op te lossen. Hun werk behandelt kunstmatige intelligentie niet als een vervanging voor menselijke wetenschappers. In plaats daarvan presenteren zij het als een hooggeschoolde assistent die in elke stap gecontroleerd, getest en gelogd moet worden. Het kernidee is simpel maar strikt: elke belangrijke beslissing in een wetenschappelijke review moet begrijpelijk, controleerbaar en uiteindelijk de verantwoordelijkheid blijven van een mens. De onderzoekers betogen dat hoewel machines het zware werk kunnen doen, ze niet in stilte mogen beslissen wat als bewijs telt.
Het artikel schetst een volledige levenscyclus van hoe een review uitgevoerd zou moeten worden wanneer deze tools worden gebruikt. Het begint bij de planningsfase, waarin het menselijke team duidelijk moet definiëren waar ze naar op zoek zijn voordat er een computer aan te pas komt. De richtlijnen suggereren dat kunstmatige intelligentie zeer nuttig kan zijn bij het brainstormen over zoektermen of het suggereren van synoniemen voor een onderwerp, maar de uiteindelijke zoekstrategie moet door een menselijke expert worden gecontroleerd. De onderzoekers benadrukken dat als een computer tijdens een testronde een bekende, belangrijke studie mist, de zoekstrategie als een mislukking wordt beschouwd en moet worden gecorrigeerd voordat deze op de echte data wordt gebruikt. Dit zorgt ervoor dat de zoekopdracht niet alleen snel, maar ook volledig is.
Zod zodra de zoekopdracht is voltooid, staat het team voor de enorme taak om duizenden titels en abstracts te screenen om te beslissen welke papers ze volledig moeten lezen. Dit is waar kunstmatige intelligentie de meeste belofte heeft getoond, maar ook waar de richtlijnen het meest voorzichtig zijn. Het artikel legt uit dat een computer papers kan rangschikken of kan suggereren welke uitgesloten moeten worden, maar dat hij niet op eigen houtje de definitieve selectie kan maken. De onderzoekers stellen een systeem van "vertrouwensniveaus" voor. In een scenario met laag vertrouwen rangschikt de computer alleen de papers zodat mensen ze kunnen lezen. In een scenario met gemiddeld vertrouwen kan de computer uitsluitingen aanbevelen, maar moet een mens elke enkele aanbeveling controleren. In reviews met hoge inzet, zoals die welke medische behandelingen zullen sturen, fungeert de computer slechts als een tweede paar ogen en neemt het menselijke team de uiteindelijke beslissing. Cruciaal is dat voordat een computer dit mag doen, deze getest moet worden op een kleine set papers die door mensen al zijn beoordeeld. Als de computer te veel fouten maakt op deze testset, mag hij niet verder gaan.
De richtlijnen adresseren ook de lastige taak van data-extractie, waarbij onderzoekers specifieke getallen zoals patiëntenaantallen of behandelresultaten uit de tekst van een paper halen. Hier zijn de onderzoekers nog conservatiever. Ze merken op dat hoewel computers goed zijn in het vinden van algemene beschrijvingen, ze vaak moeite hebben met exacte getallen die verborgen zitten in tabellen of complexe zinnen. Het artikel suggereert dat een computer een conceptversie kan invullen met beschrijvende details, maar dat elk getal dat voor een definitief resultaat zal worden gebruikt, regel voor regel door een mens gecontroleerd moet worden. Als een mens de bron van een getal niet verifieert, kan dat getal niet in de definitieve review worden opgenomen. Deze regel beschermt tegen het "hallucineren" of verzinnen van feiten door de computer die plausibel klinken maar niet in de originele tekst staan.
Gedurende het hele proces eisen de richtlijnen een papier spoor. Elke keer dat een computertool wordt gebruikt, moeten de onderzoekers vastleggen welk hulpmiddel werd gebruikt, welke versie van de software het was, welke instructies eraan zijn gegeven en wat de output was. Als de computer een fout maakt, of als het menselijke team besluit de werking van de computer te wijzigen, moet die wijziging gedateerd en uitgelegd worden. Dit creëert een geschiedenis van de review waardoor iedereen die het definitieve rapport leest, precies kan zien waar de computer hielp en waar de mensen het overnamen. Het artikel raakt ook aan de juridische en ethische kant, en herinnert teams eraan dat ze voorzichtig moeten zijn met het versturen van privé of ongepubliceerde gegevens naar publieke computersystemen, aangezien die gegevens op manieren opgeslagen of gebruikt kunnen worden die het team niet had bedoeld.
De onderzoekers ontwikkelden deze richtlijnen door te praten met eenentwintig experts in het veld, waaronder wetenschappers en informatiespecialisten. Ze hebben hun ideeën getest en verfijnd op basis van feedback, waarbij de focus lag op het praktisch en helder maken van de regels. Het resultaat is een kader waarmee teams de snelheid van kunstmatige intelligentie kunnen gebruiken zonder het nauwkeurigheid en het vertrouwen op te offeren dat wetenschappelijke reviews vereisen. Het artikel concludeert dat het doel niet is om reviews volledig automatisch te maken, maar om ze controleerbaarder te maken. Door kunstmatige intelligentie te behandelen als een instrument dat geïnspecteerd en begrensd is in plaats van een autonome besluitvormer, zorgen de richtlijnen ervoor dat de uiteindelijke conclusies van een review geworteld blijven in geverifieerd bewijs, met altijd een mens in de loop om de verantwoordelijkheid voor de waarheid te dragen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.