Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Deze studie evalueert de AI-tool Elicit voor de synthese van beleidsevidentie en stelt vast dat het instrument weliswaar effectief de voorbereidende verkenning van onderwerpen versnelt, maar momenteel de precisie en betrouwbaarheid mist die vereist zijn voor complexe rapid reviews zonder aanzienlijke menselijke supervisie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de volksgezondheid en het overheidsbeleid rusten beslissingen over welke behandelingen of programma's gefinancierd worden op een fundament van bewijs. Voordat er een nieuwe regel wordt geschreven, moeten experts alle bestaande onderzoeken over een onderwerp verzamelen, deze zorgvuldig lezen en samenvatten wat wel en wat niet werkt. Dit proces, bekend als evidence synthesis (bewijssynthese), is essentieel voor het maken van eerlijke en effectieve keuzes, maar het is ook ongelooflijk tijdrovend. Traditioneel besteden teams van onderzoekers maanden aan het doorzoeken van duizenden wetenschappelijke artikelen, waarbij ze controleren of elk artikel wel aan de specifieke vraag voldoet, en vervolgens de gegevens extraheren om een helder beeld te vormen. Naarmate de behoeften van beleidsmakers urgenter en complexer worden, is er een groeiende wens om dit werk te versnellen zonder de nauwkeurigheid te verliezen. Hier komt kunstmatige intelligentie in beeld, met de belofte te fungeren als een krachtige assistent die informatie kan lezen en sorteren met een snelheid die geen mens kan evenaren.
Een team van onderzoekers van universiteiten in het Verenigd Koninkrijk besloot een van deze nieuwe AI-tools op de proef te stellen. Ze wilden zien of een softwareprogramma genaamd Elicit echt kon helpen om beleidsonderzoekers sneller en beter hun werk te laten doen. De onderzoekers kozen ervoor om de tool op twee verschillende manieren te evalueren. Ten eerste vroegen ze of de AI als een behulpzame gids kon dienen om een snel overzicht te krijgen van een breed onderwerp, een stap die vaak "scoping" wordt genoemd en plaatsvindt voordat een volledige review begint. Ten tweede testten ze of de AI de plaats van menselijke onderzoekers kon innemen bij het uitvoeren van een volledige, snelle review van het bewijs over een complex onderwerp. Het onderwerp dat zij kozen was een lastig een: uitzoeken welke programma's succesvol fysieke activiteit stimuleren bij ouderen die te maken hebben met sociale en economische achterstand. Dit onderwerp werd gekozen omdat het veel bewegende delen bevat, waaronder verschillende soorten mensen, diverse soorten activiteiten en specifieke maatstaven voor succes, wat een rigoureuze test vormt voor elk geautomatiseerd systeem.
De onderzoekers begonnen door de AI te vragen een snelle scan van de literatuur uit te voeren om hen te helpen het landschap van instrumenten voor fysieke activiteit in de eerstelijnszorg te begrijpen. In deze rol bleek de software vrij nuttig. Het genereerde in slechts zes minuten een samenvatting van het beschikbare bewijs, wat een breed overzicht bood van het onderwerp dat experts hielp bij het vormgeven van hun denken. De output was niet perfect en het ontbrak aan een gedetailleerde uitleg over hoe de informatie was gevonden, maar het diende goed als startpunt. Het gaf het team een gevoel van wat er beschikbaar was en waar de hiaten mogelijk lagen, waardoor het effectief fungeerde als een snelle, voorlopige kaart voordat ze begonnen aan het zwaardere werk van het tekenen van het volledige gebied.
Echter, toen de onderzoekers de AI vroegen om de volledige, rigoureuze taak van een snelle review uit te voeren, waren de resultaten veel minder bemoedigend. Ze voerden dezelfde complexe vraag over fysieke activiteit bij kwetsbare oudere populaties in het systeem in en keken hoe het de taak aanpakte. Het proces duurde meer dan drie uur, waarbij de menselijke onderzoekers aanzienlijke tijd moesten besteden aan het verfijnen van de vragen en het corrigeren van de aannames van de AI. Toen het definitieve rapport werd geproduceerd, bevatte het een lijst van veertig studies die de AI als relevant bestempelde. Toch, toen de menselijke experts deze studies controleerden aan de hand van de strikte regels van de review, bleek dat dertienig van hen er eigenlijk niet bij hoorden. De AI had studies opgenomen die naar de verkeerde uitkomsten keken, zich op de verkeerde groepen mensen richtten of interventies onderzochten die niet aan de criteria voldeden. Sterker nog, de software miste vierendertig studies die het menselijke team wel succesvol had gevonden en in hun eigen review had opgenomen.
Het kernproble tijdens de uitvoering leek te zijn dat de AI moeite had met de nuance van het taalgebruik in wetenschappelijke papers. Het kon gemakkelijk woorden als "ouder" of "fysieke activiteit" identificeren, maar het faalde in het begrijpen van de diepere betekenis van de vraag of een studie daadwerkelijk het juiste testte voor de juiste groep mensen. Het kon bijvoorbeeld niet het onderscheid maken tussen een programma dat is ontworpen om de algemene gezondheid te verbeteren en een programma dat specifiek is ontworpen om de fysieke activiteit te vergroten, zelfs als de bewoording vergelijkbaar was. Vanwege deze fouten was de uiteindelijke samenvatting die door de AI werd geproduceerd, vol met informatie die niet het oorspronkelijke antwoord gaf. Het besprak uitkomsten die niet relevant waren en trok conclusies op basis van bewijs dat niet in aanmerking kwam voor de review. De door mensen geleide review was daarentegen in staat om de ruis weg te filteren en zich alleen te concentreren op de studies die er echt toe deden, wat resulteerde in een veel nauwkeurigere en betrouwbaardere conclusie.
De onderzoekers keken ook naar hoe de software omging met de gegevens die het wel vond. Hoewel de AI in staat was om basisdetails te extraheren, zoals het land waar een studie plaatsvond of het aantal deelnemers, was het inconsistent wanneer het ging om het extraheren van specifieke resultaten, zoals de mate waarin een interventie iemands gezondheid verbeterde. In sommige gevallen miste het de gegevens volledig; in andere gevallen was het onduidelijk wat het had gevonden. Bovendien had de software niet het vermogen om de kwaliteit van de studies te beoordelen, wat betekende dat het een zwak, slecht ontworpen experiment hetzelfde behandelde als een sterk, goed uitgevoerd experiment. Dit gebrek aan kwaliteitscontrole is een aanzienlijk risico, omdat het beleidsmakers ertoe kan leiden dat zij vertrouwen op gebrekkig bewijs.
Uiteindelijk suggereert het onderzoek dat hoewel kunstmatige intelligentie een waardevolle tool kan zijn voor het krijgen van een snel, hoog niveau overzicht van een onderwerp, het nog niet klaar is om menselijke onderzoekers te vervangen bij de cruciale taak van het uitvoeren van een volledige bewijsreview, vooral wanneer de vragen complex zijn. De AI kan de vroege stadia van onderzoek versnellen, maar het maakt nog steeds te veel fouten in de latere stadia om op zichzelf te kunnen worden vertrouwd. De onderzoekers concludeerden dat de beste aanpak voor nu is om de software te gebruiken als een helper die naast een menselijke expert werkt, die elke beslissing van de machine moet controleren. De tijd die wordt bespaard door het gebruik van de AI is momenteel onduidelijk, aangezien de menselijke inspanning die nodig is om de fouten te corrigeren, de initiële tijdwinst mogelijk tenietdoet. Naarmate deze tools blijven evolueren, is de hoop dat ze beter zullen worden in het begrijpen van de subtiele details van de menselijke taal en onderzoek, maar voor het moment blijft de menselijke geest essentieel om ervoor te zorgen dat het bewijs dat het publieke beleid stuurt, accuraat en betrouwbaar is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.