LLM assisted writing deserves empirical evaluation

Wetenschap is altijd een gesprek geweest, een gesprek dat steunt op helder schrijven om ontdekkingen over grenzen en talen heen te delen. Decennialang hebben onderzoekers vertrouwd op mentoren, professionele redacteuren en vertaalendiensten om ervoor te zorgen dat hun werk door de wereldwijde gemeenschap wordt begrepen. Vandaag de dag heeft een nieuwe deelnemer zich bij dit gesprek gevoegd: large language models (grote taalmodellen). Dit zijn computerprogramma's die getraind zijn op enorme hoeveelheden tekst en die menselijke taal met opmerkelijke vloeiendheid kunnen lezen, samenvatten en herschrijven. Nu deze hulpmiddelen algemeen voorkomen in laboratoria en kantoren, is er een debat ontstaan over hun rol in de wetenschap. Velen maken zich zorgen dat het gebruik ervan de ware auteur van een idee zou kunnen verbergen, fouten kan introduceren of de kwaliteit van het onderzoek kan verlagen. Gevolgelijk richt een groot deel van de huidige discussie zich op hoe te detecteren wanneer een machine heeft geholpen bij het schrijven van een artikel, waarbij het probleem primair als een kwestie van handhaving wordt behandeld. Deze focus op detectie kan echter een belangrijkere vraag uit het oog verliezen: hoe verandert het daadwerkelijke gebruik van deze hulpmiddelen de manier waarop wetenschap wordt gecommuniceerd en wie eraan kan deelnemen?

Om dit te beantwoorden, besloot een team van onderzoekers van Weill Cornell Medicine en Columbia University naar het bewijs te kijken in plaats naar de theorie. Ze onderzochten een enorme collectie van 69.209 wetenschappelijke artikelen in het veld van de gezondheidsinformatica, dat gaat over hoe data en technologie worden gebruikt in de geneeskunde en de volksgezondheid. De onderzoekers verdeelden deze artikelen in drie groepen om te zien hoe ze van elkaar verschilden. De eerste groep bevatte artikelen die geschreven waren vóór eind 2022, vóór de publieke release van de meest geavanceerde chatbots. De tweede groep omvatte artikelen die na die datum zijn geschreven en geen tekenen vertoonden van het gebruik van deze hulpmiddelen. De derde groep bestond uit artikelen uit dezelfde recente periode die door de onderzoekers als ondersteund door large language models werden geïdentificeerd. Om deze ondersteunde artikelen te vinden, gebruikten ze een gespecialiseerd computerprogramma dat getraind was om de subtiele verschillen te herkennen tussen menselijk schrijven en tekst die door een AI was herschreven of gegenereerd.

De analyse toonde aan dat de door deze hulpmiddelen ondersteunde artikelen niet het kwalitatief minderwaardige, minder serieuze werk waren waar critici vaak vrechten voor. In plaats daarvan suggereerden de gegevens een andere realiteit. Deze artikelen hadden de neiging om meer gefocust te zijn in hun presentatie. Waar een typisch wetenschappelijk artikel door verschillende onderwerpen kan dwalen, hielden de door AI ondersteunde artikelen zich strikter aan één enkel, helder onderwerp. Hun titels en samenvattingen waren nauw aansluitend bij het hoofdonderwerp van het onderzoek, wat het voor lezers gemakkelijker maakte om precies te begrijpen waar de studie over ging en waar het binnen het bredere vakgebied paste. Deze helderheid betekende niet dat de ideeën minder origineel waren; het suggereerde eerder dat de hulpmiddelen de auteurs hielpen om hun werk nauwkeuriger te positioneren binnen gevestigde wetenschappelijke gesprekken.

Een andere significante verandering kwam naar voren in de manier waarop deze artikelen naar ander werk verwijzen. De door AI ondersteunde artikelen citeerden meer bronnen dan de artikelen die zonder assistentie zijn geschreven, en die bronnen bestreken een breder scala aan onderwerpen. Deze bevinding daagt het idee uit dat machines simpelweg het schrijven sneller maken zonder waarde toe te voegen. Het suggereert dat onderzoekers deze hulpmiddelen gebruiken om literatuur te verkennen die ze anders misschien niet hadden gevonden, bijvoorbeeld door complexe teksten samen te vatten of nieuwe zoektermen te genereren. De onderzoekers merkten echter op dat het hebben van een langere lijst met referenties niet automatisch betekent dat het onderzoek dieper of beter is. Een bibliografie kan breed maar oppervlakkig zijn, of het kan citaties bevatten die slechts losjes verbonden zijn met het hoofdargument. De hulpmiddelen maken het gemakkelijker om een breed net van informatie te verzamelen, maar de verantwoordelijkheid voor het selecteren van de meest relevante en accurate bronnen rust nog steeds bij de menselijke auteur.

Misschien wel het meest opvallende verschil werd gevonden in wie deze artikelen schreef. De studie toonde aan dat AI-ondersteunde artikelen vaker een eerste auteur hadden die gevestigd was in een land waar Engels niet de primaire taal is. Ze toonden ook een hoger niveau van samenwerking tussen onderzoekers op verschillende continenten en bevatten meer auteurs uit lage- en middeninkomenslanden. Dit patroon suggéndeert dat deze hulpmiddelen als een brug kunnen fungeren, die wetenschappers helpen de taalbarrières te overwinnen die het publiceren in internationale tijdschriften vaak moeilijk en duur maken. Door on-demand hulp te bieden bij het redigeren en vertalen, kan de technologie het speelveld gelijk trekken, waardoor meer diverse stemmen kunnen deelnemen aan het wereldwijde wetenschappelijke gesprek.

Ondanks deze verschuivingen in focus, citatiegewoonten en auteurschap, stelde de studie vast dat de zichtbaarheid en impact van het werk stabiel bleven. Een veelvoorkomende zorg is dat artikelen geschreven met AI-hulp genegeerd of minder vaak geciteerd zullen worden. De gegevens ondersteunden dit niet. Toen de onderzoekers keken naar hoe snel artikelen na publicatie citaties ontvingen, presteerden de door AI ondersteunde artikelen net zo goed als die zonder hulp. Ze werden ook gepubliceerd in tijdschriften met een hoge prestige, vergelijkbaar met de andere groepen. Dit geeft aan dat de wetenschappelijke gemeenschap deze artikelen niet afwijst; in plaats daarvan worden ze gelezen en erkend met dezelfde snelheid als traditioneel werk.

De onderzoekers concludeerden dat het gesprek over kunstmatige intelligentie in de wetenschap moet veranderen. In plaats van te focussen op hoe men mensen betrapt die deze hulpmiddelen gebruiken of te proberen "echte" wetenschappelijke arbeid te scheiden van "ondersteunde" werk, zou de wetenschappelijke gemeenschap zich moeten richten op de kwaliteit van het onderzoek zelf. De studie suggereert dat deze hulpmiddelen niet inherent goed of slecht zijn; ze zijn simpelweg een nieuw onderdeel van het schrijfproces, net als een spellingscontrole of een statistisch softwarepakket. Hun effect hangt volledig af van hoe ze worden gebruikt. Als ze auteurs helpen om duidelijker te communiceren en meer diverse perspectieven op te nemen, kunnen ze een krachtige kracht voor het goede zijn. Als ze worden gebruikt om de kantjes eraf te lopen of fouten te verbergen, kunnen ze schadelijk zijn. Het bewijs laat zien dat de hulpmiddelen de manier waarop wetenschap wordt geschreven en wie het schrijft al aan het vormgeven zijn, en de beste weg vooruit is om het werk te beoordelen op de nauwkeurigheid en integriteit, niet op de software die gebruikt is voor het concept.