Credential farming in the age of generative AI: relocating trust from outputs to communities
Dit artikel betoogt dat generatieve AI de betrouwbaarheid van traditionele academische diploma's als indicatoren voor competentie heeft ondermijnd, wat een verschuiving noodzakelijk maakt van epistemisch vertrouwen in gepolijste resultaten naar de relationele gemeenschappen en formatieve processen die wetenschappelijke oordeelsvorming werkelijk cultiveren en getuigen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Decennialang heeft de wetenschappelijke wereld gefunctioneerd op een eenvoudige, vertrouwde aanname: als je een gepolijst onderzoekspaper kunt produceren, moet je de inhoud ervan begrijpen. Dit idee rust op credentials—diploma's, gepubliceerde artikelen en functietitels—die fungeren als een afkorting voor iemands vermogen om kritisch na te denken en bij te dragen aan gedeelde kennis. Deze documenten waren nooit perfecte maatstaven voor iemands geest, maar ze waren betrouwbaar genoeg omdat het creëren ervan echte inspanning en diepgaand leren vereiste. De opkomst van generatieve kunstmatige intelligentie is echter begonnen deze link te verbreken. Nu kan iemand een computerprogramma gebruiken om een foutloos wetenschappelijk artikel te schrijven, compleet met data-analyse en citaties, zonder dat die persoon werkelijk weet wat de woorden betekenen of hoe de conclusies tot stand zijn gekomen. Deze verschuiving creëert een gevaarlijke kloof waarbij het document er perfect uitziet, maar de persoon erachter wellicht niets heeft geleerd.
Deze nieuwe realiteit bedreigt het hele systeem van hoe we wetenschappers en artsen selecteren. Als instituten mensen blijven beoordelen louter op de papers die zij indienen, riskeren zij individuen aan te nemen die de kunst van het vragen om antwoorden aan een computer hebben beheerst, in plaats van de vaardigheid om die antwoorden zelf te vinden. Een groep onderzoekers, waaronder studenten en professoren van universiteiten over de hele wereld, heeft betoog ever dat de oplossing niet ligt in het bouwen van betere tools om mensen te betrappen op het gebruik van AI, maar in het veranderen van waar we ons vertrouwen op baseren. Zij suggereren dat we, in plaats van naar het eindproduct te kijken, moeten kijken naar het proces van hoe iemand leert en denkt binnen een gemeenschap.
De auteurs van dit artikel, een divers team variërend van middelbare scholieren tot medische onderzoekers, stellen dat de traditionele manier van het evalueren van competentie instort. Zij beschrijven een fenomeen dat zij "credential farming" noemen, waarbij individuen de sociale waarde van een diploma of een publicatie extraheren zonder daadwerkelijk bij te dragen aan de wetenschappelijke onderneming die die titels betekenis geeft. In het verleden was het produceren van een onderzoekspaper het bewijs dat iemand jarenlang een onderwerp had beheerst. Vandaag de dag stelt generatieve AI iedereen in staat om datzelfde bewijs direct te genereren, ongeacht hun werkelijke kennis. De auteurs wijzen erop dat het proberen te oplossen van dit probleem met detectiesoftware een verloren strijd is. Deze tools zijn vaak onbetrouwbaar, kunnen schrijvers die Engels niet als moedertaal hebben onterecht straffen, en verdedigen een grens die niet langer het onderscheid maakt tussen de deskundige en de onwetende.
In plaats van een oorlog van detectie te voeren, stellen de onderzoekers voor om de focus te verleggen van de output naar de vorming van de wetenschapper. Zij beargumenteren dat ware competentie niet in een document is opgeslagen, maar wordt opgebeld door een langdurig, getuige-gebeurd proces van leren binnen een groep. Dit concept put uit het idee dat we leren door werk te verrichten naast anderen die onze fouten kunnen zien en ons denken kunnen begeleiden. In een gezonde wetenschappelijke gemeenschap leert een lid niet alleen door feiten te lezen, maar door deel te nemen aan gesprekken waarin men de eigen redenering moet uitleggen, moet toegeven wanneer men het mis heeft, en de eigen ideeën moet herzien op basis van feedback van vakgenoten. Dit soort leren is moeilijk te vervalsen omdat het zich in de loop van de tijd afspeelt en in relatie staat tot anderen, terwijl een computer direct een perfect ogend essay kan generen dat niets onthult over de geest van de schrijver.
Om dit idee te testen, beschrijven de auteurs drie praktische stappen die onderzoeksgemeenschappen kunnen nemen om vertrouwen te herstellen. Ten eerste suggereren zij om nieuwe leden te selecteren op basis van de diepgang van hun denken in plaats van de helderheid van hun cv. Dit houdt in dat men open vragen stelt die geen enkel juist antwoord hebben, zoals een kandidaat vragen een moment te beschrijven waarop een nieuw idee hun wereldbeeld ontregelde. Een computer kan een plausibel antwoord generen op een dergelijke vraag, maar kan de oprechte aarzeling, reflectie en persoonlijke geschiedenis niet repliceren die een echt mens in een gesprek brengt. Ten tweede bevelen zij het opbouwen van kleine, informele groepen aan waarbij mensen vrij kunnen spreken zonder de druk om een definitief rapport te produceren. Deze kleine kringen maken de voor soort eerlijke uitwisseling mogelijk waar een persoon kan zeggen: "Ik begrijp dit niet," en hulp kan ontvangen, wat de manier nabootst waarop leren in het echte leven gebeurt. Ten derde dringen de auteurs deze gemeenschappen aan om de drang te weerstaan om deze nieuwe methoden in nieuwe metrieken te veranderen. Als zij beginnen met het tellen van hoe vaak iemand spreekt of hoe snel iemand reageert, zullen zij simpelweg de oude problemen reproduceren van het optimaliseren voor een getal in plaats van voor werkelijk begrip.
Het artikel benadrukt dat deze verschuiving vooral cruciaal is voor onderzoekers in omgevingen met beperkte middelen, die vaak leren via informele netwerken die onzichtbaar zijn voor traditionele instituten. Deze individuen kunnen een diepe nieuwsgierigheid en echte vaardigheden bezitten, maar missen de gepolijste woordenschat om zichzelf te presenteren zoals eliteuniversiteiten dat verwachten. Door te focussen op vorming en gemeenschapsrelaties, kunnen instituten deze getalenteerde mensen vinden die momenteel worden over het hoofd gezien. De auteurs erkennen dat deze aanpak geen perfecte oplossing is en eigen risico's met zich meebrengt, zoals het potentieel voor bias in subjectieve gesprekken. Zij geven toe dat karakter moeilijk te observeren is en dat hun eigen team ook studenten bevat die nog aan het leren zijn, wat betekent dat zij hun eigen vorming niet volledig van binnenuit kunnen certificeren.
Uiteindelijk concludeert het artikel dat machines papers kunnen schrijven, maar dat zij geen mensen kunnen worden die het waard zijn om te vertrouwen. De taak voor wetenschappelijke instituten is niet langer het verifiëren dat een document bestaat, maar vaststellen of een persoon werkelijk heeft geleerd om na te denken. Dit vereist een beweging weg van het beoordelen van het eindproduct en naar het getuigen van de reis van het leren zelf. Het is een oproep om het systeem te herbouwen zodat het de rommelige, moeilijke en menselijke weg van het worden van een wetenschapper waardeert, in plaats van alleen het glanzende, gefabriceerde resultaat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.