Citation language changes little after findings fail to replicate: a longitudinal analysis
Een longitudinale analyse van meer dan 15.000 citerende zinnen onthult dat daaropvolgende artikelen zelden hun taal aanpassen om mislukte replicaties te weerspiegelen of conflicterend bewijs vermelden, waardoor lezers weinig indicatie krijgen of de oorspronkelijke bevindingen succesvol zijn gerepliceerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Wetenschap wordt vaak voorgesteld als een zelfcorrigerende machine, waarbij nieuwe bewijzen automatisch ons begrip van de wereld bijsturen. Wanneer een studie wordt herhaald en er niet in slaagt hetzelfde resultaat te produceren, is de verwachting dat de wetenschappelijke gemeenschap dit opmerkt, pauzeert en de manier waarop zij over die oorspronkelijke bevinding spreken, aanpast. Dit proces rust op de taal die onderzoekers gebruiken wanneer zij naar eerder werk verwijzen. Als een bewering is gebleken wankel te zijn, zouden de zinnen die deze in nieuwe artikelen beschrijven idealiter voorzichtiger moeten worden, of op zijn minst moeten vermelden dat het oorspronkelijke resultaat niet kon worden bevestigd. Dit is hoe kennis zich naar verwachting ontwikkelt: niet door het verleden uit te wissen, maar door de beschrijving van wat we wel en niet weten te verfijnen.
Een team van onderzoekers zette zich in om te testen of deze zelfcorrectie daadwerkelijk plaatsvindt zoals wij dat verwachten. Ze richtten zich op een specifieke vraag: wanneer een grote, vooraf geplande poging om een beroemde studie te herhalen mislukt, veranderen de auteurs van latere artikelen dan de woorden die ze gebruiken om die oorspronkelijke bevinding te beschrijven? Om het antwoord te vinden, bekeken ze een grote collectie wetenschappelijke claims uit de psychologie, economie en sociale wetenschappen. Ze identificeerden 110 oorspronkelijke studies die deel uitmaakten van drie grote replicatieprojecten. Voor elk van deze studies verzamelden ze duizenden zinnen uit latere artikelen die naar het oorspronkelijke werk verwezen. Vervolgens gebruikten ze geavanceerde computermodellen om deze zinnen te lezen en ze te scoren op een schaal van zekerheid, waarbij ze maten hoe definitief de auteurs de oorspronkelijke claim formuleerden. Ze vergeleken de taal die werd gebruikt voor bevindingen die niet konden worden gereproduceerd met de taal die werd gebruikt voor bevindingen die succesvol waren herhaald.
De resultaten onthulden een opvallend gebrek aan verandering. De onderzoekers ontdekten dat de bewoording die werd gebruikt om mislukte bevindingen te beschrijven, bijna identiek bleef aan de bewoording die werd gebruikt voor succesvolle bevindingen. Zelfs jaren nadat een replicatiepoging had aangetoond dat een oorspronkelijk resultaat niet kon worden gereproduceerd, bleven latere artikelen die bevindingen met dezelfde mate van vertrouwen te presenteren. De computermodellen detecteerden geen significante verschuiving naar meer voorzichtige taal. Sterker nog, het verschil in zekerheid tussen de twee groepen was zo klein dat het statistisch niet te onderscheiden was van nul. De studie zocht ook naar expliciete vermeldingen van de mislukking. Ze ontdekten dat in de overgrote meerderheid van de gevallen de auteurs de mislukte replicatie helemaal niet vermelden. Slechts een klein deel van de zinnen, ongeveer drie tot vijf op de honderd, erkende dat de oorspronkelijke bevinding was uitgedaagd of tegengesproken.
Dit patroon hield stand in de loop van de tijd. De onderzoekers volgden de taal die werd gebruikt in de acht tot elf jaar volgend op de publicatie van de replicatieresultaten. Ze vonden geen geleidelijke verschuiving naar voorzichtigheid. De zinnen die de mislukte claims beschreven, werden niet zachter of genuanceerder naarmate de tijd verstreek. De auteurs van de studie suggereren dat dit kan komen doordat onderzoekers vaak gevestigde zinsneden hergebruiken zonder de oorspronkelijke bewijslast opnieuw te lezen of te controleren op nieuwe, tegenstrijdige gegevens. De oorspronkelijke beschrijving van een bevinding kan een vast onderdeel van de wetenschappelijke verslaglegging worden, die van artikel naar artikel wordt doorgegeven als een standaardreferentie, ongeacht of de onderliggende bewijslast is aangetast.
De studie beweert niet dat wetenschappers de bewijzen met opzet negeren, maar stelt eerder dat het systeem van hoe bevindingen worden gecommuniceerd een zekere traagheid bezit. Zelfs wanneer een bevinding is aangetoond onbetrouwbaar te zijn, blijft de manier waarop deze in nieuw onderzoek wordt beschreven vaak ongewijzigd. Dit heeft implicaties voor hoe we wetenschap lezen en hoe we instrumenten kunnen bouwen om ons te helpen het te begrijpen. Als de taal van de wetenschap niet automatisch reflecteert wanneer een bevinding is mislukt, kunnen lezers, redacteuren en zelfs kunstmatige intelligentiesystemen erdoor misleid worden in de veronderstelling dat een bewering steviger is dan deze in werkelijkheid is. De onderzoekers concluderen dat, voor wetenschap echt zelfcorrigerend te kunnen zijn, we mogelijk betere manieren nodig hebben om oorspronkelijke studies direct te koppelen aan hun replicatieuitkomsten, zodat het verhaal van een bevinding ook de mislukkingen bevat, en niet alleen het initiële succes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.