Born Flawed? Publication-Time Citation Topology Improves Retraction Early-Warning
Deze studie toont aan dat het analyseren van de structurele kenmerken van de referentielijst van een artikel op het moment van publicatie — specifiek de zelfcitatiecijfers, de spreiding van referentiejaren en de recentheid van geciteerde literatuur — de vroege detectie van toekomstige intrekkingsrisico's aanzienlijk kan verbeteren voordat er enig bewijs na publicatie naar voren komt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van de wetenschap voor als een enorme, bruisende bibliotheek waar elk nieuw boek een wetenschappelijk artikel is. Voor deze bibliotheek om te kunnen functionen, moeten auteurs hun nieuwe verhalen bouwen op de oude, waarbij ze de boeken citeren die hen hebben geïnspireerd. Dit creëert een massief, onzichtbaar web van verbindingen, waarbij elk nieuw boek verbonden is met de boeken waarop het staat. Maar soms blijkt een boek een "zombie" te zijn—het bevat valse feiten of gestolen ideeën, en de bibliotheek moet het van de planken halen en als "Retracted" (geintrokken) markeren. Het enge deel is dat zelfs nadat een boek is verwijderd, mensen het nog jarenlang blijven citeren, waardoor de slechte ideeën per ongeluk worden verspreid naar nieuwe verhalen. Dit is als een bibliotheek waar een kapotte kaart steeds opnieuw wordt gekopieerd in nieuwe gidsen, waardoor reizigers van koers raken lang nadat de bibliothecaris heeft geprobeerd het te herstellen. Wetenschappers proberen een systeem te bouwen om deze "zombie"-boeken te herkennen voordat ze zelfs de planken bereiken, maar de meeste huidige alarmen gaan pas af als het boek al is gepubliceerd en mensen het zijn gaan lezen.
Een nieuwe studie door Chenhao Zhang stelt een slimme vraag: Kunnen we een "slecht" boek herkennen door alleen naar de lijst van andere boeken te kijken die de auteur heeft geciteerd, voordat het verhaal zelfs werd geschreven? De paper suggereert dat de manier waarop een auteur zijn referenties kiest, een verborgen "vingerafdruk" van problemen kan achterlaten. Door de structuur van deze referentielijsten te analyseren—zoals hoe vaak een auteur naar zijn eigen eerdere werk verwijst, hoe oud de geciteerde boeken zijn en hoe verspreid deze over de tijd zijn—vond de studie een manier om te voorspellen welke papers waarschijnlijk zullen worden ingetrokken. Dit is een grote zaak, want het betekent dat we risicovol onderzoek direct op het moment van indiening kunnen signaleren, waardoor de verspreiding van "zombies" wordt gestopt voordat het begint, in plaats van jaren te wachten om de rommel op te ruimen.
De ontdekking van "Born Flawed?"
In deze studie behandelde de auteur het probleem als een detectivespel. Het doel was om te zien of de "buurt" van de referenties van een paper (de andere papers die het citeert) als een vroeg waarschuwingssysteem kon dienen. De onderzoeker gebruikte een enorme database van wetenschappelijke papers genaamd OpenAlex en kruisverwees deze met een lijst van bekende ingetrokken papers. Om de test eerlijk te houden, koppelde de onderzoeker elke ingetrokken paper aan een "controlemateriaal": een paper uit hetzelfde jaar dat niet was ingetrokken, wat resulteerde in een steekproef van 219 ingetrokken papers en 184 controlemateriaal-papers.
De belangrijkste innovatie hier was het kijken naar informatie die op het moment van publicatie beschikbaar was. De onderzoeker richtte zich op drie specifieke "lekkage-veilige" kenmerken, wat betekent dat er geen gegevens werden gebruikt die pas na publicatie van de paper zouden bestaan (zoals hoe vaak de paper later is geciteerd). Deze drie kenmerken waren:
- Zelfcitatiepercentage: Hoe vaak de auteur naar zijn eigen eerdere werk verwees.
- Referentie-jaarverspreiding: Hoe ver de publicatiedatums van de geciteerde papers uiteenlagen (citeerden ze een smalle periode of een breed bereik?).
- Referentie recentheidskloof: Hoe "vers" de geciteerde literatuur was in vergelijking met de nieuwe paper.
Toen de onderzoeker deze kenmerken in een computermodel voedde samen met basismetadata (zoals het aantal auteurs of de taal van de paper), waren de resultaten verrassend duidelijk. Het vermogen van het model om een ingetrokken paper van een normale paper te onderscheiden, verbeterde aanzienlijk. Specifiek, toen het model werd getest op toekomstige data (een "out-of-time" split, wat simuleert het voorspellen van de toekomst op basis van het verleden), sprong de nauwkeurigheidsscore (AUC) van 0,49 (wat eigenlijk gewoon gokken is) naar 0,66. Dit is een winst van 0,176, en de onderzoekers zijn zeer zeker over dit resultaat omdat, na het uitvoeren van 2.000 verschillende simulaties (bootstraps) om geluk te controleren, de verbetering nooit naar nul zakte.
De paper sloot ook expliciet een "vals speel"-kenmerk uit om zijn punt te bewijzen. De onderzoeker testte een vierde kenmerk: het deel van de referenties dat al ingetrokken was. Dit kenmerk gaf een enorme boost aan de nauwkeurigheid van het model (een winst van 0,308), maar de onderzoeker liet het buiten de hoofdresultaten. Waarom? Omdat je, om te weten of een referentie is ingetrokken, de toekomstige status van die referentie moet kennen op het moment dat de nieuwe paper werd geschreven. Omdat je de toekomst niet kunt kennen, is dit kenmerk "lekkage-gevoelig" en nutteloos voor echte vroege waarschuwingen. Door dit kenmerk uit te sluiten, bewijst de studie dat het signaal komt van de structuur van de referenties, en niet van het weten welke er later verboden zijn.
De studie concludeert dat papers die bestemd zijn voor intrekking inderdaad een andere "structurele buurt" bezetten op het moment dat ze worden geschreven. Ze zijn niet alleen ongelukkig; ze hebben een detecteerbaar patroon in hoe ze anderen citeren. Hoewel de steekproefomvang bescheiden was (enkele honderden papers) en de absolute nauwkeurigheidscijfers nog niet perfect zijn, is de richting duidelijk. De auteurs suggereren dat dit een screeningsinstrument kan worden voor redacteuren en integriteitsteams, wat hen helpt bij het triëren van inzendingen en het richten van hun aandacht op de papers die mogelijk "born flawed" zijn, zonder te hoeven wachten tot de schade zich door de wetenschappelijke literatuur heeft verspreid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.