Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
Deze studie toont aan dat het verbeteren van machine learning-gebaseerde detectie van paper mills in kankeronderzoek door volledige tekst, citaties en afbeeldingen te integreren met titel- en abstractinformatie de nauwkeurigheid van het model aanzienlijk verbetert, waarbij tot 98,2% wordt bereikt op interne validatie en 96,4% op externe validatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte bibliotheek van de wetenschappelijke kennis, waar onderzoekers nieuwe ontdekkingen bouwen op de schouders van hen die hen voorgingen, bestaat een gevaarlijke schaduw: de paper mill (artikelfabriek). Dit zijn geen kleine werkplaatsen van eerlijke fouten, maar georganiseerde operaties die valse onderzoeksartikelen produceren en het recht om als auteur vermeld te worden verkopen aan iedereen die bereid is te betalen. De schade die zij veroorzaken is diepgaand, met name in het gebied van kankeronderzoek. Wanneer een wetenschapper probeert een ziekte te genezen, vertrouwt hij op de gegevens in gepubliceerde studies om zijn volgende stappen te bepalen. Als die gegevens zijn vervalst door een paper mill, verspilt de wetenschapper jaren van tijd en miljoenen dollars door een spook te najagen, terwijl patiënten in gevaar blijven. Jarenlang heeft de wetenschappelijke gemeenschap gestreden om deze vervalsingen te vinden voordat ze worden gepubliceerd, waarbij vaak wordt vertrouwd op de titel en de korte samenvatting van een artikel om de fraude te ontdekken. Maar naarmate de vervalsers vaardiger worden, worden de samenvattingen die zij schrijven steeds moeilijker te onderscheiden van de werkelijkheid.
Een recente studie zette zich in om te zien of het kijken naar de diepere lagen van een artikel deze vervalsers kon ontmaskeren. De onderzoekers stelden een eenvoudige vraag: als we naar het volledige lichaam van een onderzoeksartikel kijken, inclusief de gedetailleerde methoden, de resultaten, de afbeeldingen van de experimenten en de lijst met andere artikelen die het citeert, kunnen we de fraude dan beter ontdekken dan door alleen de titel en samenvatting te lezen? Om dit te beantwoorden, bouwden ze een computersysteem dat getraind was om de subtiele vingerafdrukken van een paper mill te herkennen. Ze verzamelden een enorme collectie bekende valse artikelen, geïdentificeerd door experts die ze al hadden gemarkeerd, en koppelden deze aan een grote groep authentieke, hoogwaardige kankerstudies. Het team voedde deze gegevens vervolgens aan een machine learning-systeem, een vorm van kunstmatige intelligentie die patronen leert door middel van voorbeelden. Ze testten het systeem op drie verschillende manieren: eerst door het alleen de titel en samenvatting te geven; tweede door het de volledige tekst van de methoden en resultaten te geven; en derde door het de werkelijke afbeeldingen te tonen die in de experimenten worden gebruikt. Ten slotte combineerden ze al deze aanwijzingen tot één krachtige detector.
De resultaten toonden aan dat het bekijken van het hele plaatje een aanzienlijk verschil maakt. Wanneer de computer beperkt was tot alleen de titel en de abstract, presteerde hij goed en identificeerde hij ongeveer 91,5 procent van de valse artikelen in een nieuwe, onbekende testgroep. Dit kwam overeen met de prestaties van eerdere tools die alleen vertrouwden op korte samenvattingen. Echter, wanneer de onderzoekers de volledige tekst van het artikel toevoegden, specifiek de secties waarin beschreven werd hoe de experimenten werden uitgevoerd en wat de resultaten waren, verbeterde de nauwkeurigheid van het systeem. Het begon meer van de vervalsingen te vangen, waarbij een nauwkeurigheid van 92,1 procent werd bereikt op de nieuwe testgroep. De volledige tekst onthulde patronen die de korte samenvatting miste, zoals gerecyclede experimentele protocollen of reeksen ingrediënten die geen zin maakten, wat veelvoorkomende trucs zijn die door paper mills worden gebruikt.
De studie testte ook of de afbeeldingen in de artikelen konden helpen. De computer werd getraind om naar de figuren en grafieken te kijken om te zien of ze gemanipuleerd of verdacht leken. Hoewel deze methode beter werkte dan willekeurige gokken, was het niet zo betrouwbaar als het lezen van de tekst. De afbeeldingsdetector identificeerde ongeveer 76 procent van de valse artikelen in de nieuwe testgroep, maar had meer moeite dan de tekstgebaseerde tools. Het was bijzonder goed in het herkennen van echte artikelen, maar miste veel van de valse artikelen. Dit suggereert dat hoewel valse afbeeldingen een waarschuwingssignaal zijn, de woorden van het artikel een duidelijker verhaal vertellen. De onderzoekers keken ook naar de lijst met referenties, waarbij ze controleerden of een artikel andere bekende valse artikelen citeerde. Deze aanwijzing was nuttig, maar het was het minst krachtige signaal van allemaal, waarschijnlijk omdat de lijst met bekende valse artikelen nog niet volledig genoeg is om elke connectie te vangen.
Het krachtigste instrument kwam naar voren toen de onderzoekers alle beschikbare informatie combineerden. Ze namen de scores van de tekstlezer, de beeldkijker en de referentiechecker en voegden deze samen tot één beslissing. Dit gefuseerde model, dat de volledige tekst, de afbeeldingen en de citaties tegelijkertijd overwoog, bereikte de hoogste nauwkeurigheid van alle geteste systemen. Op de nieuwe, onbekende testgroep identificeerde het 96,4 procent van de valse artikelen correct. Dit was een duidelijke verbetering ten opzichte van de oudere methoden die vertrouwden op één type aanwijzing. De studie suggereert dat naarmate paper mills geraffineerder worden, de enige manier om hen te stoppen een systeem is dat naar elk deel van het document kijkt. Net zoals een menselijke redacteur een artikel kan lezen, de foto's kan controleren en de bronnen kan verifiëren om kwaliteit te waarborgen, doet de computer nu hetzelfde, maar met een snelheid en schaal die geen mens kan evenaren. De bevindingen wijzen erop dat de toekomst van het beschermen van de wetenschappelijke integriteit ligt in deze uitgebreide, meerlagige controles, die ervoor zorgen dat het fundament van het kankeronderzoek solide en betrouwbaar blijft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.