Improving machine learning-based paper mill detection in cancer research using full text, image and citation data
Diese Studie zeigt, dass die Verbesserung der maschinellen Lern-basierten Erkennung von Paper Mills in der Krebsforschung durch die Integration von Volltext-, Zitations- und Bilddaten mit Titel- und Abstract-Informationen die Modellgenauigkeit signifikant verbessert und dabei bis zu 98,2 % bei der internen Validierung sowie 96,4 % bei der externen Validierung erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der riesigen Bibliothek des wissenschaftlichen Wissens, in der Forscher neue Entdeckungen auf den Schultern derer aufbauen, die vor ihnen kamen, existiert ein gefährlicher Schatten: die Paper Mill (Papierfabrik). Dies sind keine kleinen Werkstätten für ehrliche Irrtümer, sondern organisierte Betriebe, die gefälschte Forschungsarbeiten herstellen und das Recht verkaufen, als Autor aufgeführt zu werden, an jeden, der bereit ist zu zahlen. Der Schaden, den sie verursachen, ist tiefgreifend, insbesondere im Bereich der Krebsforschung. Wenn ein Wissenschaftler versucht, eine Krankheit zu heilen, verlässt er sich auf die Daten in veröffentlichten Studien, um seine nächsten Schritte zu planen. Wenn diese Daten von einer Paper Mill fabriziert wurden, verschwendet der Wissenschaftler Jahre der Zeit und Millionen von Dollar bei der Jagd nach einem Phantom, während Patienten einem Risiko ausgesetzt bleiben. Seit Jahren kämpft die wissenschaftliche Gemeinschaft darum, diese Fälschungen zu finden, bevor sie veröffentlicht werden, und verlässt sich dabei oft darauf, den Betrug anhand des Titels und der kurzen Zusammenfassung zu erkennen. Doch da die Fälscher geschickter werden, werden die Zusammenfassungen, die sie schreiben, immer schwerer von der Realität zu unterscheiden.
Eine aktuelle Studie setzte sich zum Ziel zu untersuchen, ob ein tieferer Blick in ein Paper helfen könnte, diese Fälscher zu überführen. Die Forscher stellten eine einfache Frage: Wenn wir den gesamten Körper einer Forschungsarbeit betrachten, einschließlich ihrer detaillierten Methoden, ihrer Ergebnisse, der Bilder ihrer Experimente und der Liste der anderen Arbeiten, die sie zitiert, können wir den Betrug besser erkennen als nur durch das Lesen von Titel und Zusammenfassung? Um dies zu beantworten, entwickelten sie ein Computersystem, das darauf trainiert wurde, die subtilen Fingerabdrücke einer Paper Mill zu erkennen. Sie sammelten eine massive Sammlung bekannter gefälschter Arbeiten, die von Experten bereits als solche markiert worden waren, und paarten sie mit einer großen Gruppe echter, qualitativ hochwertiger Krebsstudien. Das Team speiste diese Daten dann in ein System des maschinellen Lernens ein, eine Form der künstlichen Intelligenz, die Muster durch Beispiele lernt. Sie testeten das System auf drei verschiedene Arten: erstens, indem sie nur den Titel und die Zusammenfassung vorgaben; zweitens, indem sie den vollständigen Text der Methoden- und Ergebnisse Abschnitte lieferten; und drittens, indem sie die tatsächlichen Bilder der Experimente zeigten. Schließlich kombinierten sie all diese Hinweise zu einem leistungsstarken Detektor.
Die Ergebnisse zeigten, dass es einen signifikanten Unterschied macht, das Gesamtbild zu betrachten. Als der Computer auf nur den Titel und die Zusammenfassung beschränkt war, schnitt er gut ab und identifizierte etwa 91,5 Prozent der gefälschten Arbeiten in einer neuen, unbekannten Testgruppe. Dies entsprach der Leistung früherer Werkzeuge, die sich nur auf kurze Zusammenfassungen stützten. Als die Forscher jedoch den vollständigen Text der Arbeit hinzufügten, insbesondere die Abschnitte, die beschreiben, wie die Experimente durchgeführt wurden und was die Ergebnisse waren, verbesserte sich die Genauigkeit des Systems. Es begann, mehr der Fälschungen zu erfassen und erreichte eine Genauigkeit von 92,1 Prozent in der neuen Testgruppe. Der vollständige Text offenbarte Muster, die die kurze Zusammenfassung übersah, wie etwa recycelte experimentelle Protokolle oder Sequenzen von Inhaltsstoffen, die keinen Sinn ergaben – ein häufiger Trick, den Paper Mills anwenden.
Die Studie testete auch, ob die Bilder in den Arbeiten helfen könnten. Der Computer wurde darauf trainiert, die Abbildungen und Diagramme zu betrachten, um zu sehen, ob sie manipuliert oder verdächtig erschienen. Während diese Methode besser als reines Raten funktionierte, war sie nicht so zuverlässig wie das Lesen des Textes. Der Bildendetektor identifizierte etwa 76 Prozent der gefälschten Arbeiten in der neuen Testgruppe korrekt, hatte aber mehr Schwierigkeiten als die textbasierten Werkzeuge. Er war besonders gut darin, echte Arbeiten zu erkennen, übersah aber viele der Fälschungen. Dies deutet darauf darauf hin, dass gefälschte Bilder zwar ein Warnsignal sind, die Worte der Arbeit jedoch eine klarere Geschichte erzählen. Die Forscher betrachteten auch die Liste der Referenzen und prüften, ob eine Arbeit andere bekannte gefälschte Arbeiten zitierte. Dieser Hinweis war nützlich, war aber das schwächste Signal von allen, wahrscheinlich weil die Liste der bekannten gefälschten Arbeiten noch nicht vollständig genug ist, um jede Verbindung zu erfassen.
Das leistungsfähigste Werkzeug entstand, als die Forscher alle verfügbaren Informationen kombinierten. Sie nahmen die Scores des Textlesers, des Bildbetrachters und des Referenzprüfers und führten sie zu einer einzigen Entscheidung zusammen. Dieses fusionierte Modell, das den vollständigen Text, die Bilder und die Zitate gleichzeitig berücksichtigte, erreichte die höchste Genauigkeit aller getesteten Systeme. In der neuen, unbekannten Testgruppe identifizierte es 96,4 Prozent der gefälschten Arbeiten korrekt. Dies war eine klare Verbesserung gegenüber den älteren Methoden, die auf einer einzigen Art von Hinweis basierten. Die Studie legt nahe, dass der einzige Weg, Paper Mills zu stoppen, in einer zunehmend anspruchsvolleren Welt, besteht, ein System zu verwenden, das jeden Teil des Dokuments betrachtet. Genau wie ein menschlicher Editor eine Arbeit lesen, die Fotos prüfen und die Quellen verifizieren könnte, um Qualität sicherzustellen, tut dies nun der Computer, allerdings mit einer Geschwindigkeit und einem Umfang, den kein Mensch erreichen könnte. Die Ergebnisse deuten darauf hin, dass die Zukunft des Schutzes der wissenschaftlichen Integrität in diesen umfassenden, vielschichtigen Kontrollen liegt, um sicherzustellen, dass das Fundament der Krebsforschung solide und vertrauenswürdig bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.