Detecting Evidence of LLM Contributions to Open Access Biomedical Literature: A Bibliometric Analysis
Diese bibliometrische Analyse von fast 3 Millionen Open-Access-Biomedizin-Artikeln zeigt einen signifikanten Anstieg der mit LLMs assoziierten Terminologie nach 2022 auf, was die rasche Einführung generativer KI-Werkzeuge verdeutlicht und die dringende Notwendigkeit von Transparenz und Detektionsmethoden hervorhebt, um die wissenschaftliche Integrität zu bewahren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Seit Jahrzehnten verlassen sich Wissenschaftler auf Werkzeuge, um ihr Schreiben klarer und ihre Forschung effizienter zu gestalten. Rechtschreibprüfungen und Grammatiksoftware sind längst zum Standardhelfer geworden, die Fehler glätten und bessere Wortwahl vorschlagen, ohne die Kernstimme des Autors zu verändern. In den letzten Jahren ist eine neue Generation dieser Werkzeuge entstanden, die in der Lage ist, ganze Textabsätze zu generieren, die bemerkenswert menschlich klingen. Diese Systeme, bekannt als große Sprachmodelle, wurden mit riesigen Mengen an geschriebenem Material trainiert und können kohärente, geschliffene Prosa zu fast jedem Thema produzieren. Während sie das Versprechen bieten, den Schreibprozess zu beschleunigen, werfen sie auch eine schwierige Frage für die wissenschaftliche Gemeinschaft auf: Wie können wir den Unterschied zwischen einem Satz erkennen, der von einem menschlichen Forscher geschrieben wurde, und einem, der von einer Maschine entworfen wurde? Diese Unterscheidung ist von tiefer Bedeutung, da die Integrität der wissenschaftlichen Literatur von der Authentizität der Ideen und der Genauigkeit der darin präsentierten Fakten abhängt. Wenn ein erheblicher Teil der neuen Forschung durch diese Werkzeuge entworfen oder stark bearbeitet wird, muss sich möglicherweise die Art und Weise ändern, wie wir dieses Wissen lesen, ihm vertrauen und darauf aufbauen.
Ein Team von Forschern setzte sich zum Ziel, diese Frage zu beantworten, indem es direkt die Wörter selbst untersuchte. Sie konzentrierten sich auf die riesige Sammlung von Open-Access-Medizin- und Biologieforschungspapieren, die in einer öffentlichen Datenbank namens PubMed Central verfügbar sind. Diese Sammlung enthält Millionen von Artikeln und bietet somit ein massives Fenster in die Art und Weise, wie Wissenschaftler weltweit ihre Arbeit schreiben. Das Team versuchte nicht zu erraten, welche spezifischen Arbeiten von Maschinen geschrieben wurden – eine Aufgabe, die sich sowohl für Menschen als auch für Computerprogramme als schwierig erwiesen hat. Stattdessen suchten sie nach einem anderen Signal. Sie untersuchten, ob bestimmte Wörter und Phrasen, die in früheren Studien als wesentlich häufiger von künstlicher Intelligenz als von Menschen verwendet wurden, nach Ende 2022, als diese Werkzeuge der Öffentlichkeit weit zugänglich wurden, plötzlich viel häufiger in der wissenschaftlichen Literatur auftauchten.
Die Forscher sammelten fast drei Millionen Artikel, die zwischen 2019 und 2024 veröffentlicht wurden. Sie erstellten eine Liste von 190 spezifischen Wörtern und Phrasen, die in früheren Untersuchungen als charakteristisch für maschinengenerierten Text markiert worden waren. Dazu gehörten Adjektive wie „meticulous“ (akribisch) und „intricate“ (komplex/verschlungen), Verben wie „delve“ (vertiefen) und „underscore“ (unterstreichen) sowie längere Phrasen wie „navigating the complexities of“ (die Komplexität von ... navigieren) oder „it is important to note“ (es ist wichtig zu beachten). Sie scannten dann jeden einzelnen Artikel in ihrem Datensatz, um zu sehen, wie oft diese Begriffe vorkamen. Das Ziel war es zu sehen, ob sich die Häufigkeit dieser Wörter über die Zeit veränderte, wobei sie speziell nach der Veröffentlichung der neuen KI-Werkzeuge auf einen sprunghaften Anstieg der Nutzung acht.
Die Ergebnisse zeigten eine klare und dramatische Verschiebung in der Sprache der biomedizinischen Forschung. Vor 2022 wuchs der Gebrauch dieser spezifischen Begriffe langsam und stetig, was konsistent mit normalen Veränderungen in der Art und Weise, wie Menschen schreiben, ist. Doch ab 2023 und fortlaufend in 2024 explodierte jedoch der Gebrauch vieler dieser Wörter. Beispielsweise tauchte das Wort „meticulously“ (akribisch), das im gesamten Datensatz im Jahr 2019 weniger als tausend Mal vorkam, im Jahr 2024 mehr als 16.000 Mal auf. Die Phrase „it's important to note“ (es ist wichtig zu beachten) erlebte einen ähnlichen Anstieg und sprang von nur 29 Instanzen im Jahr 2019 auf fast 800 im Jahr 2024. Vielleicht am aussagekräftigsten waren die längeren, komplexeren Phrasen. Die Kombination „delving into the intricacies of“ (in die Komplexität von ... eintauchen) war vor 2023 praktisch nicht existent in der Literatur, doch bis 2024 war sie in Dutzenden von Artikeln erschienen. Die Forscher stellten fest, dass dies nicht nur isolierte Wörter waren, die populär wurden; die spezifischen Wortkombinationen, die als Kennzeichen für KI-Schreiben gelten, traten mit zunehmender Häufigkeit gemeinsam auf.
Die Studie untersuchte auch, wie diese Wörter miteinander kombiniert wurden. Sie fanden heraus, dass Paare und Gruppen dieser KI-assoziierten Begriffe in denselben Artikeln in Raten auftauchten, die statistisch gesehen unwahrscheinlich durch Zufall zu geschehen wären. Zum Beispiel begannen die Wörter „artificial intelligence“ (künstliche Intelligenz) und „underscore“ (unterstreichen), viel häufiger als zuvor in denselben Papieren gemeinsam aufzutauchen. Die Forscher beobachteten, dass diese Muster nicht nur eine langsame Evolution des Sprachstils waren, was sich über viele Jahre hinweg allmählich vollziehen würde, sondern vielmehr ein plötzlicher Wendepunkt waren, der exakt mit der öffentlichen Veröffentlichung generativer KI-Werkzeuge zusammenfiel. Obwohl die Studie nicht beweisen kann, dass irgendein einzelner Artikel von einer Maschine geschrieben wurde, deutet das schiere Ausmaß dieses linguistischen Wandels darauf hin, dass diese Werkzeuge von Autoren in dem gesamten Bereich intensiv genutzt werden.
Die Autoren der Studie betonen, dass dies nicht bedeutet, dass die Forschung selbst notwendigerweise fehlerhaft ist, noch dass es darauf hindeutet, dass jedes Papier, das diese Wörter verwendet, inauthentisch ist. Stattdessen deuten die Ergebnisse auf eine schnelle und weit verbreitete Einführung neuer Schreibhilfen hin, die die Textur der wissenschaftlichen Kommunikation verändern. Die Forscher argumentieren, dass die wissenschaftliche Gemeinschaft, da diese Werkzeuge manchmal Fehler machen oder Inhalte produzieren können, die es an echtem Verständnis mangeln, einen besseren Weg entwickeln muss, um zu identifizieren, wann sie verwendet werden. Sie schlagen vor, dass Wissenschaftler, Editoren und Gutachter, anstatt diese Werkzeuge verbieten zu wollen – die wahrscheinlich gekommen sind, um zu bleiben –, sich stattdessen auf Transparenz konzentrieren sollten. Indem sie anerkennen, wann und wie diese Werkzeuge eingesetzt werden, kann der wissenschaftliche Rekord vertrauenswürdig bleiben, auch wenn sich die Methoden seiner Erstellung weiterentwickeln. Die Studie kommt zu dem Schluss, dass sich die Sprache der Wissenschaft verändert und dass das Erkennen dieser neuen Muster der erste Schritt ist, um zu verstehen, wie künstliche Intelligenz die Art und Weise, wie wir Wissen teilen, umgestaltet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.