Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results
PLOS und DataSeer haben einen neuen auf LLMs basierenden Indikator entwickelt, der eine 43-prozentige Wiederverwendungsrate von Forschungsdaten in wissenschaftlichen Publikationen aufzeigt, was belegt, dass generative KI die Auswirkungen offener Wissenschaft im großen Maßstab messen kann, und nahelegt, dass die positiven Effekte des Datenteilens derzeit unterschätzt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der wissenschaftlichen Forschung als eine riesige, geschäftige Küche vor. Seit Jahren versuchen wir herauszufinden, wie oft Köche (Wissenschaftler) tatsächlich Zutaten (Daten) verwenden, die von anderen Köchen auf der Theke zurückgelassen wurden, anstatt einfach ganz neues Gemüse aus ihren eigenen Gärten zu schneiden.
Dieser Artikel handelt von einer neuen, hochtechnologischen „Smart-Kamera", die PLOS (ein wissenschaftlicher Verlag) und DataSeer (ein Technologieunternehmen) entwickelt haben, um einen Momentauszug dieser Küche zu machen und genau zu zählen, wie viel Datenaustausch stattfindet.
Hier ist die Aufschlüsselung ihres Projekts in einfachen Worten:
Das Problem: Die „stille" Wiederverwendung
Früher versuchten wir, zu zählen, wie oft Wissenschaftler Daten wiederverwendeten, hauptsächlich auf zwei Arten:
- Direkte Befragung: Umfragen zeigten, dass etwa 50 % der Wissenschaftler sagen: „Ja, ich verwende Daten anderer."
- Suche nach formellen Zitaten: Wir suchten nach offiziellen „Dankes"-Notizen (Zitaten) in wissenschaftlichen Arbeiten. Doch diese Methode war wie der Versuch, Gäste auf einer Party zu zählen, indem man nur nach Leuten mit Namensschildern sucht. Sie verfehlte alle, die einfach nur in der Ecke plauderten. Diese Methode deutete auf eine sehr geringe Wiederverwendung hin (etwa 9–16 %).
Es klaffte eine große Lücke zwischen dem, was Wissenschaftler sagten, dass sie taten, und dem, was die „Namensschild"-Methode sehen konnte.
Die Lösung: Der KI-„Super-Leser"
Um dieses Problem zu lösen, entwickelte das Team eine generative KI (eine Art intelligenter Computerhirn), die wie ein überaus aufmerksamer Leser agiert. Anstatt nur nach formalen Zitaten zu suchen, liest diese KI den gesamten Text einer wissenschaftlichen Arbeit, um die Geschichte zu verstehen.
Stellen Sie sich das wie einen Detektiv vor, der nicht nur nach einem spezifischen Fingerabdruck sucht, sondern das gesamte Tagebuch liest, um herauszufinden, ob die Person ein Buch aus der Bibliothek geliehen oder ein neues gekauft hat.
Wie sie die KI trainierten:
- Sie zeigten der KI Tausende wissenschaftlicher Artikel und brachten ihr bei, drei Dinge zu erkennen:
- Hat der Autor neue Daten erstellt (wie neues Gemüse anzubauen)?
- Hat der Autor bestehende Daten wiederverwendet (wie die Verwendung von Zutaten, die andere übrig gelassen haben)?
- Warum haben sie das getan? (Die „Begründung").
- Sie testeten die KI gegen menschliche Experten, um sicherzustellen, dass sie genau ist. Die KI wurde darin sehr gut und identifizierte Wiederverwendungen in etwa 85 % der Fälle korrekt.
Die Ergebnisse: Die Küche ist geschäftiger, als wir dachten
Die KI analysierte 4.475 wissenschaftliche Arbeiten, die in den ersten drei Monaten des Jahres 2024 veröffentlicht wurden. Hier ist, was sie fand:
- Die große Zahl: 43 % der Arbeiten verwendeten Daten neu.
- Der Vergleich: Dies ist viel höher als die alte Methode der „formellen Zitierung" (die nur etwa 10 % sah), stimmt aber viel besser mit dem überein, was Wissenschaftler uns in Umfragen sagten (die etwa 50 % angaben).
- Die Erkenntnis: Die alten Methoden unterschätzten wahrscheinlich, wie hilfsbereit und kollaborativ Wissenschaftler tatsächlich sind. Die „Wiederverwendung" findet statt, aber sie geschieht oft im Text der Arbeit, ohne dass eine formelle „Dankes"-Notiz angehängt ist.
Interessante Muster
Die KI bemerkte auch einige Unterschiede über die Regionen und Themen hinweg:
- Nach Region: Wissenschaftler im Asien-Pazifik-Raum waren am ehesten bereit, Daten neu zu verwenden (46 %), während diejenigen in Afrika am wenigsten bereit waren (31 %). Die Autoren vermuten, dass dies mit der globalen Art und Weise des Datenaustauschs und Bedenken bezüglich des Dateneigentums zusammenhängen könnte.
- Nach Fachgebiet:
- Naturwissenschaften und Sozialwissenschaften waren am ausgewogensten und verwendeten Daten fast genauso oft neu, wie sie neue Daten erstellten.
- Lebenswissenschaften (wie Biologie) waren am ehesten bereit, ganz neue Daten zu erstellen (76 %) und am wenigsten bereit, bestehende Daten neu zu verwenden (37 %).
Warum das wichtig ist
Die Autoren argumentieren, dass wir, wenn wir uns nur auf formelle Zitierungen konzentrieren, das vollständige Bild davon verpassen, wie offene Wissenschaft funktioniert. Durch den Einsatz dieser KI-„Smart-Kamera" können wir sehen, dass der Datenaustausch einen größeren Einfluss hat, als wir dachten.
Wichtiger Hinweis zu Grenzen:
Die Autoren betonen sorgfältig, dass dies ein „Work in Progress" ist. Sie geben zu, dass:
- Es schwierig sein kann, den Unterschied zwischen der Verwendung eigener alter Daten und denen anderer zu erkennen.
- Sie nur Arbeiten eines Verlags (PLOS) betrachtet haben, sodass die Ergebnisse in anderen Zeitschriften anders aussehen könnten.
- Die KI noch nicht perfekt ist, aber im Vergleich zu den alten Zählmethoden ein riesiger Schritt nach vorne darstellt.
Kurz gesagt, stellt dieser Artikel ein neues Werkzeug vor, das uns hilft zu erkennen, dass Wissenschaftler die Arbeiten anderer viel häufiger teilen und wiederverwenden, als uns bewusst war, was darauf hindeutet, dass die Bewegung der „offenen Wissenschaft" besser funktioniert, als unsere alten Messstäbe zeigen konnten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.