The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Diese explorative Analyse von fast 800.000 Softwareerwähnungen in biomedizinischen Arbeiten zeigt, dass die Zitation auf Satzebene generell niedrig ist (10,7 %) und je nach Werkzeugtyp erheblich variiert, wobei statistische Pakete am seltensten zitiert werden, was die Notwendigkeit gezielter politischer Interventionen und verbesserter Validierungsmethoden hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Die moderne Wissenschaft stützt sich stark auf unsichtbare Werkzeuge. Wenn ein Biologe einen DNA-Strang sequenziert oder ein Statistiker einen massiven Datensatz analysiert, verwenden sie nicht nur Stift und Papier; sie führen komplexe Computerprogramme aus. Diese Programme sind die Motoren der Entdeckung, die bestimmen, was Forscher schlussfolgern können und wie schnell sie arbeiten können. Doch das System, das Wissenschaftler nutzen, um Anerkennung für ihre Arbeit zu erhalten – die akademische Zitierung – wurde für Bücher und Artikel entwickelt, nicht für Software. Wenn ein Forscher ein Programm in seinem Artikel erwähnt, erscheint es oft als einfacher Name in einem Satz, wie ein Werkzeug, das auf einer Werkbank liegt. Da diese Namen selten mit einem formellen Verweis verknüpft sind, erhalten die Menschen, die die Software entwickelt haben, keine Anerkennung für ihre Arbeit. Dieser Mangel an Anerkennung macht es schwierig, die Zeit und das Geld zu rechtfertigen, die nötig sind, um diese Werkzeuge am Laufen zu halten, und er hinterlässt eine Lücke in der Dokumentation, die es anderen erschwert, die Experimente zu wiederholen.
Eine neue Studie von Md Motasim Billa von der University of Arkansas at Little Rock untersucht genau, wie oft dies geschieht und ob das Problem bei allen Arten von Software gleich ist. Der Forscher untersuchte fast 800.000 Erwähnungen von Softwarenamen innerhalb von fast 140.000 biomedizinischen Forschungsartikeln, die zwischen 1980 und 2022 veröffentlicht wurden. Er hat nicht nur gezählt, wie oft Software erwähnt wurde; er hat die Sätze genau untersucht, um zu sehen, ob die Erwähnung von einem formellen Zitierzeichen begleitet wurde, wie etwa einer Nummer in Klammern oder einer hochgestellten Zahl, die auf ein Literaturverzeichnis verweist. Diese Unterscheidung ist entscheidend, da ein Name, der in einem Satz schwebt, für einen menschlichen Leser sichtbar, aber für die automatisierten Systeme, die den wissenschaftlichen Einfluss verfolgen, unsichtbar ist.
Der Forscher fand heraus, dass formelle Zitierungen überraschend selten sind. In der gesamten Sammlung der Artikel trugen nur etwa 11 Prozent der Softwareerwähnungen ein Zitierzeichen im selben Satz. Die große Mehrheit, fast 70 Prozent, waren nur nackte Namen, die in den Text geschrieben wurden. Die Studie zeigte jedoch, dass diese niedrige Rate nicht einheitlich über alle Arten von Werkzeugen hinweg ist. Die Wahrscheinlichkeit, dass ein Softwarewerkzeug zitiert wird, hängt stark davon ab, um welche Art von Werkzeug es sich handelt. Machine-Learning-Frameworks, die zum Trainieren von Modellen der künstlichen Intelligenz verwendet werden, wurden in etwa 18 Prozent ihrer Erwähnungen zitiert. Programmiersprachen wurden in etwa 16 Prozent der Fälle zitiert. Im krassen Gegensatz dazu wurden allgemeine Statistikpakete, die Arbeitspferde der Datenanalyse, in nur 2 Prozent der Erwähnungen zitiert. Literaturverwaltungsprogramme, Werkzeuge zur Organisation von Bibliografien, wurden in nur 1 Prozent der Fälle zitiert.
Dieses Muster deutet darauf hin, dass die Art und Weise, wie Wissenschaftler über Software sprechen, kein einzelnes, kaputtes Gewohnheitsmuster ist, sondern eine Reihe verschiedener Konventionen, die je nach Werkzeug variieren. Statistiksoftware wird oft wie Standardausrüstung behandelt, wie ein Mikroskop oder ein Reagenzglas, und nicht wie ein einzigartiges Werk der Autorschaft, das eine spezifische Anerkennung verdient. Wenn ein Wissenschaftler sagt, dass er ein Statistikpaket verwendet hat, folgt er oft einer methodischen Konvention, die keine Zitierung erfordert. Im Gegensatz dazu haben Machine-Learning-Frameworks oft damit verbundene Forschungsarbeiten, die als primäre Art gelten, das Werkzeug zu zitieren, was zu höheren Zitierraten führt. Die Studie fand auch heraus, dass die Art und Weise, wie ein Werkzeug im Text benannt wird, die Chancen auf eine Zitierung verändert. Wenn ein Satz einen Weblink zur Software enthält, ist es wahrscheinlicher, dass eine formelle Zitierung vorliegt. Wenn der Satz das Unternehmen oder den Entwickler nennt, der die Software erstellt hat, ist es viel weniger wahrscheinlich, dass eine Zitierung erfolgt, was darauf hindeutet, dass die Nennung des Schöpfers in den Augen des Autors die Notwendigkeit eines formellen Verweises ersetzt.
Der Forscher testete auch, wie gut aktuelle Methoden unterscheiden können, ob es sich bei einem Softwarenamen um ein normales englisches Wort handelt, das zufällig so aussieht. Viele Softwaretools haben Namen, die gewöhnliche englische Wörter sind, wie „star“, „cluster“ oder „string“. Die Studie ergab, dass Standardlisten bekannter Softwaretools keine dieser mehrdeutigen Namen enthielten. Als der Forscher versuchte, einfache Regeln basierend auf den umgebenden Wörtern anzuwenden, um zu bestimmen, ob ein Wort wie „cluster“ sich auf Software oder nur auf eine Gruppe von Dingen bezog, funktionierten die Regeln mäßig gut, versagten aber häufig, wenn der Kontext technisch war. Dies verdeutlicht eine erhebliche Herausforderung: Die Werkzeuge, die verwendet werden, um Softwareerwähnungen automatisch zu verfolgen, sind noch nicht gut genug, um die häufigsten, mehrdeutigen Namen ohne menschliche Hilfe oder fortschrittlichere Technologie zu handhaben.
Die Studie kommt zu dem Schluss, dass das Problem der Unterzitierung von Software zwar real ist, es sich aber nicht um einen einfachen Fall handelt, in dem Wissenschaftler vergessen, Anerkennung zu geben. Stattdessen ist es ein komplexes Problem, bei dem verschiedene Arten von Werkzeugen mit unterschiedlichen Regeln behandelt werden. Die Lücke ist am größten bei den Statistikpaketen, die einen Großteil der modernen Forschung antreiben. Da die in dieser Studie verwendeten Daten keine perfekte Zufallsstichprobe waren und die Methoden zur Identifizierung der Software nicht vollständig gegen menschliche Experten validiert wurden, sind die Ergebnisse am besten als eine Karte dessen zu verstehen, wo das Problem am schwersten wiegt, und nicht als eine endgültige Volkszählung. Die Ergebnisse legen nahe, dass eine einzige Regel, die alle Wissenschaftler anweist, „Ihre Software zu zitieren“, nicht funktionieren wird. Stattdessen müssen Richtlinien möglicherweise auf spezifische Arten von Werkzeugen zugeschnitten werden, insbesondere auf jene, die derzeit als unsichtbare Ausrüstung behandelt werden, um sicherzustellen, dass die Erbauer der digitalen Infrastruktur der Wissenschaft endlich die Anerkennung erhalten, die sie verdienen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.