The Invisible Infrastructure of Biomedical Research: An Exploratory Analysis of Software Mentions and Sentence-Level Citation Marking
Deze verkennende analyse van bijna 800.000 vermeldingen van software in biomedische artikelen onthult dat de markering van citaten op zinsniveau over het algemeen laag is (10,7%) en significant varieert per type hulpmiddel, waarbij statistische pakketten het minst frequent worden geciteerd, wat wijst op de noodzaak van gerichte beleidsinterventies en verbeterde validatiemethoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Moderne wetenschap leunt zwaar op onzichtbare instrumenten. Wanneer een bioloog een streng DNA sequentieert of een statisticus een enorme dataset analyseert, gebruiken zij niet alleen pen en papier; zij draaien complexe computerprogramma's. Deze programma's zijn de motoren van ontdekking, die bepalen wat onderzoekers kunnen concluderen en hoe snel ze kunnen werken. Toch was het systeem dat wetenschappers gebruiken om erkenning te krijgen voor hun werk — de academische citatie — gebouwd voor boeken en artikelen, niet voor software. Wanneer een onderzoeker een programma in zijn artikel vermeldt, verschijnt dit vaak als een eenvoudige naam in een zin, zoals een instrument dat op een werkbank ligt. Omdat deze namen zelden gekoppeld zijn aan een formele referentie, ontvangen de mensen die de software hebben gebouwd vaak geen erkenning voor hun arbeid. Dit gebrek aan erkenning maakt het moeilijk om de tijd en het geld te rechtvaardigen die nodig zijn om deze instrumenten draaiende te houden, en het laat een gat in de verslaglegging die het voor anderen moeilijk maakt om de experimenten te herhalen.
Een nieuwe studie door Md Motasim Billa aan de University of Arkansas at Little Rock onderzoekt precies hoe vaak dit gebeurt en of het probleem hetzelfde is voor elk type software. De onderzoeker bekijkte bijna 800.000 vermeldingen van softwarenamen in bijna 140.000 biomedische onderzoekspapers gepubliceerd tussen 1980 en 2022. Hij telde niet alleen hoe vaak software werd vermeld; hij keek nauwgezet naar de zinnen om te zien of de vermelding werd vergezeld door een formele citatiemarker, zoals een nummer tussen haakjes of een superscript die naar een referentielijst verwijst. Dit onderscheid is cruciaal omdat een naam die in een zin zweeft wel zichtbaar is voor een menselijke lezer, maar onzichtbaar is voor de geautomatiseerde systemen die de wetenschappelijke impact bijhouden.
De onderzoeker stelde vast dat formele citatie verrassend zeldzaam is. Over de gehele collectie papers werd slechts ongeveer 11 procent van de softwarevermeldingen vergezeld door een citatiemarker in dezelfde zin. De grote meerderheid, bijna 70 procent, bestond uit louter naamgeving in de tekst. De studie onthulde echter dat dit lage percentage niet uniform is voor alle soorten tools. De waarschijnlijkheid dat een softwaretool wordt geciteerd, hangt sterk af van wat voor soort tool het is. Machine-learning frameworks, die worden gebruikt om kunstmatige intelligentiemodellen te trainen, werden in ongeveer 18 procent van hun vermeldingen geciteerd. Programmeertalen werden in ongeveer 16 procent van de gevallen geciteerd. In schril contrast hiermee werden algemene statistische pakketten, de werkpaarden van de data-analyse, in slechts 2 procent van de vermeldingen geciteerd. Referentiebeheerders, tools die worden gebruikt om bibliografieën te organiseren, werden in slechts 1 procent van de gevallen geciteerd.
Dit patroon suggereert dat de manier waarop wetenschappers over software praten niet één enkele, kapotte gewoonte is, maar een reeks verschillende conventies afhankelijk van de tool. Statistische software wordt vaak behandeld als standaarduitrusting, zoals een microscoop of een reageerbuis, in plaats van als een uniek werk van auteurschap dat een specifieke erkenning verdient. Wanneer een wetenschapper zegt dat hij een statistisch pakket heeft gebruikt, volgt hij vaak een methodologische conventie die geen citatie vereist. Daarentegen hebben machine-learning frameworks vaak geassocieerde onderzoeksartikelen die worden beschouwd als de primaire manier om de tool te citeren, wat leidt tot hogere citatiesnelheden. De studie vond ook dat de manier waarop een tool in de tekst wordt benoemd, de kans op een citatie verandert. Als een zin een weblink naar de software bevat, is het waarschijnlijker dat er een formele citatie aanwezig is. Als de zin de naam van het bedrijf of de ontwikkelaar noemt die de software hebben gemaakt, is de kans op een citatie veel kleiner, wat suggereert dat het noemen van de maker in de ogen van de auteur de noodzaak voor een formele referentie vervangt.
De onderzoeker testte ook hoe goed huidige methoden het verschil kunnen zien tussen een softwarenaam en een gewoon woord dat toevallig op een dergelijke naam lijkt. Veel softwaretools hebben namen die gemeenschappelijke Engelse woorden zijn, zoals "star", "cluster" of "string". De studie toonde aan dat standaardlijsten van bekende softwaretools deze ambigue namen niet bevatten. Wanneer de onderzoeker probeerde om eenvoudige regels op basis van de omliggende woorden te gebruiken om te bepalen of een woord als "cluster" verwees naar software of simpelweg naar een groep dingen, werkten de regels redelijk goed, maar faalden ze vaak wanneer de context technisch was. Dit benadrukt een aanzienlijke uitdaging: de tools die worden gebruikt om softwarevermeldingen automatisch te volgen, zijn nog niet goed genoeg om de meest voorkomende, ambigue namen te verwerken zonder menselijke hulp of geavanceerdere technologie.
De studie concludeert dat hoewel het probleem van onder-citeren van software reëel is, het niet een simpel geval is van wetenschappers die vergeten erkenning te geven. In plaats daarvan is het een complex vraagstuk waarbij verschillende soorten tools met verschillende regels worden behandeld. De kloof is het grootst voor de statistische pakketten die een groot deel van het moderne onderzoek aandrijven. Omdat de data die in deze studie zijn gebruikt geen perfect willekeurige steekproef waren en de methoden voor het identificeren van software niet volledig zijn gevalideerd tegenover menselijke experts, zijn de bevindingen het beste te zien als een kaart van waar het probleem het meest ernstig is, in plaats van als een definitieve volkstelling. De resultaten suggereren dat een enkele regel die alle wetenschappers vertelt om "je software te citeren" wellicht niet zal werken. In plaats daarvan moeten beleidsregels mogelijk worden afgestemd op specifieke soorten tools, met name die welke momenteel als onzichtbare apparatuur worden behandeld, om ervoor te zorgen dat de bouwers van de digitale infrastructuur van de wetenschap eindelijk de erkenning krijgen die zij verdienen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.