💻 computer science

The Reciprocal Impact of Science and Software: A Cross-Corpus Analysis of How Research Shapes Software and Software Enables Research

Deze studie construeert een grootschalige cross-corpus grafiek die wetenschappelijke literatuur en softwarerepositories koppelt om te onthullen dat hoewel wetenschap en software co-evolueren via afzonderlijke, complementaire lagen van invloed, huidige meetmethoden schaars en gevoelig blijven voor methodologische keuzes, wat definitieve conclusies over hun wederzijdse impact verhindert.

Oorspronkelijke auteurs: Audris Mockus

Gepubliceerd 2026-07-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Audris Mockus

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de wereld van wetenschappelijke ontdekkingen voor als een enorme, bruisende stad. Een lange tijd was deze stad verdeeld in twee aparte districten die zelden met elkaar communiceerden:

De Bibliotheek-district: Hier publiceren wetenschappers hun papers. Het wordt gemeten aan de hand van hoeveel mensen boeken lenen (citaties) en hoe beroemd de auteurs zijn.
De Werkplaats-district: Hier worden de eigenlijke instrumenten, code en software gebouwd. Dit wordt gemeten aan de hand van hoeveel mensen een project een "star" geven op GitHub of hoeveel "forks" het heeft.

Het probleem? Deze twee districten gebruiken verschillende kaarten. Een wetenschapper kan een revolutionair instrument boung in de Werkplaats, maar de Bibliotheek weet er niets van. Omgekeerd kan een beroemd artikel in de Bibliotheek steunen op een minuscuul, onzichtbaar instrument in de Werkplaats dat niemand ooit vermeldt.

Dit paper, door Audris Mockus, probeert een brug te slaan tussen deze twee districten om een enkele, verenigde kaart te creëren van hoe de wetenschap werkelijk werkt. De auteur noemt dit de "Science-Software Supply Chain" (wetenschappelijke software-toeleveringsketen).

Hier is wat de studie heeft gevonden, uitgelegd via eenvoudige analogieën:

1. De Tweerichtingsverkeer

De onderzoekers hebben twee gigantische databases met elkaar verbonden: één die bijna alle publieke softwarecode bevat (World of Code) en één met wetenschappelijke papers (Semantic Scholar/OpenAlex). Ze keken naar de verbindingen in twee richtingen:

Richting A (Wetenschap $\rightarrow$ Software): Welke wetenschappelijke papers vormen daadwerkelijk de instrumenten die wetenschappers gebruiken?
- De Verrassing: Het zijn niet de meest beroemde papers met de meeste citaties. In plaats daarvan zijn de instrumenten die het meest worden overgenomen de instrumenten die wetenschappers helpen om hun werk te verpakken en te organiseren (zoals "nf-core" of "Nextflow").
- De Analogie: Denk hierbij aan een bouwplaats. De beroemdste architect (het zeer geciteerde paper) ontwerpt misschien een prachtig gebouw, maar de instrumenten die door elke bouwploeg worden gebruikt, zijn de steigerconstructies en de kranen (de verpakkingsinstrumenten). Het paper telt de roem van de architect, maar de software telt de bruikbaarheid van de steigers.
Richting B (Software $\rightarrow$ Wetenschap): Welke software-instrumenten maken daadwerkelijk nieuwe wetenschappelijke ontdekkingen mogelijk?
- De Verrassing: De instrumenten die de meeste wetenschap mogelijk maken, zijn vaak onzichtbaar. Het zijn de "verborgen infrastructuur" zoals PyTorch (voor AI) of datavisualisatietools. Ze worden zelden genoemd in de titels van papers, maar duizenden andere projecten zijn er afhankelijk van.
- De Analogie: Stel je een enorme stad voor waar iedereen op wegen rijdt. Je ziet de wegen niet in het nieuwsbericht over de auto's; je ziet alleen de auto's. Maar als de wegen zouden verdwijnen, zouden de auto's stoppen. Deze software-instrumenten zijn de wegen. Ze zijn essentieel, maar omdat ze overal zijn, stopt niemand met het schrijven van een paper over het feit dat hij "vandaag een weg heeft gebruikt".

2. De "Star" Rating Trap (De valstrik van de sterrenwaardering)

In de softwarewereld beoordelen mensen de belangrijkheid van een tool vaak op basis van hoeveel "stars" (likes) het krijgt op GitHub. De studie vond dat stars een slechte voorspeller zijn van echt gebruik.

De Analogie: Stel je een restaurant voor. Een plek met 500 "likes" op een sociale media-app is misschien een hippe plek waar mensen één keer naartoe gaan voor een foto. Maar een plek met slechts 10 likes kan de lokale bakkerij zijn die elke ochtend brood levert aan 10.000 andere restaurants.
De Bevinding: De studie vond een zeer zwakke connectie tussen "stars" en "dependencies" (hoeveel andere projecten de code daadwerkelijk gebruiken). Een tool met 150 stars kan door 9.000 andere projecten worden gebruikt, terwijl een tool met 50.000 stars door zeer weinig projecten wordt gebruikt. Populariteit is niet gelijk aan bruikbaarheid.

3. De "Onzichtbare" Kloof

De onderzoekers probeerden te tellen hoe vaak papers software noemen. Ze vonden een enorme kloof.

Het Probleem: Wanneer wetenschappers papers schrijven, noemen ze software vaak midden in de tekst (de "methoden"-sectie) in plaats van in de formele referentielijst. Geautomatiseerde tools missen deze vermeldingen vaak.
Het Resultaat: De link tussen een paper en de software die het gebruikt, is "ijjl" (sparse) en "ruizig". Het is alsoam met het proberen in kaart te brengen van een stamboom door alleen de namen te gebruiken die mensen op een feestje roepen, in plaats van te kijken naar de eigenlijke geboorteaktes. Omdat de data zo incompleet is, konden de onderzoekers geen enkel, perfect getal geven voor de mate waarin software impact heeft op de wetenschap. In plaats daarvan lieten ze zien dat verschillende manieren van meten verschillende antwoorden geven, en dat we voorzichtig moeten zijn om niet blind te vertrouzen op slechts één getal.

4. De Nieuwe Werknemers: AI-Agents

De studie keek ook naar een nieuw fenomeen: AI-coding agents (robots die code schrijven).

De Bevinding: Deze AI-agents beginnen op te duiken in wetenschappelijke softwareprojecten. Ze vervangen de mens nog niet, maar ze sluiten zich aan bij de beroepsbevolking.
Wie gebruikt ze? Het gaat niet om het type wetenschap (zoals biologie versus natuurkunde). In plaats daarvan worden AI-agents gebruikt door snelle, actieve projecten. Als een project jong is en de ontwikkelaars coderen razendsnel, is de kans groter dat ze AI-helpers gebruiken. Het is als een startup die snel beweegt en nieuwe gadgets gebruikt, in plaats van een langzame, gevestigde fabriek.

De Belangrijkste Conclusie

Dit paper betoogt dat we moeten stoppen met het zien van wetenschap en software als aparte zaken.

Oude Visie: Wetenschap is papers; Software is slechts een hulpmiddel.
Nieuwe Visie: Wetenschap is een toeleveringsketen. Papers en software zijn gelijkwaardige goederen.

Om wetenschappelijke vooruitgang echt te begrijpen, kunnen we niet alleen citaties of "stars" tellen. We moeten de dependencies (afhankelijkheden) zien — het onzichtbare web van code dat alles bij elkaar houdt. Net zoals een stad moet weten over haar waterleidingen en elektriciteitsnetten, en niet alleen over de beroemde gebouwen, moet de wetenschappelijke gemeenschap ook waarde hechten aan de "verborgen held" software die ontdekking mogelijk maakt, zelfs als er niemand een paper over schrijft.

Kortom: De belangrijkste instrumenten in de wetenschap zijn vaak de instrumenten waar je nooit van hoort, en de populairste instrumenten zijn vaak de instrumenten die je eigenlijk niet nodig hebt. Om dit op te lossen, hebben we een betere kaart nodig die de Bibliotheek verbindt met de Werkplaats.

Technische Samenvatting: De Wederkerige Impact van Wetenschap en Software

Probleemstelling
Wetenschappelijke kennis en software evolueren gezamenlijk, maar worden vastgelegd in uiteenlopende grootboeken: software in versiebeheer-ecosystemen (bijv. GitHub) en wetenschap in bibliografische databases (bijv. Semantic Scholar, OpenAlex). Deze scheiding maakt de "Science-Software Supply Chain" (S3C) onwaarneembaar. Huidige metrieken falen in het vastleggen van de wederkerige relatie: bibliometrie telt citaties maar mist softwarehergebruik, terwijl softwaremetrieken (stars, forks) de wetenschappelijke impact niet weerspiegelen. Bovendien lijden bestaande studies naar softwarevermeldingen in de literatuur aan een lage recall en onbetrouwbare koppeling aan daadwerkelijke artefacten, terwijl afhankelijkheidsanalyses vaak beperkt zijn tot één enkel ecosysteem zonder ontwikkelaarsidentiteiten te resolveren. Het artikel stelt dat zonder een globale, identiteits-geresolveerde link tussen papers en software-artefacten, de herkomst (provenance) van wetenschappelijke productie opaak blijft, wat het risicobeheer (bijv. het identificeren van "verborgen held"-afhankelijkheden) en efficiënte toewijzing van krediet belemmert.

Methodologie
De auteurs construeren een getypeerde cross-corpus graaf die de bijna volledige publieke versiebeheergeschiedenis (World of Code, V2604) koppelt aan bibliografische corpora (Semantic Scholar en OpenAlex).

Databronnen:
- Software: World of Code (WoC) levert commits, auteurs, projecten en project-naar-project afhankelijkheidsranden.
- Wetenschap: Semantic Scholar en OpenAlex leveren papers, citaties en softwarevermeldingen.
- Seed: 18.247 wetenschappelijke repositories uit de SciCat-dataset, gecureerd via LLM-classificatie op wetenschappelijke intentie.
Graafconstructie:
- De graaf bevat 69,8 miljoen randen over acht lagen, waaronder depends on (software-naar-software), mentions doi (software die papers citeert), mentions repo (papers die software benoemen) en identiteitsbruggen (same as) die auteurs en DOI's met elkaar verzoenen.
- Identiteitsresolutie maakt gebruik van de WoC-auteur-aliasing kaart en ORCID/affiliatiegegevens om ontwikkelaars te koppelen aan canonieke identiteiten.
Impactmaten (Wederkerige Vragen):
- RQ1 (Wetenschap $\to$ Software): Meet de "reikwijdte" van papers naar software. Voor een paper is dit het aantal verschillende wetenschappelijke repositories dat het citeert. Voor een auteur is dit de reikwijdte van repositories via hun papers.
- RQ2 (Software $\to$ Wetenschap): Meet het "faciliteren" van wetenschap door software.
  - Strikte Maatstaf: Papers die een repository benoemen (schaars, $n=137$ ).
  - Proxy Maatstaf: Ecosysteem Impact, gedefinieerd als de omgekeerde depends on in-degree (aantal verschillende projecten die afhankelijk zijn van een repository). Dit wordt gebruikt als een proxy voor wetenschappelijk faciliteren omdat het directe paper-naar-software kanaal te schaars is om effectief te kunnen rangschikken.
Validatie:
- Intern: Vergelijking van twee onafhankelijke extractoren (Semantic Scholar full-text vs. OpenAlex abstracts) om de recall te beoordelen.
- Extern: Een gehouden Softcite v2 gold corpus (door mensen gecureerde biomedische/economische vermeldingen) gebruikt om de recall te begrenzen en structurele biases (bijv. vermeldingen in de methodensectie vs. abstracts) te identificeren.
- Triangulatie: Analyse uitgevoerd over meerdere ankers (SciCat, JOSS, Softcite toolnamen, CRAN/conda registries) om de robuustheid te testen.

Belangrijkste Resultaten

Distinctie Ecosysteemstrata: De twee richtingen van impact onthullen grotendeels uiteenlopende lagen van het ecosysteem.
- Wetenschap $\to$ Software: Gedomineerd door een reproduceerbaarheids-/verpakkingslaag (bijv. nf-core, Nextflow, Singularity, Bioconda) en sequentie-analyse tools (SAMtools, STAR). Deze tools worden integraal overgenomen door vele pipelines.
- Software $\to$ Wetenschap (Proxy): Gedomineerd door een onzichtbare ML/data-science infrastructuurlaag (bijv. PyTorch, seaborn, NLTK, einops). Deze tools hebben een hoge afhankelijkheids-in-degree maar worden zelden direct geciteerd als de faciliterende substantie.
- Geleerden: De auteurs die het ecosysteem onderbouwen zijn primair de toolmakers (bijv. Paolo Di Tommaso voor Nextflow, Heng Li voor SAMtools).
Zwakke Koppeling van Metrieken:
- Hergebruik vs. Populariteit: Dependency in-degree correleert slechts zwak met GitHub stars (Spearman $\rho = 0,36$ ). Tools met een hoge afhankelijkheid zoals cloudflare/circl (9.459 afhankelijken) kunnen zeer weinig stars hebben (150).
- Hergebruik vs. Citatie: De correlatie tussen softwarehergebruik en wetenschappelijke citatie is fragiel en gevoelig voor hiaten.
  - Wanneer gekoppeld via papers die de repository benoemen ( $n=137$ ), is de correlatie ondetecteerbaar ( $\rho = 0,05$ , CI kruist nul).
  - Wanneer gekoppeld via DOI's verklaard door de repository ( $n=1.067$ ), ontstaat een zwakke positieve correlatie ( $\rho = 0,13$ , CI [0,07, 0,19]).
  - De auteurs concluderen dat het teken van de correlatie een artefact is van welk linkage-gat wordt getolereerd; claims over sterke ontkoppeling zijn prematuur gezien de huidige datadichtheid.
Beperkingen in Koppeling (Linkage):
- Recall is Laag: De externe gold benchmark laat zien dat de recall van de graaf voor vermeldingen in de methodensectie bijna nul is. De graaf vangt een "dunne, structureel bevoordeelde slice" (abstracts, landingspagina's, referenties) in plaats van de volledige methodentekst.
- Seed Bias: De SciCat seed beslaat slechts ~11% van de door curatoren geannoteerde tools in WoC en overlapt slecht met JOSS-repositories. Triangulatie met meerdere ankers bevestigt dat geen enkele seed het volledige landschap dekt.
AI Coding Agents:
- De studie identificeert 58 wetenschappelijke repositories die AI coding agents adopteren (2023+).
- Adoptie is geassocieerd met ontwikkelingsintensiteit (actieve maanden, commit volume) en relatieve jeugdigheid, maar niet met vakgebied, populariteit (stars) of teamgrootte.
- Post-adoptie resultatenstudies worden uitgesteld vanwege onvoldoende tijd voor de accumulatie van impactstocks (citaties/afhankelijkheden).

Betekenis en Claims
Het artikel frameert zijn bijdrage als bewijs van haalbaarheid in plaats van een definitieve boekhouding.

Conceptuele Verschuiving: Het slaagt erin wetenschappelijke productie te herformuleren als een supply chain waar papers en software gelijkwaardige goederen zijn, en demonstreert dat een globale, identiteits-geresolveerde "bill of materials" construeerbaar is.
Methodologische Inzicht: Het bewijst dat het lezen van een enkele globale graaf in verschillende richtingen verschillende, zwak gekoppelde strata van impact onthult. Cruciaal is dat het aantoont dat citatieaantallen en populariteit (stars) niet kunnen substitueren voor dependency-gebaseerd hergebruik als maatstaf voor wetenschappelijke impact.
Kanttekeningen: De auteurs zijn expliciet dat de kwantitatieve koppeling tussen hergebruik en citatie momenteel te gevoelig is voor linkage-gaten (selectiebias, recall-problemen) om sterke causale claims te ondersteunen. Het "teken" van de correlatie kantelt afhankelijk van de koppelingsmethode.
Toekomstig Nut: De geconstrueerde graaf biedt het noodzakelijke substraat om opkomende fenomenen (zoals AI-agents) te volgen en uiteindelijk supply-chain risico's te beheren (bijv. het identificeren van ononderhouden "verborgen held"-libraries) die momenteel onzichtbaar zijn voor bibliometrie.

Het artikel concludeert dat hoewel de huidige linkage-dichtheid onvoldoende is voor precieze punt-schattingen, de richting van de bevindingen robuust genoeg is om de inclusie van software-bewuste, dependency-gegronde metrieken in de "science-of-science" toolkit te motiveren.