Measuring the Invisible: Evaluating the Impact of Public Funding on Open Source Software
Deze studie maakt gebruik van een Generalized Synthetic Control Method om aan te tonen dat de Sovereign Tech Fund de activiteitsmetrieken van open source-projecten, zoals commits en pull requests, significant verhoogt door bestaande ontwikkelingsinspanningen te mobiliseren, in plaats van de basis van bijdragers uit te breiden of de afhandeling van backlogs te versnellen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Plaatje: Het Onzichtbare Fundament
Stel je de digitale wereld (apps, websites, banksystemen) voor als een enorme wolkenkrabber. De meeste mensen zien het glanzende glas en de mensen binnenin, maar ze zien niet de stalen balken, de loodgieters en de elektrische bedrading die alles omhoog houden.
Open Source Software (OSS) is dat verborgen staal en die verborgen leidingen. Het is code die iedereen gratis kan zien en gebruiken. Het draait bijna alles wat we vandaag de de dag gebruiken. Omdat het echter gratis is en door vrijwilligers wordt gebouwd, lijdt het vaak aan een "free rider"-probleem: iedereen gebruikt het, maar niemand betaalt om de lekken te reparen of de balken te verstevigen. Wanneer een cruciaal onderdeel breekt (zoals de beroemde log4j-kwetsbaarheid), loopt het hele gebouw gevaar.
Om dit op te lossen, heeft de Duitse overheid de Sovereign Tech Agency (STA) opgericht. Zie hen als een gespecialiseerd bouwfondsen dat geld geeft aan de teams die deze kritieke digitale "balken" onderhouden, zodat ze niet instorten.
De Vraag: Werkt het Geld Eigenlijk?
De auteur, Laia Domenech Burin, stelde een eenvoudige maar moeilijke vraag: Zorgt het geven van dit publieke geld er daadwerkelijk voor dat de software beter wordt, of is het gewoon een verspilling van belastinggeld?
Het is moeilijk te beantwoorden omdat je op het internet geen "laboratoriumexperiment" kunt uitvoeren. Je kunt niet twee identieke softwareprojecten nemen, geld aan de één geven en de ander laten verhongeren om te zien wat er gebeurt.
De Oplossing: Een "Ghost Twin" Bouwen
Om dit op te lossen, gebruikte de auteur een slim statistisch trucje genaamd de Generalized Synthetic Control Method (GSCM).
Stel je voor dat je wilt weten of een nieuwe meststof ervoor zorgt dat een specifieke tomatenplant sneller groeit. Je kunt die plant niet zomaan vergelijken met een willekeurige plant in een andere tuin. In plaats daarvan bouw je een "Ghost Twin" (een geest-tweeling) van je tomatenplant.
- Je kijkt naar honderden andere tomatenplanten die geen meststof kregen.
- Je mengt deze samen in een specifiek recept (een gewogen gemiddelde) om een "Ghost Twin" te creëren die precies hetzelfde oogt, zich hetzelfde gedraagt en precies zo groeit als jouw echte plant voordat je de meststof gaf.
- Zodra je de echte plant de meststof geeft, kijk je zowel naar de echte plant als naar de Ghost Twin.
- Als de echte plant hoger groeit dan de Ghost Twin, weet je dat de meststof heeft gewerkt.
In dit paper zijn de "tomatenplanten" kritieke softwareprojecten (zoals PyPI voor Python, curl voor datacoverdracht, Fortran voor wetenschap en RubyGems). De "Ghost Twins" werden gebouwd met gegevens van 62 andere vergelijkbare softwareprojecten die geen geld ontvingen.
Wat Ze Ontdekten: "Snelheid" versus "Grootte"
De studie keek naar vier hoofdzaken om succes te meten:
- Commits: Hoe vaak de code wordt bijgewerkt.
- Pull Requests: Nieuwe ideeën of reparaties die worden voorgesteld.
- Issues: Bugs die worden gemeld of nieuwe functies die worden aangevraagd.
- Contributors: Nieuwe mensen die zich bij het team voegen.
De Resultaten:
- Het Goede Nieuws: Het geld werkte als een turbocharger. De gefinancierde projecten begonnen veel sneller te werken. Ze hadden aanzienlijk meer code-updates, meer nieuwe ideeën die werden voorgesteld en meer meldingen van bugs. De "Ghost Twins" bleven gelijk, maar de gefinancierde projecten versnelden.
- De Reality Check: Het geld werkte niet als een magneet. Het trok niet nieuwe mensen aan naar het team (het aantal contributors veranderde niet). Het zorgde er ook niet noodzakelijkerwijs voor dat de oude achterstand aan bugs sneller werd opgeruimd (het aantal "closed issues" ging niet significant omhoog vergeleken met de Ghost Twin).
De Analogie: De Drukke Werkplaats
Denk aan het softwareproject als een drukke werkplaats.
- Zonder financiering: De werkers zijn moe, werken met oude gereedschappen en houden nauwelijks de vaart erin.
- Met financiering: De werkers krijgen beter gereedschap en een salaris.
- Resultaat: Ze beginnen veel sneller te werken en pakken meer taken direct aan (meer commits en nieuwe verzoeken).
- Maar: Ze nemen niet plotseling een heleboel nieuwe leerlingen aan (geen nieuwe contributors) en ze ruimen de stapel oud, stoffig werk niet noodzakelijkerwijs sneller op dan ze dat sowieso al zouden hebben gedaan (geen enorme daling in het aantal "closed issues").
De Conclusie
Het paper concludeert dat publieke financiering effectief is in het mobiliseren van bestaande energie. Het wekt het huidige team en krijgt hen in beweging. Het lost echter niet automatisch de diepere problemen op, zoals het vinden van meer mensen om te helpen of het wegwerken van jarenlange oude schulden.
De auteur suggereert dat als een overheid een specifiek probleem wil oplossen (zoals "we hebben meer mensen nodig" of "we moeten de achterstand wegwerken"), zij hun financieringsprogramma's specifiek voor dat doel moeten ontwerpen, in plaats van te verwachten dat één type geld alles in één keer oplost.
Kortom: Het geld werkt, maar het werkt als een snelheidsboost voor het huidige team, niet als een wervingscampagne of een achterstand-opruimer.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.