💻 computer science

Exploring Sustainability in Scientific Software through Code Quality & Test Coverage Metrics

Deze studie analyseert kwaliteitsmetrieken voor code en testdekking in wetenschappelijke open-source software om aan te tonen dat duurzame projecten een hogere en consistenter testdekking vertonen en sterkere correlaties tussen code en tests, terwijl wordt benadrukt dat een lage algehele testbaarheid vaak wordt veroorzaakt door hoge complexiteit en koppeling.

Oorspronkelijke auteurs: Sheikh Md. Mushfiqur Rahman, Gregory R. Watson, Nasir U. Eisty

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sheikh Md. Mushfiqur Rahman, Gregory R. Watson, Nasir U. Eisty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je wetenschappelijke software voor als een enorme, op maat gebouwde keuken, ontworpen door wetenschappers om nieuwe ontdekkingen te bereiden. Sommige van deze keukens zijn goed georganiseerd, met duidelijke labels op elk kruidenpotje, een receptenboek dat wordt bijgewerkt, en een team dat precies weet hoe het fornuis te bedienen. Anderen zijn chaotisch: recepten zijn op servetten gekrabbeld, het fornuis is een mysterie, en als de oorspronkelijke chef de keuken verlaat, weet niemand hoe het aan te zetten.

Dit artikel is als een gezondheidsinspecteur die 14 van deze wetenschappelijke keukens bezocht om uit te zoeken wat een keuken "duurzaam" maakt (in staat om jarenlang te koken) versus een keuken die waarschijnlijk zal instorten. Ze keken niet alleen naar hoeveel mensen in de keuken waren; ze keken naar de blauwdrukken (de code) en de veiligheidscontroles (de tests).

Hier is wat ze vonden, simpel uitgelegd:

1. De Twee Manieren om een Keuken te Beoordelen

De onderzoekers moesten beslissen welke keukens "gezond" waren en welke "ziek". Ze gebruikten twee verschillende methoden, zoals twee verschillende manieren om een restaurant te beoordelen:

Methode A (De "Drukke Chef"-test): Ze keken hoe vaak de chefs daadwerkelijk aan het koken waren. Als een keuken ten minste twee jaar actief was geweest met een constante stroom van nieuwe gerechten (commits), noemden ze het Duurzaam.
Methode B (De "Vrachtwagenfactor"-test): Ze vroegen zich af: "Als de hoofdschef door een vrachtwagen wordt aangereden (of gewoon opstapt), stort de keuken dan in?" Als er genoeg reservechefs waren die de geheimen kenden, noemden ze het Duurzaam.

2. De Grote Verrassing: Tests vertellen niet het hele verhaal

De onderzoekers verwachtten dat "duurzame" keukens altijd betere veiligheidscontroles (testdekking) zouden hebben.

Bij gebruik van de "Drukke Chef"-methode: Ze hadden gelijk! De actieve keukens hadden veel betere veiligheidscontroles.
Bij gebruik van de "Vrachtwagenfactor"-methode: Ze hadden ongelijk. Sommige keukens die als "Niet-duurzaam" werden bestempeld (omdat ze afhankelijk waren van slechts één of twee chefs), hadden eigenlijk betere veiligheidscontroles dan de "Duurzame" keukens.

De les: Alleen omdat een keuken een veiligheidscontrolelijst heeft, betekent niet dat het voor altijd zal blijven bestaan. Als het team te klein of te kwetsbaar is, kan de keuken toch falen, zelfs als de tests perfect zijn.

3. Het "Rommelige Blauwdruk"-probleem

De studie keek naar de complexiteit van de blauwdrukken (de code).

De bevinding: In de keukens die echt duurzaam waren, was er een duidelijk verband tussen hoe de keuken was gebouwd en hoe goed deze werd getest. Als de keuken rommelig was (hoge complexiteit) en de muren te veel op elkaar leunden (hoge koppeling), waren de veiligheidscontroles moeilijker uit te voeren.
De analogie: Stel je voor dat je een huis moet testen waar de loodgieterswerk verstrikt is met de elektrische bedrading. Het is een nachtmerrie om te controleren of de lichten werken zonder een zekering te doen springen. De studie vond dat rommelige, verstrikte code het moeilijk maakt om goede tests te schrijven.
Het resultaat: Duurzame keukens hadden de neiging om schonere blauwdrukken, betere labels (documentatie) en een duidelijker verband te hebben tussen hoe ze waren gebouwd en hoe ze werden getest. Niet-duurzame keukens waren vaak rommelig, en hun veiligheidscontroles leken geen logisch patroon te volgen.

4. De "Strengere Chef"-regel

De onderzoekers vroegen zich af: Wat als we eisen dat de chefs nog drukker zijn om een keuken "Duurzaam" te noemen?

Ze verhoogden de lat, waarbij ze nog meer activiteit vereisten om in aanmerking te komen.
Het resultaat: Naarmate ze de regels strenger maakten, werd het patroon kristalhelder. De echt actieve, goed onderhouden keukens hadden hoge veiligheidscontroles. Diegenen die alleen "deden alsof" ze actief waren (of aan het sterven waren), hadden bijna geen veiligheidscontroles.
De les: Als je wilt weten of een wetenschappelijke keuken echt gezond is, kijk dan niet alleen naar de veiligheidscontrolelijst. Kijk naar hoe druk en consistent het team is. Een hoog activiteitsniveau is een betere teken van gezondheid dan de tests zelf.

5. De Algemene Toestand van Wetenschappelijke Keukens

Toen ze naar alle keukens samen keken, was het nieuws niet geweldig:

Lage veiligheidscontroles: Gemiddeld waren deze wetenschappelijke keukens slecht getest. Veel hadden bijna geen veiligheidscontroles op hun fornuizen of ovens.
Complexiteit is de vijand: Hoe meer verstrikt en complex het keukenontwerp was, hoe minder veiligheidscontroles het had. Het lijkt erop dat wanneer wetenschappers deze tools bouwen, ze zich richten op het "koken" (de wetenschap) in plaats van op het bouwen van een veilige, testbare keuken.

Samenvatting

Dit artikel vertelt ons dat duurzame wetenschappelijke software niet alleen gaat over het hebben van tests. Het gaat om het hebben van een goed georganiseerde structuur, goede documentatie en een consistent team dat het project in leven houdt.

Goede tekenen: Schone blauwdrukken, duidelijke labels en een team dat blijft komen om te werken.
Slechte tekenen: Verstrikte bedrading, ontbrekende instructies en het vertrouwen op slechts één of twee personen om het licht aan te houden.

De auteurs concluderen dat we, om wetenschappelijke software op de lange termijn in leven te houden, moeten stoppen met het behandelen van de code als een rommelige schets en moeten beginnen met het behandelen ervan als een goed ontworpen gebouw, met de focus op structuur en consistentie, niet alleen op het eindresultaat.

Technische Samenvatting: Duurzaamheid in Wetenschappelijke Software Verkennen via Kwaliteitsmetrieken voor Code en Testdekking

Probleemstelling

Wetenschappelijke open-source software (SciOSS) is fundamenteel voor onderzoek en engineering, maar kampt vaak met problemen op het gebied van langetermijnduurzaamheid. In tegenstelling tot industriële software wordt SciOSS vaak ontwikkeld met beperkte naleving van software-engineeringstandaarden, wat resulteert in code die slecht gestructureerd is, moeilijk te onderhouden, gebrek aan documentatie heeft en onvoldoende geautomatiseerde tests bevat. Deze tekortkomingen belemmeren de voortgang van het onderzoek, verminderen de efficiëntie en hinderen reproduceerbaarheid. Hoewel bestaand onderzoek duurzaamheid heeft onderzocht via sociale metrieken (bijv. aantal bijdragers, commit-activiteit) of projectniveau-indicatoren, bestaat er een aanzienlijke lacune in het begrijpen hoe interne structurele code-eigenschappen—zoals complexiteit, modulariteit en testdekking—correleren met de langetermijnlevensvatbaarheid van wetenschappelijke software.

Methodologie

De studie hanteert een datagedreven aanpak om de relatie tussen codekwaliteit en duurzaamheid binnen het CASS-softwareportfolio (Consortium for the Advancement of Scientific Software) te onderzoeken.

Dataset en Selectie:
De auteurs hebben een dataset samengesteld van 14 C/C++ wetenschappelijke softwareprojecten. Strikte haalbaarheidscriteria werden toegepast om reproduceerbaarheid te waarborgen: projecten moesten publiek gehost zijn, compileerbaar zijn met GCC/Clang met behulp van flags voor dekkinginstrumentatie (-coverage -O0 -g), compatibel zijn met Clang AST-extractie, en beschikken over uitvoerbare testsuites. Projecten die gespecialiseerde hardware vereisten (bijv. specifieke GPU-drivers) of die faalden bij het compileren onder dekkinginstrumentatie, werden uitgesloten.

Duurzaamheidslabeling:
Projecten werden geclassificeerd als "duurzaam" of "niet-duurzaam" aan de hand van twee complementaire, gevestigde methoden:

Tijdgebonden (t-jaar) Criterium: Een project is duurzaam als het commits omvat die zich uitstrekken over meer dan $t$ jaar ( ingesteld op 2) met een mediaan aantal maandelijkse commits $\ge k$ (ingesteld op 6).
Truck Factor (TF) Criterium: Een project is duurzaam als ten minste één kern-"Truck Factor"-ontwikkelaar (een minimale set ontwikkelaars die cruciaal zijn voor het onderhoud van het project) actief blijft of succesvol wordt vervangen.

Verzameling van Metrieken:
Een uitgebreide set statische en dynamische metrieken werd geëxtraheerd met behulp van tools zoals Analizo, Lizard, Cloc, aangepaste Clang AST-scripts en gcovr:

Structurele Metrieken: Grootte (LOC, NOM), Complexiteit (WMC, AMC, RFC), Cohesie (LCOM4), Koppeling (CBO, ACC) en Documentatie (Commentdichtheid, Aantal regels comments).
Metrieken voor Functieroproepen: Interne versus externe methoderoepen (NMC, NMCI, NMCE).
Metrieken voor Testkwaliteit: Percentage dekking op lijn-, tak- en functieniveau.

Analyse:
De studie maakte gebruik van niet-parametrische statistische methoden vanwege de niet-normale verdeling van de data. Spearman's rangcorrelatie ( $\rho$ ) werd gebruikt om relaties tussen structurele metrieken en testdekking te beoordelen. Mann–Whitney U-tests en Cliff's Delta-effectgroottes werden ingezet om verdelingen tussen duurzame en niet-duurzame groepen te vergelijken. Gevoeligheidsanalyses werden uitgevoerd door de drempelwaarde voor commit-frequentie ( $k$ ) te variëren om de robuustheid van de duurzaamheidsclassificaties te toetsen.

Belangrijkste Bijdragen en Resultaten

1. Afwijkende Bevindingen Gebaseerd op Classificatiemethode (RQ1)
De studie vond dat de definitie van duurzaamheid de waargenomen relatie tussen codekwaliteit en testen significant beïnvloedt:

Onder het t-jaar criterium: Duurzame projecten vertoonden aanzienlijk hogere testdekking (lijn, tak en functie) in vergelijking met niet-duurzame projecten. Dit suggereert dat langetermijnonderhoud correleert met een consistente investering in testinfrastructuur.
Onder het TF-criterium: Het patroon keerde om; projecten die als "niet-duurzaam" werden gelabeld (door het verlies van sleutelontwikkelaars) toonden een hogere mediaan testdekking dan duurzame projecten. De auteurs interpreteren dit als een scenario waarin een kleine, geconcentreerde groep ontwikkelaars de software aanvankelijk grondig bouwde en testte, maar het project de bredere gemeenschapssteun ontbeerde die noodzakelijk is voor langetermijnevolutie.
Correlatiepatronen: Duurzame projecten vertoonden sterkere, consistentere correlaties tussen structurele metrieken en testdekking. Bijvoorbeeld, hogere complexiteit (NMC, NMCE) en lagere cohesie correleerden negatief met dekking in duurzame projecten, wat duidt op een duidelijke afweging. Niet-duurzame projecten vertoonden zwakke of grillige correlaties, wat wijst op een gebrek aan gedisciplineerde engineeringpraktijken.

2. Impact van Striktere Drempelwaarden (RQ2)
De studie onderzocht of het verfijnen van de definitie van duurzaamheid de betrouwbaarheid van kwaliteitsindicatoren verbetert. Door de drempelwaarde voor commit-frequentie ( $k$ ) te verhogen van lage waarden (2–4) naar hoge waarden (8–32):

Bij lagere drempelwaarden was het onderscheid tussen duurzame en niet-duurzame projecten wat betreft testdekking inconsistent.
Naarmate de drempelwaarde strenger werd, stabiliseerde het patroon: echt actieve projecten (hoge $k$ ) vertoonden consistent een hogere mediaan testdekking, terwijl minder actieve projecten daalden naar bijna nul dekking.
Dit bevestigt dat strengere activiteitsgebaseerde definities labelruis verminderen en de engineeringdiscipline die geassocieerd wordt met langetermijnduurzaamheid beter vastleggen.

3. Algemene Relatie tussen Code-metrieken en Testdekking (RQ3)
Over de volledige dataset was de testdekking over het algemeen laag (mediaan lijndekking ~21%, tak ~14%).

Complexiteit en Koppeling: Er is een matige negatieve correlatie tussen structurele complexiteit/koppeling (bijv. NMCE, NMC, WMC) en testdekking. Hogere externe afhankelijkheden en complexiteit lijken testbaarheid te belemmeren.
Documentatie: Metrieken zoals Commentdichtheid (CD) vertoonden een lichte positieve correlatie met dekking, wat suggereert dat betere documentatie testen kan faciliteren, hoewel de relatie zwak is.

Betekenis en Beweringen

Het paper claimt een praktisch, datagedreven raamwerk te bieden voor het beoordelen van de duurzaamheid van wetenschappelijke software door interne codekwaliteit te koppelen aan langetermijnlevensvatbaarheid. De primaire betekenis ligt in het verschuiven van de focus van puur sociale of activiteitsgebaseerde indicatoren naar structurele engineeringeigenschappen.

De auteurs concluderen dat:

Testdekking alleen onvoldoende is: Hoge dekking garandeert geen duurzaamheid als de ontwikkelaarsbasis fragiel is (zoals gezien in de TF-classificatieresultaten).
Structurele integriteit telt: Duurzame projecten worden gekenmerkt door een samenhangende relatie tussen codestructuur en testen. Ze hebben de neiging om betere documentatie, meer modulaire ontwerpen en consistente engineeringpraktijken te hebben.
Gefineerde definities zijn noodzakelijk: Het gebruik van strengere drempelwaarden voor "volgehouden activiteit" levert betrouwbaardere onderscheidingen in softwarekwaliteit op, wat helpt projecten die echt gezond zijn te identificeren versus die welke slechts op korte termijn actief zijn.
Hanteerbare inzichten: De bevindingen suggereren dat ontwikkelaars en belanghebbenden structurele metrieken (complexiteit, koppeling) en documentatie moeten monitoren als vroege waarschuwingssignalen voor afnemende duurzaamheid, in plaats van uitsluitend te vertrouwen op commit-aantallen of dekkingpercentages.

De studie erkent beperkingen, waaronder de kleine steekproefgrootte (14 projecten) en de uitsluiting van complexe hardware-afhankelijke projecten, wat survivorship bias kan introduceren. Echter, de rigoureuze instrumentatie en gestandaardiseerde analysepijplijn bieden een reproduceerbare basis voor toekomstig onderzoek naar de engineeringkarakteristieken van duurzame wetenschappelijke software.