GitReq: A Gold Standard Dataset for Software Quality Requirements
Dit artikel introduceert GitReq, een publiekelijk beschikbare dataset van 6.302 door experts gevalideerde GitHub-issues gecategoriseerd in acht ISO/IEC 25010:2011-overeenstemmende softwarekwaliteitseisen, die dient als een gouden standaard voor het bevorderen van geautomatiseerde vereistenclassificatie en softwarekwaliteitsanalyse.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar miljoenen mensen plaknotities op de planken hebben achtergelaten. Deze briefjes zijn niet zomaar willekeurige klachten; het zijn de ontwikkelaars van de wereldwijde software die fluisteren (of schreeuwen) over hoe hun creaties beter zouden moeten werken. Sommigen zeggen: "Deze app is te traag!" (Prestaties). Anderen zeggen: "We hebben een beter slot op de deur nodig!" (Beveiliging). En weer anderen zeggen: "Het moet ook op mijn oude telefoon werken!" (Draagbaarheid).
Het probleem is dat deze briefjes een puinhoop zijn. Ze zijn door elkaar gehusseld, geschreven in straattaal en begraven onder miljoenen andere briefjes over bugs, vragen en functieverzoeken. Tot nu toe had niemand deze specifieke "kwaliteitsnotities" georganiseerd in een nette, gelabelde collectie waar onderzoekers aan konden werken.
Ontmoet GitReq: De Grote Bibliothecaris.
De auteurs van dit paper hebben GitReq gebouwd, een "Gold Standard" dataset. Denk aan een minutieus georganiseerd archief van 6.302 van deze ontwikkelaarsnotities, afkomstig van meer dan 4.000 verschillende softwareprojecten op GitHub.
Zo hebben ze het aangepakt, onderverdeeld in eenvoudige stappen:
1. De Speurtocht (Mining)
Het team heeft niet zomaar willekeurige briefjes gepakt. Ze gebruikten een "drie-signalen-strategie" om de juiste te vinden. Stel je voor dat je naar een specif kind type vis zoekt in een vijver:
- Signaal 1: Ze zochten naar het juiste "vlaggetje" (een label dat de ontwikkelaar al aan de notitie had gegeven, zoals "Security").
- Signaal 2: Ze controleerden of de notitie daadwerkelijk een verzoek was voor iets nieuws (labels zoals "Feature Request" of "Enhancement"), waarbij ze notities die slechts bugrapporten of vragen waren, negeerden.
- Signaal 3: Ze scanden de tekst op specifieke trefwoorden (zoals "slow", "hack" of "crash").
Ze begonnen met 55.588 potentiële notities. Dat is een enorme stapel papier!
2. De Sorteermachine (Preprocessing)
Voordat de mensen ze konden lezen, bouwde het team twee verschillende "sorteermachines", omdat de notities in twee zeer verschillende smaken voorkwamen:
- De "NFR"-machine (Non-Functional Requirements): Dit zijn notities over hoe het systeem zich gedraagt (snelheid, veiligheid, betrouwbaarheid). Deze notities zijn vaak kort, rommelig en vol jargon (bijv. "Server crasht wanneer 100 mensen inloggen"). De machine maakte de ruis schoon, maar behield de rommelige, echte taal.
- De "FR"-machine (Functional Requirements): Dit zijn notities over wat het systeem moet doen (bijv. "Het systeem moet gebruikers toestaan bestanden op te slaan"). Deze moeten heel specifiek zijn. De machine was streng: als de notitie niet klonk als een formele regel (met woorden als "moet", "zal" of "user story"), werd deze weggegooid. Dit zorgde ervoor dat ze niet per ongeluk vage ideeën voor functies zouden opnemen.
3. Het Expertpanel (Human Annotation)
Nadat de machines hun werk hadden gedaan, hadden ze nog ongeveer 8.500 notities over. Hier gebeurde de menselijke magie.
- De Rechters: Zeven experts in software engineering gingen zitten om deze notities te lezen.
- De Training: Ze besteedden uren aan het leren van de regels, met behulp van een standaard gids genaamd ISO/IEC 25010. Zie dit als een regelboek dat precies definieert wat "Security" betekent versus "Scalability".
- Het Vonnis: Ze labelden elke notitie in één van de acht categorieën: Performance, Security, Portability, Availability, Fault-tolerance, Scalability, Maintainability en Functional.
- De Overeenstemming: Ze gokten niet zomaar. Ze controleerden hun werk tegen elkaar. Wanneer ze van mening verschilden, bespraken ze dit totdat ze het eens waren. Het resultaat was een zeer hoog niveau van overeenstemming (een score van 0,72), wat betekent dat de labels betrouwbaar zijn.
4. De Definitieve Collectie
Van de oorspronkelijke 55.000+ kandidaten bleven er 6.302 hoogwaardige, door experts geverifieerde notities over.
- De Mix: Ongeveer de helft gaat over Security en Performance (de meest voorkomende zorgen).
- De Variëteit: Ze dekken alles van webframeworks tot mobiele apps en cloudsystemen.
- Het Bewijs: Ze hebben deze nieuwe dataset zelfs getest tegen vier krachtige AI-modellen (zoals GPT-5.2). De AI-modellen hadden het wat lastig, vooral met complexe categorieën zoals "Maintainability", wat bewijst dat deze dataset een pittige, realistische test is voor toekomstige AI-tools.
Waarom is dit belangrijk?
Vóór dit moment moesten onderzoekers die computers wilden leren om softwarekwaliteit te begrijpen, gebruikmaken van kleine, verouderde datasets of formele documenten die niet leken op de echte wereld. Het was also려 leren autorijden door alleen een tekstboek uit 1990 te lezen.
GitReq is als het geven van een gloednieuwe, realistische rijdubsimulator aan onderzoekers. Het stelt hen in staat om betere AI-tools te bouwen die daadwerkelijk de rommelige, echte gesprekken kunnen begrijpen die ontwikkelaars dagelijks voeren, wat helpt om kwaliteitsproblemen sneller en nauwkeuriger te signaleren.
Kortom: Het team heeft niet alleen een speld in een hooiberg gevonden; ze hebben een hele nieuwe bibliotheek van naalden gebouwd, ze gesorteerd op type, en de wereld een kaart gegeven om ze te vinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.