How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
Dit artikel analyseert empirische software engineering-studies gepubliceerd tussen 2016 en 2025 om aan te tonen dat de steekproefomvang van interviews doorgaans varieert van 13 tot 24 deelnemers, terwijl rechtvaardigingen voor de adequaatheid en verzadiging van de steekproef inconsistent worden gerapporteerd en vaak berusten op impliciete redeneringen in plaats van op een expliciete methodologische discussie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de perfecte grootte voor een groepschat probeert te bepalen om een mysterie op te lossen. Heb je een klein team van drie experts nodig, of een enorm leger van vijftig? Een team onderzoekers van universiteiten in Canada, de VS en Brazilië besloot precies deze vraag te onderzoeken, maar in plaats van mysterieoplossers keken ze naar software engineers die interviews gebruiken om te bestuderen hoe mensen technologie bouwen en ermee werken.
Ze gokten niet zomaar; ze gingen op een digitale schattenjacht door de belangrijkste conferenties en tijdschriften voor software engineering van 2016 tot 2025. Ze zeefden duizenden papers en filterden de ruis weg totdat ze 429 studies vonden die daadwerkelijk interviews gebruikten. In totaal spraken deze studies 7.444 mensen.
De "Goldilocks"-zone van interviews
Toen de onderzoekers naar de gegevens keken, ontdekten ze dat er geen enkel "magisch getal" is voor hoeveel mensen je moet interviewen. Het is niet zoals het bakken van een cake waarbij je moet gebruiken precies twee eieren. In plaats daarvan hangt de grootte van de groep volledig af van het recept dat je aan het bereiden bent.
Als je echter de meest voorkomende grootte zou moeten kiezen, ontdekten de onderzoekers dat de "sweet spot" voor de meeste software engineering-studies tussen de 13 en 24 geïnterviewden ligt. Dit was de meest frequente range, die voorkwam in 152 van de onderzochte papers.
Maar de spreiding was enorm!
- Sommige studies waren piepklein en spraken met slechts één persoon (zoals een diepe duik in een enkele hacker of een specifieke manager).
- Andere waren enorm en interviewden meer dan 100 mensen.
- De gemiddelde studie sprak ongeveer 17,35 mensen.
De onderzoekers suggereren dat als je een studie plant en een startpunt nodig hebt, het mikken op die range van 13 tot 24 een veilige zet kan zijn, aangezien dit is wat de meeste andere onderzoekers doen. Maar ze zijn er heel duidelijk over: dit is geen strikte regel. Als je een super gespecialiseerde groep bestudeert (zoals senior security experts) die moeilijk te vinden zijn, is een kleine groep van minder dan 5 mensen volkomen normaal en acceptabel.
Het "Stopteken"-mysterie
In de wereld van interviews is er een concept genaamd verzadiging (saturation). Denk aan het vullen van een emmer met water. Je blijft gieten (vragen stellen) totdat de emmer vol is en er geen nieuw water (nieuwe ideeën) meer bij kan passen. Zodra je dat punt bereikt, stop je.
De onderzoekers ontdekten dat veel software engineers een beetje vaag zijn over wanneer ze dat "volle emmer"-moment bereikten.
- Het goede nieuws: De meeste studies legden uit waarom ze de mensen kozen die ze kozen (zoals "we hadden iemand van het securityteam nodig" of "we wilden verschillende bedrijven zien").
- Het ontbrekende stukje: Veel studies legden niet duidelijk uit wanneer ze besloten om te stoppen met interviewen. Ze stopten vaak gewoon zonder te zeggen: "Oké, we hebben hetzelfde drie keer achter elkaar gehoord, dus we zijn klaar."
De onderzoekers merkten op dat heldere discussies over dit "stopmoment" vooral te vinden waren in studies die een specifieke methode gebruikten genaamd grounded theory. In andere soorten studies was de beslissing om te stoppen vaak gewoon een gok of gebaseerd op praktische beperkingen (zoals tijd of geld tekortkomen), in plaats van een strikte methodologische regel.
Waar dit paper "Nee" tegen zegt
Het is belangrijk om te weten waar dit paper geen uitspraak over maakt.
- Het zegt niet dat kleine studies (zoals die met slechts 5 tot 12 mensen) slecht of "te zacht" zijn. De onderzoekers beargumenteren dat als je een goede reden hebt (zoals het bestuderen van een zeldzame expert), een kleine groep volkomen prima is.
- Het zegt niet dat je een specifiek aantal mensen moet gebruiken om een "echte" wetenschapper te zijn. Ze argumenteren expliciet tegen het idee dat er één universeel getal is dat voor elke studie werkt.
- Het beweert niet het probleem van hoe je een steekproefomvang kiest voor altijd te hebben opgelost. In plaats daarvan suggereren ze dat deze bevindingen voorlopig en in ontwikkeling zijn. Ze zijn als een eerste concept van een kaart, die het algemene terrein laat zien, maar belooft in de toekomst meer te verkennen.
De kernboodschap
De belangrijkste boodschap is dat in software engineering het "juiste" aantal interviews iets flexibels is. Het hangt ervan af met wie je praat, hoe moeilijk ze te vinden zijn en wat je probeert te leren.
De onderzoekers suggereren dat wetenschappers, in plaats van zich zorgen te maken over het raken van een magisch getal, eerlijker moeten zijn over waarom ze hun groepsgrootte kozen en hoe ze wisten dat ze klaar waren. Ze willen dat het vakgebied beweegt van rigide regels naar heldere verklaringen, zodat een studie met 3 experts wordt beoordeeld op de diepgang, en niet alleen op het aantal, en een studie met 50 mensen wordt beoordeeld op de breedte.
Voor nu suggereert de data dat 13 tot 24 het meest voorkomende pad is, maar de reis staat open voor veel verschillende routes.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.