How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
Diese Arbeit analysiert empirische Software-Engineering-Studien, die zwischen 2016 und 2025 veröffentlicht wurden, um aufzuzeigen, dass Interview-Stichprobengrößen typischerweise zwischen 13 und 24 Teilnehmern liegen, während Begründungen für die Angemessenheit der Stichprobe und die Sättigung inkonsistent berichtet werden und oft auf impliziter Argumentation statt auf expliziter methodischer Diskussion beruhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen herauszufinden, welche Größe die perfekte Gruppe für einen Gruppenchat wäre, um ein Rätsel zu lösen. Brauchen Sie eine winzige Truppe aus drei Experten oder eine riesige Armee von fünfzig? Ein Team von Forschern aus Universitäten in Kanada, den USA und Brasilien beschloss, genau diese Frage zu untersuchen, aber anstatt nach Rätsellösern suchten sie nach Softwareentwicklern, die Interviews nutzen, um zu untersuchen, wie Menschen Technologie bauen und mit ihr arbeiten.
Sie haben nicht einfach nur geraten; sie begaben sich auf eine digitale Schatzsuche durch die wichtigsten Software-Engineering-Konferenzen und Fachzeitschriften von 2016 bis 2025. Sie siebten Tausende von Papieren durch und filterten das Rauschen heraus, bis sie 429 Studien fanden, die tatsächlich Interviews verwendeten. Insgesamt sprachen diese Studien mit 7.444 Menschen.
Die „Goldlöckchen“-Zone der Interviews
Als die Forscher die Daten untersuchten, stellten sie fest, dass es keine einzelne „magische Zahl“ gibt, wie viele Menschen man interviewieren muss. Es ist nicht wie beim Backen eines Kuchens, bei dem man muss, genau zwei Eier zu verwenden. Stattdessen hängt die Größe der Gruppe ganz von dem Rezept ab, das man gerade kocht.
Wenn man jedoch die häufigste Größe wählen müsste, fanden die Forscher heraus, dass der „Sweet Spot“ für die meisten Software-Engineering-Studien zwischen 13 und 24 Befragten liegt. Dies war der am häufigsten vorkommende Bereich, der in 152 der von ihnen untersuchten Arbeiten auftauchte.
Aber die Spanne war extrem!
- Einige Studien waren winzig und sprachen mit nur einer Person (wie eine Tiefenanalyse eines einzelnen Hackers oder eines spezifischen Managers).
- Andere waren massiv und interviewten über 100 Personen.
- Eine durchschnittliche Studie sprach mit etwa 17,35 Personen.
Die Forscher schlagen vor, dass man sich, wenn man eine Studie plant und einen Ausgangspunkt benötigt, an der Spanne von 13 bis 24 orientieren kann, da dies das ist, was die meisten anderen Forscher tun. Aber sie sind sehr deutlich: Dies ist keine strikte Regel. Wenn man eine super-spezialisierte Gruppe untersucht (wie erfahrene Sicherheitsexperten), die schwer zu finden ist, ist eine kleine Gruppe von weniger als 5 Personen völlig normal und akzeptabel.
Das „Stoppschild“-Rätsel
In der Welt der Interviews gibt es ein Konzept namens Sättigung. Denken Sie an das Füllen eines Eimers mit Wasser. Man gießt weiter (stellt Fragen), bis der Eimer voll ist und kein neues Wasser (neue Ideen) mehr hineinpasst. Sob wenn man diesen Punkt erreicht, hört man auf.
Die Forscher fanden heraus, dass viele Softwareentwickler etwas vage darüber sind, wann sie diesen „vollen Eimer“-Moment erreicht haben.
- Die gute Nachricht: Die meisten Studien erklärten, warum sie die Leute ausgewählt haben, die sie wählten (wie zum Beispiel „wir brauchten jemanden aus dem Sicherheitsteam“ oder „wir wollten verschiedene Unternehmen sehen“).
- Das fehlende Puzzleteil: Viele Studien erklärten nicht klar, wann sie entschieden haben, mit den Interviews aufzuhören. Sie hörten oft einfach auf, ohne zu sagen: „Okay, wir haben dasselbe dreimal hintereinander gehört, also sind wir fertig.“
Die Forscher bemerkten, dass klare Diskussionen über diesen „Stopppunkt“ hauptsächlich in Studien zu finden waren, die eine bestimmte Methode namens Grounded Theory verwendeten. In anderen Arten von Studien war die Entscheidung, aufzuhören, oft nur eine Vermutung oder basierte auf praktischen Grenzen (wie dem Ausgehen von Zeit oder Geld), anstatt auf einer strikten methodischen Regel.
Was dieses Paper „Nein“ sagt
Es ist wichtig zu wissen, was dieses Paper nicht sagt.
- Es sagt nicht, dass kleine Studien (wie solche mit nur 5 bis 12 Personen) schlecht oder „zu weich“ sind. Die Forscher argumentieren, dass eine kleine Gruppe völlig in Ordnung ist, wenn man einen guten Grund hat (wie das Studium einer seltenen Expertengruppe).
- Es sagt nicht, dass man eine bestimmte Anzahl von Menschen verwenden muss, um ein „echter“ Wissenschaftler zu sein. Sie argumentieren explizit gegen die Vorstellung, dass es eine einzige universelle Zahl gibt, die für jede einzelne Studie funktioniert.
- Es behauptet auch nicht, das Problem der Stichprobengröße jemals gelöst zu haben. Stattdessen schlagen sie vor, dass diese Ergebnisse vorläufig und fortschreitend sind. Sie sind wie ein erster Entwurf einer Karte, der das allgemeine Gelände zeigt, aber verspricht, die Umgebung in Zukunft weiter zu erkunden.
Das Fazit
Die Kernbotschaft ist, dass in der Softwaretechnik die „richtige“ Anzahl an Interviews eine flexible Sache ist. Es hängt davon ab, wen man spricht, wie schwer sie zu finden sind und was man lernen möchte.
Die Forscher schlagen vor, dass Wissenschaftler, anstatt sich darüber den Kopf zu zerbrechen, eine magische Zahl zu erreichen, statlich ehrlicher darüber sein sollten, warum sie ihre Gruppengröße gewählt haben und wie sie wussten, dass sie fertig waren. Sie wollen, dass sich das Feld weg von starren Regeln hin zu klaren Erklärungen bewegt, damit eine Studie mit 3 Experten nach ihrer Tiefe und nicht nur nach ihrer Anzahl beurteilt wird, und eine Studie mit 50 Personen nach ihrer Breite.
Für den Moment deutet die Datenlage darauf hin, dass 13 bis 24 der häufigste Pfad ist, aber die Reise steht für viele verschiedene Routen offen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.