How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
Questo articolo analizza gli studi empirici di ingegneria del software pubblicati tra il 2016 e il 2025 per rivelare che le dimensioni dei campioni delle interviste variano tipicamente da 13 a 24 partecipanti, mentre le giustificazioni per l'adeguatezza del campione e la saturazione rimangono riportate in modo incoerente e spesso si basano su un ragionamento implicito piuttosto che su una discussione metodologica esplicita.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di capire la dimensione perfetta per una chat di gruppo per risolvere un mistero. Hai bisogno di una piccola squadra di tre esperti o di un enorme esercito di cinquanta persone? Un team di ricercatori provenienti da università in Canada, USA e Brasile ha deciso di indagare proprio su questa domanda, ma invece di investigatori del mistero, hanno osservato degli ingegneri del software che utilizzano le interviste per studiare come le persone costruiscono e lavorano con la tecnologia.
Non hanno solo tirato a indovinare; hanno intrapreso una caccia al tesoro digitale attraverso le più importanti conferenze e riviste di ingegneria del software dal 2016 al 2025. Hanno setacciato migliaia di articoli, filtrando il rumore fino a trovare 429 studi che hanno effettivamente utilizzato interviste. In totale, questi studi hanno coinvolto 7.444 persone.
La zona "Goldilocks" delle interviste
Quando i ricercatori hanno esaminato i dati, hanno scoperto che non esiste un singolo "numero magico" per quanti soggetti si debbano intervistare. Non è come preparare una torta dove devi usare esattamente due uova. Invece, la dimensione del gruppo dipende interamente dalla ricetta che stai cucinando.
Tuttavia, se dovessi scegliere la dimensione più comune, i ricercatori hanno scoperto che il "punto ideale" per la maggior parte degli studi di ingegneria del software è tra i 13 e i 24 intervistati. Questa era la fascia più frequente, presente in 152 dei documenti studiati.
Ma l'intervallo era selvaggio!
- Alcuni studi erano minuscoli, parlando con una sola persona (come un'analisi approfondita su un singolo hacker o un manager specifico).
- Altri erano massicci, intervistando oltre 100 persone.
- Lo studio medio ha intervistato circa 17,35 persone.
I ricercatori suggeriscono che, se stai pianificando uno studio e hai bisogno di un punto di partenza, puntare a quella fascia tra 13 e 24 potrebbe essere una scommessa sicura, poiché è ciò che la maggior parte degli altri ricercatori sta facendo. Ma sono molto chiari: questa non è una regola ferrea. Se stai studiando un gruppo super specializzato (come esperti di sicurezza senior) che sono difficili da trovare, un piccolo gruppo di meno di 5 persone è perfettamente normale e accettabile.
Il mistero del "Segnale di Stop"
Nel mondo delle interviste, esiste un concetto chiamato saturazione. Immagina di riempire un secchio con l'acqua. Continui a versare (fare domande) finché il secchio non è pieno e non può più contenere nuova acqua (nuove idee). Una volta raggiunto quel punto, ti fermi.
I ricercatori hanno scoperto che molti ingegneri del software sono un po' vaghi su quando abbiano raggiunto quel momento del "secchio pieno".
- La buona notizia: La maggior parte degli studi ha spiegato perché ha scelto le persone che ha scelto (ad esempio, "avevamo bisogno di qualcuno del team di sicurezza" o "volevamo vedere diverse aziende").
- L'elemento mancante: Molti studi non hanno spiegato chiaramente quando hanno deciso di smettere di intervistare. Spesso si sono semplicemente fermati senza dire: "Ok, abbiamo sentito la stessa cosa tre volte di seguito, quindi abbiamo finito".
I ricercatori hanno notato che le discussioni chiare su questo "punto di arresto" si trovavano principalmente in studi che utilizzavano un metodo specifico chiamato grounded theory. In altri tipi di studi, la decisione di fermarsi era spesso solo un'ipotesi o basata su limiti pratici (come la mancanza di tempo o di denaro), piuttosto che su una rigorosa regola metodologica.
Cosa questo articolo dice "No"
È importante sapere cosa questo articolo non dice.
- Non dice che gli studi piccoli (come quelli con solo 5-12 persone) siano cattivi o "troppo deboli". I ricercatori sostengono che, se hai un buon motivo (come studiare un esperto raro), un piccolo gruppo è del tutto accettabile.
- Non dice che devi usare un numero specifico di persone per essere un "vero" scienziato. Essi sostengono esplicitamente contro l'idea che esista un numero universale che funzioni per ogni singolo studio.
- Non afferma di aver risolto il problema di come scegliere la dimensione del campione per sempre. Suggeriscono invece che queste scoperte sono preliminari ed emergenti. Sono come una prima bozza di una mappa, che mostra il terreno generale ma promette di esplorare di più in futuro.
Il punto chiave
Il messaggio principale è che nell'ingegneria del software, il numero "giusto" di interviste è una cosa flessibile. Dipende da chi stai parlando, da quanto è difficile trovarli e da cosa stai cercando di imparare.
I ricercatori suggeriscono che, invece di preoccuparsi di raggiungere un numero magico, gli scienziati dovrebbero essere più onesti sul perché hanno scelto la dimensione del loro gruppo e su come hanno capito di aver finito. Vogliono che il campo si allontani dalle regole rigide e si muova verso spiegazioni chiare, affinché uno studio con 3 esperti sia giudicato sulla sua profondità, non solo sul suo conteggio, e uno studio con 50 persone sia giudicato sulla sua ampiezza.
Per ora, i dati suggeriscono che 13-24 è il percorso più comune, ma il viaggio è aperto a molte rotte differenti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.