How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation

Résumé technique : Combien d'entretiens sont suffisants dans une étude de génie logiciel ?

Énoncé du problème
Les études basées sur des entretiens sont un pilier du génie logiciel empirique (ESE) pour l'investigation de phénomènes humains, organisationnels et socio-techniques. Cependant, la littérature rapporte l'adéquation de l'échantillon d'entretiens et la saturation de manière incohérente. Bien que les directives méthodologiques mettent l'accent sur la transparence et la saturation, elles évitent généralement de prescrire des tailles d'échantillons exactes. Ce manque de standardisation du reporting crée des défis pratiques pour les chercheurs lors de l'examen par les pairs, où le travail basé sur des entretiens est parfois rejeté comme étant « trop subjectif » ou manquant de légitimité méthodologique. Les examinateurs questionnent fréquemment le nombre de personnes interrogées, en particulier dans les études impliquant des populations marginalisées, des professionnels expérimentés ou des contextes industriels spécialisés où le recrutement est difficile. Bien que la littérature plus large sur la méthodologie qualitative propose des plages numériques et des critères d'arrêt (par exemple, des seuils de saturation), il existe peu de preuves empiriques sur la manière dont les études de génie logiciel opérationnalisent et rapportent réellement ces décisions en pratique.

Méthodologie
Les auteurs ont mené une revue à grande échelle de 429 articles de génie logiciel publiés entre 2016 et 2025. L'étude a utilisé une stratégie de recherche manuelle à travers cinq conférences majeures : ESEM, EASE, ICSE, FSE et la revue Empirical Software Engineering (EMSE). Le processus de sélection comprenait :

1. Filtrage automatique : Un script a identifié 608 articles candidats basés sur des titres, des mots-clés et des résumés contenant des termes associés aux méthodes qualitatives (ex. : études de cas, théorie ancrée).
2. Vérification manuelle : Deux auteurs ont examiné manuellement le texte intégral des candidats pour confirmer l'utilisation réelle d'entretiens, aboutissant à un corpus final de 429 articles.
3. Analyse des données : Les auteurs ont utilisé des statistiques descriptives pour caractériser les distributions de taille d'échantillon d'entretiens. Ils ont catégorisé les tailles d'échantillon en plages dérivées de la littérature de recherche qualitative (ex. : <5, 5–12, 13–24, 25–40, etc.).
4. Analyse qualitative préliminaire : Pour comprendre les pratiques de reporting, les auteurs ont effectué une analyse exploratoire sur un sous-ensemble stratifié de 14 articles. Ce sous-ensemble a été sélectionné pour capturer la variation entre les tailles d'échantillon, incluant l'article ayant le compte le plus élevé et une sélection aléatoire de chaque plage de taille. Cette analyse s'est concentrée sur la manière dont les auteurs justifiaient les tailles d'échantillon et discutaient de la saturation.

Résultats clés

• Distribution de la taille de l'échantillon : Les 429 études ont rapporté un total de 7 444 entretiens, avec une moyenne de 17,35 participants par étude. La distribution n'était pas uniforme ; la plage la plus fréquente était de 13 à 24 interviewés (n=152), suivie de près par 5 à 12 interviewés (n=144). Les études avec moins de 5 participants étaient courantes (n=46), souvent associées à des contextes spécialisés ou d'élite, tandis que les études avec plus de 60 participants étaient rares (n=9).
• Pratiques de justification : Les justifications pour les tailles d'échantillon étaient hétérogènes. Les petites études justifiaient généralement leur taille d'échantillon par la spécificité du contexte, l'unicité des participants ou l'accès limité (ex. : responsables de version, spécialistes de la sécurité). Les études plus larges justifiaient souvent leurs comptes par une couverture organisationnelle plus large, des conceptions multi-sites ou des groupes de parties prenantes hétérogènes. La justification méthodologique explicite pour le nombre spécifique d'entretiens était souvent limitée, de nombreux auteurs s'appuyant sur un raisonnement contextuel ou pratique plutôt que sur des directives formelles d'échantillonnage qualitatif.
• Reporting de la saturation : La discussion explicite de la saturation était peu fréquente, n'apparaissant que dans quatre des 14 articles analysés dans le sous-ensemble qualitatif préliminaire. Lorsque la saturation était discutée, elle était principalement associée à des investigations de théorie ancrée impliquant un recrutement itératif et un échantillonnage théorique. En dehors de la théorie ancrée, la saturation était rarement traitée comme un critère d'arrêt systématique ; dans certains cas, elle était utilisée pour adapter les guides d'entretien plutôt que pour déterminer la suffisance du recrutement. Une étude a explicitement reconnu que la saturation théorique n'avait pas été atteinte en raison de la nature rapidement évolutive du contexte de la sécurité.

Principales contributions
Cet article fournit des premières perspectives empiriques sur les pratiques de reporting méthodologique dans la recherche par entretien en génie logiciel. Ses principales contributions incluent :

• Caractérisation des pratiques actuelles : Il établit que les échantillons de taille modérée (13–24 interviewés) sont la configuration la plus courante en ESE, remettant en question la notion qu'une taille d'échantillon dominante unique existe.
• Preuve des lacunes de reporting : Il souligne que bien que les tailles d'échantillon varient considérablement, la justification de ces tailles et la discussion de la saturation sont souvent implicites ou contextuelles plutôt qu'explicites et méthodologiques.
• Validation contextuelle : Il soutient la légitimité des études à petit échantillon (<12 participants) lorsqu'elles sont associées à des contextes industriels spécialisés ou à des accès contraints, arguant contre le rejet de ces travaux uniquement sur la base du nombre de participants.

Signification et affirmations
Les auteurs présentent modestement ces résultats comme étant « préliminaires » et « exploratoires », destinés à caractériser les pratiques actuelles plutôt qu'à prescrire des seuils numériques rigides. L'article affirme que l'adéquation de l'échantillon d'entretien en génie logiciel est hautement dépendante du contexte, déterminée par les objectifs de recherche, l'accessibilité des participants et la conception méthodologique, plutôt que par des attentes numériques fixes.

La portée de ce travail réside dans son potentiel à améliorer la transparence et la rigueur du reporting qualitatif. Les auteurs soutiennent que le domaine doit s'éloigner des attentes numériques rigides qui peuvent ne pas correspondre aux contraintes de la recherche industrielle. Au lieu de cela, ils préconisent une articulation plus claire de la manière dont les décisions d'adéquation sont prises. Ils suggèrent que, bien que 13 à 24 interviewés représentent la plage la plus couramment observée empiriquement en génie logiciel et puissent servir de point de départ pratique pour la planification, le défi central n'est pas de trouver un nombre « universellement correct », mais plutôt d'améliorer la transparence du processus de décision concernant la taille de l'échantillon et la saturation. L'article conclut que les petits échantillons ne devraient pas être un motif de rejet si les auteurs fournissent une justification claire et sensible au contexte. Des travaux futurs sont prévus pour étendre l'analyse qualitative à l'ensemble du corpus de 429 articles afin d'affiner davantage ces idées.