How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation

तकनीकी सारांश: सॉफ्टवेयर इंजीनियरिंग अध्ययन में कितने साक्षात्कार पर्याप्त हैं?

समस्या विवरण
मानवीय, संगठनात्मक और सामाजिक-तकनीकी घटनाओं की जांच के लिए साक्षात्कार-आधारित अध्ययन एम्पिरिकल सॉफ्टवेयर इंजीनियरिंग (ESE) का एक आधार स्तंभ हैं। हालाँकि, साहित्य में साक्षात्कार नमूना पर्याप्तता (sample adequacy) और संतृप्ति (saturation) को असंगत रूप से रिपोर्ट किया जाता है। जबकि पद्धतिगत दिशानिर्देश पारदर्शिता और संतृप्ति पर जोर देते हैं, वे आम तौर पर सटीक नमूना आकार निर्धारित करने से बचते हैं। रिपोर्टिंग की यह कमी शोधकर्ताओं के लिए पीयर रिव्यू (सहकर्मी समीक्षा) के दौरान व्यावहारिक चुनौतियां पैदा करती है, जहाँ साक्षात्कार-आधारित कार्यों को कभी-कभी "बहुत कोमल" (too soft) या पद्धतिगत वैधता की कमी वाला मानकर खारिज कर दिया जाता है। समीक्षक अक्सर साक्षात्कारकर्ताओं की संख्या पर सवाल उठाते हैं, विशेष रूप से उन अध्ययनों में जो हाशिए पर मौजूद आबादी, वरिष्ठ पेशेवरों, या विशिष्ट औद्योगिक संदर्भों से जुड़े होते हैं जहाँ भर्ती करना कठिन होता है। हालांकि व्यापक गुणात्मक पद्धति साहित्य में संख्यात्मक सीमाएं और रुकने के मानदंड (जैसे, संतृप्ति थ्रेशोल्ड) दिए गए हैं, इस बात के सीमित प्रमाण उपलब्ध हैं कि सॉफ्टवेयर इंजीनियरिंग अध्ययन वास्तव में इन निर्णयों को व्यवहार में कैसे संचालित और रिपोर्ट करते हैं।

कार्यप्रणाली (Methodology)
लेखकों ने 2016 और 2025 के बीच प्रकाशित 429 सॉफ्टवेयर इंजीनियरिंग शोध पत्रों की एक बड़े पैमाने पर समीक्षा की। अध्ययन में पांच प्रमुख मंचों: ESEM, EASE, ICSE, FSE, और Empirical Software Engineering (EMSE) जर्नल में एक मैनुअल खोज रणनीति का उपयोग किया गया। चयन प्रक्रिया में शामिल था:

1. स्वचालित फ़िल्टरिंग: एक स्क्रिप्ट ने शीर्षक, कीवर्ड और सारांश के आधार पर 608 संभावित शोध पत्रों की पहचान की जिनमें गुणात्मक विधियों (जैसे, केस स्टडीज, ग्राउंडेड थ्योरी) से संबंधित शब्द शामिल थे।
2. मैनुअल सत्यापन: दो लेखकों ने उम्मीदवारों के पूर्ण पाठ (full text) की मैन्युअल रूप से जांच की ताकि साक्षात्कारों के वास्तविक उपयोग की पुष्टि की जा सके, जिसके परिणामस्वरूप 429 पत्रों का अंतिम संग्रह प्राप्त हुआ।
3. डेटा विश्लेषण: लेखकों ने साक्षात्कार नमूना आकार वितरण की विशेषताओं को समझने के लिए वर्णनात्मक सांख्यिकी (descriptive statistics) का उपयोग किया। उन्होंने नमूना आकारों को गुणात्मक अनुसंधान साहित्य से प्राप्त श्रेणियों में वर्गीकृत किया (जैसे, <5, 5–12, 13–24, 25–40, आदि)।
4. प्रारंभिक गुणात्मक विश्लेषण: रिपोर्टिंग प्रथाओं को समझने के लिए, लेखकों ने 14 शोध पत्रों के एक स्तरीकृत उपसमूह (stratified subset) पर एक खोजपूर्ण विश्लेषण किया। यह उपसमूह नमूना आकार में भिन्नता को पकड़ने के लिए चुना गया था, जिसमें उच्चतम संख्या वाला पेपर और प्रत्येक आकार श्रेणी से एक रैंडम चयन शामिल था। यह विश्लेषण इस बात पर केंद्रित था कि लेखकों ने नमूना आकार को कैसे उचित ठहराया और संतृप्ति (saturation) पर चर्चा कैसे की।

मुख्य परिणाम

• नमूना आकार वितरण: 429 अध्ययनों ने कुल 7,444 साक्षात्कार रिपोर्ट किए, जिसमें प्रति अध्ययन औसतन 17.35 प्रतिभागी थे। वितरण समान नहीं था; सबसे सामान्य रेंज 13 से 24 साक्षात्कारकर्ता (n=152) थी, इसके ठीक बाद 5 से 12 साक्षात्कारकर्ता (n=144) का स्थान था। 5 से कम प्रतिभागियों वाले अध्ययन भी सामान्य थे (n=46), जो अक्सर विशिष्ट या विशिष्ट (elite) संदर्भों से जुड़े थे, जबकि 60 से अधिक प्रतिभागियों वाले अध्ययन दुर्लभ थे (n=9)।
• औचित्य प्रथाएं (Justification Practices): नमूना आकार के औचित्य विषम (heterogeneous) थे। छोटे अध्ययन आमतौर पर संदर्भ की विशिष्टता, प्रतिभागियों की विशिष्टता, या सीमित पहुंच (जैसे, रिलीज़ मैनेजर, सुरक्षा विशेषज्ञ) के आधार पर अपने नमूना आकार को उचित ठहराते थे। बड़े अध्ययन अक्सर व्यापक संगठनात्मक कवरेज, मल्टीसाइट डिज़ाइन, या विषम हितधारक समूहों के माध्यम से अपने काउंट को उचित ठहराते थे। विशिष्ट संख्या के लिए स्पष्ट पद्धतिगत औचित्य अक्सर सीमित था, जिसमें कई लेखक औपचारिक गुणात्मक नमूनाकरण दिशानिर्देशों के बजाय अक्सर प्रासंगिक या व्यावहारिक तर्क पर निर्भर थे।
• संतृप्ति रिपोर्टिंग (Saturation Reporting): संतृप्ति की स्पष्ट चर्चा दुर्लभ थी, जो विश्लेषण किए गए 14 पेपरों के प्रारंभिक गुणात्मक उपसमूह में केवल चार में दिखाई दी। जब संतृप्ति पर चर्चा की गई, तो यह मुख्य रूप से पुनरावृत्त भर्ती (iterative recruitment) और सैद्धांतिक नमूनाकरण (theoretical sampling) से जुड़ी 'ग्राउंडेड थ्योरी' जांचों से संबंधित थी। ग्राउंडेड थ्योरी के बाहर, संतृप्ति को शायद ही कभी एक व्यवस्थित रुकने के मानदंड के रूप में माना गया; कुछ मामलों में, इसका उपयोग भर्ती की पर्याप्तता निर्धारित करने के बजाय साक्षात्कार गाइड को अनुकूलित करने के लिए किया गया था। एक अध्ययन ने स्पष्ट रूप से स्वीकार किया कि सुरक्षा संदर्भ की तेजी से बदलती प्रकृति के कारण सैद्धांतिक संतृप्ति प्राप्त नहीं हुई थी।

मुख्य योगदान
यह शोध पत्र साक्षात्कार-आधारित सॉफ्टवेयर इंजीनियरिंग अनुसंधान में पद्धतिगत रिपोर्टिंग प्रथाओं के बारे में प्रारंभिक अनुभवजन्य अंतर्दृष्टि प्रदान करता है। इसके प्राथमिक योगदान हैं:

• वर्तमान प्रथाओं का लक्षण वर्णन: यह स्थापित करता है कि मध्यम आकार के नमूने (13–24 साक्षात्कारकर्ता) ESE में सबसे आम विन्यास हैं, जो इस धारणा को चुनौती देता है कि एक एकल प्रभावी नमूना आकार मौजूद है।
• रिपोर्टिंग अंतराल का प्रमाण: यह उजागर करता है कि जबकि नमूना आकार व्यापक रूप से भिन्न होते हैं, इन आकारों के लिए औचित्य और संतृप्ति की चर्चा अक्सर स्पष्ट और पद्धतिगत के बजाय निहित या प्रात्विक (contextual) होती है।
• प्रासंगिक सत्यापन: यह छोटे-नमूना अध्ययनों (<12 प्रतिभागी) की वैधता का समर्थन करता है जब वे विशिष्ट औद्योगिक संदर्भों या सीमित पहुंच से जुड़े होते हैं, और केवल प्रतिभागी संख्या के आधार पर ऐसे कार्यों को खारिज करने के विरुद्ध तर्क देता है।

महत्व और दावे
लेखक इन निष्कर्षों को "प्रारंभिक" और "खोजपूर्ण" के रूप में मामूली रूप से प्रस्तुत करते हैं, जिसका उद्देश्य कठोर संख्यात्मक थ्रेशोल्ड निर्धारित करने के बजाय वर्तमान प्रथाओं का वर्णन करना है। शोध पत्र का दावा है कि सॉफ्टवेयर इंजीनियरिंग में साक्षात्कार नमूना पर्याप्तता अत्यधिक संदर्भ-निर्भर है, जो निश्चित संख्यात्मक अपेक्षाओं के बजाय अनुसंधान उद्देश्यों, प्रतिभागी पहुंच और पद्धतिगत डिजाइन द्वारा निर्धारित होती है।

इस कार्य का महत्व गुणात्मक रिपोर्टिंग में पारदर्शिता और कठोरता में सुधार करने की इसकी क्षमता में निहित है। लेखक तर्क देते हैं कि क्षेत्र को कठोर संख्यात्मक अपेक्षाओं से दूर जाना चाहिए जो औद्योगिक अनुसंधान की बाधाओं में फिट नहीं हो सकती हैं। इसके बजाय, वे इस बात को स्पष्ट रूप से व्यक्त करने की वकालत करते हैं कि पर्याप्तता के निर्णय कैसे लिए जाते हैं। उनका सुझाव है कि हालांकि 13 से 24 साक्षात्कारकर्ता सॉफ्टवेयर इंजीनियरिंग में सबसे आम रेंज का प्रतिनिधित्व करते हैं और योजना बनाने के लिए एक व्यावहारिक शुरुआती बिंदु के रूप में काम कर सकते हैं, केंद्रीय चुनौती एक "सार्वभौमिक रूप से सही" संख्या खोजना नहीं है, बल्कि नमूना आकार और संतृप्ति के संबंध में निर्णय लेने की प्रक्रिया की पारदर्शिता में सुधार करना है। शोध पत्र निष्कर्ष निकालता है कि यदि लेखक स्पष्ट, संदर्भ-संवेदनशील औचित्य प्रदान करते हैं, तो छोटे नमूने अस्वीकृति का आधार नहीं होने चाहिए। भविष्य के कार्य के रूप में इन अंतर्दृष्टि को और अधिक परिष्कृत करने के लिए 429 के पूर्ण संग्रह तक गुणात्मक विश्लेषण का विस्तार करने की योजना है।