AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
यह अनुभव रिपोर्ट यह प्रदर्शित करती है कि एआई-संचालित, स्व-प्रशासित साक्षात्कार लघु, कम जोखिम वाले अनुभवजन्य सॉफ्टवेयर इंजीनियरिंग अध्ययनों के लिए परिचालन रूप से व्यवहार्य हैं और प्रतिभागियों द्वारा अच्छी तरह से स्वीकार किए जाते हैं, हालांकि गहराई, संवेदनशीलता और गोपनीयता की सीमाओं के कारण वे वर्तमान में मानव-नेतृत्व वाले साक्षात्कारों के पूरक उपकरण के रूप में सबसे बेहतर सेवा करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर इंजीनियरिंग की दुनिया को एक विशाल, हलचल भरे निर्माण स्थल के रूप में कल्पना करें जहाँ टीमें डिजिटल गगनचुंबी इमारतें बनाती हैं। इन निर्माताओं के काम करने के तरीके को समझने के लिए, शोधकर्ता अक्सर क्लिपबोर्ड लेकर वहां रुकते हैं और सवाल पूछते हैं, जिसे "साक्षात्कार" (इंटरव्यू) कहा जाता है। यह एक जासूस की तरह है जो किसी अपराध के बारे में पूछने के लिए गवाह से बातचीत करता है, लेकिन यहाँ अपराध के बजाय, वे इस बात की जांच कर रहे होते हैं कि प्रोग्रामर बग्स को कैसे ठीक करते हैं, अपने दिन को कैसे व्यवस्थित करते हैं, या नए टूल्स का उपयोग कैसे करते हैं। पारंपरिक रूप से, इसके लिए एक मानव शोधकर्ता की आवश्यकता होती है जो वहां बैठे, प्रश्न पूछे और नोट्स ले, जो समय लेने वाला है और तब कठिन हो जाता है जब सभी अलग-अलग टाइम ज़ोन में हों या अलग-अलग भाषाएं बोलते हों।
हाल ही में, एक नया प्रकार का "डिजिटल जासूस" आया है: आर्टिफिशियल इंटेलिजेंस (AI)। AI को एक सुपर-स्मार्ट रोबोट के रूप में सोचें जो लाखों किताबें पढ़ सकता है और इंसानों की तरह बात करना सीख सकता है। क्योंकि ये रोबोट बातचीत करने में बहुत अच्छे होते जा रहे हैं, शोधकर्ताओं ने सोचा: "क्या हम रोबट को इंटरव्यू करने के लिए छोड़ सकते हैं बजाय एक इंसान के?" यह वह बड़ा सवाल है जिसे यह पेपर संबोधित करता है। यह पूछता है कि क्या एक रोबोट सॉफ्टवेयर डेवलपर्स के साथ सफलतापूर्वक चैट कर सकता है, उनसे उनके काम के बारे में पूछ सकता है, और बिना किसी इंसान के फोन उठाए उपयोगी कहानियाँ एकत्र कर सकता है। शोधकर्ता यह साबित करने की कोशिश नहीं कर रहे हैं कि रोबोट बेहतर है, बल्कि यह कि क्या यह एक संभव उपकरण है जो उपयोगी होने के लिए पर्याप्त रूप से अच्छा काम करता है।
प्रयोग: माइक रोबोट को सौंपना
इस अध्ययन में, ब्राजील के शोधकर्ताओं ने इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने दो कस्टम "AI साक्षात्कारकर्ता" बनाए (जिन्हें उन्होंने MyGPTs कहा) और उन्हें सॉफ्टवेयर पेशेवरों से बात करने के लिए भेजा। एक रोबोट को "रिफैक्टरिंग" (refactoring) के बारे में पूछने के लिए डिज़ाइन किया गया था—जो कोड को साफ करने का एक फैंसी शब्द है ताकि वह बेहतर ढंग से चल सके। दूसरे रोबोट ने "स्क्रम" (Scrum) के भीतर AI टूल्स के उपयोग के बारे में पूछा, जो टीमों द्वारा अपने काम को व्यवस्थित करने का एक लोकप्रिय तरीका है।
वीडियो कॉल शेड्यूल करने के बजाय, शोधकर्ताओं ने एक लिंक भेजा। प्रतिभागियों ने उस पर क्लिक किया, अपने फोन या कंप्यूटर पर चैट खोली, और बात करना शुरू किया। वे एक स्मार्ट असिस्टेंट की तरह रोबोट से बात करने के लिए अपनी आवाज़ का भी उपयोग कर सकते थे। रोबोट ने प्रश्नों की एक श्रृंखला पूछी, उत्तरों को सुना, और अंत में, उसने बातचीत का एक सुंदर सारांश अपने आप लिख दिया। प्रतिभागी को फिर वह सारांश शोधकर्ताओं को वापस भेजने के लिए एक बटन दबाना था। यह एक "सेल्फ-सर्विस" इंटरव्यू था: कोई मानव शोधकर्ता कमरे में नहीं था, कोई शेड्यूलिंग संघर्ष नहीं था, और यह पूरी प्रक्रिया तब हुई जब भी प्रतिभागी को यह ठीक लगा।
उन्होंने क्या पाया: अच्छी बातें, अजीब बातें और गड़बड़ियाँ
शोधकर्ताओं ने इन 66 पूर्ण साक्षात्कारों का विश्लेषण किया। डेटा ने उन्हें क्या बताया, इसे अच्छी खबरों और सुधार की आवश्यकता वाली चीजों में विभाजित किया गया है।
अच्छी खबर: लोगों को यह पसंद आया
जिन अधिकांश लोगों ने इंटरव्यू पूरा किया, उन्हें यह अनुभव काफी अच्छा लगा।
- आराम (Comfort): लगभग 91% लोग सवालों के जवाब देने में सहज महसूस कर रहे थे।
- स्पष्टता (Clarity): लगभग 96% ने कहा कि रोबोट के प्रश्न समझने में आसान थे।
- गति (Speed): 97% से अधिक को लगा कि बातचीत की गति अच्छी थी।
- इच्छा (Willingness): लगभग 90% ने कहा कि वे इसे दोबारा करने के लिए तैयार होंगे।
यह पता चला कि कई लोग वास्तव में एक रोबोट से बात करने के विचार को पसंद करते थे। कुछ को एक इंसान की तुलना में कम दबाव महसूस हुआ, और उन्होंने अपनी गति से जवाब देने की क्षमता की सराहना की, बिना इस बात की चिंता किए कि कोई उनकी घड़ी देख रहा है।
"रुको, क्या?" वाले क्षण
हालाँकि, यह एकदम सही नहीं था। जब रोबोट की तुलना एक मानव साक्षात्कारकर्ता से करने के लिए पूछा गया, तो परिणाम मिले-जुले थे। लगभग 42% लोगों को लगा कि वे बिल्कुल बीच में थे—न बेहतर, न बदतर। लगभग 38% ने महसूस किया कि वे एक इंसान से बात करना पसंद करेंगे, जबकि केवल लगभग 20% ने रोबोट को प्राथमिकता दी।
सबसे बड़ी शिकायत यह थी कि रोबोट कभी-कभी ऐसे प्रश्न पूछता था जो बहुत सामान्य लगते थे या जो उनके उत्तरों में गहराई तक नहीं जाते थे। लगभग 29% लोगों को लगा कि रोबोट उनकी विशिष्ट कहानियों के प्रति पर्याप्त संवेदनशील नहीं था, और अन्य 27% को लगा कि बातचीत पर्याप्त गहरी नहीं थी। कुछ लोगों ने मानवीय जुड़ाव की कमी महसूस की, और उन्हें एक इंसान के बजाय मशीन से बात करना थोड़ा अजीब लगा।
तकनीकी गड़बड़ियाँ
कुछ व्यावहारिक दिक्कतें भी थीं।
- गलत सारांश: लगभग 9% मामलों में (66 में से 6), प्रतिभागी ने गलत चीज़ भेजी। रोबोट द्वारा बनाए गए सुंदर सारांश के बजाय, उन्होंने चैट के यादृच्छिक हिस्से या असंरचित टेक्स्ट पेस्ट कर दिया।
- गलत विषय: 2 मामलों में, प्रतिभागी ने "रिफैक्टरिंग" के बारे में सारांश भेजा जबकि वे "स्क्रम" के बारे में सवालों के जवाब दे रहे थे, जिससे पता चलता है कि जब इंसान अकेले काम कर रहा हो, तो प्रश्न और उत्तर के बीच का संबंध भ्रमित हो सकता है।
- आवाज़ की समस्याएँ: चूंकि लोगों ने अपनी आवाज़ का उपयोग किया, इसलिए कभी-कभी रोबole आवाज़ों को गलत समझ लेता था। एक व्यक्ति ने उल्लेख किया कि एक खाँसी को गलती से उत्तर के रूप में रिकॉर्ड कर लिया गया, जिससे इंटरव्यू का प्रवाह बाधित हुआ।
बड़ी सीख: एक सहायक साथी, न कि एक प्रतिस्थापन
यह शोध पत्र हमें सबसे महत्वपूर्ण बात बताता है कि AI साक्षात्कारकर्ता क्या कर सकते हैं और क्या नहीं कर सकते।
शोधकर्ता बहुत स्पष्ट हैं: उन्होंने यह साबित नहीं किया है कि रोबोट मानव साक्षात्कारकर्ताओं की जगह ले सकते हैं। उन्होंने यह नहीं जांचा कि क्या रोबोट के सारांश उतने सटीक, गहरे या समृद्ध थे जितने कि एक इंसान के नोट्स होते। उन्होंने केवल यह जांचा कि क्या प्रक्रिया काम करती है और क्या लोग इसके साथ सहज हैं।
निष्कर्ष यह है कि AI साक्षात्कार एक पूरक उपकरण (complementary tool) है। वे त्वरित, छोटे और कम जोखिम वाले संवादों के लिए बेहतरीन हैं जहाँ आपको बस लोगों के विचारों का एक सामान्य विचार चाहिए। वे समय बचाने और लोगों को अपनी मर्जी से बात करने देने के लिए शानदार हैं। लेकिन, यदि आपको जटिल भावनाओं में गहराई तक जाना है, बहुत संवेदनशील रहस्यों को संभालना है, या किसी पेचीदा समस्या की बहुत गहरी समझ चाहिए, तो एक मानव साक्षात्कारकर्ता अभी भी सबसे अच्छा विकल्प है।
AI साक्षात्कारकर्ता को किराने की दुकान पर एक "सेल्फ-चेकआउट कियोस्क" की तरह समझें। यह तेज़ है, सुविधाजनक है, और कुछ वस्तुओं के लिए बहुत अच्छा काम करता है। लेकिन यदि आपके पास कोई अजीब कूपन है, आलू का भारी बैग है, या ताजी उपज के बारे में कोई प्रश्न है, तो आप अभी भी एक मानव कैशियर ही चाहेंगे। यह अध्ययन दिखाता है कि सॉफ्टवेयर शोधकर्ताओं के लिए, "सेल्फ-चेकआउट" उपयोग के लिए तैयार है, लेकिन यह सुनिश्चित करने के लिए कि डेटा अच्छा है, उन्हें अभी भी एक इंसान की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।