Entity and non-functional-requirement extraction from user stories: evidence from supervised sequence models and reproducible LLM benchmarking
यह शोध पत्र उपयोगकर्ता कहानियों (user stories) से संस्थाओं (entities) और गैर-कार्यात्मक आवश्यकताओं (non-functional requirements) को निकालने के लिए सुपरवाइज्ड सीक्वेंस मॉडल्स और ओपन-वेट एलएलएम (LLMs) का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि एक नव-जारी, पुनरुत्पादक बेंचमार्क पर एक BiLSTM-CRF मॉडल, ज़ीरो-शॉट और वन-शॉट एलएलएम की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर टीमें अक्सर अपनी योजनाओं को 'यूजर स्टोरीज' नामक छोटे, प्राकृतिक वाक्यों के रूप में लिखती हैं। ये नोट्स एक सरल पैटर्न का पालन करते हैं: "[व्यक्ति] के रूप में, मैं [कार्य] चाहता हूँ, ताकि [कारण]।" इनका उद्देश्य यह बताना है कि सॉफ्टवेयर का एक हिस्सा क्या करना चाहिए और क्यों। हालांकि इंसान इन नोट्स को आसानी से पढ़ सकते हैं, लेकिन कंप्यूटर इन्हें समझने में संघर्ष करते हैं। ये वाक्य अक्सर अव्यवस्थित, अधूरे या इस तरह लिखे होते हैं जो एक सख्त टेम्पलेट में फिट नहीं बैठते। बेहतर सॉफ्टवेयर टूल बनाने के लिए, शोधकर्ताओं को कंप्यूटर को ये कहानियाँ पढ़ने और उनसे विशिष्ट जानकारी निकालने के लिए प्रशिक्षित करने के तरीके की आवश्यकता है: इसमें कौन शामिल है, वे क्या करना चाहते हैं, और उनका लक्ष्य क्या है। उन्हें छिपी हुई आवश्यकताओं को भी पहचानना होगा, जैसे कि गति, गोपनीयता, या सिस्टम के उपयोग में आसानी से जुड़े नियम, जो अक्सर टेक्स्ट में दबे होते हैं या अनकहे रह जाते हैं।
शोधकर्ताओं की एक टीम ने इन विवरणों को निकालने के लिए कंप्यूटर को सिखाने के दो अलग-अलग दृष्टिकोणों का परीक्षण करके इस समस्या को हल करने का प्रयास किया। पहला दृष्टिकोण हजारों उदाहरणों पर प्रशिक्षित एक विशेष प्रकार के कंप्यूटर प्रोग्राम का उपयोग करता है जो एक सावधानीपूर्वक संपादक की तरह कार्य करता है, और उन सटीक शब्दों को हाइलाइट करता है जो प्रत्येक श्रेणी में फिट बैठते हैं। दूसरा दृष्टिकोण 'लार्ज लैंग्वेज मॉडल्स' (LLMs) का उपयोग करता है, जो शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम हैं जो बिना किसी विशिष्ट प्रशिक्षण के मानवीय भाषा को समझने और उत्पन्न करने में सक्षम हैं। शोधकर्ता यह देखना चाहते थे कि कौन सी विधि सॉफ्टवेयर कहानियों के एक बड़े संग्रह से सही जानकारी निकालने में अधिक सटीक थी, और क्या नए, अधिक लचीले AI उपकरण पुराने, अधिक कठोर उपकरणों से बेहतर प्रदर्शन कर सकते हैं।
टीम ने विभिन्न सार्वजनिक स्रोतों, जिनमें सॉफ्टवेयर विकास समुदाय और आवश्यकता डेटाबेस शामिल हैं, से 2,234 अंग्रेजी यूजर स्टोरीज का एक विशाल संग्रह एकत्र करके शुरुआत की। उन्होंने इन कहानियों को हाथ से लेबल किया, यह चिह्नित करते हुए कि कौन से शब्द व्यक्ति, कार्य और लक्ष्य का प्रतिनिधित्व करते हैं। इसके बाद उन्होंने इस डेटा पर कई कंप्यूटर मॉडल्स का परीक्षण किया। सबसे सफल मॉडल वह सिस्टम था जो टेक्स्ट को एक साथ दोनों दिशाओं में पढ़ता है, जिससे यह किसी शब्द के संदर्भ को उससे पहले और बाद के शब्दों को देखकर समझ पाता है। मूल संग्रह पर प्रशिक्षित होने पर, इस मॉडल ने कहानियों के प्रमुख हिस्सों की पहचान 96.2% बार सही ढंग से की। जब शोधकर्ताओं ने मौजूदा कहानियों के थोड़े बदलाव करके प्रशिक्षण डेटा में अधिक उदाहरण जोड़े, तो मॉडल की सटीकता सुधरकर 98.6% हो गई। यह सिस्टम उन पांच विशिष्ट गुणवत्ता पहलुओं को पहचानने में भी बहुत अच्छा साबित हुआ जिन्हें टीम खोज रही थी: गोपनीयता (privacy), प्रदर्शन (performance), उपयोगिता (usability), स्केलेबिलिटी (scalability) और रखरखाव (maintainability)।
अपने परिणामों को निष्पक्ष और दूसरों द्वारा जांचने योग्य सुनिश्चित करने के लिए, शोधकर्ताओं ने एक नया, साझा टेस्ट सेट बनाया जिसे प्रशिक्षण डेटा से अलग रखा गया था। उन्होंने सात अलग-अलग लार्ज लैंग्वेज मॉडल्स को उसी कार्य को आज़माने के लिए आमंत्रित किया। इन मॉडल्स को कहानियाँ दी गईं और उन्हें बिना किसी अतिरिक्त स्पष्टीकरण के एक सख्त प्रारूप में उत्तर देने के लिए कहा गया। शोधकर्ताओं ने सफलता को इस आधार पर मापा कि क्या कंप्यूटर का उत्तर मानव-लेबल वाले उत्तर से शब्द-दर-शब्द और बिल्कुल उसी क्रम में मेल खाता है। परिणामों ने दो प्रकार की तकनीक के बीच एक स्पष्ट अंतर दिखाया। विशिष्ट डेटा पर प्रशिक्षित विशेष कंप्यूटर प्रोग्राम ने नए टेस्ट सेट पर 0.953 का सटीकता स्कोर प्राप्त किया। जब शोधकर्ताओं ने इसके प्रशिक्षण में कुछ सुरक्षित, संशोधित उदाहरण जोड़े, तो स्कोर बढ़कर 0.961 हो गया।
इसके विपरीत, लार्ज लैंग्वेज मॉडल्स, सबसे शक्तिशाली उपलब्ध होने के बावजूद, शब्दों की सटीक सीमाओं (boundaries) को मिलाने में काफी संघर्ष करते रहे। बिना किसी विशिष्ट उदाहरण के सीखने वाला सबसे अच्छा प्रदर्शन करने वाला लार्ज लैंग्वेज मॉडल केवल 0.414 स्कोर ही प्राप्त कर सका। जब शोधकर्ताओं ने उस मॉडल को कार्य करने का तरीका दिखाने के लिए एक उदाहरण दिया, तो इसका स्कोर थोड़ा सुधरकर 0.434 हो गया। मुख्य समस्या यह थी कि हालांकि ये मॉडल अक्सर कहानी के सामान्य अर्थ को समझते थे, लेकिन वे अक्सर अपने उत्तरों में बहुत अधिक या बहुत कम शब्द शामिल करते थे, या वाक्यांशों के गलत शुरुआती और अंतिम बिंदुओं को चुन लेते थे। चूंकि परीक्षण के लिए सटीक मिलान की आवश्यकता थी, इसलिए इन छोटी गलतियों को भी विफलता माना गया। हालांकि, विशेष प्रोग्राम को विशेष रूप से उन सटीक सीमाओं को खोजने के लिए डिज़ाइन किया गया था, जिससे यह इस विशिष्ट कार्य के लिए बहुत अधिक विश्वसनीय बन गया।
अध्ययन ने यह भी देखा कि ये सिस्टम कितनी तेजी से काम करते हैं। विशेष प्रोग्राम एक मानक कंप्यूटर पर एक एकल कहानी को आधे मिलीसेकंड से भी कम समय में प्रोसेस कर सकता है, जो डेटा के बड़े संग्रहों के लिए अविश्वसनीय रूप से तेज़ है। लार्ज लैंग्वेज मॉडल्स को बहुत अधिक समय लगा, औसतन लगभग 0.7 सेकंड प्रति कहानी, जो हजारों दस्तावेजों के साथ काम करते समय एक महत्वपूर्ण अंतर है। शोधकर्ताओं ने नोट किया कि हालांकि लार्ज लैंग्वेज मॉडल्स सामान्य विचार को समझने में उत्कृष्ट हैं और एक मानव विश्लेषक के लिए त्वरित समीक्षा में सहायक हो सकते हैं, लेकिन वे अभी तक उन कार्यों के लिए विशेष प्रोग्रामों को बदलने के लिए तैयार नहीं हैं जिनमें विशिष्ट विवरणों के सटीक, स्वचालित निष्कर्षण की आवश्यकता होती है।
शोधकर्ता अपने काम की सीमाओं को स्पष्ट रूप से बताने में सावधानी बरतते हैं। वे एक पिछले, बड़े प्रयोग के परिणामों को पूरी तरह से पुनरुत्पादित (reproduce) नहीं कर सके क्योंकि मूल डेटा और लॉग्स में से कुछ गायब थे। उन्होंने यह भी उल्लेख किया कि उनके द्वारा बनाए गए साझा बेंचमार्क में जानबूझकर गुणवत्ता पहलू (NFR) के लेबल खाली छोड़े गए थे क्योंकि उपलब्ध स्रोत डेटा स्टोरी-स्तरीय श्रेणियों के लिए सत्यापित नहीं था। फलस्वरूप, यह नया साझा टेस्ट सेट इस बात की निष्पक्ष तुलना करने की अनुमति नहीं देता है कि लार्ज लैंग्वेज मॉडल्स ने उन विशिष्ट गैर-कार्यात्मक आवश्यकताओं को कितनी अच्छी तरह से संभाला। अध्ययन निष्कर्ष निकालता है कि उन टीमों के लिए जिन्हें विशिष्ट अभिनेताओं, कार्यों और लक्ष्यों को खोजने के लिए हजारों सॉफ्टवेयर कहानियों को स्वचालित रूप से छाँटने की आवश्यकता है, विशेष कंप्यूटर प्रोग्राम सबसे सटीक और कुशल उपकरण बना हुआ है। लार्ज लैंग्वेज मॉडल्स एक मानव विश्लेषक के लिए एक सहायक के रूप में कार्य कर सकते हैं, लेकिन वे सावधानीपूर्वक जांच के बिना अकेले काम करने के लिए भरोसेमंद नहीं हैं। शोधकर्ताओं ने अपना डेटा और उपकरण जारी कर दिए हैं ताकि अन्य वैज्ञानिक इन निष्कर्षों को सत्यापित कर सकें और तकनीक में सुधार करना जारी रख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।