Automating the Detection of Requirement Dependencies Using Large Language Models
यह शोध पत्र LEREDD प्रस्तुत करता है, जो प्राकृतिक भाषा से विविध आवश्यकता निर्भरताओं (requirement dependencies) को स्वचालित रूप से पहचानने के लिए रिट्रीवल-ऑगमेंटेड जनरेशन और इन-कॉन्टेक्स्ट लर्निंग का लाभ उठाने वाला एक नवीन लार्ज लैंग्वेज मॉडल-आधारित दृष्टिकोण है, जो भविष्य के अनुसंधान में सहायता के लिए एक नया एनोटेटेड डेटासेट जारी करते हुए अत्याधुनिक बेसलाइनों की तुलना में बेहतर सटीकता और F1 स्कोर प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल निर्माण परियोजना के प्रोजेक्ट मैनेजर हैं, जैसे कि एक भविष्यवादी शहर का निर्माण करना। आपके पास हजारों ब्लूप्रिंट (आवश्यकताएं) हैं जो साधारण अंग्रेजी में लिखे गए हैं। कुछ ब्लूप्रिंट कहते हैं, "एक पुल बनाएं," जबकि अन्य कहते हैं, "एक ट्रैफिक लाइट स्थापित करें।"
समस्या क्या है? ये ब्लूप्रिंट अलग-थलग नहीं हैं। ट्रैफिक लाइट के लिए पहले पुल बनने पर निर्भर होना आवश्यक है। यदि आप इन कनेक्शनों को अनदेखा करते हैं, तो शहर ढह सकता है, या आप एक ही चीज़ दो बार बना सकते हैं।
सॉफ्टवेयर की दुनिया में, इसे Requirement Dependency Detection (आवश्यकता निर्भरता पहचान) कहा जाता है। यह यह पता लगाने का कठिन काम है कि कौन से सॉफ्टवेयर निर्देश दूसरों पर निर्भर हैं। पारंपरिक रूप से, मनुष्यों को हजारों दस्तावेजों को पढ़ना पड़ता है और मैन्युअल रूप से उनके बीच रेखाएं खींचनी पड़ती हैं। यह धीमा, उबाऊ और गलतियों के प्रति संवेदनशील है क्योंकि मानवीय भाषा अव्यवस्थित और अस्पष्ट होती है।
यह पेपर एक नए टूल LEREDD (LLM-Enabled Requirement Dependency Detection) का परिचय देता है। LEREDD को एक सुपर-स्मार्ट, अथक वास्तुशिल्प सहायक के रूप में समझें जो एक लार्ज लैंग्वेज मॉडल (जैसे ChatGPT के पीछे का AI) द्वारा संचालित है, लेकिन इसमें इस काम के लिए इसे सटीक बनाने के लिए एक विशेष ट्विस्ट है।
LEREDD कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:
1. समस्या: "जीरो-शॉट" की गलती
लेखकों ने पहले एक मानक AI (जैसे कि एक कच्चा GPT-4) से केवल दो आवश्यकताओं को देखने और यह अनुमान लगाने की कोशिश की कि क्या वे आपस में जुड़े हुए हैं। इसे "जीरो-शॉट" प्रॉम्प्टिंग कहा जाता है।
- उपमा: कल्पना कीजिए कि एक प्रतिभाशाली लेकिन अनुभवहीन इंटर्न को दो ब्लूप्रिंट पढ़ने और बिना उन्हें कोई उदाहरण दिखाए या बिल्डिंग का मास्टर प्लान दिए यह अनुमान लगाने के लिए कहना कि वे कैसे जुड़ते हैं।
- परिणाम: वह इंटर्न उन चीजों को पहचानने में ठीक था जो आपस में नहीं जुड़ती थीं (यह कहना कि "ये बिल्कुल अलग हैं"), लेकिन वे सूक्ष्म, विशिष्ट कनेक्शनों को पहचानने में बहुत खराब थे। वे अक्सर गलत अनुमान लगाते या विवरणों को छोड़ देते थे।
2. समाधान: LEREDD की दो महाशक्तियाँ
इसे ठीक करने के लिए, शोधकर्ताओं ने AI को दो विशेष उपकरण दिए, जिससे वह एक "अनुमान लगाने वाले इंटर्न" से बदलकर एक "सीनियर इंजीनियर" बन गया।
शक्ति A: "कॉन्टेक्स्ट लाइब्रेरियन" (RAG)
- क्या है: रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation)।
- उपमा: निर्णय लेने से पहले, AI एक विशाल पुस्तकालय (पूरा सॉफ्टवेयर दस्तावेज़) खोलता है और उन विशिष्ट पृष्ठों को निकालता है जो बताते हैं कि बिल्डिंग के सिस्टम कैसे काम करते हैं।
- क्यों मदद करता है: यदि AI देखता है "सिस्टम को कार रोकनी चाहिए" और "सिस्टम को ब्रेक का उपयोग करना चाहिए," तो उसे शायद पता न चले कि वे जुड़े हुए हैं। लेकिन यदि "लाइब्रेरियन" एक ऐसा पेज निकालता है जिसमें लिखा है, "ब्रेकिंग सिस्टम को BCS कहा जाता है," तो AI अचानक समझ जाता है: आह! पहली आवश्यकता को BCS की आवश्यकता है, जो कि दूसरी आवश्यकता है। यह AI को सही ढंग से तर्क करने के लिए आवश्यक पृष्ठभूमि ज्ञान प्रदान करता है।
शक्ति B: "स्टडी बडी" (इन-कॉन्टेक्स्ट लर्निंग)
- क्या है: डायनेमिक उदाहरण।
- उपमा: नए ब्लूप्रिंट जोड़े का विश्लेषण करने से पहले, सिस्टम 4 अन्य जोड़े ढूंढता है जो बहुत समान हैं और AI को दिखाता है कि एक विशेषज्ञ ने उन्हें कैसे लेबल किया था।
- क्यों मदद करता है: यह एक छात्र को दिखाने जैसा है, "यहाँ हमने कल एक समान गणित की समस्या को कैसे हल किया था।" यह AI को सामान्य ज्ञान के आधार पर केवल अनुमान लगाने के बजाय, कार्य की विशिष्ट शैली और तर्क को समझने में मदद करता है।
3. वर्कफ़्लो: LEREDD कैसे सोचता है
जब LEREDD दो आवश्यकताओं को देखता है, तो वह केवल अनुमान नहीं लगाता। वह एक सख्त प्रक्रिया का पालन करता है:
- इंटेल इकट्ठा करना: यह प्रासंगिक पृष्ठभूमि जानकारी (कॉन्टेक्स्ट) और समान पिछले उदाहरणों (स्टडी बडी) को प्राप्त करता है।
- तर्क करना: यह दो आवश्यकताओं को पढ़ता है, अपने इंटेल को देखता है, और पूछता है, "क्या ये एक-दूसरे पर निर्भर हैं? यदि हाँ, तो कैसे?"
- व्याख्या करना: यह केवल "हाँ" नहीं कहता। यह एक संक्षिप्त नोट लिखता है कि क्यों (जैसे, "आवश्यकता A को सेंसर की आवश्यकता है जिसका उल्लेख आवश्यकता B में किया गया है")।
- कॉन्फिडेंस चेक: यह खुद को एक स्कोर (0 से 5) देता है कि वह कितना आश्वस्त है।
4. परिणाम: यह गेम चेंजर क्यों है
शोधकर्ताओं ने पुराने तरीकों (जैसे सरल कीवर्ड मिलान) और मानक AI मॉडल के मुकाबले LEREDD का परीक्षण किया।
- "नो कनेक्शन" फ़िल्टर: LEREDD उन जोड़ों को पहचानने में अविश्वसनीय रूप से अच्छा है जिन्हें आपस में जुड़ने की आवश्यकता नहीं है। इसने इन "असंबंधित" जोड़ों को 96% सटीकता से पहचाना।
- वास्तविक दुनिया का प्रभाव: एक वास्तविक प्रोजेक्ट में, 80% आवश्यकता जोड़े असंबंधित होते हैं। LEREDD शोर को तुरंत फ़िल्टर कर सकता है, जिससे इंसानों के घंटों का काम बच जाता है ताकि वे केवल कठिन कनेक्शनों पर ध्यान केंद्रित कर सकें।
- "फाइन-ग्रेन्ड" डिटेक्टिव: कठिन-से-पहचानने वाले कनेक्शनों (जैसे "Requires" या "Conflicts") के लिए, LEREDD कहीं अधिक श्रेष्ठ था। इसने अगली सर्वश्रेष्ठ विधि की तुलना में सटीकता में 100% से अधिक का सुधार किया।
- "ट्रैवलिंग एक्सपर्ट": आमतौर पर, एक प्रोजेक्ट पर प्रशिक्षित AI मॉडल दूसरे प्रोजेक्ट पर बुरी तरह विफल हो जाते हैं। हालाँकि, LEREDD बहुत अच्छा काम करता है भले ही इसे पूरी तरह से अलग सिस्टम (जैसे पार्किंग सिस्टम से ट्रैफिक सिस्टम में स्विच करना) पर टेस्ट किया गया हो, क्योंकि यह मौके पर अनुकूल होने के लिए अपने "लाइब्रेरियन" और "स्टडी बडी" का उपयोग करता है।
निचोड़
LEREDD आपकी सॉफ्टवेयर टीम को एक सुपर-इंटेलिजेंट असिस्टेंट देने जैसा है जो कभी थकता नहीं है, जवाब देने से पहले पूरा मैनुअल पढ़ लेता है, और उदाहरणों से तुरंत सीख लेता है।
यह मानव इंजीनियरों की जगह नहीं लेता; इसके बजाय, यह एक शक्तिशाली फ़िल्टर के रूप में कार्य करता है। यह उस 80% को हटा देता है जिन्हें ध्यान देने की आवश्यकता नहीं है और उन महत्वपूर्ण कनेक्शनों को उजागर करता जिनकी मनुष्यों द्वारा समीक्षा की जानी चाहिए। यह समय बचाता है, त्रुटियों को कम करता है, और बेहतर, सुरक्षित सॉफ्टवेयर सिस्टम बनाने में मदद करता है।
संक्षेप में: यह हजारों सॉफ्टवेयर निर्देशों को जोड़ने के अराजक कार्य को एक प्रबंधनीय, स्वचालित प्रक्रिया में बदल देता है, जिससे मनुष्य बड़े चित्र (बिग पिक्चर) पर ध्यान केंद्रित कर पाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।