ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents
यह शोधपत्र ReqGenX प्रस्तुत करता है, जो एक अनुभवजन्य अध्ययन है जो यह प्रदर्शित करता है कि लीगेसी सॉफ्टवेयर रिक्वायरमेंट्स स्पेसिफिकेशन (SRS) दस्तावेजों को ट्रैसेबल (traceable), परमाणु कथनों (atomic statements) में विघटित करना और उन्हें सिंथेटिक प्री-SRS आर्टिफैक्ट्स के रूप में पुनर्जीवित करना, LLM-आधारित SRS जनरेशन के सूक्ष्म मूल्यांकन को सक्षम बनाता है और साथ ही निष्ठा (faithfulness), सूचना प्रतिधारण (information retention) और आर्टिफैक्ट पूर्णता (artifact completeness) के बीच महत्वपूर्ण ट्रेड-ऑफ्स को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, अति-तीव्र गति वाले रोबोट को एक नए वीडियो गेम के लिए नियम पुस्तिका (rulebook) लिखने के लिए सिखाने की कोशिश कर रहे हैं। आप उस रोबोट को 1990 के दशक की एक बिखरी हुई, हाथ से लिखी नोटबुक सौंपते हैं जो अस्पष्ट विचारों, उकेरे गए नोट्स और आधे-अधूरे विचारों से भरी है। आपका लक्ष्य उस रोबोट को उस बिखरी हुई नोटबुक को एक आदर्श, पेशेवर नियम पुस्तिका में बदलने के लिए प्रेरित करना है। लेकिन यहाँ एक पेंच है: रोबोट मदद करने के लिए इतना उत्सुक है कि वह अनजाने में नए नियम बना सकता है, पुराने नियमों को भूल सकता है, या दो अलग-अलग विचारों को मिलाकर एक भ्रमित करने वाला वाक्य बना सकता है। यह सॉफ्टवेयर रिक्वायरमेंट्स स्पेसिफिकेशन (SRS) जनरेशन की दुनिया है। तकनीकी दुनिया में, एक SRS वह "मास्टर ब्लूप्रिंट" है जो इंजीनियरों को ठीक-ठीक बताता है कि सॉफ्टवेयर के हिस्से को क्या करना चाहिए। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs)—वही तरह के AI जो कविताएँ लिखते हैं और सवालों के जवाब देते हैं—इन ब्लूप्रिंट्स को लिखने में बेहतर हो रहे हैं, यह जांचना अविश्वसनीय रूप से कठिन है कि वे वास्तव में सच बोल रहे हैं या बस मनगढ़ंत बातें बना रहे हैं। हमें एक ऐसा तरीका चाहिए जिससे रोबोट द्वारा लिखे गए हर वाक्य को मूल, बिखरी हुई नोटबुक से वापस ट्रैक किया जा सके ताकि यह देखा जा सके कि वह वफादार है या केवल कल्पना कर रहा है।
यही वह समस्या है जिसे हल करने के लिए ReqGenX के पीछे के शोधकर्ताओं ने प्रयास किया। उन्होंने केवल AI को एक नया नियम पुस्तिका लिखने के लिए नहीं कहा; बल्कि उन्होंने एक चतुर, चरण-दर-चरण "फैक्ट्री" बनाई है ताकि यह परीक्षण किया जा सके कि AI पुराने, बिखरे हुए दस्तावेजों को छोटे, अकाट्य तथ्यों में तोड़ने, उन तथ्यों को विशिष्ट प्रकार के नोट्स (जैसे "यूजर स्टोरीज़" या "क्वालिटी चेक") में बदलने और फिर यह देखने के लिए कि क्या उन नोट्स का उपयोग मूल विचार को बिना कुछ खोए पुनर्गठित करने के लिए किया जा सकता है। इसे एक जटिल लेगो (Lego) महल को सावधानीपूर्वक हर एक ईंट को अलग करने, उन्हें लेबल करने, उन्हें विशिष्ट बक्सों में छाँटने और फिर केवल उन छाँटे गए बक्सों का उपयोग करके महल को फिर से बनाने की तरह समझें। शोधकर्ता जानना चाहते थे: क्या AI यह कर सकता है बिना एक भी ईंट खोए या एक नया रंग बनाए जो अस्तित्व में ही नहीं था?
द फैक्ट्री: ReqGenX
टीम ने एक पाइपलाइन बनाई जिसे ReqGenX कहा जाता है, जो इस प्रयोग के लिए एक नियंत्रित प्रयोगशाला के रूप में कार्य करती है। AI को केवल एक नया दस्तावेज़ "लिखने" देने के बजाय, उन्होंने इसे तीन सख्त चरणों से गुजरने के लिए मजबूर किया, जो हर चरण में एक गुणवत्ता-नियंत्रण निरीक्षक की तरह कार्य करता है।
चरण 1: परमाणु विखंडन (The Atomic Breakdown)
सबसे पहले, AI एक पुराने दस्तावेज़ से टेक्स्ट का एक हिस्सा लेता है और उसे "परमाणुओं" (atoms) में तोड़ने की कोशिश करता है। कल्पना कीजिए कि एक वाक्य है, "उत्पाद Qt लाइब्रेरी का उपयोग करता है और सभी समर्थित ऑपरेटिंग सिस्टमों पर चलना चाहिए।" एक इंसान के लिए, यह एक वाक्य है। AI के लिए, यह वास्तव में दो अलग-अलग विचार हैं जो आपस में मिले हुए हैं। लक्ष्य उन्हें "परमाणु कथनों" (atomic statements) में विभाजित करना है—छोटे, आत्मनिर्भर सत्य जिन्हें और अधिक तोड़ा नहीं जा सकता। एक परमाणु बनता है "उत्पाद Qt लाइब्रेरी का उपयोग करता है," और दूसरा बनता है "उत्पाद को सभी समर्थित ऑपरेटिंग सिस्टमों पर चलना चाहिए।" शोधकर्ताओं ने पाया कि AI वास्तव में इसमें काफी अच्छा है। जब उन्होंने जांचा कि ये छोटे परमाणु मूल टेक्स्ट के प्रति कितने वफादार थे, तो स्कोर अविश्वसनीय रूप से उच्च थे, आमतौर पर 0.96 और 0.99 के बीच, जहाँ 1.0 पूर्णता है। हालाँकि, उन्होंने यह भी देखा कि कभी-कभी AI बहुत अधिक उत्साही हो जाता है और जानकारी का एक हिस्सा छोड़ देता है, या इसके विपरीत, यह एक ऐसा हिस्सा रख सकता है जो बहुत अस्पष्ट हो।
चरण 2: सॉर्टिंग हैट (The Sorting Hat)
एक बार जब टेक्स्ट को परमाणुओं में तोड़ दिया जाता है, तो AI को यह तय करना होता है कि प्रत्येक परमाणु किस प्रकार का नोट है। यह एक जादूगर स्कूल के सॉर्टिंग हैट की तरह है। क्या यह तथ्य एक "यूजर स्टोरी" (एक नोट कि एक व्यक्ति क्या करना चाहता है) में है? क्या यह एक "क्वालिटी नोट" (एक नियम कि सिस्टम कितना तेज़ या सुरक्षित होना चाहिए) में है? या यह सिर्फ एक "सिस्टम कॉन्टेक्स्ट" नोट (पृष्ठभूमि की जानकारी) है? शोधकर्ताओं ने इन श्रेणियों पर वोट करने के लिए विभिन्न AI मॉडलों की एक टीम का उपयोग किया। उन्होंने पाया कि जबकि AI सामान्य विचारों को छाँटने में माहिर है, वह कभी-कभी बहुत विशिष्ट तकनीकी लेबल के साथ संघर्ष करता है। उदाहरण के लिए, यह तय करने में कि एक वाक्य "फंक्शनल रिक्वायरमेंट" था या "क्वालिटी रिक्वायरमेंट", AI मॉडल एक-दूसरे से काफी असहमत थे, जहाँ कुछ मामलों में सहमति स्कोर गिरकर 0.31 तक आ गया। यह सुझाव देता है कि जबकि AI जंगल को देख सकता है, वह कभी-कभी विशिष्ट पेड़ों के प्रकारों के बारे में भ्रमित हो जाता है।
चरण 3: पुनर्निर्माण (The Reconstruction)
अंत में, AI इन छाँटे गए, लेबल किए गए परमाणुओं को लेता है और उन्हें एक नए, पेशेवर दिखने वाले दस्तावेज़ में लिखने की कोशिश करता है। यह निर्णायक क्षण है: क्या AI इन छोटे, छाँटे गए तथ्यों को वापस एक सुसंगत कहानी में बदल सकता है? शोधकर्ताओं ने इसे AI-जनरेटेड नोट्स को लेकर मूल दस्तावेज़ को फिर से बनाने के लिए एक अलग AI से पूछकर परखा। उन्होंने पाया कि AI वास्तव में दस्तावेज़ को फिर से बना सकता था, लेकिन यह एक सटीक प्रतिलिपि नहीं थी। "सिमेंटिक सिमिलरिटी" (अर्थ कितनी समानता रखता है) ठीक थी, जो 0.69 से 0.75 के बीच थी, लेकिन "फैक्टुअल सपोर्ट" (क्या नया टेक्स्ट वास्तव में पुराने तथ्यों को सिद्ध करता था?) थोड़ा अधिक परिवर्तनशील था।
फैसला: वफादार लेकिन त्रुटिपूर्ण (Faithful but Flawed)
तो, शोधकर्ताओं ने वास्तव में क्या खोजा?
सबसे पहले, उन्होंने पुष्टि की कि AI एक बहुत अच्छा लाइब्रेरियन हो सकता है। यह एक बिखरे हुए, पुराने दस्तावेज़ को ले सकता है और उसे बहुत उच्च सफलता दर के साथ छोटे, सत्य तथ्यों में तोड़ सकता है। अधिकांश समय, परमाणु जो वह बनाता है, वे स्रोत के प्रति 96% से 99% वफादार होते हैं। इसका मतलब है कि AI केवल हवा में चीजें नहीं बना रहा है; यह आमतौर पर स्क्रिप्ट पर टिका रहता है।
हालाँकि, उन्होंने कुछ महत्वपूर्ण "लेकिन" भी पाए।
- "खोई हुई ईंट" की समस्या: भले ही AI वफादार है, लेकिन यह सब कुछ रखने में पूर्ण नहीं है। दस्तावेज़ और उपयोग किए गए AI मॉडल के आधार पर, सफलतापूर्वक संरक्षित की गई मूल जानकारी (कवरेज) की मात्रा काफी भिन्न थी, जो 35.6% से 93.5% तक रही। इसका मतलब यह नहीं है कि AI ने झूठ बोला; इसका मतलब यह है कि कुछ दस्तावेजों के लिए, AI ने निर्णय लिया कि मूल पाठ का एक बड़ा हिस्सा बहुत अस्पष्ट, दोहराव वाला या संरचनात्मक था जिसे स्टैंडअलोन "परमाणु" के रूप में रखा जा सके, जबकि अन्य के लिए, इसने लगभग सब कुछ सुरक्षित रखा।
- "परफेक्ट टेम्पलेट" का जाल: जब AI ने इन परमाणुओं को विशिष्ट दस्तावेज़ प्रकारों (जैसे "क्वालिटी नोट") में बदलने की कोशिश की, तो वह कभी-कभी नकली विवरण जोड़े बिना खाली स्थानों को भरने में संघर्ष करता है। जबकि AI एक बुनियादी "जज" टेस्ट में लगभग 100% समय पास हुआ, एक सख्त, अधिक आलोचनात्मक टेस्ट (जिसे प्रोमीथियस कहा जाता है) ने दिखाया कि केवल 54.8% से 97.1% आर्टिफ़ैक्ट्स वास्तव में पूर्ण और उच्च गुणवत्ता वाले थे। यह सुझाव देता है कि AI चीजों को सही दिखाने में सक्षम है, लेकिन कभी-कभी उनमें वे गहरे विवरण गायब होते हैं जो वास्तव में उपयोगी होने के लिए आवश्यक हैं।
- पुनर्निर्माण अंतराल (Reconstruction Gap): जब उन्होंने AI के नोट्स से मूल दस्तावेज़ को फिर से बनाने की कोशिश की, तो नया संस्करण एक "ट्रेसेबल ड्राफ्ट" था, न कि एक सटीक प्रतिलिपि। इसने मुख्य विचारों को पकड़ लिया, लेकिन अनुवाद के दौरान कुछ बारीकियां खो गईं।
यह भविष्य के लिए क्या मायने रखता है
शोधकर्ता यह नहीं कह रहे हैं कि AI ने सॉफ्टवेयर नियम पुस्तिका लिखने की समस्या को हल कर लिया है। इसके बजाय, वे कह रहे हैं कि AI जानकारी को जांचने और व्यवस्थित करने के लिए एक शक्तिशाली उपकरण है, लेकिन इसे एक मानव मार्गदर्शक की आवश्यकता है।
उन्होंने पाया कि सबसे बड़ी बाधा AI की लिखने की क्षमता नहीं है, बल्कि साक्ष्य की सूक्ष्मता (granularity of evidence) है। यदि मूल दस्तावेज़ अस्पष्ट है या बहुत सारे विचारों को मिलाता है, तो AI इसे एक साफ, उपयोगी प्रारूप में बदलने के लिए संघर्ष करता है। AI जादुई रूप से गायब संदर्भ का आविष्कार नहीं कर सकता; यह केवल उसी के साथ काम कर सकता है जो उसे दिया गया है।
अंत में, यह अध्ययन बताता है कि हम AI का उपयोग "ट्रेसेबल सिंथेटिक आर्टिफ़ेक्ट्स" बनाने के लिए कर सकते हैं—डिजिटल नोट्स जो मूल स्रोत से जुड़े होते हैं ताकि हम देख सकें कि हर विचार कहाँ से आया। यह यह जांचने के लिए कि क्या AI सच बोल रहा है, एक बड़ा कदम है। लेकिन यह एक चेतावनी भी है: केवल इसलिए कि AI एक साफ, पेशेवर दिखने वाला दस्तावेज़ तैयार करता है, इसका मतलब यह नहीं है कि उसने मूल के हर विवरण को पकड़ लिया है। AI एक शानदार सहायक है, लेकिन उसे अभी भी एक मानव की आवश्यकता है जो मानचित्र थामे रखे और यह सुनिश्चित करे कि कोई ईंट पीछे न छूट जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।