AI-Driven Automation of Software Testing to Enhance Software Quality and Enable Agentic AI
यह शोध पत्र एजेंटिक-क्यूए फ्यूजन फ्रेमवर्क (Agentic-QA Fusion Framework) का प्रस्ताव करता है, जो एक स्टेटफुल मल्टी-एजेंट सिस्टम है जो जटिल, विनियमित औद्योगिक डोमेन में लगभग पूर्ण सिंटैक्टिक शुद्धता और उच्च म्यूटेशन स्कोर प्राप्त करने के लिए स्वायत्त रूप से रणनीति बनाने और स्क्रिप्ट को स्वयं ठीक करने के माध्यम से टेस्ट जनरेशन में मानक जेनरेटिव एआई की सीमाओं को दूर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, सॉफ्टवेयर उन यात्रा बुकिंग से लेकर वित्तीय प्रणालियों तक सब कुछ संचालित करता है जो बाजारों को चालू रखती हैं। जैसे-जैसे ये सिस्टम अधिक जटिल होते जा रहे हैं और सूक्ष्म-सेवाओं (microservices) के छोटे, परस्पर जुड़े टुकड़ों में टूट रहे हैं, यह सुनिश्चित करने का कार्य कि वे सही ढंग से काम करें, एक बहुत बड़ी चुनौती बन गया है। पारंपरिक रूप से, मनुष्यों ने टेस्ट केस लिखे हैं—जो यह जांचने के लिए विशिष्ट निर्देश हैं कि क्या कोई प्रोग्राम अपेक्षित व्यवहार करता है। लेकिन जैसे-जैसे सॉफ्टवेयर पहले से कहीं अधिक तेजी से विकसित हो रहा है, मैनुअल टेस्टिंग एक बाधा बन गई है, जो तीव्र अपडेट के साथ तालमेल बिठाने के लिए बहुत धीमी और मानवीय त्रुटियों के प्रति संवेदनशील है। इसे हल करने के लिए, इंजीनियरों ने इन परीक्षणों को स्वचालित रूप से लिखने के लिए आर्टिफिशियल इंटेलिजेंस की ओर रुख किया है। हालांकि, एक महत्वपूर्ण समस्या उभर कर आई है: मानक AI मॉडल टेक्स्ट को कोड में बदलने में तो उत्कृष्ट हैं, लेकिन उनमें उन जटिल व्यावसायिक तर्क (business logic) की गहरी समझ की कमी होती है जो सार्थक परीक्षण बनाने के लिए आवश्यक है। वे अक्सर ऐसी विशेषताओं का अनुमान लगाते हैं या "भ्रम" (hallucinate) पैदा करते हैं जो अस्तित्व में ही नहीं हैं, जिससे ऐसे स्क्रिप्ट तैयार होते हैं जो दिखने में तो सही लगते हैं लेकिन चलने पर विफल हो जाते हैं। कोड उत्पन्न करने और एक जटिल प्रणाली की रणनीतिक आवश्यकताओं को समझने के बीच की यह खाई कई उद्योगों को वास्तव में विश्वसनीय, स्वचालित गुणवत्ता आश्वासन प्राप्त करने के लिए संघर्ष करने पर मजबूर कर रही है।
शोधकर्ता इब्राहिम एल समन और मोहम्मद साफी ने, अरब एकेडमी फॉर साइंस, टेक्नोलॉजी एंड मैरीटाइम ट्रांसपोर्ट से, इस अंतर को पाटने का संकल्प लिया। उन्होंने एक नया दृष्टिकोण प्रस्तावित किया जिसे 'एजेंटिक-क्यूए फ्यूजन फ्रेमवर्क' (Agentic-QA Fusion Framework) कहा जाता है, जो एक ही AI मॉडल से एक बार में टेस्ट लिखने के लिए कहने के बजाय एक अलग दिशा में काम करता है। इसके बजाय, उन्होंने एक ऐसा सिस्टम बनाया है जहाँ कई विशिष्ट AI एजेंट एक टीम के रूप में मिलकर काम करते हैं, जो मानव विशेषज्ञों की सहयोगात्मक प्रक्रिया की नकल करता है। इस सेटअप में, एक एजेंट डेंस रिक्वायरमेंट्स (सघन आवश्यकताओं) को पढ़ने के लिए 'पार्सर' के रूप में कार्य करता है, दूसरा अप्रासंगिक जानकारी को फ़िल्टर करने के लिए 'ट्राइएज ऑफिसर' के रूप में, तीसरा टेस्ट रणनीति की योजना बनाने के लिए 'आर्किटेक्ट' के रूप में, चौथा वास्तविक स्क्रिप्ट ड्राफ्ट करने के लिए 'राइटर' के रूप में, और पांचवां अंतिम आउटपुट से पहले त्रुटियों की समीक्षा करने और उन्हें ठीक करने के लिए 'ऑडिटर' के रूप में कार्य करता है। यह "एक्टर-क्रिटिक" लूप सिस्टम को जटिल, बहु-स्तरीय नियमों के माध्यम से तर्क करने, अपनी गलतियों को स्वयं सुधारने और यह सुनिश्चित करने की अनुमति देता है कि प्रत्येक उत्पन्न टेस्ट तार्किक रूप से सुदृढ़ और सिंटैक्स के मामले में सटीक हो।
यह देखने के लिए कि क्या यह नया फ्रेमवर्क वास्तव में काम करता है, शोधकर्ताओं ने इसे पांच अलग-अलग वास्तविक औद्योगिक डेटासेट्स के विरुद्ध टेस्ट किया, जिसमें ISIS ट्रैवल और ट्रैवको जैसे वाणिज्यिक यात्रा बुकिंग प्लेटफॉर्म से लेकर यूरोपीय सिक्योरिटीज एंड मार्केट्स अथॉरिटी के FIRDS जैसे अत्यधिक विनियमित वित्तीय सिस्टम और एक सरकारी जॉब मैचिंग प्लेटफॉर्म तक शामिल हैं। उन्होंने अपने मल्टी-एजेंट सिस्टम की तुलना छह अन्य तरीकों के विरुद्ध की, जिनमें क्लासिकल मशीन लर्निंग, मानक टेक्स्ट-टू-कोड मॉडल और अन्य जनरेटिव AI तकनीकें शामिल थीं। परिणाम स्पष्ट थे। पुराने तरीके, हालांकि तेज़ थे, लेकिन ऐसे टेस्ट उत्पन्न करते थे जो या तो त्रुटियों से भरे थे, या बार-बार एक ही लॉजिक को दोहरा रहे थे, या उन सिस्टम के जटिल नियमों को कवर करने में विफल रहे जिनका वे परीक्षण कर रहे थे। उदाहरण के लिए, एक मानक मशीन लर्निंग मॉडल ने मिनटों में हजारों टेस्ट जेनरेट किए, लेकिन उनमें से लगभग आधे 'हैलुसिनेशन' (भ्रम) थे, जो ऐसी विशेषताओं का संदर्भ दे रहे थे जो मौजूद ही नहीं थीं। एक सिंगल लार्ज लैंग्वेज मॉडल ने टेस्ट का एक विशाल वॉल्यूम जेनरेट किया लेकिन वित्तीय नियमों के लिए आवश्यक सख्त सिंटैक्स बनाए रखने में संघर्ष किया, जिससे विफलता की उच्च दर देखी गई।
इसके विपरीत, एजेंटिक-क्यूए फ्रेमवर्क ने उस स्तर की सटीकता का प्रदर्शन किया जिसे अन्य तरीके मेल नहीं दे सके। एजेंटों को अपने काम की योजना बनाने, ड्राफ्ट करने और फिर कड़ाई से ऑडिट करने की अनुमति देकर, सिस्टम ने 'हैलुसिनेशन' की दर को घटाकर केवल 1.4 प्रतिशत कर दिया और रेडंडेंसी (अनावश्यक दोहराव) को समाप्त कर दिया, जिससे यह सुनिश्चित हुआ कि प्रत्येक टेस्ट अद्वितीय मूल्य जोड़ता है। फ्रेमवर्क ने 93.4 प्रतिशत का म्यूटेशन स्कोर हासिल किया, जो यह मापता है कि टेस्ट कोड में दोषों का कितनी अच्छी तरह पता लगा सकते हैं, जो लगभग 68 प्रतिशत स्कोर करने वाले अगले सर्वश्रेष्ठ तरीके से कहीं अधिक है। इसने 99.6 प्रतिशत की सिंटैक्टिक शुद्धता दर भी बनाए रखी, जिसका अर्थ है कि उत्पन्न टेस्ट बिना किसी मानवीय सुधार के चलने के लिए तैयार थे। यह उच्च स्तर की गुणवत्ता एक कीमत के साथ आई: सिस्टम को काफी अधिक कंप्यूटिंग पावर और समय की आवश्यकता थी, जिसे एक टेस्ट सूट जेनरेट करने में औसतन 21.2 घंटे लगे, जबकि तेज़ लेकिन कम सटीक मॉडलों को केवल कुछ मिनटों की आवश्यकता थी। हालांकि, शोधकर्ताओं का तर्क है कि यह ट्रेड-ऑफ आवश्यक है। अतिरिक्त समय और कंप्यूटिंग संसाधन, भंगुर और त्रुटिपूर्ण ऑटोमेशन से एक विश्वसनीय, "जीरो-टच" सिस्टम की ओर बढ़ने की कीमत है, जो निरंतर मानवीय हस्तक्षेप के बिना आधुनिक एंटरप्राइज सॉफ्टवेयर के जटिल तर्क को संभाल सकता है।
अध्ययन ने यह भी खुलासा किया कि इस दृष्टिकोण की सफलता एजेंटों की विशिष्ट भूमिकाओं पर बहुत अधिक निर्भर थी। जब शोधकर्ताओं ने "ऑडिटर" एजेंट को हटाया, तो सिस्टम की अपनी सिंटैक्स त्रुटियों को ठीक करने की क्षमता ढह गई, और टेस्ट की गुणवत्ता नाटकीय रूप रूप से गिर गई। इसी तरह, "आर्किटेक्ट" एजेंट को हटाने से रेडंडेंट (अनावश्यक) टेस्ट में वृद्धि हुई, क्योंकि सिस्टम कुशल टेस्ट कवरेज की रणनीति बनाने और योजना बनाने की अपनी क्षमता खो बैठा। ये निष्कर्ष बताते हैं कि सिस्टम की बुद्धिमत्ता एक एकल शक्तिशाली मॉडल से नहीं, बल्कि विशिष्ट भूमिकाओं के संरचित सहयोग से आती है जो एक मानव गुणवत्ता आश्वासन टीम के क्रिटिकल थिंकिंग की नकल करती है। हालांकि वर्तमान में फ्रेमवर्क को हाई-परफॉर्मेंस हार्डवेयर, जैसे कि उन्नत ग्राफिक्स प्रोसेसर की आवश्यकता है, लेकिन परिणाम संकेत देते हैं कि वित्त और सरकार जैसे महत्वपूर्ण क्षेत्रों में आवश्यक विश्वसनीयता प्राप्त करने के लिए यह निवेश अनिवार्य है। शोध यह निष्कर्ष निकालता है कि सरल कोड जनरेशन से सक्रिय, स्टेटफुल रीजनिंग (stateful reasoning) की ओर ध्यान केंद्रित करके, एक ऐसा स्वचालित परीक्षण पारिस्थितिकी तंत्र बनाना संभव है जो लंबे समय में मानव टीमों की तुलना में न केवल तेज़ है, बल्कि बहुत अधिक सटीक और भरोसेमंद भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।