AnoMLP-TCP: A Lightweight Feedforward Neural Network Approach for Anomaly-Aware Test Case Prioritization in Continuous Integration

आधुनिक सॉफ्टवेयर विकास की दुनिया में, प्रोग्राम शायद ही कभी एक बार बनाए जाते हैं और फिर उन्हें अकेला छोड़ दिया जाता है। इसके बजाय, वे निरंतर विकसित होते हैं, जिसमें निरंतर एकीकरण (continuous integration) के रूप में जानी जाने वाली एक तीव्र चक्र के माध्यम से नए फीचर्स जोड़े जाते हैं और पुराने फीचर्स में बदलाव किया जाता है। हर बार जब कोई बदलाव किया जाता है, तो पूरे सिस्टम का परीक्षण करना आवश्यक होता है ताकि यह सुनिश्चित किया जा सके कि कुछ भी टूटा नहीं है। यह प्रक्रिया, जिसे रिग्रेशन टेस्टिंग (regression testing) कहा जाता है, गुणवत्ता के लिए अनिवार्य है, लेकिन यह एक बाधा बन गई है। जैसे-जैसे सॉफ्टवेयर बढ़ता है, इसकी जांच करने के लिए आवश्यक परीक्षणों की सूची विशाल होती जाती है। हर छोटे बदलाव के बाद हर एक टेस्ट को चलाना बहुत अधिक समय लेता है, जिससे उन इंजीनियरों को मिलने वाला फीडबैक विलंबित हो जाता है जिन्हें इसकी आवश्यकता होती है। इसे हल करने के लिए, शोधकर्ता 'टेस्ट केस प्रायोरिटाइजेशन' (test case prioritization) नामक रणनीति का उपयोग करते हैं। यह दृष्टिकोण परीक्षणों को हटाता नहीं है; इसके बजाय, यह उन्हें पुनर्व्यवस्थित करता है, उन परीक्षणों को सबसे आगे रखता जिनके समस्या खोजने की संभावना सबसे अधिक होती है। लक्ष्य सरल है: दोषों को यथाशीघ्र खोजें ताकि उन्हें दिन समाप्त होने से पहले ठीक किया जा सके।

वर्षों से, इस तरह के प्राथमिकता निर्धारण के लिए सबसे उन्नत विधियाँ जटिल, गहरे शिक्षण (deep learning) मॉडलों पर निर्भर रही हैं जो मानव मस्तिष्क द्वारा समय के साथ सूचनाओं के अनुक्रमों को संसाधित करने के तरीके की नकल करते हैं। ये मॉडल, जिन्हें रिकरेंट न्यूरल नेटवर्क (recurrent neural networks) के रूप में जाना जाता है, शक्तिशाली हैं लेकिन भारी हैं, जिन्हें प्रशिक्षित करने के लिए महत्वपूर्ण कंप्यूटिंग शक्ति और समय की आवश्यकता होती है। नाइजीरिया के अबूबकरर तफावा बालावेरा विश्वविद्यालय के शोधकर्ताओं की एक टीम ने एक मौलिक प्रश्न पूछा: क्या वह सारी जटिलता वास्तव में आवश्यक है? उन्होंने सोचा कि क्या एक बहुत ही सरल प्रकार का कृत्रिम बुद्धिमत्ता (AI), जो डेटा को एक लंबे इतिहास को याद रखने के बजाय एक एकल पास में देखता है, समान परिणाम प्राप्त कर सकता है। यह पता लगाने के लिए, उन्होंने AnoMLP-TCP नामक एक नया, हल्का सिस्टम विकसित किया और वास्तविक दुनिया के डेटा का उपयोग करके नॉर्वे में ABB रोबोटिक्स के विरुद्ध इसका परीक्षण किया।

शोधकर्ताओं ने औद्योगिक रोबोटों के तीन अलग-अलग डेटा सेटों के साथ काम किया, जिसमें हजारों टेस्ट रन और लाखों रिकॉर्ड किए गए परिणाम शामिल थे। इन डेटासेट्स में ऐसी जानकारी शामिल थी जैसे कि एक टेस्ट चलाने में कितना समय लगा, वह पिछली बार कब चला था, अतीत में कितनी बार पास या फेल हुआ था, और क्या उसकी स्थिति हाल ही में बदली थी। उन्होंने सिस्टम को एक विशेष स्कोर भी दिया जिसने असामान्य व्यवहार को चिह्नित किया, जिससे मॉडल को उन विसंगतियों (anomalies) को पहचानने में मदद मिली जो किसी छिपी हुई समस्या का संकेत दे सकती हैं। टीम ने अपने नए, सरल सिस्टम को इस ऐतिहासिक डेटा पर प्रशिक्षित किया और फिर उनसे पूछा कि भविष्य के परिदृश्यों में कौन से परीक्षण पहले चलने चाहिए। उन्होंने अपने प्रदर्शन की तुलना सीधे एक अधिक जटिल, समय-जागरूक मॉडल से की जिसे पहले अत्याधुनिक समाधान माना जाता था।

परिणाम चौंकाने वाले थे। नया, हल्का सिस्टम भारी, जटिल मॉडल के समान ही प्रदर्शन करता है। दोषों को कितनी जल्दी खोजा जाता है, इसे मापने के लिए उपयोग किए जाने वाले प्राथमिक मीट्रिक के संदर्भ में, दोनों मॉडलों ने तीनों औद्योगिक डेटासेट्स में समान स्कोर प्राप्त किया। एक डेटासेट पर, दोनों मॉडल 0.959 का स्कोर प्राप्त करते हैं; दूसरे पर, दोनों 0.893 तक पहुँचते हैं; और तीसरे पर, दोनों ने 0.821 का स्कोर बनाया। इसका मतलब है कि एक बहुत ही सरल आर्किटेक्चर के साथ निर्मित होने के बावजूद, नया सिस्टम अधिक परिष्कृत मॉडल के समान ही प्रभावशीलता के क्रम में परीक्षणों को रैंक करने में सक्षम था। शोधकर्ताओं ने पाया कि जटिल मॉडल ने दोषों को जल्दी खोजने में कोई लाभ नहीं दिया, और न ही इसने रैंकिंग की सटीकता में सुधार किया जब समय की सीमाओं के कारण केवल परीक्षणों का एक हिस्सा ही चलाया जा सकता था।

इस खोज का वास्तविक मूल्य दक्षता में निहित है। जटिल मॉडल को कार्य करने के लिए पांच गुना से अधिक आंतरिक सेटिंग्स, जिन्हें पैरामीटर्स (parameters) कहा जाता है, की आवश्यकता थी। विशेष रूप रूप से, जटिल मॉडल में 54,577 पैरामीटर्स थे, जबकि नए सिस्टम को केवल 13,057 की आवश्यकता थी। आकार में इस भारी कमी का सीधा अर्थ गति से था। नया सिस्टम काफी तेजी से प्रशिक्षित हुआ, कुछ डेटासेट्स पर एक प्रशिक्षण चक्र में लगने वाले समय का आधा से भी कम समय लिया। उदाहरण के लिए, एक डेटासेट पर, नए सिस्टम को एक प्रशिक्षण चरण को प्रोसेस करने में 0.719 सेकंड लगे, जबकि जटिल मॉडल को 1.426 सेकंड लगे। एक ऐसे वातावरण में जहाँ सॉफ्टवेयर लगातार अपडेट होता है और मॉडलों को बार-बार फिर से प्रशिक्षित करने की आवश्यकता होती है, यह गति का अंतर महत्वपूर्ण है। इसका मतलब है कि कंपनियाँ धीमे, संसाधन-भारी कंप्यूटरों के काम पूरा होने का इंतजार किए बिना अपनी परीक्षण रणनीतियों को अधिक बार अपडेट कर सकती हैं।

अध्ययन ने एक विशिष्ट तकनीकी बाधा को भी संबोधित किया जो अक्सर इस प्रकार के प्रयोगों में परेशानी पैदा करती है। शोधकर्ताओं ने पाया कि मूल जटिल मॉडल, जब पिछले साहित्य में वर्णित ठीक उसी तरह लागू किया गया था, तो उसे एक दोष का सामना करना पड़ा जहाँ वह केवल कुछ ही अलग-अलग प्राथमिकता स्कोर उत्पन्न कर सकता था, जिससे वह कम उपयोगी हो गया था। मॉडल की अंतिम परत (final layer) को मानों की एक निरंतर श्रेणी (continuous range) की अनुमति देने के लिए समायोजित करके, उन्होंने एक निष्पक्ष तुलना सुनिश्चित की। इस सुधार के बावजूद, जटिल मॉडल अधिक प्रभावी नहीं हो सका। शोधकर्ताओं ने नोट किया कि इन विशिष्ट औद्योगिक डेटासेट्स में, विफलताओं की भविष्यवाणी करने के लिए उपयोग किए गए फीचर्स इतने स्पष्ट थे कि एक सरल मॉडल भी विफल होने वाले परीक्षणों को पास होने वाले परीक्षणों से पूर्ण सटीकता के साथ अलग कर सकता था। यह सुझाव देता है कि इस प्रकार की समस्याओं के लिए, इतिहास के लंबे अनुक्रमों को याद रखने की अतिरिक्त जटिलता अनावश्यक थी।

अंततः, यह कार्य प्रदर्शित करता है कि निरंतर एकीकरण के लिए परीक्षणों को प्राथमिकता देने के विशिष्ट संदर्भ में, एक सरल दृष्टिकोण एक जटिल दृष्टिकोण जितना ही प्रभावी हो सकता है। नया सिस्टम, AnoMLP-TCP, यह सिद्ध करता है कि इस समस्या को हल करने के लिए आपको एक विशाल, डीप लर्निंग आर्किटेक्चर की आवश्यकता नहीं है। इसके बजाय, एक सुव्यवस्थित मॉडल जो प्रमुख ऐतिहासिक संकेतकों और विसंगति का पता लगाने (anomaly detection) पर ध्यान केंद्रित करता है, कंप्यूटिंग संसाधनों के एक अंश का उपयोग करते हुए भी समान उच्च-गुणवत्ता वाले परिणाम दे सकता है। यह अध्ययन निष्कर्ष निकालता है कि हालांकि जटिल मॉडल "गलत" नहीं हैं, लेकिन वे इस विशिष्ट कार्य के लिए अत्यधिक जटिल (over-engineered) हैं, और उन लोगों के लिए एक हल्का विकल्प उपलब्ध है जिन्हें गति और सरलता की आवश्यकता है।