Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

उन कारखानों में जो आधुनिक उद्योग को शक्ति देने वाली मशीनों का निर्माण करते हैं, किसी भी उत्पाद के असेंबली लाइन से बाहर निकलने से पहले एक महत्वपूर्ण क्षण आता है: अंतिम निरीक्षण। यह केवल पेंट के काम की एक साधारण जाँच नहीं है, बल्कि उस सॉफ़्टवेयर का एक कठोर, उच्च-दांव वाला सत्यापन है जो एक मनुष्य को मशीन से बात करने की अनुमति देता है। ये सिस्टम, जिन्हें मानव-मशीन इंटरफेस (human-machine interfaces) के रूप में जाना जाता है, हर बार पूरी तरह से काम करने चाहिए, फिर भी इनका परीक्षण एक निरंतर बाधा के तहत किया जाता है: समय। उत्पादन लाइन हर संभव जाँच चलाने के लिए घंटों तक नहीं रुक सकती, और परीक्षण के लिए बजट निश्चित और गैर-परक्राम्य (non-negotiable) है। यदि कोई गंभीर विफलता निकल जाती है, तो इसके परिणाम गंभीर हो सकते हैं, फिर भी यदि परीक्षण में बहुत अधिक समय लगता है, तो कारखाना पैसा खो देता है। दशकों से, इंजीनियरों ने अपनी स्वयं की विशेषज्ञता पर भरोसा करके इस दुविधा को हल किया है, यानी अपनी अंतर्दृष्टि और पुराने चेकलिस्ट के आधार पर परीक्षणों के एक उपसमुच्चय (subset) को चलाने का निर्णय लिया है। यह दृष्टिकोण असंगत है; एक इंजीनियर एक खतरनाक दोष को पकड़ सकता है जबकि दूसरा उसे छोड़ सकता है, और प्रक्रिया हर बार एक नए उत्पाद संस्करण के आने पर बदल जाती है। मुख्य चुनौती यह तय करना है कि कौन से परीक्षण बिल्कुल आवश्यक हैं और किन को बिना सुरक्षा जोखिम के छोड़ा जा सकता है, जिससे एक व्यक्तिपरक अनुमान को एक विश्वसनीय, डेटा-संचालित निर्णय में बदला जा सके।

सिचुआन टेक्नोलॉजी एंड बिजनेस यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन परीक्षणों को शेड्यूल करने का एक नया तरीका विकसित करके इस समस्या का समाधान किया है, जो मानवीय अंतर्दृष्टि से हटकर एक गणितीय स्कोरिंग सिस्टम की ओर बढ़ता है। वे अपने इस तरीके को 'टाइम-वेटेड यूटिलिटी स्कोरिंग मॉडल' (Time-Weighted Utility Scoring Model) कहते हैं। एक इंजीनियर से यह तय करने के लिए पूछने के बजाय कि कोई परीक्षण चलाना है या छोड़ना है, यह सिस्टम लाइब्रेरी के प्रत्येक एकल टेस्ट केस के लिए स्वचालित रूप से एक स्कोर की गणना करता है। यह स्कोर केवल पास या फेल नहीं है; यह तीन विशिष्ट कारकों से प्राप्त एक जटिल मान है। सबसे पहले, सिस्टम जोखिम को देखता है: अपने इतिहास के आधार पर इस विशिष्ट फंक्शन के विफल होने की कितनी संभावना है? दूसरा, यह महत्व को तौलता है: मशीन की सुरक्षा और संचालन के लिए यह फंक्शन कितना महत्वपूर्ण है? तीसरा, यह लागत को मापता है: इस विशिष्ट परीक्षण को चलाने में कितना समय और कंप्यूटिंग पावर लगती है? इन तीन तत्वों को मिलाकर, मॉडल एक एकल संख्या उत्पन्न करता है जो उस समय वह परीक्षण चलाने के समग्र मूल्य का प्रतिनिधित्व करती है।

शोधकर्ताओं ने इस मॉडल को एक औद्योगिक मानव-मशीन इंटरफेस सिस्टम पर लागू किया और पाया कि यह सुरक्षा से समझौता किए बिना परीक्षण के समय को नाटकीय रूप से कम कर सकता है। उनके प्रयोगों में, परीक्षणों के पूर्ण सेट को चलाने में 425.9 सेकंड लगे। केवल सबसे मूल्यवान परीक्षणों को चुनने के लिए अपने नए स्कोरिंग सिस्टम का उपयोग करके, उन्होंने कुल समय को घटाकर 174.9 सेकंड कर दिया, जो लगभग 59 प्रतिशत की कमी है। महत्वपूर्ण रूप से, यह गति त्रुटियों को मिस करने की कीमत पर नहीं आई। सिस्टम ने उन सभी महत्वपूर्ण विफलताओं का पता लगाया जिन्हें पूर्ण परीक्षण सूट ढूंढ लेता। इसने सुरक्षा के लिए अनिवार्य उच्च-प्राथमिकता वाले परीक्षणों के एक छोटे समूह की पहचान करके और शेष के लिए एक स्मार्ट सैंपलिंग पद्धति का उपयोग करके यह उपलब्धि हासिल की, जिससे यह सुनिश्चित हुआ कि संभावित विफलताओं को प्रक्रिया के शुरुआती चरणों में ही पकड़ लिया जाए।

इस प्रणाली का मूल इसकी सीखने और अनुकूलित होने की क्षमता है। स्कोर स्थिर नहीं हैं; उन्हें परीक्षण के प्रत्येक दौर के बाद अपडेट किया जाता है। यदि कोई टेस्ट केस अतीत में कई बार सफलतापूर्वक पास हुआ है, तो उसका जोखिम स्कोर कम हो जाता है, और सिस्टम उसे कम संभावना के साथ निष्पादन के लिए स्वीकार कर सकता है। इसके विपरीत, यदि किसी टेस्ट केस का विफल होने का इतिहास रहा है, तो उसका जोखिम स्कोर बढ़ जाता है, और सिस्टम इसे प्राथमिकता देता है ताकि समस्या को पकड़ा जा सके। उन मामलों के लिए जिनका स्कोर एक पूर्व-निर्धारित सीमा से ऊपर है, सिस्टम उन्हें अनिवार्य परीक्षणों के रूप में नियत रूप से शामिल करता है, जबकि शेष को उनके स्कोर के अनुपात में संभाव्य सैंपलिंग (probabilistic sampling) द्वारा स्वीकार किया जाता है। यह एक फीडबैक लूप बनाता है जहाँ परीक्षण रणनीति उत्पाद के साथ विकसित होती है। शोधकर्ताओं ने पांच अलग-अलग वरिष्ठ इंजीनियरों से स्वतंत्र रूप से परीक्षणों के महत्व और जोखिम को रेट करवाकर इस दृष्टिकोण को मान्य किया। उन्होंने पाया कि हालांकि इंजीनियरों की व्यक्तिगत राय थोड़ी भिन्न थी, लेकिन सिस्टम का अंतिम परिणाम डेटा के विभिन्न समूहों में स्थिर और सुसंगत रहा। यह सिद्ध करता है कि यह विधि किसी एक व्यक्ति के निर्णय पर निर्भर नहीं है बल्कि स्कोरिंग करने वाला कोई भी हो, परिणाम विश्वसनीय रहता है।

सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि सिस्टम न केवल सबसे सस्ते परीक्षण चुनता है या वे परीक्षण जिनमें ऐतिहासिक रूप से सबसे अधिक त्रुटियां रही हैं। यह तीनों कारकों को एक साथ संतुलित करता है। जब शोधकर्ताओं ने केवल एक समय में एक कारक को देखते हुए (जैसे कि केवल लागत या केवल जोखिम के आधार पर परीक्षण चुनना) सिस्टम का परीक्षण किया, तो परिणाम बहुत खराब थे। वह सिस्टम जिसने तीनों कारकों पर एक साथ विचार किया, वह किसी भी एकल-कारक दृष्टिकोण की तुलना में बहुत तेजी से और कम परीक्षणों के साथ विफलताओं को खोजने में सक्षम था। उनके परीक्षणों में, नए तरीके को 1,200 निष्पादन के विशिष्ट प्रयोगात्मक समूह के भीतर विफलताओं की 100 प्रतिशत पहचान दर तक पहुँचने के लिए केवल लगभग 23 विशिष्ट टेस्ट केस चलाने की आवश्यकता थी, जबकि अन्य तरीकों को समान स्तर का विश्वास प्राप्त करने के लिए काफी अधिक परीक्षणों की आवश्यकता थी। इस दक्षता का अर्थ है कि कारखाने अपने उत्पादों की सुरक्षा को आधे से भी कम समय में सत्यापित कर सकते हैं, जिससे उत्पादन के लिए संसाधन मुक्त होते हैं और महत्वपूर्ण दोषों के प्रति शून्य-सहनशीलता मानक भी बना रहता है।

यह अध्ययन प्रदर्शित करता है कि अनुभव-आधारित निर्णयों को एक दस्तावेजी, स्कोर-आधारित प्रक्रिया से बदलना न केवल संभव है बल्कि सुरक्षा-महत्वपूर्ण औद्योगिक सॉफ़्टवेयर के लिए श्रेष्ठ भी है। शोधकर्ताओं ने दिखाया कि परीक्षण चयन को केवल एक दक्षता संबंधी चिंता के बजाय एक गुणवत्ता-जोखिम निर्णय के रूप में मानकर, वे महत्वपूर्ण कार्यों के सत्यापन की गारंटी दे सकते हैं और साथ ही प्रति इकाई समय में पाई जाने वाली त्रुटियों की संख्या को अधिकतम कर सकते हैं। उनके परिणाम डेटा के कई स्वतंत्र समूहों में सुसंगत थे, जो सुझाव देते हैं कि यह विधि मजबूत और पुनरुत्पादनीय (reproducible) है। परीक्षण चयन की अराजक प्रक्रिया को एक व्यवस्थित, संसाधन-जागरूक योजना में बदलकर, यह दृष्टिकोण फैक्ट्री एक्सेप्टेंस टेस्टिंग के लिए एक नया मानक प्रस्तुत करता है, यह सुनिश्चित करता है कि हमारी दुनिया को शक्ति देने वाली मशीनें सुरक्षित, विश्वसनीय और बाजार के लिए तैयार हैं, बिना कीमती समय को बर्बाद किए।