\textsc{TestifAI}: Tomography-Based Testing for Deep Learning Systems
यह शोध पत्र TestifAI को प्रस्तुत करता है, जो एक नवीन डीप लर्निंग टेस्टिंग फ्रेमवर्क है जो आंशिक मॉडल टॉमोग्राफी (partial model tomography) का उपयोग करता है ताकि निचले-क्रम के परीक्षणों के एक काफी कम सेट से उच्च-क्रम के परीक्षण परिणामों को पुनर्गठित करके जटिल सिमेंटिक परिवर्तनों (semantic perturbations) के विरुद्ध मॉडल की मजबूती का कुशलतापूर्वक और सटीक रूप से अनुमान लगाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ्टवेयर तेजी से उच्च-जोखिम वाले वातावरण में निर्णय लेने के लिए आर्टिफिशियल इंटेलिजेंस (AI) पर निर्भर हो रहा है, चाहे वह शहरी सड़कों के माध्यम से स्वायत्त वाहनों (autonomous vehicles) का मार्गदर्शन करना हो, डॉक्टरों को मेडिकल स्कैन की व्याख्या करने में मदद करना हो या मानसिक स्वास्थ्य सहायता के साथ लोगों की सहायता करना हो। ये सिस्टम, जो डीप लर्निंग मॉडल पर आधारित हैं, पैटर्न पहचानने में बेहद कुशल हैं, लेकिन उनमें एक नाजुक पक्ष भी है: वे इनपुट में छोटे बदलावों से आसानी से भ्रमित हो सकते हैं। एक सेल्फ-ड्राइविंग कार रोशनी के थोड़ा बदलने से स्टॉप साइन को पहचानने में विफल हो सकती है, या एक ट्रांसलेशन बॉट बेतुकी बातें पैदा कर सकता है यदि किसी वाक्य को सामान्य तरीके से फिर से लिखा जाए। चूंकि ये सिस्टम वास्तविक दुनिया में तैनात किए जाते हैं, जहां स्थितियां शायद ही कभी पूर्ण होती हैं, इंजीनियरों को यह सुनिश्चित करने के लिए इनका कड़ाई से परीक्षण करना चाहिए कि वे सुरक्षित और विश्वसनीय बने रहें। चुनौती वास्तविक दुनिया की अत्यधिक जटिलता में निहित है; एक मॉडल एक एकल समस्या, जैसे कि धुंधली छवि, को आसानी से संभाल सकता है, लेकिन जब इसे कई समस्याओं के संयोजन का सामना करना पड़ता है, जैसे कि तेज गति से चलती कार में बारिश के दौरान ली गई एक धुंधली छवि, तो यह विफल हो सकता है। इन समस्याओं के हर संभावित संयोजन का परीक्षण करना व्यावहारिक रूप से असंभव है क्योंकि परिदृश्यों की संख्या इतनी तेजी से बढ़ती है कि कोई भी कंप्यूटर मानव जीवनकाल में उन सभी की जांच नहीं कर सकता।
नॉर्थईस्टर्न यूनिवर्सिटी लंदन और यूनिवर्सिटी ऑफ केंट के शोधकर्ताओं ने इस समस्या के लिए एक नया दृष्टिकोण विकसित किया है जिसे 'टेस्टिफ़एआई' (TestifAI) कहा जाता है, जो एक तरीका प्रदान करता है जिससे ये अनुमान लगाया जा सके कि ये AI सिस्टम जटिल, बहु-समस्या स्थितियों में कैसे व्यवहार करेंगे, बिना हर एक टेस्ट चलाए। हर आपदा परिदृश्य का अनुकरण करने के बजाय, टीम ने परीक्षण प्रक्रिया को मेडिकल इमेजिंग, विशेष रूप से टोमोग्राफी (tomography) नामक तकनीक के रूप में माना है। चिकित्सा में, एक सीटी स्कैन विभिन्न कोणों से 2D एक्स-रे स्लाइस की एक श्रृंखला लेकर शरीर के अंदर की विस्तृत 3D छवि बनाता है। इसी तरह, टेस्टिफ़एआई एक AI मॉडल की विश्वसनीयता की पूरी तस्वीर को केवल एक या दो समस्याओं वाले सीमित परीक्षणों को चलाकर पुनर्गठित करता है। इन सरल, अलग-थलग चुनौतियों के प्रति मॉडल की प्रतिक्रिया का विश्लेषण करके, यह सिस्टम सीखता है कि तीन या चार समस्याएं एक साथ होने पर यह कैसा प्रदर्शन करेगा।
शोधकर्ताओं ने इस पद्धति का परीक्षण पांच अलग-अलग कार्यों पर किया, जिसमें हस्तलिखित अंकों को पहचानना, ट्रैफिक दृश्यों में वस्तुओं की पहचान करना और टेक्स्ट के एक बड़े डेटाबेस से प्रश्नों के उत्तर देना शामिल है। उन्होंने विक्षोभ (disturbances) के विशिष्ट प्रकारों को चुना, जैसे कि छवि की चमक बदलना, ध्वनि में शोर जोड़ना, या शब्दों को पर्यायवाची शब्दों से बदलना, और उन्हें हल्के से लेकर अत्यधिक स्तर तक के विभिन्न स्तरों के साथ सौंपा। एक पारंपरिक दृष्टिकोण में, यह समझने के लिए कि एक मॉडल तीन अलग-अलग प्रकार के विक्षोभों को कैसे संभालता है, आपको हर संयोजन को कवर करने के लिए हजारों अलग-अलग परीक्षण चलाने होंगे। हालांकि, टेस्टिफ़एआई केवल एकल विक्षोभों और विक्षोभों के जोड़ों के लिए परीक्षण चलाता है। इसके बाद, यह इन सरल परीक्षणों के परिणामों पर प्रशिक्षित एक माध्यमिक कंप्यूटर प्रोग्राम का उपयोग करता है, ताकि बहुत अधिक जटिल परिदृश्यों के परिणाम का अनुमान लगाया जा सके।
परिणामों ने दिखाया कि यह भविष्य कहनेवाला (predictive) पद्धति अत्यधिक सटीक है। जब शोधकर्ताओं ने टेस्टिफ़एआई द्वारा किए गए अनुमानों की तुलना हर संभव परीक्षण चलाने के वास्तविक परिणामों से की, तो अंतर न्यूनतम था, जिसमें समग्र त्रुटि दर सात प्रतिशत से कम थी। इसका मतलब है कि सिस्टम इंजीनियरों को विश्वसनीय रूप से बता सकता था कि क्या कोई मॉडल खराब मौसम, सेंसर शोर और मोशन ब्लर के एक विशिष्ट संयोजन के तहत विफल होगा, बिना वास्तव में उस तूफानी, ऊबड़-खाबड़ यात्रा का अनुकरण किए। इसके अलावा, यह पद्धति अविश्वसनीय रूप से कुशल थी। परीक्षणों के पूर्ण सेट को चलाने की आवश्यकता को समाप्त करके, शोधकर्ताओं ने AI द्वारा डेटा प्रोसेस किए जाने की संख्या में साठ से अस्सी प्रतिशत तक की कमी की। एक उदाहरण में, एक परीक्षण जिसे पुराने तरीके का उपयोग करके पूरा करने में लगभग अड़तालीस घंटे लगते, टेस्टिफ़एआई का उपयोग करके उस समय के एक अंश में ही पूरा कर लिया गया।
अध्ययन ने एक महत्वपूर्ण चिंता को भी संबोधित किया: क्या परीक्षण के लिए बनाए गए समस्याओं के संयोजन यथार्थवादी थे। शोधकर्ताओं ने पाया कि वे इनपुट डेटा की गुणवत्ता का अनुमान लगाने के लिए भी उसी भविष्य कहने वाली तकनीक का उपयोग कर सकते हैं। उदाहरण के लिए, वे अनुमान लगा सकते हैं कि क्या छवियों के विक्षोभ का एक संयोजन तस्वीर को इतना विकृत कर देगा कि वह वास्तविक सड़क दृश्य जैसा नहीं दिखेगा। यह इंजीनियरों को अवास्तविक परीक्षण मामलों को फ़िल्टर करने और केवल उन परिदृश्यों पर ध्यान केंद्रित करने की अनुमति देता है जो वास्तविक दुनिया में होने की संभावना रखते हैं। यह कार्य बताता है कि इन जटिल AI मॉडलों का व्यवहार पूरी तरह से यादृच्छिक (random) नहीं है; भले ही कई समस्याएं परस्पर क्रिया करती हों, मॉडल की प्रतिक्रिया अक्सर ऐसे पैटर्न का पालन करती है जिन्हें सरल अवलोकनों से सीखा जा सकता है।
हालांकि यह पद्धति शक्तिशाली है, शोधकर्ता इसकी सीमाओं को लेकर भी सावधान हैं। यह तब सबसे अच्छा काम करती है जब परीक्षण किए जाने वाले प्रश्न स्पष्ट रूप से परिभाषित हों और उन्हें चरणों में समायोजित किया जा सके, जैसे कि छवि की चमक को एक स्तर से दूसरे स्तर तक बदलना। यह अत्यधिक अप्रत्याशित या निरंतर परिवर्तनों के विरुद्ध परीक्षण करने के लिए कम उपयुक्त है जो स्पष्ट श्रेणियों में फिट नहीं होते हैं। इसके अतिरिक्त, भविष्यवाणियों की सटीकता इस धारणा पर निर्भर करती है कि समस्याओं के संयोजन के प्रति मॉडल की प्रतिक्रिया काफी हद तक इस बात से निर्धारित होती है कि वह व्यक्तिगत भागों के प्रति कैसी प्रतिक्रिया देता है। यदि किसी मॉडल की कोई छिपी हुई, जटिल प्रतिक्रिया है जो केवल तभी प्रकट होती है जब तीन विशिष्ट समस्याएं एक साथ आती हैं, तो सिस्टम उसे मिस कर सकता है, हालांकि शोधकर्ताओं ने अपने प्रयोगों में इसे दुर्लभ पाया।
अंततः, टेस्टिफ़एआई आर्टिफिशियल इंटेलिजेंस के लिए सुरक्षा परीक्षण के बारे में हमारी सोच में एक बदलाव का प्रतिनिधित्व करता है। परीक्षण को हर बॉक्स को चेक करने के एक 'ब्रूट-फोर्स' अभ्यास के रूप में देखने के बजाय, यह समस्या को पैटर्न पहचान और भविष्यवाणी के रूप में देखता है। विफलता के निर्माण खंडों (building blocks) को समझकर, इंजीनियर यह अनुमान लगा सकते हैं कि एक सिस्टम अराजक, वास्तविक दुनिया के वातावरण के दबाव में कैसा रहेगा। यह दृष्टिकोण यह गारंटी नहीं देता है कि एक AI कभी विफल नहीं होगा, लेकिन यह संभावित विफलताओं के परिदृश्य को मैप करने का एक व्यावहारिक, कुशल तरीका प्रदान करता है, जिससे डेवलपर्स ऐसे सिस्टम बनाने में मदद मिलती है जो दुनिया की जटिलताओं को संभालने के लिए पर्याप्त मजबूत हों जिनके लिए उन्हें बनाया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।