ADEPT: A Unified Framework for Deep Learning Test Adequacy

कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक विशाल, जादुई केक के लिए एक नई रेसिपी तैयार की है। आपने इसे हज़ार बार बनाया है, और यह हमेशा स्वादिष्ट होता है। लेकिन आप कैसे जानेंगे कि आपकी रेसिपी वास्तव में दुनिया के सामने पेश करने के लिए तैयार है? आप इसे केवल एक बार चखकर नहीं जान सकते; आपको यह जानने की आवश्यकता है कि क्या यह हर तरह के खाने वाले के लिए काम करती है, जैसे कि वे जो चॉकलेट पसंद करते हैं या वे जिन्हें नट्स से एलर्जी है। कंप्यूटर की दुनिया में, इन "रेसिपी" को डीप लर्निंग मॉडल्स (Deep Learning models) कहा जाता है, और ये सेल्फ-ड्राइविंग कारों, मेडिकल डायग्नोसिस टूल्स और यहाँ तक कि उन ऐप्स के पीछे का दिमाग हैं जो आपके अगले पसंदीदा गाने का सुझाव देते हैं।

यह सुनिश्चित करने के लिए कि ये कंप्यूटर मस्तिष्क सुरक्षित और स्मार्ट हैं, वैज्ञानिक टेस्ट एडिक्वेसी (test adequacy) नामक चीज़ का उपयोग करते हैं। इसे एक चेकलिस्ट की तरह समझें यह देखने के लिए कि क्या "चखने का सत्र" (टेस्ट डेटा) पर्याप्त अच्छा था। क्या कंप्यूटर ने पर्याप्त अलग-अलग तरह के केक देखे? क्या इसने पर्याप्त अजीब स्थितियों का सामना किया ताकि यह साबित हो सके कि चीजें गलत होने पर यह क्रैश नहीं होगा? वर्षों से, शोधकर्ताओं ने दर्जनों अलग-अलग चेकलिस्ट बनाई हैं—कुछ देखते हैं कि कंप्यूटर के "न्यूरॉन्स" कैसे फायर होते हैं, कुछ देखते हैं कि इनपुट कितने आश्चर्यजनक हैं, और कुछ जानबूझकर मॉडल को तोड़ने की कोशिश करते हैं ताकि देखें कि वह जीवित रहता है या नहीं। लेकिन समस्या यह है: प्रत्येक चेकलिस्ट एक अलग व्यक्ति द्वारा बनाई गई थी, अलग उपकरणों का उपयोग किया गया था, अलग भाषा बोली गई थी, और इसके लिए पूरी तरह से अलग सेटअप की आवश्यकता थी। इन सभी का उपयोग करना ऐसा था जैसे एक ही समय में हथौड़े, पेचकश और बुनाई की सुइयों का उपयोग करके केक बनाना। यह एक गड़बड़ी थी, और इसने यह तुलना करना लगभग असंभव बना दिया कि कौन सी चेकलिस्ट वास्तव में सबसे अच्छी है।

यहाँ ADEPT आता है, जो एबर्न यूनिवर्सिटी के यिदी काओ (Yidi Kao) और उनकी टीम द्वारा पेश किया गया एक नया फ्रेमवर्क है। यदि पुराना तरीका बिखरे हुए उपकरणों वाला एक अराजक किचन था, तो ADEPT एक सर्व-समावेशी, ऑल-इन-वन स्मार्ट किचन है। यह उन सभी अलग-अलग, बिखरी हुई चेकलिस्ट को एक छत के नीचे लाता है, जिसका उपयोग एक एकल, सुसंगत वर्कफ़्लो के रूप में किया जाता है। शोधकर्ताओं को विभिन्न सॉफ़्टवेयर इंस्टॉल करने के लिए हफ्तों खर्च करने के बजाय, ADEP उन्हें एक साधारण कमांड के साथ कोई भी टेस्ट चलाने की अनुमति देता है, ठीक वैसे ही जैसे भोजन ऑर्डर करना।

पेपर यह दावा नहीं करता कि उसने मॉडलों का परीक्षण करने के नए तरीके का आविष्कार किया है; बल्कि, यह दावा करता है कि इसने मौजूदा तरीकों के उपयोग में आने वाले "हताशा के कारक" (frustration factor) को हल कर दिया है। लेखक दिखाते हैं कि इन टूल्स को एकीकृत करके, वे इन असंगत सेटअपों के सिरदर्द के बिना टेस्ट को चलाना, तुलना करना और पुन: उपयोग करना आसान बना सकते हैं। उन्होंने एक ऐसा सिस्टम बनाया है जो आपके पहले किए गए कठिन काम को याद रखता है (जैसे एक स्मार्ट फ्रिज जो याद रखता है कि आपने पहले ही प्याज काट लिया है), ताकि आपको इसे दोबारा न करना पड़े। परिणाम स्वरूप, यह एक ऐसा टूल है जो शोधकर्ताओं और इंजीनियरों को यह जल्दी से पता लगाने में मदद करता है कि उनके AI मॉडल वास्तव में वास्तविक दुनिया के लिए तैयार हैं या नहीं, बिना तकनीकी सेटअप के जंगल में खोए।

बड़ा विचार: एक किचन, कई रेसिपी

पिछले एक दशक से, वैज्ञानिक यह मापने के लिए तरीके बनाने में व्यस्त रहे हैं कि डीप लर्निंग मॉडल के लिए एक टेस्ट कितना "अच्छा" है। उन्होंने न्यूरॉन कवरेज (Neuron Coverage) (यह जांचना कि कंप्यूटर के मस्तिष्क के हर हिस्से को फायर करने का मौका मिला या नहीं), सरप्राइज एडिक्वेसी (Surprise Adequacy) (यह देखना कि टेस्ट इनपुट मॉडल को आश्चर्यचकित करने के लिए कितने अजीब हैं), और म्यूटेशन स्कोर्स (Mutation Scores) (जानबूझकर मॉडल को तोड़ना यह देखने के लिए कि क्या टेस्ट त्रुटि को पकड़ पाता है) जैसे चतुर विचार विकसित किए हैं।

लेखक बताते हैं कि समस्या यह है कि ये विचार अलगाव में रहते हैं। एक टूल को पायथन के एक विशिष्ट संस्करण की आवश्यकता हो सकती है, दूसरे के लिए आपको डेटा को एक अजीब प्रारूप में मैन्युअल रूप से निकालना पड़ सकता है, और तीसरे के मामले में यदि आपके पास तीन साल पहले की कोई विशिष्ट फ़ाइल नहीं है, तो वह क्रैश हो सकता है। यह एक ऐसे टबॉक्स की तरह है जहाँ हर पेचकश का आकार अलग है, और आपको प्रत्येक एक को खोलने के लिए एक अलग रिंच (wrench) की आवश्यकता होती है। लेखक तर्क देते हैं कि यह विखंडन विभिन्न विधियों की तुलना करना या परिणामों को दोहराना अविश्वसनीय रूप से कठिन बना देता है। आप यह नहीं बता सकते कि विधि A, विधि B से बेहतर है या नहीं, यदि आपको विधि B को चलाने की कोशिश करने में ही तीन दिन खर्च करने पड़ते हैं।

समाधान: ADEPT

ADEPT (जो डीप लर्निंग टेस्ट एडिक्वेसी के लिए एक एकीकृत फ्रेमवर्क है) इसका समाधान है। यह एक पायथन में लिखा गया सॉफ्टवेयर फ्रेमवर्क है जो इन सभी अलग-अलग परीक्षण विधियों के लिए एक सार्वभौमिक अनुवादक और मास्टर कंट्रोलर के रूप में कार्य करता है।

यह सरल अंग्रेजी में इस प्रकार काम करता है:

1. यूनिवर्सल रिमोट: ADEPT एक सिंगल कमांड लाइन प्रदान करता है जहाँ आप इसे बता सकते हैं, "न्यूरॉन कवरेज टेस्ट चलाओ," या "म्यूटेशन स्कोर टेस्ट चलाो।" आपको यह जानने की आवश्यकता नहीं है कि प्रत्येक टेस्ट आंतरिक रूप से कैसे काम करता है। आप बस इसे अपने मॉडल और अपने टेस्ट डेटा की ओर निर्देशित करते हैं, और यह बाकी सब संभाल लेता है।
2. स्मार्ट ऑर्गनाइज़र: अलग-अलग टेस्ट को अलग-अलग चीजों की आवश्यकता होती है। कुछ को यह जानने के लिए आपके ट्रेनिंग डेटा को देखने की आवश्यकता होती है कि "सामान्य" क्या है; अन्य को मॉडल को तोड़ने के लिए नकली "म्यूटेंट" मॉडल उत्पन्न करने की आवश्यकता होती है। ADEPT के पास प्रत्येक के लिए विशेष मॉड्यूल हैं। यह जानता है कि प्रत्येक टेस्ट को क्या चाहिए और स्वचालित रूप से सही तैयारी चरणों को चलाता है।
3. मेमोरी बैंक (कैशिंग): यह एक बहुत बड़ा समय बचाने वाला फीचर है। इनमें से कई टेस्ट भारी काम शामिल करते हैं, जैसे यह देखने के लिए हजारों छवियों को स्कैन करना कि न्यूरॉन्स कैसे फायर होते हैं। यदि आप एक ही टेस्ट को दो बार चलाते हैं, तो आपको वह भारी काम दोबारा नहीं करना चाहिए। ADEPT इन कठिन चरणों के परिणामों को एक "कैश" में सहेजता है। यदि आप फिर से टेस्ट चलाते हैं, तो यह पहले कैश की जाँच करता है। यदि डेटा अभी भी सही है, तो यह कठिन काम को छोड़कर सीधे उत्तर पर कूद जाता है। यह एक ऐसे शेफ की तरह है जो याद रखता है कि उसने सब्जियां पहले ही काट ली हैं, ताकि उसे उन्हें दोबारा न काटना पड़े।
4. रिपोर्ट कार्ड: एक बार टेस्ट पूरा हो जाने के बाद, ADEPT एक स्पष्ट, संरचित रिपोर्ट देता है। यह आपको स्कोर (टेस्ट कितना अच्छा था), लगने वाला समय, और यह बताता है कि क्या इसने सहेजे गए डेटा का उपयोग किया या इसने शून्य से काम किया। यह विभिन्न टेस्ट की आमने-सामने तुलना करना आसान बनाता है।

बॉक्स के अंदर क्या है?

लेखकों ने केवल एक बाहरी ढांचा नहीं बनाया है; उन्होंने इसमें सबसे लोकप्रिय परीक्षण विधियों की एक विस्तृत श्रृंखला पैक की है। वर्तमान में, ADEPT निम्नलिखित का समर्थन करता है:

• न्यूरॉन कवरेज (NC-सीरीज): यह जांचना कि मॉडल के आंतरिक भाग उपयोग किए जा रहे हैं या नहीं।
• सरप्राइज एडिक्वेसी (LSA/DSA): यह जांचना कि क्या मॉडल टेस्ट डेटा से आश्चर्यचकित होता है।
• इनपुट डिस्ट्रीब्यूशन कवरेज (IDC): यह जांचना कि क्या टेस्ट डेटा संभावनाओं की पूरी रेंज को कवर करता है।
• डिसीजन बाउंड्री कवरेज (DBC): यह जांचना कि क्या टेस्ट डेटा उन पेचीदा किनारों का पता लगाता है जहाँ मॉडल भ्रमित हो सकता है।
• म्यूटेशन स्कोर्स (SLMS/MLMS): यह जांचना कि क्या टेस्ट यह पकड़ सकता है कि जब मॉडल को थोड़ा सा तोड़ा गया हो।

यह क्यों महत्वपूर्ण है

पेपर सुझाव देता है कि तकनीकी बाधाओं को हटाकर, ADEPT शोधकर्ताओं और इंजीनियरों को उस चीज़ पर ध्यान केंद्रित करने की अनुमति देता है जो वास्तव में मायने रखती है: AI की गुणवत्ता और सुरक्षा में सुधार करना। टूल्स को चलाने में हफ्तों बिताने के बजाय, वे उस समय का उपयोग परिणामों को समझने में कर सकते हैं।

लेखक सावधानी बरतते हुए कहते हैं कि उन्होंने AI को पूर्ण बनाने वाला कोई "जादुई हथियार" नहीं खोजा है। उन्होंने मॉडलों का परीक्षण करने का कोई नया तरीका नहीं बनाया है जो पुराने तरीकों से बेहतर हो। इसके बजाय, उन्होंने एक एकीकृत फ्रेमवर्क बनाया है जो मौजूदा टूल्स को उपयोगी, तुलनीय और पुनरुत्पादनीय बनाता है। उनका तर्क है कि क्षेत्र की वर्तमान स्थिति बहुत खंडित है, और ADEPT उन अलग-थलग द्वीपों को जोड़ने वाला पुल है।

निचोड़

एक ऐसी दुनिया में जहाँ AI का उपयोग कारों को चलाने और बीमारियों का निदान करने के लिए किया जा रहा है, यह जानना कि आपके टेस्ट वास्तव में अच्छे हैं, सुरक्षा का मामला है। ADEPT यह वादा नहीं करता कि वह टेस्ट को बेहतर बनाएगा, बल्कि यह वादा करता है कि वह टेस्टिंग की प्रक्रिया को बहुत कम कष्टदायक बना देगा। यह असंगत उपकरणों वाले एक अराजक किचन को एक सुव्यवस्थित, कुशल कार्यक्षेत्र में बदल देता है जहाँ शोधकर्ता अंततः सेब की तुलना पेचकश से करने के बजाय, सेब की तुलना सेब से कर सकते हैं। लेखकों ने अपना कोड सार्वजनिक कर दिया है, सभी को इसका उपयोग करने, इसमें बदलाव करने और अपने स्वयं के टूल्स को इसमें जोड़ने के लिए आमंत्रित किया है, यह सुनिश्चित करते हुए कि AI टेस्टिंग का भविष्य एक ठोस, साझा आधार पर बना है।