UASPL: Uncertainty-Aware Self-Paced Learning with Evidential Neural Networks

तकनीकी सारांश: अनसर्टेंटी-अवेयर सेल्फ-पेस्ड लर्निंग विद एविडेंशियल न्यूरल नेटवर्क्स (UASPL)

समस्या विवरण
सेल्फ-पेस्ड लर्निंग (SPL) एक ऐसा प्रतिमान (paradigm) है जो मानव सीखने की नकल करता है, जिसमें मॉडल को आसान से कठिन नमूनों (samples) पर प्रशिक्षित किया जाता है, जो आमतौर पर प्रशिक्षण हानि (training loss) के परिमाण द्वारा निर्धारित होते हैं। हालांकि यह प्रभावी है, लेखक पारंपरिक SPL में एक महत्वपूर्ण दोष की पहचान करते हैं: प्रशिक्षण के शुरुआती चरणों में कम लॉस वाले नमूने अनिवार्य रूप से "विश्वसनीय रूप से आसान" नमूने नहीं होते हैं। प्रयोगात्मक विश्लेषण से पता चलता है कि "आसान" के रूप में चुने गए नमूनों का मीन रिलेटिव लॉस वेरिएशन (MRLV) अक्सर बाद के प्रशिक्षण दौरों में उतार-चढ़ाव या काफी बढ़ जाता है। यह इंगित करता है कि कम-लॉस वाले नमूने 'स्यूडो-ईजी' (pseudo-easy) हो सकते हैं—या तो मॉडल के प्रभावी ढंग से सीखने के लिए पर्याप्त साक्ष्य (evidence) की कमी है या वे भ्रामक भविष्यवाاتों का प्रतिनिधित्व करते हैं जिनके बारे में मॉडल अत्यधिक आत्मविश्वासी (overconfident) है। फलस्वरूप, केवल लॉस-आधारित मानदंडों पर निर्भर रहना वास्तव में सरल नमूनों और उन नमूनों के बीच अंतर करने में विफल रहता है जो केवल अस्थायी रूप से फिट होने में आसान हैं लेकिन अविश्वसनीय हैं।

कार्यप्रणाली
इसे संबोधित करने के लिए, शोधपत्र UASPL (अनसर्टेंटी-अवेयर सेल्फ-पेस्ड लर्निंग) प्रस्तावित करता है, जो सब्जेक्टिव लॉजिक फ्रेमवर्क के भीतर एविडेंशियल न्यूरल नेटवर्क्स (ENN) को एकीकृत करता है। पॉइंट-एस्टीमेट प्रोबेबिलिटीज पर निर्भर पारंपरिक तरीकों के विपरीत, UASPL क्लास प्रोबेबिलिटीज को पैरामीटराइज करने के लिए डिरिचलेट वितरण (Dirichlet distribution) का उपयोग करता है, जिससे प्रेडिक्टिव अनसर्टेंटी (predictive uncertainty) का सीधा परिमाणीकरण संभव होता है।

UASPL का मूल एक नवीन अनसर्टेंटी-अवेयर लॉस फंक्शन है जो लेबल-फिटिंग लॉस को अनसर्टेंटी-वेटेड रेगुलराइजेशन टर्म के साथ जोड़ता है। $i$-वें नमूने के लिए कुल लॉस, $L^{(i)}_{total}$, इस प्रकार सूत्रित है:
$$L^{(i)}_{total} = L^{(i)}_{EMSE} + \text{coeff}_i \cdot L^{(i)}_{KL}$$

जहाँ:

• $L^{(i)}_{EMSE}$ एविडेंशियल मीन स्क्वायर एरर (Evidential Mean Square Error) है, जो अनुमानित संभावनाओं और ग्राउंड ट्रुथ के बीच फिट को मापता है।
• $L^{(i)}_{KL}$ एक कुलबैक-लीब्लर (Kullback–Leibler) डाइवर्जेंस टर्म है जो गैर-ग्राउंड-ट्रुथ क्लासेज पर साक्ष्य संचय (evidence accumulation) को दंडित करता है।
• $\text{coeff}_i$ एक एडेप्टिव कोएफिशिएंट है जिसे $(1-c_i)(1-u_i) + c_i u_i$ के रूप में परिभाषित किया गया है, जहाँ $c_i$ प्रेडिक्शन करेक्टनेस इंडिकेटर (यदि सही है तो 1, अन्यथा 0) है और $u_i$ एविडेंशियल अनसर्टेंटी है।

यह डिज़ाइन एक गतिशील चयन प्राथमिकता (dynamic selection preference) बनाता है:

1. कम अनसर्टेंटी के साथ सही भविष्यवाणियाँ: इन्हें विश्वसनीय रूप से सरल नमूने माना जाता है और इन्हें प्राथमिकता दी जाती है।
2. उच्च अनसर्टेंटी के साथ सही भविष्यवाणियाँ: इन्हें सीखने के दायरे के भीतर के नमूने माना जाता है लेकिन इनमें पर्याप्त साक्ष्य की कमी होती है; विश्वसनीय साक्ष्य वृद्धि का मार्गदर्शन करने के लिए KL टर्म को मजबूत किया जाता है।
3. उच्च अनसर्टेंटी के साथ गलत भविष्यवाणियाँ: मॉडल को इन नमूनों को अधिक स्वतंत्र रूप से एक्सप्लोर करने की अनुमति दी जाती है क्योंकि साक्ष्य की कमी यह दर्शाती है कि भविष्यवाणी अभी तक आत्मविश्वासी नहीं है।
4. कम अनसर्टेंटी के साथ गलत भविष्यवाणियाँ: ये आत्मविश्वासी लेकिन भ्रामक त्रुटियों का प्रतिनिधित्व करती हैं। त्रुटिपूर्ण साक्ष्य के संचय को दबाने के लिए KL टर्म को बढ़ाया जाता है।

एल्गोरिदम इस मिश्रित लॉस के आधार पर मॉडल पैरामीटर्स और सैंपल वेट्स ($v_i$) को पुनरावृत्ति (iteratively) से अपडेट करता है, जिससे बाहरी प्रायर्स (priors) की आवश्यकता के बिना अनसर्टेंटी एस्टीमेशन को सीधे नमूना चयन मानदंड में शामिल किया जाता है।

प्रमुख योगदान

1. SPL में एविडेंशियल अनसर्टेंटी का प्रथम एकीकरण: UASPL पहला सेल्फ-पेस्ड लर्निंग मेथड है जो अनुकूलन उद्देश्य (optimization objective) में लेबल-फिटिंग लॉस के साथ मॉडल-जेनरेटेड एविडेंशियल अनसर्टेंटी को सीधे शामिल करता है। यह सुनिश्चित करता है कि ऐसे नमूनों का चयन किया जाए जो न केवल लो-लॉस हों बल्कि विश्वसनीय भी हों।
2. व्याख्यात्मकता (Interpretability): शोधपत्र एक सैद्धांतिक विश्लेषण प्रदान करता है जो दर्शाता है कि UASPL द्वारा प्रेरित नमूना-चयन प्राथमिकता "ईज़ी-टू-हार्ड" सिद्धांत के अनुरूप है। यह स्पष्ट रूप से विश्वसनीय आसान नमूनों को प्राथमिकता देता है जबकि अपर्याप्त या भ्रामक साक्ष्य वाले नमूनों को स्थगित करता है।
3. सामान्यीकरण (Generality): प्रस्तावित लॉस फंक्शन को एक सामान्य फ्रेमवर्क के रूप में डिज़ाइन किया गया है जिसे बिना किसी बड़े संशोधन के विभिन्न SPL वेरिएंट्स (जैसे लीनियर या मिक्सचर रेगुलराइज़र) में विस्तारित किया जा सकता है, जो यह सिद्ध करता है कि यह किसी विशिष्ट रेगुलराइजेशन फॉर्म से बंधा हुआ नहीं है।

प्रयोगात्मक परिणाम
लेखकों ने UCI रिपॉजिटरी (संतुलित और असंतुलित दोनों) से 25 टैबुलर डेटासेट्स और चार इमेज क्लासिफिकेशन बेंचमार्क्स (CIFAR-10, FashionMNIST, MNIST, SVHN) सहित कई डेटासेट्स पर UASPL का मूल्यांकन किया। इसकी तुलना 15 बेसलाइन्स से की गई, जिसमें पारंपरिक SPL वेरिएंट्स, बाहरी अनसर्टेंटी प्रायर्स को शामिल करने वाले मेथड्स, और विभिन्न अनसर्टेंटी मानदंडों (जैसे कॉन्फिडेंस, मार्जिन, MC dropout) का उपयोग करने वाले अनुकूलित SPL मेथड्स शामिल थे।

परिणाम संकेत देते हैं कि UASPL अन्य SPL मेथड्स की तुलना में निम्नलिखित में बेहतर प्रदर्शन करता है:

• वर्गीकरण प्रदर्शन (Classification Performance): विभिन्न डेटासेट्स पर उच्च सटीकता और बेहतर स्थिरता प्राप्त करना।
• व्याख्यात्मकता: पारंपरिक लॉस-आधारित चयन के विपरीत, सफलतापूर्वक उन नमूनों का चयन करना जो प्रशिक्षण दौरों के दौरान कठिनाई में स्थिर रहते हैं।
• सामान्यीकरण: विभिन्न डेटा मोडैलिटीज और SPL फॉर्मुलेशन में प्रभावशीलता प्रदर्शित करना।

महत्व
शोधपत्र का दावा है कि UASPL, चयन मानदंड को शुद्ध रूप से लॉस-आधारित से अनसर्टेंटी-अवेयर में बदलकर, सेल्फ-पेस्ड लर्निंग में "स्यूडो-ईजी" नमूनों की मौलिक समस्या को हल करता है। एविडेंशियल न्यूरल नेटवर्क्स के आंतरिक अनसर्टेंटी एस्टीमेट्स का लाभ उठाकर, UASPL यह सुनिश्चित करता है कि करिकुलम लर्निंग प्रक्रिया उन नमूनों पर ध्यान केंद्रित करे जिनसे मॉडल विश्वसनीय रूप से सीख सकता है, जिससे प्रशिक्षण दक्षता और अंतिम मॉडल मजबूती में सुधार होता है। लेखक इसे SPL को अधिक सैद्धांतिक रूप से सुदृढ़ और व्यावहारिक रूप से प्रभावी बनाने की दिशा में एक महत्वपूर्ण कदम के रूप में देखते हैं, विशेष रूप से उन परिदृश्यों में जहाँ मॉडल का आत्मविश्वास और साक्ष्य की पर्याप्तता महत्वपूर्ण है।