🤖 machine learning

Generalized Evidential Deep Learning: From a Bayesian Perspective

यह शोध पत्र एविडेंशियल डीप लर्निंग (EDL) के लिए एक सिद्धांतिक बेयसियन सैद्धांतिक आधार स्थापित करता है और जनरलाइज्ड एविडेंशियल डीप लर्निंग (GEDL) का प्रस्ताव करता है, जो एक एकीकृत ढांचा है जो मौजूदा EDL वेरिएंट्स को व्यवस्थित रूप से संबंधित करता है और वर्गीकरण (classification), अनिश्चितता अनुमान (uncertainty estimation), और आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन में तुलनीय प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Yuanye Liu, Yibo Gao, Yuanyang Chen, Xiahai Zhuang

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanye Liu, Yibo Gao, Yuanyang Chen, Xiahai Zhuang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं। आपके पास विशेषज्ञों की एक टीम (एक न्यूरल नेटवर्क) है जो सुरागों (डेटा) को देखती है और आपको बताती है कि उन्हें कौन सा संदिग्ध (क्लास) दोषी लगता है।

पुराने तरीके की समस्या (स्टैंडर्ड EDL)
अतीत में, ये विशेषज्ञ टीमें आपको यह तो बता सकती थीं कि उन्हें किसका शक है, और वे एक "कॉन्फिडेंस स्कोर" (विश्वास का स्तर) भी दे सकती थीं। हालांकि, उनके द्वारा इस विश्वास की गणना करने का तरीका थोड़ा 'ब्लैक बॉक्स' जैसा था। उनके पास नियमों का एक सेट था जो ठीक-ठाक काम करता था, लेकिन यदि आप नियमों में थोड़ा सा बदलाव करते, तो उनका आत्मविश्वास बहुत अधिक ऊपर-नीचे हो जाता। कभी-कभी वे गलत होने पर भी बहुत आश्वस्त होते थे, और कभी-कभी सही होने पर भी बहुत अनिश्चित होते थे।

शोधकर्ताओं ने इसे ठीक करने के लिए विशेषज्ञ टीमों के विभिन्न "संस्करण" (जैसे I-EDL, R-EDL, RED) बनाए। प्रत्येक संस्करण ने एक विशिष्ट समस्या को ठीक किया, लेकिन वे सभी अलग-अलग तरह से बने हुए थे, जैसे अलग-अलग इंजन वाली अलग-अलग कार के मॉडल। कोई एक मैनुअल नहीं था जो यह समझा सके कि वे सब मिलकर कैसे काम करते हैं।

नया समाधान: GEDL (एक एकीकृत जासूसी मैनुअल)
यह पेपर GEDL (जेनेरालाइज्ड एविडेंशियल डीप लर्निंग) पेश करता है। कल्पना कीजिए कि GEDL एक मास्टर ब्लूप्रिंट है जो समझाता है कि जासूसी टीम वास्तव में कैसे काम करती है, जो बेयसियन सांख्यिकी (Bayesian statistics) (नए सबूतों के आधार पर विश्वासों को अपडेट करने का एक तरीका) के तर्क का उपयोग करती है।

यहाँ वे इसे सरल उपमाओं (analogies) का उपयोग करके समझाते हैं:

1. "सबूत" (Evidence) वोटों के ढेर की तरह है

इस प्रणाली में, न्यूरल नेटवर्क केवल एक नंबर का अनुमान नहीं लगाता; यह प्रत्येक संदिग्ध के लिए "सबूत" एकत्र करता है।

उपमा: एक अदालत की कल्पना करें। नेटवर्क प्रत्येक संदिग्ध के लिए वोट (सबूत) एकत्र करता है।
ट्विस्ट: पुराने तरीके में, कितने वोट गिने जाएंगे इसके नियम बहुत कठोर थे। GEDL में, लेखक दिखाते हैं कि ये वोट वास्तव में "स्यूडो-काउंट्स" (pseudo-counts) हैं। यह कहने जैसा है कि, "जो मैं देख रहा हूँ, उसके आधार पर ऐसा लगता है जैसे मैंने इस संदिग्ध को पहले 5 बार देखा है।"
बेयसियन दृष्टिकोण: पेपर का तर्क है कि नेटवर्क अनिवार्य रूप से एक सिमुलेशन चला रहा है जहाँ यह अपने "प्रायर बिलीफ" (clue देखने से पहले वह क्या सोचता था) को इन नए वोटों के साथ अपडेट करता है ताकि एक "पोस्टीरियर बिलीफ" (अब वह क्या सोचता है) बन सके।

2. "अनिश्चितता" (Uncertainty) जूरी का आकार है

AI में सबसे बड़ा सवाल यह है: "आप कितने सुनिश्चित हैं?"

उपमा: यदि नेटवर्क एक सुराग देखता है और संदिग्ध A के लिए 1,000 वोट एकत्र करता है, तो यह बहुत आश्वस्त है। यदि यह केवल 2 वोट एकत्र करता है, तो यह अनिश्चित है।
पेपर का अंतर्दृष्टि: लेखक सिद्ध करते हैं कि नेटवर्क द्वारा आउटपुट की जाने वाली "अनिश्चितता" वास्तव में इस बात का माप है कि जूरी कितनी छोटी है।
- यदि जूरी बहुत छोटी है (कम सबूत), तो अनिश्चितता अधिक है।
- यदि जूरी बहुत बड़ी है (अधिक सबूत), तो अनिश्चितता कम है।
- वे गणितीय रूप से दिखाते हैं कि यह अनिश्चितता बिल्कुल वैसे ही व्यवहार करती है जैसे बेयसियन डिस्ट्रिब्यूशनल अनसर्टेन्टी (Bayesian distributional uncertainty)। सरल शब्दों में: यह केवल AI का एक रैंडम अनुमान नहीं है कि वह कितना अनिश्चित है; यह एक गणितीय रूप से ठोस गणना है कि यदि उसने थोड़ा अलग डेटा देखा होता तो उसकी "राय" कितनी बदल सकती थी।

3. "ट्रेनिंग" को ठीक करना (कोच की रणनीति)

जासूसी टीम को सिखाने के लिए, आपको एक कोच (ट्रेनिंग ऑब्जेक्टिव) की आवश्यकता होती है।

पुराना तरीका: कोच एक मिला-जुला रणनीति उपयोग करता था। कभी-कभी वे टीम को केवल तब दंडित करते थे जब वे उत्तर गलत देते थे। कभी-कभी वे टीम के प्रायर बिलीफ (gut feeling) पर भरोसा करने के लिए एक निश्चित नियम का उपयोग करते थे। यह थोड़ा अराजक था।
GEDL का तरीका: पेपर एक एकीकृत कोचिंग रणनीति का प्रस्ताव करता है।
- एडेप्टिव प्रायर (Adaptive Prior): टीम के "गट फीलिंग" (अंतर्ज्ञान) पर कितना भरोसा किया जाए, इसके लिए एक निश्चित नियम के बजाय, GEDL इस भरोसे को गतिशील रूप से (dynamically) समायोजित करता है। यदि टीम बहुत अधिक मजबूत सबूत एकत्र करती है, तो कोच सबूतों पर अधिक भरोसा करता है और अंतर्ज्ञान पर कम। यदि सबूत कम हैं, तो कोच अंतर्ज्ञान पर अधिक निर्भर रहता है।
- एडेप्टिव स्ट्रेंथ (Adaptive Strength): कोच यह भी समायोजित करता है कि सबूत कितने "जोरदार" होंगे। जैसे-जैसे टीम प्रशिक्षित होती है, कोच नियम बदलता रहता है ताकि यह सुनिश्चित हो सके कि टीम सबूतों को व्यवस्थित रूप से इकट्ठा करना सीखे, न कि भ्रमित हो जाए।

उन्होंने क्या सिद्ध किया?

लेखकों ने केवल एक सिद्धांत नहीं लिखा; उन्होंने इसका परीक्षण भी किया।

प्रदर्शन (Performance): उन्होंने मानक इमेज डेटासेट्स (जैसे हस्तलिखित अंकों या कारों को पहचानना) पर प्रयोग किए। उन्होंने पाया कि उनकी नई "GEDL" जासूसी टीम पुराने, खंडित (fragmented) टीमों की तुलना में सही संदिग्ध की पहचान करने में उतनी ही अच्छी थी।
बेहतर अनिश्चितता (Better Uncertainty): इससे भी महत्वपूर्ण बात यह है कि GEDL यह पहचानने में बेहतर था कि वह कब गलत था। जब इसे ऐसी छवियां दिखाई गईं जो इसने पहले कभी नहीं देखी थीं (Out-of-Distribution), तो GEDL ने अन्य तरीकों की तुलना में अधिक विश्वसनीय रूप से रेड फ्लैग (उच्च अनिश्चितता) दिखाया।
"क्यों": उन्होंने दिखाया कि GEDL द्वारा उत्पन्न अनिश्चितता "डिस्ट्रिब्यूशनल अनसर्टेन्टी" की गणितीय परिभाषा से मेल खाती है। यह कोई जादू नहीं है; यह इस बात के अनुरूप है कि संभाव्यता सिद्धांत (probability theory) के अनुसार अनिश्चितता को कैसा व्यवहार करना चाहिए।

सारांश

यह पेपर एक लोकप्रिय AI पद्धति (एविडेंशियल डीप लर्निंग) को लेता है जो थोड़ा अव्यवस्थित और असंबद्ध सुधारों से भरा था। यह सब कुछ एक साफ, तार्किक ढांचे (सामान्यीकृत बेयसियन फ्रेमवर्क) के तहत पुनर्गठित करता है।

पुराना तरीका: "कॉन्फिडेंस की समस्या को ठीक करने के लिए यहाँ 5 अलग-अलग उपकरण हैं।"
नया तरीका (GEDL): "यहाँ एक मास्टर टूल है जो समझाता है कि कॉन्फिडेंस क्यों काम करता है, खुद को स्वचालित रूप से समायोजित करता है, और आपको इस बारे में गणितीय रूप से ईमानदार उत्तर देता है कि वह कितना सुनिश्चित है।"

परिणामस्वरूप एक ऐसी प्रणाली है जो समस्याओं को हल करने में उतनी ही स्मार्ट है, लेकिन यह बताने में बहुत अधिक ईमानदार और विश्वसनीय है कि वह कब उत्तर नहीं जानती।

तकनीकी सारांश: जनरलाइज्ड एविडेंशियल डीप लर्निंग (GEDL)

समस्या विवरण

एविडेंशियल डीप लर्निंग (EDL) अनिश्चितता अनुमान (uncertainty estimation) के लिए एक सैंपलिंग-मुक्त रणनीति के रूप में उभरा है, जो आमतौर पर वर्गीकरण के लिए डायरिचलेट वितरण (Dirichlet distribution) के मापदंडों की भविष्यवाणी करता है। जबकि EDL और इसके वेरिएंट (जैसे I-EDL, R-EDL, RED) ने अनुभवजन्य सफलता प्राप्त की है, यह क्षेत्र एक खंडित सैद्धांतिक परिदृश्य से ग्रस्त है। मौजूदा विधियाँ अक्सर विशिष्ट सीमाओं—जैसे कि साक्ष्य संचय (evidence accumulation), पूर्व प्राथमिकता निर्धारण (prior specification), या नियमितीकरण (regularization)—को अलग-थलग, ह्यूरिस्टिक संशोधनों के माध्यम से संबोधित करती हैं। फलस्वरूप, EDL की अंतर्निहित सैद्धांतिक संरचना, इसके वेरिएंट के बीच संबंध, और एविडेंशियल अनिश्चितता की सटीक बेयसियन व्याख्या अभी भी अपर्याप्त रूप से जांचा गया विषय है। यह विखंडन अस्थिर प्रदर्शन और सुधारों को डिजाइन करने के लिए एक सिद्धांत-आधारित मार्गदर्शन की कमी की ओर ले जाता है।

कार्यप्रणाली

1. EDL की जनरलाइज्ड बेयसियन व्याख्या

लेखक EDL को एक जनरलाइज्ड बेयसियन ढांचे के भीतर पुनर्गठित करते हैं, जिससे बेयसियन जेनेरेटिव प्रक्रियाओं और EDL घटकों के बीच औपचारिक संबंध स्थापित होता है:

प्रायर स्पेसिफिकेशन (Prior Specification): बेस रेट $a$ क्लास प्रोबेबिलिटीज पर पूर्व विश्वासों का प्रतिनिधित्व करता है। स्केलर $W$ प्रायर स्ट्रेंथ को नियंत्रित करता है। पेपर तर्क देता है कि $W$ को मनमाने ढंगку से निश्चित नहीं किया जाना चाहिए बल्कि इसे एक ट्यूनेबल हाइपरपैरामीटर या संचित साक्ष्य के फलन (function) के रूप में माना जा सकता है।
पोस्टीरियर अपडेट (Posterior Update): नेटवर्क-प्रेडिक्टेड एविडेंस $e(x)$ से डायरिचलेट कंसंट्रेशन पैरामीटर्स $\alpha(x)$ में परिवर्तन को एक जनरलाइज्ड पोस्टीरियर अपडेट के रूप में व्याख्यायित किया गया है। विशेष रूप से, एविडेंस वेक्टर इनपुट-डिपेंडेंट स्यूडो-काउंट्स के रूप में कार्य करता है। यह टेम्पर्ड बेयसियन अपडेटिंग के अनुरूप है, जहाँ एक टेम्परेचर पैरामीटर $\tau$ प्रायर के सापेक्ष लाइकलीहुड के प्रभाव को नियंत्रित करता है। अपडेट नियम को क्लासिकल एडिटिव फॉर्म $\alpha = \alpha_0 + y$ से बदलकर $\alpha(x) = Wa + e(x)$ कर दिया गया है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मानक EDL लॉस को वेरिएशनल इंफरेंस परिप्रेक्ष्य से व्युत्पन्न किया गया है। वेरिएशनल पोस्टीरियर और एक टेम्पर्ड पोस्टीरियर के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करने से एक ऑब्जेक्टिव प्राप्त होता है जो नेगेटिव एविडेंस लोअर बाउंड (ELBO) को कम करने के समकक्ष है। यह ऑब्जेक्टिव स्वाभाविक रूप से एक डेटा-फिटिंग टर्म (नेगेटिव लॉग-लाइक्लीहुड) और एक रेगुलराइजेशन टर्म (प्रायर के प्रति KL डाइवर्जेंस) में विभाजित होता है, जहाँ KL वेट टेम्परिंग पैरामीटर $\tau$ के व्युत्क्रम (inverse) के अनुरूप होता है।
अनिश्चितता की व्याख्या (Uncertainty Interpretation): पेपर एक एसिम्प्टोटिक विश्लेषण प्रदान करता है जो दिखाता है कि एविडेंशियल अनिश्चितता मास $u = W/S(x)$ (जहाँ $S(x)$ कुल कंसंट्रेशन है) $O(1/S(x))$ के रूप में स्केल करता है। यह व्यवहार बेयसियन डिस्ट्रिब्यूशनल अनिश्चितता (विशेष रूप से म्यूचुअल इंफॉर्मेशन और प्रेडिक्टिव वेरिएंस) के स्थापित मापों के अनुरूप है, जो इसे पैरामीटर पोस्टीरियर डिस्ट्रीब्यूशन से प्राप्त एपिस्टेमिक अनिश्चितता से अलग करता है।

2. जनरलाइज्ड एविडेंशियल डीप लर्निंग (GEDL) फ्रेमवर्क

इस सैद्धांतिक आधार पर निर्माण करते हुए, लेखक GEDL प्रस्तावित करते हैं, जो एक एकीकृत और विस्तार योग्य फ्रेमवर्क है जो स्पष्ट रूप से तीन मुख्य घटकों को अलग करता है और कॉन्फ़िगर करता है:

एडाप्टिव प्रायर स्ट्रेंथ ( $W$ ): $W$ को एक स्थिर संख्या (जैसे $K$ क्लासेस की संख्या) के रूप में फिक्स करने के बजाय, GEDL एक कन्वर्जेंट प्रायर स्कीम का उपयोग करता है जहाँ $W$ कुल संचित साक्ष्य का एक बाउंडेड, मोनोटोनिक फलन है। यह सुनिश्चित करता है कि प्रायर लो-एविडेंस रिजीम में प्रभावशाली बना रहे लेकिन पर्याप्त साक्ष्य एकत्र होने पर इसका प्रभाव कम हो जाए, जिससे ओवर-रेगुलराइजेशन को रोका जा सके।
शेड्यूल्ड एविडेंस स्ट्रेंथ ( $\tau$ ): फ्रेमवर्क ह्यूरिस्टिक KL एनीलिंग शेड्यूल्स के स्थान पर एविडेंस स्ट्रेंथ पैरामीटर $\tau$ के एक सिद्धांत-आधारित शेड्यूलिंग का उपयोग करता है। $\tau_t$ को ट्रेनिंग स्टेप्स के ऊपर अपेक्षित डायरिचलेट स्ट्रेंथ के फलन के रूप में परिभाषित किया गया है, जो प्रभावी रूप से जनरलाइज्ड बेयसियन अपडेट के "इफेक्टिव सैंपल साइज" को नियंत्रित करता है।
एकीकृत ट्रेनिंग ऑब्जेक्टिव: GEDL बिना किसी एड-हॉक मास्किंग (जैसे केवल गलत वर्गीकृत नमूनों को दंडित करना) या ह्यूरिस्टिक वेटिंग स्कीम के, ELBO से प्राप्त वेरिएशनल ऑब्जेक्टिव का उपयोग करता है। यह सभी नमूनों के लिए ऑब्जेक्टिव के सुसंगत संभाव्य अर्थ को बनाए रखता है।

मुख्य योगदान

सिद्धांत-आधारित बेयसियन व्याख्या: पेपर EDL के लिए एक औपचारिक सैद्धांतिक आधार स्थापित करता है, जो इसके घटकों (एविडेंस, प्रायर, लॉस) को जनरलाइज्ड बेयसियन इंफरेंस, वेरिएशनल इंफरेंस और PAC-Bayes थ्योरी से जोड़ता है। यह एविडेंशियल अनिश्चितता को विशेष रूप से बेयसियन डिस्ट्रिब्यूशनल अनिश्चितता के रूप में व्याख्यायित करता है।
एकीकृत फ्रेमवर्क (GEDL): लेखक एक GEDL प्रस्तावित करते हैं, जो एक मॉडुलर फ्रेमवर्क है जो मौजूदा EDL वेरिएंट्स (वैनिला EDL, I-EDL, R-EDL, RED) को जनरलाइज्ड मॉडल के विशिष्ट कॉन्फ़िगरेशन के रूप में समाहित करता है। यह एक सुसंगत दृष्टिकोण प्रदान करता है कि विभिन्न डिज़ाइन विकल्प पोस्टीरियर व्यवहार को कैसे प्रभावित करते हैं।
सैद्धांतिक और अनुभवजन्य सत्यापन: पेपर प्रदर्शित करता है कि EDL में अनिश्चितता मास (uncertainty mass) सैद्धांतिक रूप से (एसिम्प्टोटिक विश्लेषण के माध्यम से) और अनुभवजन्य रूप से (म्यूचुअल इंफॉर्मेशन और प्रेडिक्टिव वेरिएंस के साथ सहसंबंध के माध्यम से) बेयसियन डिस्ट्रिब्यूशनल अनिश्चितता मापों के साथ संरेखित होता है।

परिणाम

मानक वर्गीकरण बेंचमार्क (MNIST, CIFAR-10) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन कार्यों (FMNIST, KMNIST, SVHN, CIFAR-100 का उपयोग करके) पर व्यापक प्रयोग किए गए।

वर्गीकरण प्रदर्शन: GEDL इन-डिस्ट्रीब्यूशन कार्यों पर मौजूदा EDL वेरिएंट और डायरिचलेट-आधारित बेसलाइन्स (जैसे PN, RKL-PN, PostN) के समान या बेहतर सटीकता प्राप्त करता है।
अनिश्चितता अनुमान और OOD डिटेक्शन: GEDL अनिश्चितता कैलिब्रेशन और OOD डिटेक्शन में बेहतर या प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है। विशेष रूप से, चुनौतीपूर्ण CIFAR-10 $\to$ SVHN कार्य पर, GEDL ने मैक्सिमम प्रेडिक्टिव प्रोबेबिलिटी (MP) में 5.01% और अनसर्टेन्टी मास (UM) में 8.89% से मजबूत बेसलाइन R-EDL को पछाड़ दिया।
डिस्ट्रिब्यूशनल अनिश्चितता संरेखण: अनुभवजन्य विश्लेषण पुष्टि करता है कि एविडेंशियल अनिश्चितता $u = W/S$ , डेटा कंसंट्रेशन बढ़ने या भ्रष्टाचार (corruption) की गंभीरता बढ़ने के साथ बेयसियन डिस्ट्रिब्यूशनल अनिश्चितता मापों (म्यूचुअल इंफॉर्मेशन और प्रेडिक्टिव वेरिएंस) के अनुरूप मोनोटोनिक रुझान प्रदर्शित करती है। इसके विपरीत, एन्सेम्बल-आधारित एपिस्टेमिक अनिश्चितता ने अलग रुझान दिखाए, जो पेपर के दावे को प्रमाणित करता है कि EDL मुख्य रूप से डिस्ट्रिब्यूशनल अनिश्चितता को कैप्चर करता है।

महत्व और दावे

पेपर का दावा है कि EDL को जनरलाइज्ड बेयसियन इंफरेंस के एक सुसंगत उदाहरण के रूप में पुनर्गठित करके, यह क्षेत्र के सैद्धांतिक विखंडन को हल करता है। इसका महत्व निम्नलिखित में निहित है:

एक एकीकृत सैद्धांतिक आधार प्रदान करना जो मौजूदा वेरिएंट के व्यवहार की व्याख्या करता है और सिद्धांतों-आधारित सुधारों के डिजाइन का मार्गदर्शन करता है।
यह प्रदर्शित करना कि अनुभवजन्य ह्यूरिस्टिक्स (फिक्स्ड प्रायर, एड-हॉक लॉस मास्किंग) को सैद्धांतिक रूप से व्युत्पन्न कंस्ट्रक्शंस (एडाप्टिव प्रायर, वेरिएशनल ऑब्जेक्टिव) से बदलने से ऐसे मॉडल मिलते हैं जो न केवल अधिक विश्वसनीय हैं बल्कि प्रतिस्पर्धी प्रेडिक्टिव प्रदर्शन भी बनाए रखते हैं।
यह स्थापित करना कि एविडेंशियल अनिश्चितता, बेयसियन डिस्ट्रिब्यूशनल अनिश्चितता के लिए एक वैध प्रॉक्सी है, जो अनिश्चितता-जागरूक डीप लर्निंग सिस्टम के लिए एक सैंपलिंग-मुक्त विकल्प प्रदान करती है।

लेखक निष्कर्ष निकालते हैं कि यह फ्रेमवर्क सिद्धांत-आधारित अनिश्चितता मॉडलिंग के लिए नए मार्ग खोलता है, जिसका लक्ष्य सैंपलिंग-आधारित बेयसियन विधियों की कम्प्यूटेशनल लागत के बिना अधिक विश्वसनीय और व्याख्या योग्य डीप लर्निंग सिस्टम को डिजाइन करने में सुविधा प्रदान करना है।