🤖 machine learning

Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning

यह शोध पत्र कैलिब्रेटेड वेरिएंस प्रोपेगेशन (CVP) का प्रस्ताव करता है, जो एक सैंपलिंग-मुक्त विधि है जो ट्रांसफॉर्मर्स और CNN जैसे आधुनिक डीप लर्निंग आर्किटेक्चर के लिए एकल फॉरवर्ड पास में कुशलतापूर्वक सुव्यवस्थित अनिश्चितता अनुमान उत्पन्न करती है, जो महंगी मोंटे कार्लो सैंपलिंग के समान सटीकता प्राप्त करते हुए कवरेज मेट्रिक्स में महत्वपूर्ण सुधार करती है।

मूल लेखक: Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े घबराए हुए AI से एक कठिन पहेली सुलझाने के लिए कह रहे हैं। कभी-कभी, AI सही होता है। लेकिन कभी-कभी, वह आत्मविश्वास के साथ गलत भी होता है। वह कह सकता है, "मुझे 99% यकीन है कि यह एक बिल्ली है," जबकि वास्तव में वह एक कुत्ता होता है। उच्च-जोखिम वाली स्थितियों में—जैसे किसी अंधे व्यक्ति को सड़क पार करने में मदद करना या किसी डॉक्टर द्वारा बीमारी का निदान करना—यह अति-आत्मविश्वास खतरनाक है। हमें चाहिए कि AI को पता हो कि वह कब अनुमान लगा रहा है और वह कहे, "मुझे यकीन नहीं है, मुझे उत्तर नहीं देना चाहिए।"

यह शोध पत्र कैलिब्रेटेड वेरिएंस प्रोपेगेशन (CVP) नामक एक नई विधि पेश करता है ताकि AI मॉडल को यह समझने में मदद मिल सके कि वह कब अनिश्चित है, बिना उसकी गति को धीमा किए।

समस्या और समाधान का विवरण, सरल उपमाओं का उपयोग करते हुए, यहाँ दिया गया है:

समस्या: "आत्मविश्वासी अनुमान" बनाम "धीमी पोलिंग"

AI की दुनिया में, वर्तमान में दो मुख्य तरीके हैं जिनसे यह पता लगाया जाता है कि मॉडल कितना आश्वस्त है:

"आत्मविश्वासी अनुमान" (मीन नेटवर्क - Mean Network): यह मानक AI है। यह अपने "औसत" ज्ञान के आधार पर आपको एक उत्तर देता है। यह तेज़ है, लेकिन यह अक्सर इस बात के बारे में झूठ बोलता है कि यह कितना आश्वस्त है। यह उस छात्र की तरह है जिसने पाठ्यपुस्तक रट ली है लेकिन उसे एहसास नहीं है कि उसने एक अध्याय छोड़ दिया है; वह हर सवाल का जवाब 100% आत्मविश्वास के साथ देता है, भले ही वह गलत हो।
"धीमी पोलिंग" (मोंटे कार्लो सैंपलिंग - Monte Carlo Sampling): अनिश्चितता का वास्तविक अहसास पाने के लिए, आप AI से एक ही सवाल को 50 या 100 बार पूछ सकते हैं, हर बार उसके "मिजाज" (वेट्स/weights) को थोड़ा बदलते हुए। यदि वह 50 अलग-अलग उत्तर देता है, तो आप जान जाते हैं कि वह अनिश्चित है। यदि वह 50 बार एक ही उत्तर देता है, तो आप जान जाते हैं कि वह आश्वस्त है। यह सटीक है, लेकिन यह अविश्वसनीय रूप से धीमा है। यह एक ऐसी समिति से हर सवाल पर वोट मांगने जैसा है जिसमें 100 लोग शामिल हों, इससे पहले कि आप आगे बढ़ सकें। वास्तविक समय के अनुप्रयोगों (real-time applications) में, आपके पास इसके लिए समय नहीं होता।

असफल प्रयास: "स्ट्रीमलाइनिंग" (Streamlining)

शोधकर्ताओं ने इसे तेज़ करने के लिए "स्ट्रीमलाइनिंग" नामक एक विधि के साथ पहले प्रयास किया था। उन्होंने एक ही पास में AI के आंतरिक "नॉर्मलाइजेशन" चरणों (जैसे गाने की आवाज़ को एडजस्ट करना) का गणितीय अनुमान लगाने की कोशिश की। हालांकि, उन्होंने इन चरणों को बहुत सरल माना।

इसे ऐसे समझें: पिछले तरीके ने केवल औसत वॉल्यूम नॉब सेटिंग को देखकर गाने के वॉल्यूम का अनुमान लगाने की कोशिश की। इसने इस तथ्य को अनदेखा कर दिया कि डेटा (संगीत) स्वयं वॉल्यूम को गतिशील रूप से बदलता है। इस कारण से, उनका "फास्ट पोल" बिल्कुल "आत्मविश्वासी अनुमान" जैसा ही दिखता था जब तक कि अंतिम सेकंड न आ गया। यह तेज़ तो था, लेकिन इसने अनिश्चितता के बारे में वास्तव में कुछ भी नया नहीं बताया।

समाधान: CVP (कैलिब्रेटेड वेरिएंस प्रोपेगेशन)

लेखक CVP का प्रस्ताव देते हैं, जो इस "फास्ट पोल" को करने का एक नया तरीका है जो वास्तव में काम करता है। उन्होंने दो चतुर तरीकों से गणित को ठीक किया:

1. "यथार्थवादी वॉल्यूम नॉब" (नॉर्मलाइजेशन लेयर्स - Normalization Layers)
आधुनिक AI मॉडल अपने आंतरिक नंबरों को स्थिर रखने के लिए "नॉर्मलाइजेशन लेयर्स" का उपयोग करते हैं। पुराना तरीका केवल औसत सेटिंग को देखता था। CVP औसत सेटिंग प्लस "नॉइज़" (शोर/बदलाव) को देखता है।

उपमा: कल्पना कीजिए कि एक शेफ सूप में नमक को एडजस्ट कर रहा है। पुराना तरीका केवल शेफ के हाथ की स्थिति को देखता था। CVP हाथ की स्थिति और इस तथ्य को देखता है कि सूप उबल रहा है और छलक रहा है, जो यह बदल देता है कि वास्तव में कितना नमक अंदर जाता है। यह AI को यह देखने की अनुमति देता है कि डेटा में "नॉइज़" अंतिम स्वाद (अनुमान) को कैसे प्रभावित करती है।

2. "फाइन-ट्यूनिंग कोच" (पर-लेयर कैलिब्रेशन - Per-Layer Calibration)
भले ही बेहतर गणित के साथ, AI कई परतों (layers) के माध्यम से जानकारी को प्रोसेस करते समय छोटी त्रुटियां जमा हो सकती हैं (जैसे "टेलीफोन" का खेल जहाँ संदेश विकृत हो जाता है)।

उपमा: CVP AI के मस्तिष्क के प्रमुख बिंदुओं पर एक छोटा "कोच" जोड़ता है। हर कुछ चरणों के बाद, यह कोच AI के आत्मविश्वास की जांच करता है और किसी भी विचलन (drift) को ठीक करने के लिए एक छोटा मल्टीप्लायर लागू करता है। यह एक ऑर्केस्ट्रा के कंडक्टर की तरह है जो वायलिन वादक को धीरे से थपथपाता है ताकि वह सुर में रहे, जिससे यह सुनिश्चित होता है कि अंतिम प्रदर्शन सटीक हो।

परिणाम: तेज़, सटीक और ईमानदार

शोध पत्र ने विभिन्न कार्यों पर CVP का परीक्षण किया, जैसे छवियों की पहचान करना (जैसे बिल्ली बनाम कुत्ता) या जटिल दृश्य प्रश्नों का उत्तर देना (जैसे "क्या लाल शर्ट वाले व्यक्ति ने गेंद पकड़ी हुई है?")।

गति: CVP लगभग "आत्मविश्वासी अनुमान" जितना ही तेज़ है। इसमें एक एकल अनुमान की तुलना में लगभग 2 से 3 गुना अधिक प्रयास लगता है, जबकि "धीमी पोलिंग" (MC Sampling) में 50 से 100 गुना अधिक प्रयास लगता है।
सटीकता: CFT यह पहचानने में बहुत बेहतर है कि AI कब अनिश्चित है। उन परीक्षणों में जहाँ AI को उत्तर देने या उत्तर देने से बचने (चयनात्मक भविष्यवाणी/selective prediction) का निर्णय लेना था, CVP ने पुराने तरीकों से काफी बेहतर प्रदर्शन किया।
"पारेटो" जीत (The Pareto Win): दक्षता की दुनिया में, आपको आमतौर पर गति और सटीकता के बीच किसी एक को चुनना पड़ता है। CVP एक "विन-विन" (दोनों की जीत) स्थिति है। यह धीमी पोलिंग से तेज़ है और आत्मविश्वासी अनुमान से अधिक सटीक है। यह दोनों पर हावी है।

सारांश

यह शोध पत्र यह दावा नहीं करता कि यह अपने आप बीमारियों का इलाज करेगा या कानूनी मामलों को हल करेगा। इसके बजाय, यह एक उपकरण (tool) प्रदान करता है जो AI मॉडल को अपनी सीमाओं के बारे में अधिक ईमानदार बनाता है।

CVP का उपयोग करके, हम ऐसे AI सिस्टम प्राप्त कर सकते हैं जो:

वास्तविक समय में उपयोग के लिए पर्याप्त तेज़ हैं (जैसे किसी अंधे व्यक्ति को चलने में मदद करना)।
इतने ईमानदार हैं कि जब वे भ्रमित हों तो "मुझे नहीं पता" कह सकें, बजाय इसके कि वे आत्मविश्वास के साथ गलत उत्तर दें।

यह यह हासिल करता है क्योंकि यह AI मॉडल द्वारा "नॉर्मलाइजेशन" को संभालने के पीछे के गणित को ठीक करता है और अनिश्चितता के अनुमानों को ट्रैक पर रखने के लिए एक हल्का कैलिब्रेशन चरण जोड़ता है।

तकनीकी सारांश: बेयसियन डीप लर्निंग में कैलिब्रेटेड सैंपलिंग-फ्री अनसर्टेंटी एस्टीमेशन (अनिश्चितता अनुमान)

1. समस्या विवरण (Problem Statement)

आधुनिक डीप लर्निंग मॉडल, विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर पर आधारित, अत्यधिक अति-आत्मविश्वास (overconfidence) के लिए कुख्यात हैं, जो रोग पहचान, कानूनी तर्क और दृष्टिहीनों के लिए दृश्य सहायता जैसे उच्च-जोखिम वाले अनुप्रयोगों में उनकी विश्वसनीयता को सीमित करता है। जबकि बेयसियन न्यूरल नेटवर्क (BNNs) मॉडल मापदंडों पर एक वितरण (distribution) सीखकर अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक सैद्धांतिक मार्ग प्रदान करते हैं, एक महत्वपूर्ण बाधा टेस्ट टाइम (test time) पर बनी रहती है।

मानक बेयसियन अनुमान के लिए भारित (weights) को पोस्टीरियर से सैंपल करने वाले कई फॉरवर्ड पास (मोंटे कार्लो या MC सैंपलिंग) के माध्यम से भविष्यवाणियों का औसत निकालना आवश्यक होता है, जो बड़े पैमाने के आर्किटेक्चर के लिए गणनात्मक रूप से अत्यधिक महंगा (prohibitive) है। इसके विपरीत, केवल मीन नेटवर्क (वेरिएंस को अनदेखा करते हुए) का उपयोग करना कुशल तो है लेकिन यह अनिश्चितता को पकड़ने में विफल रहता है। मौजूदा वेरिएंस प्रोपेगेशन विधियाँ, जो एकल पास में मीन और वेरिएंस को विश्लेषणात्मक रूप से प्रसारित करती हैं, ऐतिहासिक रूप से मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) तक सीमित रही हैं। आधुनिक आर्किटेक्चर (Transformers, CNNs with ResNets) में उनका विस्तार चुनौतीपूर्ण रहा है क्योंकि इनमें गहराई अधिक होती है और नॉर्मलाइजेशन लेयर्स की उपस्थिति होती है। "स्ट्रीमलाइनिंग" [30] जैसे पिछले प्रयास, नॉर्मलाइजेशन लेयर्स और एक्टिवेशन फंक्शन्स को लीनियर (linearize) कर देते हैं, जिससे प्रोपेगेटेड मीन्स अंतिम लेयर तक मीन नेटवर्क के समान ही रहते हैं, जिससे अतिरिक्त कम्प्यूटेशनल लागत के बावजूद सिलेक्टिव प्रेडिक्शन में सुधार नहीं हो पाता।

2. कार्यप्रणाली: कैलिब्रेटेड वेरिएंस प्रोपेगेशन (CVP)

लेखक कैलिब्रेटेड वेरिएंस प्रोपेगेशन (CVP) का प्रस्ताव करते हैं, जो एक व्यापक ढांचा है जिसे मॉडर्न आर्किटेक्चर, जिसमें ट्रांसफॉर्मर और CNN शामिल हैं, के लिए एक सिंगल फॉरवर्ड पास में सटीक अनसर्टेंटी एस्टीमेट प्रदान करने के लिए डिज़ाइन किया गया है। CVP एक मानक नियतात्मक (deterministic) फॉरवर्ड पास को मीन-वेरिएंस पेयर्स $(\mu, \Sigma)$ को नेटवर्क के माध्यम से प्रसारित करने वाले ऑपरेटरों की एक श्रृंखला से बदलकर संचालित होता है।

यह कार्यप्रणाली तीन विशिष्ट तकनीकी अंतराल (gaps) को संबोधित करती है:

A. एक्टिवेशन फंक्शन्स के लिए सटीक मोमेंट्स (Exact Moments for Activation Functions)

डेल्टा मेथड (प्रथम-क्रम टेलर लीनियराइजेशन) के विपरीत, जो पिछले कार्यों में उपयोग किया जाता था और प्रोपेगेटेड मीन को इनपुट वेरिएंस से स्वतंत्र छोड़ देता है, CVP नॉन-लीनियर एक्टिवेशन्स के लिए सटीक मोमेंट मैचिंग (exact moment matching) का उपयोग करता है। गेसियन (Gaussian) इनपुट मानकर, CVP, GELU, सिग्मॉइड, tanh और ReLU एक्टिवेशन्स के लिए क्लोज्ड-फॉर्म एक्सप्रेशन का उपयोग करता है। यह सुनिश्चित करता है कि प्रोपेगेटेड मीन हर नॉन-लिनियैरिटी पर मीन नेटवर्क की भविष्यवाणी से अलग हो जाए, जिससे इनपुट-डिपेंडेंट अनसर्टेंटी कैप्चर हो सके।

B. नॉर्मलाइजेशन लेयर्स के लिए एक्सपेक्टेशन-आधारित नियम

एक मुख्य योगदान नॉर्मलाइजेशन लेयर्स (जैसे LayerNorm) के लिए एक नया प्रोपेगेशन नियम है। पिछली विधियाँ वेरिएंस टर्म $s^2(x)$ को $s^2(\mu_x)$ में लीनियर करती हैं, जिससे ऑपरेशन मीन के डिटरमिनिस्टिक एफ़ाइन ट्रांसफॉर्मेशन में बदल जाता है। CVP, $s^2(x)$ को इनपुट डिस्ट्रीब्यूशन के तहत उसके एक्सपेक्टेशन (expectation) से बदल देता है:
$E[s^2(x)] = s^2(\mu_x) + \left(1 - \frac{1}{D}\right)\bar{\Sigma}_x$
जहाँ $\bar{\Sigma}_x$ डायगोनल इनपुट वेरिएंस का मीन है। यह LayerNorm ऑपरेशन को इनपुट मोमेंट्स के सापेक्ष एफ़ाइन (affine) बनाता है, जिससे नॉर्मलाइजेशन लेयर्स के माध्यम से अनिश्चितता का सटीक प्रसार संभव होता है, जो ट्रांसफॉर्मर आर्किटेक्चर के केंद्र में हैं।

C. प्रति-लेयर कैलिब्रेशन (Per-Layer Calibration)

बढ़ती गहराई के साथ एप्रोक्सिमेशन एरर (जो डायगोनल-कोवेरिएंस और गेसियन-इनपुट धारणाओं से उत्पन्न होते हैं) के संचय को रोकने के लिए, CVP सीखने योग्य प्रति-लेयर स्केलिंग फैक्टर्स ( $\alpha_i$ ) पेश करता है। ये फैक्टर्स प्रमुख लेयर्स (विशेष रूप से एक्टिवेशन और नॉर्मलाइजेशन लेयर्स से पहले) के बाद प्रोपेगेटेड वेरिएंस को मल्टीप्लिकेटिवली रीस्केल करते हैं। $\alpha_i$ पैरामीटर्स को एक लाइटवेट कैलिब्रेशन फेज में एक होल्ड-आउट वैलिडेशन सेट पर नेगेटिव लॉग-लाइक्लीहुड (NLL) को मिनिमाइज करके फिट किया जाता है, जो टेम्परेचर स्केलिंग के समान है लेकिन लेयर-वाइज लागू होता है।

3. मुख्य योगदान

नॉर्मलाइजेशन लेयर्स के लिए वेरिएंस प्रोपेगेशन नियम: लेखक नॉर्मलाइजेशन लेयर्स के लिए एक नया नियम विकसित करते हैं जो सिंथेटिक डेटा और वास्तविक मॉडल एक्टिवेशन्स पर प्रमाणित, लीनियराइजेशन की तुलना में काफी बेहतर फिडेलिटी (fidelity) प्रदान करता है।
प्रति-लेयर कैलिब्रेशन स्टेज: सीखने योग्य स्केलिंग फैक्टर्स का परिचय व्यवस्थित त्रुटि संचय (systematic error accumulation) को ठीक करता है, जिससे कैलिब्रेशन और विशेष रूप से सिलेक्टिव प्रेडिक्शन प्रदर्शन में महत्वपूर्ण सुधार होता है।
अनुकूलित कार्यान्वयन (Optimized Implementation): CVP का कार्यान्वयन एक सिंगल फॉरवर्ड पास में चलता है जिसका कम्प्यूटेशनल खर्च एक नियतात्मक फॉरवर्ड पास से लगभग 2-3 गुना है, जो बार-बार सैंपलिंग के ओवरहेड के बिना पर्याप्त विश्वसनीयता लाभ प्रदान करता है।

4. प्रायोगिक परिणाम (Experimental Results)

CVP का मूल्यांकन यूनिमोडल (इमेज क्लासिफिकेशन: CIFAR-10, CIFAR-100, ImageNet) और मल्टीमॉडल (VQA: VQAv2; विजुअल रीजनिंग: NLVR2) बेंचमार्क पर IVON वेरिएशनल ऑप्टिमाइज़र द्वारा प्रशिक्षित मॉडलों का उपयोग करके किया गया।

एफिशिएंसी-रिलायबिलिटी ट्रेड-ऑफ: CVP लगातार मीन नेटवर्क और MC सैंपलिंग दोनों को पारेटो-डोमिनेट (Pareto-dominate) करता है। यह एक सिंगल पास की लागत के एक अंश (लगभग 2.3–2.9x बनाम 4 सैंपल्स के लिए 4x) पर MC सैंपलिंग (जैसे 4 सैंपल्स) के समान अनसर्टेटी क्वालिटी प्राप्त करता है।
सिलेक्टिव प्रेडिक्शन: CVP, कवरेज एट रिस्क (C@R) में उल्लेखनीय सुधार दिखाता है। उदाहरण के लिए, BEiT-3 के साथ NLVR2 बेंचमार्क पर, CVP 0.5% रिस्क पर कवरेज को 8.2% (Streamlining) से बढ़ाकर 14.6% कर देता है। ViLT के साथ VQAv2 पर, यह 2.6% से 10.8% तक सुधर जाता है।
Streamlining के साथ तुलना: जबकि Streamlining मीन नेटवर्क की तुलना में कैलिब्रेशन में थोड़ा सुधार करता है, यह सिलेक्टिव प्रेडिक्शन में सुधार करने में विफल रहता है क्योंकि इसका प्रोपेगेटेड मीन मीन नेटवर्क के समान ही रहता है। CVP का शुरुआती विचलन (early divergence) और लेयर-वाइज कैलिब्रेशन इसे Streamlining से काफी बेहतर प्रदर्शन करने की अनुमति देता है।
एब्लेशन स्टडीज (Ablation Studies): CVP के किसी भी घटक (सटीक एक्टिवेशन मोमेंट्स, नॉर्मलाइजेशन नियम, या प्रति-लेयर कैलिब्रेशन) को हटाने से प्रदर्शन कम हो जाता है, जो पुष्टि करता है कि देखे गए लाभों के लिए तीनों तत्व आवश्यक हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि CVP आधुनिक, बड़े पैमाने के आर्किटेक्चर के लिए सैंपलिंग-फ्री अनसर्टेटी एस्टीमेशन को सक्षम करके बेयसियन डीप लर्निंग में एक महत्वपूर्ण अंतर को भरता है। इसका महत्व निम्नलिखित में निहित है:

व्यावहारिकता (Practicality): यह MC सैंपलिंग के लिए एक व्यवहार्य विकल्प प्रदान करता है उन रियल-टाइम, सुरक्षा-महत्वपूर्ण सिस्टम के लिए जहाँ बार-बार इन्फरेंस संभव नहीं है।
आर्किटेक्चरल जेनेरैलिटी: यह मल्टीमॉडल ट्रांसफॉर्मर्स और ResNets तक सफलतापूर्वक विस्तार करने वाला पहला वेरिएंस प्रोपेगेशन फ्रेमवर्क है, जो पिछले तरीकों की सीमाओं को पार करता है जो MLP-जैसे स्ट्रक्चर तक सीमित थे।
प्रदर्शन: यह निरंतर पारेटो सुधार प्रदान करता है, जो कम लेटेंसी बनाए रखते हुए MC सैंपलिंग जैसे महंगे तरीकों के बराबर या उनसे बेहतर विश्वसनीयता मेट्रिक्स (कैलिब्रेशन और सिलेक्टेड प्रेडिक्शन) प्रदान करता है।

लेखक सीमाओं को स्वीकार करते हैं (नोट करते हैं) कि CVP में एक नियतात्मक पास की तुलना में लगभग दोगुना मेमोरी फुटप्रिंट (वेरिएंस स्टोर करने के लिए) होता है और इसके लिए कैलिब्रेशन हेतु एक होल्ड-आउट सेट की आवश्यकता होती है। इसके अलावा, वर्तमान प्रयोग एनकोडर-स्टाइल आर्किटेक्चर के लिए सीमित हैं जिनमें क्लासिफिकेशन या VQA हेड्स हैं, जिससे ऑटोरेग्रेसिव जनरेशन भविष्य के कार्य के लिए छोड़ दिया गया है। हालांकि, यह पद्धति डीप लर्निंग में कुशल, विश्वसनीय अनसर्टेटी क्वांटिफिकेशन के लिए एक नया बेसलाइन स्थापित करती है।