📊 statistics

Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification

यह शोध पत्र सेल्फ-सुपरवाइज्ड लाप्लास एप्रोक्सिमेशन (SSLA) को प्रस्तुत करता है, जो एक नवीन, सैंपलिंग-मुक्त विधि है जो स्वयं-अनुमानित डेटा पर मॉडलों को पुनः फिट करके बेयसियन प्रेडिक्टिव अनसर्टेंटी (Bayesian predictive uncertainty) को परिमाणित करती है, और विभिन्न रिग्रेशन कार्यों में शास्त्रीय लाप्लास एप्रोक्सिमेशन की तुलना में बेहतर कैलिब्रेशन और कम्प्यूटेशनल दक्षता प्रदान करती है।

मूल लेखक: Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Julian Rodemann, Alexander Marquard, Thomas Augustin, Michele Caprio

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जिसने एक स्वादिष्ट केक की रेसिपी को सिद्ध कर लिया है। आप जानते हैं कि इसमें कितना आटा, चीनी और अंडे इस्तेमाल करने हैं (ये आपके पैरामीटर्स (parameters) हैं)। लेकिन वास्तविक दुनिया में, आप केवल रेसिपी जानना नहीं चाहते; आप यह जानना चाहते हैं: "यदि मैं इस ग्राहक के लिए यह केक बनाता हूँ, तो मुझे इस बात का कितना भरोसा है कि यह एकदम सही बनेगा?"

मशीन लर्निंग की दुनिया में, इस "मुझे कितना भरोसा है?" वाले सवाल को अनिश्चितता का परिमाणीकरण (uncertainty quantification) कहा जाता है।

यह शोध पत्र इस सवाल का जवाब देने का एक नया तरीका पेश करता है, जिसे सेल्फ-सुपरवाइज्ड लैप्लेस एप्रोक्सिमेशन (SSLA) और इसके तेज़ संस्करण ASSLA के रूप में जाना जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है।

समस्या: "रेसिपी" बनाम "केक"

पारंपरिक रूप से, मॉडल कितना अनिश्चित है यह पता लगाने के लिए, वैज्ञानिक हर उस संभावित "रेसिपी" (पैरामीटर्स) का मानचित्र बनाने की कोशिश करते हैं जो डेटा को बना सकती थी। वे पूछते हैं, "क्या होगा अगर मैं थोड़ी अधिक चीनी का उपयोग करता? क्या होगा अगर मैं थोड़ा कम आटा लेता?"

यह हर रेसिपी के बदलाव को चखने जैसा है ताकि यह देखा जा सके कि कौन सा सबसे अच्छा है। यह अविश्वसनीय रूप से धीमा और गणनात्मक रूप से महंगा है, विशेष रूप से न्यूरल नेटवर्क जैसे जटिल मॉडलों के लिए (जो विशाल, कई परतों वाले केक की तरह होते हैं)।

समाधान: "स्व-स्वाद" वाली ट्रिक (The "Self-Taste" Trick)

लेखक एक चतुर शॉर्टकट का प्रस्ताव देते हैं। हर संभव रेसिपी के बदलाव को चखने के बजाय, वे मॉडल से अपने भविष्य के डेटा की भविष्यवाणी करने के लिए कहते हैं और फिर देखते हैं कि वह उस भविष्यवाणी पर कैसी प्रतिक्रिया देता है।

इसे इस प्रकार समझें:

भविकीवाणी (The Prediction): आप अपनी वर्तमान सर्वश्रेष्ठ रेसिपी के आधार पर एक केक बनाते हैं। मान लीजिए, आप भविष्यवाणी करते हैं कि इसका स्वाद "चॉकलेट" जैसा होगा।
स्व-परीक्षण (The Self-Test): आप कल्पना करते हैं कि "चॉकलेट" एक वास्तविक तथ्य है जिसे आपने अभी खोजा है। आप इस "चॉकलेट" तथ्य को अपने साक्ष्यों की नोटबुक में जोड़ देते हैं।
पुनः पकाना (The Re-bake): आप अपने मूल डेटा साथ ही इस नए "चकीलेट" तथ्य का उपयोग करके केक को जल्दी से फिर से पकाते हैं (मॉडल को फिर से फिट करते हैं)।

अंतर्दृष्टि (The Insight):

यदि आपका मॉडल बहुत आश्वस्त था कि केक का स्वाद चॉकलेट जैसा होगा, तो इस तथ्य को जोड़ने से आपकी रेसिपी में बहुत अधिक बदलाव नहीं आएगा। केक का स्वाद वैसा ही रहता है। कम अनिश्चितता (Low Uncertainty)।
यदि आपका मॉडल केवल अनुमान लगा रहा था और केक वास्तव में "वैनिला" (या यदि मॉडल अनिश्चित है) निकला, तो "चॉकलेट" तथ्य को जोड़ने से आपको अपनी रेसिपी को समायोजित करने के लिए इसे नाटकीय रूप से बदलना पड़ेगा। उच्च अनिश्चितता (High Uncertainty)।

यह मापकर कि मॉडल को अपनी भविष्यवाणी को स्वीकार करने के लिए कितना "पसीना" (अपने पैरामीटर्स बदलना) आता है, आपको अनिश्चितता का सीधा माप प्राप्त होता है।

दो संस्करण: SSLA और ASSLA

1. SSLA (थोरस शेफ - विस्तृत विधि वाला)
यह संस्करण वास्तव में पूरी प्रक्रिया से गुजरता है: यह भविष्यवाणी करता है, डेटा जोड़ता है, केक को फिर से पकाता है, और परिवर्तन को मापता है। यह बहुत सटीक है लेकिन इसमें समय लगता है क्योंकि इसके लिए "पुनः पकाने" (री-ट्रेनिंग) की आवश्यकता होती है।

2. ASSLA (क्विक शेफ - तेज़ विधि वाला)
लेखकों ने महसूस किया कि अधिकांश केक के लिए, यह जानने के लिए कि क्या रेसिपी में बदलाव की आवश्यकता है, आपको पूरी तरह से फिर से पकाने की आवश्यकता नहीं है। आप पहले से मौजूद सामग्रियों को देखकर बदलाव का अनुमान लगा सकते हैं।

ASSLA पूरी तरह से पुनः पकाने को छोड़ देता है। यह यह अनुमान लगाने के लिए एक गणितीय शॉर्टकट (एक सन्निकटन/approximation) का उपयोग करता है कि रेसिपी में कितना बदलाव होता।
परिणाम: यह बहुत तेज़ है और लगभग मूल संस्करण जितना सटीक है, जो इसे विशाल डेटासेट और जटिल मॉडलों के लिए व्यावहारिक बनाता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दावा करता है कि यह विधि:

तेज़ है: यह पारंपरिक तरीकों के भारी काम से बचती है जिसमें अनिश्चितता का अनुमान लगाने के लिए हजारों रैंडम सैंपल्स (मोंटे कार्लो) की आवश्यकता होती है।
मॉड्यूलर है: आप अपने सिस्टम को तोड़े बिना अपनी रेसिपी के बारे में विभिन्न "मान्यताओं" (priors) को बदल सकते हैं। यह "ग्लूटेन-मुक्त" से "वीगन" मान्यताओं में पूरे किचन को फिर से बनाए बिना बदलने जैसा है।
सटीक है: कृत्रिम और वास्तविक दुनिया के डेटा (जैसे कंक्रीट की मजबूती या वाइन की गुणवत्ता की भविष्यवाणी करना) के साथ परीक्षणों में, SSLA और ASSLA ने पुराने, मानक तरीकों की तुलना में बेहतर "कैलिब्रेशन" (उनकी आत्मविश्वास का स्तर वास्तविकता से मेल खाता है) प्रदान किया।

कमी (सीमाएं)

शोध पत्र इस बारे में भी ईमानदार है कि यह ट्रिक कहाँ लड़खड़ा सकती है:

"लीवर" की समस्या: कुछ कठिन परिदृश्यों में (जैसे उनके परीक्षणों में "लीवर डिसऑर्डर" डेटासेट), तेज़ संस्करण (ASSLA) कभी-कभी बहुत अधिक आत्मविश्वासी हो जाता है, जिससे जोखिम का कम आकलन होता है। यह एक ऐसे शेफ की तरह है जो अपने कौशल के बारे में इतना आश्वस्त है कि वह अंडों के एक खराब बैच को अनदेखा कर देता है।
बिग डेटा ग्लिच: जब डेटासेट बहुत बड़ा होता है (लाखों प्रविष्टियाँ), तो तेज़ संस्करण के पीछे का गणित कंप्यूटर की सटीकता सीमाओं के कारण थोड़ा "शोर भरा" (noisy) हो सकता है, हालांकि विस्तृत संस्करण (SSLA) अभी भी कायम रहता है।

सारांश

संक्षेप में, यह शोध पत्र हमें सिखाता है कि मशीन लर्निंग मॉडल के आत्मविश्वास को मापने के लिए उसे अपने भविष्य की भविष्यवाणी करने के लिए कहें और देखें कि वह भविष्यवाणी उसके आधार को कितना हिला देती है। यदि मॉडल मुश्किल से विचलित होता है, तो वह आश्वस्त है। यदि वह घबरा जाता है और अपना मन बदल लेता है, तो वह अनिश्चित है। और उनके "क्विक शेफ" (ASSLA) तरीके के कारण, हम ओवन को गर्म होने के घंटों इंतजार किए बिना यह कर सकते हैं।

तकनीकी सारांश: अनिश्चितता परिमाणीकरण के लिए स्व-पर्यवेक्षित लाप्लास सन्निकटन (Self-Supervised Laplace Approximation)

समस्या विवरण

अनुमानित बेयसियन अनुमान (Approximate Bayesian Inference - ABI) पारंपरिक रूप से मॉडल मापदंडों के पोस्टीरियर वितरण, $p(\theta | D)$ को कंप्यूट करने पर केंद्रित होता है। हालांकि, व्यावहारिक अनुप्रयोगों में, मुख्य रुचि अक्सर पोस्टीरियर प्रेडिक्टिव वितरण (posterior predictive distribution), $p(\hat{y}_{n+1} | x_{n+1}, D)$ में होती है, जो मापदंडों के बजाय भविष्यवाणियों की अनिश्चितता को मापता है।

पोस्टीरियर प्रेडिक्टिव के लिए मानक विधियाँ, जैसे कि वेरिएशनल इन्फरेंस (VI), मार्कोव चेन मोंटे कार्लो (MCMC), या पैरामीटर पोस्टीरियर पर लागू शास्त्रीय लाप्लास सन्निकटन के बाद मोंटे कार्लो (MC) सैंपलिंग, अक्सर महत्वपूर्ण कम्प्यूटेशनल ओवरहेड का कारण बनती हैं। विशेष रूप से, बेयसियन न्यूरल नेटवर्क (BNNs) में, पैरामीटर पोस्टीरियर पर इंटीग्रेशन करने के लिए MC सैंपलिंग की आवश्यकता अनुमान लागत को काफी बढ़ा देती है। इसके अलावा, मौजूदा नियत (deterministic) विकल्प अक्सर मजबूत वितरण संबंधी धारणाओं पर निर्भर करते हैं या अनिश्चितता मॉडलिंग को अंतिम परत (final layer) तक सीमित रखते हैं, जिससे उनकी सामान्य डीप रिग्रेशन मॉडलों के लिए उपयोगिता सीमित हो जाती है।

कार्यप्रणाली

लेखक स्व-पर्यवेक्षित लाप्लास सन्निकटन (Self-Supervised Laplace Approximation - SSLA) का प्रस्ताव करते हैं, एक ऐसी तकनीक जो सीधे पोस्टीरियर प्रेडिक्टिव वितरण का सन्निकटन करने के लिए पैरामीटर पोस्टीरियर की स्पष्ट गणना को दरकिनार करती है। यह विधि स्व-प्रशिक्षण (self-training) और सेमी-सुपरवाइज्ड लर्निंग की अवधारणाओं से प्रेरित है, विशेष रूप से स्वयं-अनुमानित डेटा पर मॉडल के फिट होने के तरीके से सीखने के विचार से।

मुख्य तंत्र

SSLA का मौलिक अंतर्दृष्टि यह है कि यह यह देखकर भविष्यवाणात्मक अनिश्चितता को मापता है कि जब मॉडल को उसके अपने ही स्व-अनुमानित डेटा पर "रीफिट" (refit) किया जाता है, तो उसका फिट कैसे बदलता है।

संवर्धित डेटासेट (Augmented Dataset): एक प्रशिक्षण डेटासेट $D$ और एक नए इनपुट $x_{n+1}$ के लिए, मॉडल एक पॉइंट प्रेडिक्शन $\hat{y}_{n+1}$ (जैसे, MAP प्रेडिक्शन) उत्पन्न करता है। एक संवर्धित डेटासेट $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ बनाया जाता है।
रीफिटिंग (Refitting): मॉडल को $D_{n+1}$ पर पुनः फिट किया जाता है ताकि एक नया ऑप्टिमम $\tilde{\theta}$ प्राप्त किया जा सके।
अनिश्चितता परिमाणीकरण (Uncertainty Quantification): भविष्यवाणात्मक अनिश्चितता को स्व-अनुमान (self-prediction) के समावेश से प्रेरित मॉडल की लाइकलीहुड (likelihood), प्रायर (prior) और कर्वेचर (curvature/Fisher information) में परिवर्तन से प्राप्त किया जाता है।
- यदि मॉडल अपने स्व-अनुमान को उच्च लाइकलीहुड प्रदान करता है (अर्थात, $\tilde{\theta} \approx \hat{\theta}$ ), तो भविष्यवाणी को कम अनिश्चितता वाला माना जाता है।
- यदि स्व-अनुमान मॉडल के फिट में महत्वपूर्ण बदलाव लाता है (लाइकलीहुड या कर्वेचर में बड़ा परिवर्तन), तो भविष्यवाणी को उच्च अनिश्चितता वाला माना जाता है।

गणितीय सूत्र (Mathematical Formulation)

लेखक एक सुलभ (tractable) लॉग-पोस्टीरियर प्रेडिक्टिव डेंसिटी, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$ का व्युत्पन्न करते हैं, जो मॉडल फिट्स पर मूल्यांकित तीन व्याख्या योग्य वृद्धियों (increments) में विभाजित होता है:
$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Likelihood Increment}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Prior Increment}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Curvature Increment}}$
जहाँ:

$\hat{\theta}$ डेटा $D$ पर MAP अनुमान है।
$\tilde{\theta}$ डेटा $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ पर MAP अनुमान है।
$\ell$ और $\tilde{\ell}$ लॉग-लाइकलीहुड्स हैं।
$J$ और $\tilde{J}$ ऑब्जर्व्ड फिशर इंफॉर्मेशन मैट्रिसेस (नेगेटिव हेसियन) हैं।

अनुमानित संस्करण (Approximate Variant - ASSLA)

मॉडल को रीफिट करने की कम्प्यूटेशनल लागत को समाप्त करने के लिए, लेखक एप्रोक्सिमेट SSLA (ASSLA) पेश करते हैं।

एसिम्प्टोटिक एक्सपेंशन (Asymptotic Expansion): सैद्धांतिक परिणाम (Lemma 1, Theorem 1) दिखाते हैं कि बड़े $n$ के लिए, संवर्धित ऑप्टिमम $\tilde{\theta}$ और मूल ऑप्टिमम $\hat{\theta}$ के बीच का अंतर $O(n^{-1})$ के क्रम का होता है।
सरलीकरण: ASSLA $\tilde{\theta} \approx \hat{\theta}$ का सन्निकटन करता है और केवल लीडिंग-ऑर्डर टर्म्स को रखता है। यह विधि को मूल फिट $\hat{\theta}$ और नए छद्म-अवलोकन (pseudo-observation) के स्थानीय कर्वेचर योगदानों का उपयोग करके भविष्यवाणात्मक अनिश्चितता का मूल्यांकन करने की अनुमति देता है, जिससे दूसरे अनुकूलन (optimization) चरण की आवश्यकता समाप्त हो जाती है।
प्रायर मोडुलैरिटी (Prior Modularity): ASSLA सन्निकटन में, प्रायर इंक्रीमेंट को एक उच्च-क्रम के टर्म के रूप में छोड़ दिया जाता है, जिससे यह विधि कम्प्यूटेशनल रूप से कुशल बनी रहती है जबकि लाइकलीहुड और कर्वेचर परिवर्तनों के प्रति संवेदनशील रहती है।

मुख्य योगदान

प्रत्यक्ष भविष्यवाणात्मक सन्निकटन (Direct Predictive Approximation): एक नया ढांचा जो पैरामीटर पोस्टीरियर और MC सैंपलिंग की आवश्यकता के बिना सीधे पोस्टीरियर प्रेडिक्टिव वितरण का सन्निकटन करता है।
स्व-पर्यवेक्षित तंत्र (Self-Supervised Mechanism): एक स्व-प्रशिक्षण आधारित लाप्लास सन्निकटन का परिचय, जहाँ अनिश्चितता को स्व-अनुमानित डेटा के प्रति मॉडल फिट की संवेदनशीलता के माध्यम से मापा जाता है।
मॉड्यूलरिटी (Modularity): SSLA फॉर्मूलेशन विभिन्न प्रायर स्पेसिफिकेशन को बिना पुन: प्रशिक्षण के प्लग-इन करने की अनुमति देता है, जो प्रायर चयन के संबंध में बेयसियन संवेदनशीलता विश्लेषण को सुगम बनाता है।
कम्प्यूटेशनल दक्षता (Computational Efficiency): ASSLA का व्युत्पन्न, जो रीफिटिंग की आवश्यकता को हटा देता है, इसे प्रतिस्पर्धी कैलिब्रेशन बनाए रखते हुए बड़े मॉडलों और डेटासेट के लिए स्केलेबल बनाता है।
सैद्धांतिक औचित्य (Theoretical Justification): ASSLA के सन्निकटन त्रुटि को स्पष्ट करने वाले कठोर प्रमाण, जो मानक रेगुलरिटी स्थितियों के तहत नमूना आकार $n$ के साथ त्रुटि को कम होते हुए प्रदर्शित करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने (A)SSLA का मूल्यांकन कंजुगेट एनालिटिक मॉडलों से लेकर जटिल हेटेरोसेडास्टिक रिग्रेशन (न्यूरल नेटवर्क के साथ) तक के रिग्रेशन कार्यों पर किया।

कंजुगेट मॉडल: Normal-Normal और Poisson-Gamma सेटिंग्स में, SSLA और ASSLA ने $n=20$ से $n=1,000,000$ तक के सैंपल साइज के लिए विश्लेषणात्मक रूप से गणना किए गए पोस्टीरियर प्रेडिक्टिव वितरणों के साथ निकटता से मेल खाया। ASSLA में बहुत बड़े $n$ ( $>10^6$ ) पर फ्लोटिंग-पॉइंट कैंसिलेशन के कारण संख्यात्मक अस्थिरता देखी गई, जिसे डबल प्रिसिजन का उपयोग करके हल किया गया।
हेटेरोसेडास्टिक रिग्रेशन (सिंथेटिक): इनपुट-डिपेंडेंट नॉइज़ वाले सिंथेटिक डेटा पर, ASSLA ने शास्त्रीय लाप्लास सन्निकटन (जो अत्यधिक रूढ़िवादी थे) की तुलना में स्मूथ और टाइट क्रेडिबल इंटरवल बनाए, और VI एवं HMC के साथ प्रतिस्पर्धी रहा। हालाँकि, ASSLA ने चौड़े इंटरवल्स में HMC की तुलना में अनिश्चितता को थोड़ा कम आंकने की प्रवृत्ति दिखाई।
वास्तविक दुनिया के बेंचमार्क: विविध UCI डेटासेट्स (जैसे Concrete, Wine Quality, Bike Sharing) पर मूल्यांकन:
- कैलिब्रेशन: ASSLA ने आमतौर पर शास्त्रीय लाप्लास की तुलना में बेहतर Negative Log-Likelihood (NLL) और Continuous Ranked Probability Score (CRPS) प्राप्त किया, जो शार्प और बेहतर-कैलिब्रेटेड भविष्यवाणियों को दर्शाता है।
- कवरेज (Coverage): जबकि ASSल्या कठिन परिस्थितियों (जैसे खराब सिग्नल-टू-नॉइज़ वाला Liver Disorders डेटासेट) में कभी-कभी अंडर-कवरेज प्रदर्शित करता है, यह अक्सर रूढ़िवादी लाप्लास बेसलाइन से बेहतर प्रदर्शन करता है जो अत्यधिक चौड़े इंटरवल बनाता है।
- दक्षता: ASSLA ने भविष्यवाणात्मक गुणवत्ता के लिए कम्प्यूटेशनल लागत और प्रेडिक्टिव क्वालिटी के बीच एक अनुकूल ट्रेड-ऑफ प्रदान किया, जिससे MC सैंपलिंग का उच्च ओवरहेड बच गया।

महत्व और दावे

लेखक दावा करते हैं कि (A)SSLA भविष्यवाणात्मक अनिश्चितता के परिमाणीकरण के लिए मानक बेयसियन अनुमान तकनीकों के लिए एक नियत (deterministic), सैंपलिंग-मुक्त विकल्प प्रदान करता है। इसका महत्व निम्नलिखित है:

असाध्यता को दरकिनार करना (Bypassing Intractability): यह MC सैंपलिंग के माध्यम से पैरामीटर स्पेस पर इंटीग्रेशन करने की कम्प्यूटेशनल बाधा को टालता है, जो बेयसियन डीप लर्निंग में एक बड़ी सीमा है।
व्यावहारिक प्रयोज्यता: यह विधि सामान्य डीप रिग्रेशन मॉडलों के लिए लागू है और मॉड्यूलर प्रायर स्पेसिफिकेशन का समर्थन करती है, जो क्रेडल बेयसियन डीप लर्निंग जैसे उभरते क्षेत्रों के लिए विशेष रूप से प्रासंगिक है।
ट्रेड-ऑफ प्रबंधन: लेखक ASSLA को एक ऐसी विधि के रूप में देखते हैं जो कम्प्यूटेशनल सुलभता और प्रतिस्पर्धी संभाव्य कैलिब्रेशन के बीच संतुलन बनाती है, जो वास्तविक दुनिया के रिग्रेशन कार्यों के लिए एक व्यावहारिक समाधान प्रदान करती है जहाँ पूर्ण बेयसियन अनुमान बहुत महंगा है।

लेखक अपनी सीमाओं के प्रति विनम्र रहते हैं, यह स्वीकार करते हुए कि बहुत बड़े डेटासेट या प्रायर-डेटा संघर्षों पर SSLA अस्थिर हो सकता है, और ASSLA उच्च-विचरण (high-variance) वाले क्षेत्रों में अनिश्चितता को कम आंक सकता है। वे सुझाव देते हैं कि इन विधियों का उपयोग ड्रिफ्ट/OOD डिटेक्शन और रोबस्ट लाइकलीहुड मॉडलिंग के साथ किया जाना चाहिए।