📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

यह शोध पत्र इस पारंपरिक धारणा को चुनौती देता है कि मीन फील्ड वेरिएशनल इन्फरेंस (Mean Field Variational Inference) हमेशा अनिश्चितता को कम करके आंकता है, यह प्रदर्शित करते हुए कि बेयसियन लीनियर रिग्रेशन (Bayesian Linear Regression) में, यह इन-डिस्ट्रीब्यूशन डेटा पर प्रिडिक्टिव वेरिएंस (predictive variance) को वास्तव में बढ़ाकर दिखा सकता है क्योंकि यह एक ऐसे ट्रेड-ऑफ के कारण होता है जहाँ कुछ पैरामीटर दिशाओं में कम आकलन करने के लिए अन्य दिशाओं में अधिक आकलन करना आवश्यक हो जाता है, एक ऐसी घटना जिसे टेम्परेचर स्केलिंग (temperature scaling) के माध्यम से कम किया जा सकता है।

मूल लेखक: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का स्पष्टीकरण दिया गया है।

बड़ी गलतफहमी

लंबे समय से, वैज्ञानिक मानते थे कि मीन फील्ड वेरिएशनल इन्फरेंस (MFVI) नामक एक विशिष्ट विधि हमेशा "बहुत आत्मविश्वासी" होती है। उन्हें लगता था कि यह डेटा को देखता है, एक अनुमान लगाता है, और फिर कहता है, "मुझे इस बारे में काफी यकीन है," भले ही उसे अधिक अनिश्चित होना चाहिए था। तकनीकी शब्दों में, उन्हें लगा कि यह वेरिएंस (अनिश्चितता) को कम आंकता (underestimate) है।

यह पेपर इस कहानी को पूरी तरह पलट देता है। लेखक दिखाते हैं कि हालांकि MFVI मॉडल के आंतरिक विवरणों के बारे में वास्तव में बहुत आत्मविश्वासी है, लेकिन जब यह ऐसे डेटा पर भविष्यवाणी करता है जो ट्रेनिंग डेटा जैसा दिखता है, तो यह वास्तव में बहुत अधिक अनिश्चित (overestimate uncertainty) हो सकता है।

उपमा: नक्शा और सड़क

कल्पichiना कि आप एक ही सड़क की कुछ तस्वीरों के आधार पर एक शहर का नक्शा बनाने की कोशिश कर रहे हैं।

"आंतरिक" दृश्य (पैरामीटर स्पेस):
यदि आप स्वयं नक्शे को देखते हैं, तो MFVI उस सड़क के चारों ओर एक बहुत ही छोटा, तंग घेरा बनाता है। यह सोचता है, "मुझे पता है कि यह सड़क ठीक कहाँ है।" यह इस तथ्य को अनदेखा कर देता है कि बाकी का शहर धुंधला और अज्ञात है। इस अर्थ में, यह नक्शे के विवरणों के बारे में बहुत आत्मविश्वासी है।
"भविष्यवाणी" दृश्य (प्रेडिक्टिव स्पेस):
अब, कल्पना कीजिए कि आप एक ड्राइवर हैं जो यह अनुमान लगाने की कोशिश कर रहे हैं कि सड़क आपके आगे कहाँ जाती है।
- वास्तविक सत्य: वास्तविक सड़क सीधी और संकरी है। अनिश्चितता कम है क्योंकि सड़क स्पष्ट रूप से परिभाषित है।
- MFVI की भविष्यवाणी: क्योंकि MFVI ने चरण 1 में सड़क के चारों ओर इतना छोटा, तंग घेरा बनाया था, इसलिए वह इस बात को लेकर भ्रमित हो जाता है कि वह छोटा घेरा आगे की सड़क के साथ कैसे मेल खाता है। अंत में, यह एक बड़ा, धुंधला बादल बना देता है कि "शायद सड़क बाईं ओर जाती है, शायद दाईं ओर, या शायद यह गायब हो जाती है।"
- परिणाम: वास्तविक सड़क (ट्रेनिंग डेटा) पर, MFVI बहुत अधिक डरा हुआ है। उसे लगता है कि सड़क वास्तव में जितनी है, उससे कहीं अधिक खतरनाक और अप्रत्याशित है।

"संतुलन का खेल" (सी-सॉ/झूला)

पेपर इस विधि के बारे में एक अजीब नियम समझाता है: यह केवल एक ही तरीके से गलत नहीं हो सकती।

मॉडल की अनिश्चितता को एक सी-सॉ (झूले) के रूप में सोचें।

यदि मॉडल कुछ दिशाओं में बहुत आत्मविश्वासी (अनिश्चितता को कम आंकना) है, तो गणित को संतुलित रखने के लिए उसे अन्य दिशाओं में बहुत अधिक अनिश्चित (अनिश्चितता को बढ़ाना) होना ही होगा।
पेपर यह सिद्ध करता है कि ट्रेनिंग डेटा जैसे दिखने वाले डेटा के लिए, सी-सॉ का "बहुत अधिक अनिश्चित" वाला हिस्सा जीतता है। मॉडल जोखिम को बहुत अधिक बढ़ाकर दिखाता है।

"कोल्ड" (ठंडा) समाधान

लेखकों ने इस अत्यधिक सावधानी को ठीक करने का एक तरीका खोजा है। बेयसियन गणित की दुनिया में, तापमान (Temperature) नामक एक अवधारणा है।

उच्च तापमान (High Temperature): मॉडल को अधिक रिलैक्स्ड और फैला हुआ (अधिक अनिश्चित) बनाता है।
कम तापमान (Low Temperature/Cold): मॉडल को अधिक तीक्ष्ण और केंद्रित (कम अनिश्चित) बनाता है।

आमतौर पर, लोग सोचते हैं कि मॉडल को कम आत्मविश्वासी बनाने के लिए आपको उसे "ठंडा" करने की आवश्यकता है। लेकिन यहाँ, क्योंकि मॉडल पहले से ही बहुत डरा हुआ है (अनिश्चितता को बढ़ा रहा है), लेखकों ने पाया कि तापमान को कम करना (इसे "कोल्ड" बनाना) वास्तव में मदद करता है।

यह एक घबराए हुए ड्राइवर को बताने जैसा है: "आप खतरे को बहुत अधिक बढ़ाकर देख रहे हैं। एक गहरी सांस लें और ध्यान केंद्रित करें।" तापमान को कम करके, मॉडल की भविष्यवाणियाँ वास्तविकता के करीब आ जाती हैं, और सटीक उत्तर के साथ बेहतर तालमेल बिठाती हैं।

उच्च-आयामी जाल (High-Dimensional Trap)

पेपर एक डरावनी स्थिति दिखाता है जहाँ यह चीज़ जटिल होने पर (उच्च आयामों में) और भी खराब हो जाती है।

कल्पना कीजिए कि आप केवल एक सड़क के बजाय 1,000 सड़कों वाले शहर में रास्ता खोजने की कोशिश कर रहे हैं।
यदि आपकी सभी तस्वीरें केवल एक विशिष्ट सड़क की हैं, तो MFVI मॉडल अन्य 999 खाली सड़कों के कारण इतना भ्रमित हो जाता है कि वह उस एक सड़क को ही भूल जाता है जिसे उसने देखा था।
अंत में, यह भविष्यवाणी करने लगता है कि सड़क उतनी ही अनिश्चित है जितनी कि तब होती जब उसने कोई डेटा ही न देखा होता। यह ट्रेनिंग डेटा से सीखने में पूरी तरह विफल हो जाता है।
हालाँकि, "कोल्ड" समाधान (तापमान कम करना) काम आता है, जिससे मॉडल यह समझने में सक्षम होता है, "ओह, मुझे इस सड़क के बारे में कुछ पता है," और अपनी भविष्यवाणी को सुधार लेता है।

"कोल्ड पोस्टीरियर इफेक्ट"

डीप लर्निंग की दुनिया में, शोधकर्ताओं ने देखा है कि मॉडल अक्सर बेहतर काम करते हैं जब उन्हें "ठंडा" किया जाता है (एक घटना जिसे 'कोल्ड पोस्टीरियर इफेक्ट' कहा जाता है)। आमतौर पर, लोगों ने इसके लिए खराब डेटा या खराब मॉडल को जिम्मेदार ठहराया।

यह पेपर एक नया कारण देता है: भले ही डेटा और मॉडल एकदम सही हों, MFVI का गणित स्वाभाविक रूप से मॉडल को बहुत अधिक डरा देता है। इसलिए, मॉडल को "कूल" करना कोई जुगाड़ नहीं है; यह एक आवश्यक सुधार है ताकि मॉडल उस डेटा पर अनिश्चितता को बहुत अधिक न बढ़ा दे जिसे वह अच्छी तरह जानता है।

सारांश

पुरानी धारणा: MFVI हमेशा बहुत आत्मविश्वासी होता है।
नई खोज: MFVI मॉडल के आंतरिक सेटिंग्स के बारे में बहुत आत्मविश्वासी है, लेकिन परिचित डेटा पर की जाने वाली अपनी भविpredictions के बारे में बहुत अनिश्चित है।
समाधान: "तापमान" को कम करना (पोस्टीरियर को "कोल्ड" बनाना) इस अत्यधिक सावधानी को ठीक करता है, जिससे भविष्यवाणियाँ फिर से सटीक हो जाती हैं।
चेतावनी: बहुत जटिल, उच्च-आयामी स्थितियों में, यह अत्यधिक सावधानी इतनी बढ़ सकती है कि मॉडल जो उसने सीखा है उसे पूरी तरह भूल जाए, जब तक कि आप "कोल्ड" समाधान लागू न करें।

तकनीकी सारांश: गॉसियन मीन फील्ड वेरिएशनल इन्फरेंस (Gaussian Mean Field Variational Inference) प्रेडिक्टिव वेरिएंस का अति-आकलन कर सकता है

समस्या विवरण (Problem Statement)
मीन फील्ड वेरिएशनल इन्फरेंस (MFVI) को साहित्य में व्यापक रूप से एक ऐसे सन्निकटन (approximation) के रूप में वर्णित किया जाता है जो पोस्टीरियर वेरिएंस (posterior variance) का कम आकलन करता है, जिससे अत्यधिक आत्मविश्वासपूर्ण (overconfident) भविष्यवाणियाँ होती हैं। यह चित्रण इस अवलोकन से उत्पन्न होता है कि MFVI, पैरामीटर स्पेस में पोस्टीरियर को फैक्टरलाइज़ करके, मोड-फिटिंग सन्निकटन के रूप में कार्य करता है, जिससे निम्न-संभाव्यता वाले क्षेत्रों से बचा जा सके और पैरामीटर वितरण का वेरिएंस कम हो जाए। हालाँकि, यह शोध पत्र तर्क देता है कि जब उद्देश्य पैरामीटर इन्फरेंस से बदलकर प्रेडिक्शन (prediction) हो जाता है, तो यह चित्रण अधूरा है। विशेष रूप से, लेखक प्रदर्शित करते हैं कि जबकि MFVI पैरामीटर स्पेस में वेरिएंस का कम आकलन कर सकता है, यह ट्रेनिंग डिस्ट्रीब्यूशन से लिए गए टेस्ट पॉइंट्स (In-Distribution या ID डेटा) के लिए प्रेडिक्टिव वेरिएंस का विरोधाभासी रूप से अति-आकलन (overestimate) कर सकता है। यह अति-आकलन उन दिशाओं में अधिक स्पष्ट होता है जहाँ ट्रेनिंग डेटा केंद्रित होता है।

कार्यप्रणाली (Methodology)
लेखक सटीक परिणाम प्राप्त करने के लिए कंजुगेट बेयसियन लीनियर रिग्रेशन (BLR) का उपयोग करते हुए एक कठोर सैद्धांतिक विश्लेषण करते हैं।

सेटअप: वे एक लीनियर मॉडल $y = \theta^\top x + \epsilon$ मानते हैं जिसमें गॉसियन नॉइज़, एक गॉसियन प्रायर $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ , और एक ट्रेनिंग डेटासेट $D$ है।
सटीक बनाम अनुमानित (Exact vs. Approximate): वे सटीक पोस्टीरियर $p(\theta|D)$ (जो एक मल्टीवेरिएट गॉसियन है जिसका कोवेरिएंस $\Sigma$ है) की तुलना MFVI पोस्टीरियर $q(\theta) = \mathcal{N}(m, S)$ से करते हैं, जहाँ $S$ को डायगोनल (diagonal) होने के लिए बाध्य किया गया है।
सैद्धांतिक व्युत्पत्ति (Theoretical Derivation):
- वे व्युत्पन्न करते हैं कि इष्टतम MFVI मीन $m^*$ सटीक पोस्टीरियर मीन $\mu$ के बराबर है।
- वे दिखाते हैं कि इष्टतम MFVI कोवेरिएंस आइगेनवैल्यू $d_p^*$ सटीक पोस्टीरियर आइगेनवैल्यू $\delta_q$ के वेटेड हार्मोनिक मीन्स (weighted harmonic means) हैं, जिन्हें कैनोनिकल बेस वेक्टर्स पर सटीक पोस्टीरियर के आइगेनवेक्टर्स के स्क्वेर्ड प्रोजेक्शन द्वारा भारित (weight) किया गया है।
- इन गुणों का उपयोग करते हुए, वे विभिन्न टेस्ट पॉइंट डिस्ट्रीब्यूशन के लिए प्रेडिक्टिव वेरिएंस $x^\top S^* x$ बनाम $x^\top \Sigma x$ का विश्लेषण करते हैं।
टेम्परेचर स्केलिंग (Temperature Scaling): इस विसंगति को दूर करने के लिए, लेखक कोल्ड पोस्टीरियर इफेक्ट (CPE) का पता लगाते हैं। वे एक "कोल्ड MFVI" पोस्टीरियर को एक टेंपर्ड (कोल्ड) पोस्टीरियर $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ (जहाँ $T < 1$ ) के KL डाइवर्जेंस को मिनिमाइज करके परिभाषित करते हैं। कंजुगेट गॉसियन मामले में, यह केवल MFVI कोवेरिएंस को $T$ द्वारा स्केल करता है ( $S^*_T = T S^*$ )।

मुख्य योगदान (Key Contributions)

अति-आकलन का सैद्धांतिक प्रमाण: यह पेपर सिद्ध करता है कि गोलाकार प्रायर (spherical priors) के साथ BLR के लिए, MFVI ट्रेनिंग डेटा के पहले प्रिंसिपल कंपोनेंट के साथ प्रेडिक्टिव वेरिएंस का अति-आकलन करता है। महत्वपूर्ण रूप से, ट्रेनिंग डिस्ट्रीब्यूशन के अनुसार वितरित टेस्ट पॉइंट्स के लिए, MFVI का अपेक्षित प्रेडिक्टिव वेरिएंस सटीक पोस्टीरियर से अधिक होता है (थ्योरम 3.7)।
कैलिब्रेशन बाधा (Calibration Constraint): लेखक एक "कैलिब्रेशन" गुण स्थापित करते हैं (लेम्मा 3.6): वास्तविक पोस्टीरियर के आइगेनवेक्टर्स पर औसत, MFVI वेरिएंस और सटीक वेरिएंस का अनुपात 1 के बराबर होता है। इसका अर्थ है कि यदि MFVI कुछ दिशाओं में (आमतौर पर डेटा के लंबवत/orthogonal दिशाओं में) वेरिएंस का कम आकलन करता है, तो उसे अन्य दिशाओं में (आमतौर पर उच्च डेटा वेरिएंस वाली दिशाओं में) क्षतिपूर्ति करने के लिए अति-आकलन करना होगा।
पैथोलॉजिकल हाई-डायमेंशनल लिमिट: एक ऐसी स्थिति में जहाँ डेटा रैंक-1 सबस्पेस पर स्थित है, लेखक दिखाते हैं कि जैसे-जैसे डाइमेंशन $P \to \infty$ होता है, MFVI पोस्टीरियर प्रायर प्रेडिक्टिव की तुलना में प्रेडिक्टिव वेरिएंस को कम करने में विफल रहता है। एकल डेटा दिशा से प्राप्त जानकारी $P$ एक्सिस-अलाइंड कंपोनेंट्स में फैल जाती है, जिससे MFVI प्रेडिक्टिव प्रायर प्रेडिक्टिव की ओर ढल जाता है।
कोल्ड पोस्टीरियर इफेक्ट (CPE) की पुनर्व्याख्या: यह पेपर मॉडल मिसमैच या डेटा ऑग्मेंटेशन की अनुपस्थिति में CPE की एक नवीन व्याख्या प्रदान करता है। वे तर्क देते हैं कि तापमान को कम करना ( $T < 1$ ) ID डेटा पर प्रेडिक्टिव वेरिएंस के अति-आकलन को ठीक करता है, जिससे MFVI भविष्यवाणियाँ सटीक पोस्टीरियर के करीब आती हैं। इसके विपरीत, OOD डेटा के लिए, अंडर-एस्टिमेशन को ठीक करने के लिए "वार्म" पोस्टीरियर्स ( $T > 1$ ) की आवश्यकता हो सकती है।

परिणाम (Results)

सिंथेटिक प्रयोग: लो-डायमेंशनल सेटिंग्स ( $P=2$ ) में, MFVI $T=1$ पर सटीक पोस्टीरियर का अच्छा सन्निकटन करता है। हालाँकि, हाई-डायमेंशनल सेटिंग्स ( $P=1024$ ) में रैंक-डेफिशिएंट डेटा के साथ, $T=1$ पर MFVI प्रायर से अलग नहीं दिखता, और डेटा से प्राप्त जानकारी को कैप्चर करने में विफल रहता है।
टेम्परेचर ट्यूनिंग: सिंथेटिक और वास्तविक दुनिया के UCI रिग्रेशन कार्यों (बेसिस फंक्शन रिग्रेशन का उपयोग करके) पर प्रयोग पुष्टि करते हैं कि:
- ID टेस्ट डेटा के लिए, इष्टतम तापमान $T^*$ लगातार 1 से कम होता है, जो MFVI और सटीक प्रेडिक्टिव डिस्ट्रीब्यूशन के बीच विभिन्न सांख्यिकीय डाइवर्जेंस (KL, Wasserstein, आदि) को मिनिमाइज करता है।
- OOD टेस्ट डेटा (ट्रेनिंग दिशाओं के लंबवत) के लिए, इष्टतम तापमान अक्सर 1 से अधिक होता है।
बेसिस फंक्शन रिग्रेशन: नॉन-लीनियर रिग्रेशन (RBF के माध्यम से) के माध्यम से इन अंतर्दृष्टि को लागू करने से पता चलता है कि बेसिस फंक्शन्स की संख्या (डाइमेंशनलिटी) के साथ ओवरएस्टिमेशन पैथोलॉजी बढ़ती है, जो लीनियर रिग्रेशन के निष्कर्षों को दर्शाती है।

महत्व और दावे (Significance and Claims)
यह पेपर दावा करता है कि यह एक मैकेनिस्टिक समझ (mechanistic understanding) प्रदान करता है कि क्यों MFVI इन-डिस्ट्रीब्यूशन डेटा पर अनिश्चितता का अति-आकलन (underconfident) कर सकता है, जो इस मानक धारणा को चुनौती देता है कि MFVI हमेशा ओवरकॉन्फिडेंट होता है।

चरित्र चित्रण की पूर्णता: लेखक का तर्क है कि "MFVI अनिश्चितता का कम आकलन करता है" वाला नैरेटिव अधूरा है; त्रुटि की दिशा टेस्ट डिस्ट्रीब्यूशन के सापेक्ष ट्रेनिंग डेटा पर निर्भर करती है।
CPE का औचित्य: यह कार्य कोल्ड पोस्टीरियर इफेक्ट (CPE) के लिए एक नया औचित्य प्रदान करता है, जो मिसस्पेसिफाइड लाइकलिहुड या प्रायर वाले स्पष्टीकरणों से भिन्न है। यह सुझाव देता है कि टेम्परिंग, हाई-डायमेंशनल, कोरिलेटेड डेटा सेटिंग्स में मीन-फील्ड धारणा द्वारा उत्पन्न विशिष्ट सन्निकटन त्रुटियों को ठीक करने के लिए एक आवश्यक सुधार है।
व्यावहारिक निहितार्थ: ये निष्कर्ष बताते हैं कि उन कार्यों के लिए जहाँ टेस्ट डेटा ट्रेनिंग डेटा के समान है, MFVI पर कोल्ड पोस्टीरियर (तापमान कम करना) लागू करने से प्रेडिक्टिव कैलिब्रेशन और प्रदर्शन में काफी सुधार हो सकता है, जिससे अनुमानित पोस्टीरियर सटीक बेयसियन समाधान के अधिक निकट आ जाता है।

लेखक विनम्रता बरतते हुए कहते हैं कि उनके सैद्धांतिक परिणाम कंजुगेट लीनियर मॉडल्स के लिए प्राप्त किए गए हैं, लेकिन वे अनुभवजन्य रूप से प्रदर्शित करते हैं कि ये अंतर्दृष्टि नॉन-लीनियर बेसिस फंक्शन रिग्रेशन और वास्तविक दुनिया के डेटासेट पर भी लागू होती हैं। वे MFVI की सभी सीमाओं को हल करने का दावा नहीं करते हैं, बल्कि प्रेडिक्टिव सेटिंग्स में MFVI की एक विशिष्ट, प्रति-सहज (counter-intuitive) विफलता मोड को ठीक करने का प्रयास करते हैं।