📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

यह शोध पत्र इस पारंपरिक दृष्टिकोण को चुनौती देता है कि अधिक डेटा के साथ एपिस्टेमिक अनिश्चितता (epistemic uncertainty) समाप्त हो जाती है, यह प्रदर्शित करते हुए कि ओवरपैरामीटराइज्ड न्यूरल नेटवर्क में, समरूपताओं (symmetries) और रेडंडेंट रिप्रेजेंटेशन्स (redundant representations) के कारण होने वाली नॉन-आइडेंटिफिएबिलिटी (non-identifiability), अंतर्निहित फलन (underlying function) के पूरी तरह से पहचाने जाने के बावजूद भी निरंतर पैरामीटर अनिश्चितता की ओर ले जाती है, एक ऐसी घटना जिसका लेखकों ने सैद्धांतिक रूप से विश्लेषण किया है और वन-हिडन-लेयर ReLU नेटवर्क्स में अनुभवजन्य रूप से (empirically) प्रमाणित किया है।

मूल लेखक: David Rügamer

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: David Rügamer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Epistemic Uncertainty of Overparametrized Neural Networks" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: "कई चाबियाँ, एक दरवाज़ा" की समस्या

कल्पना कीजिए कि आपके पास एक बहुत ही जटिल ताला है (वास्तविक दुनिया की समस्या) और हज़ारों चाबियों वाला एक विशाल की-रिंग है (न्यूरल नेटवर्क)। आमतौर पर, हम सोचते हैं कि यदि हमारे पास पर्याप्त डेटा है, तो हम उस एक सटीक चाबी को ढूँढ लेंगे जो ताले को खोलती है, और हमें पूरा विश्वास होगा कि हमने उसे ढूँढ लिया है।

यह पेपर तर्क देता है कि आधुनिक, "ओवरपैरामीटराइज्ड" न्यूरल नेटवर्क्स (वे नेटवर्क जिनमें ज़रूरत से कहीं ज़्यादा चाबियाँ हैं) के लिए यह सच नहीं है। अनंत डेटा होने पर भी, आप शायद कभी भी यह नहीं जान पाएंगे कि आपके हाथ में सटीक रूप से कौन सी चाबी है। आप केवल इतना जानते हैं कि दरवाज़ा खुला है।

लेखक इसे एपिस्टेमिक अनसर्टेंटी (Epistemic Uncertainty) (इस बारे में अनिश्चितता कि हम क्या जानते हैं) कहते हैं। वे दिखाते हैं कि भले ही नेटवर्क को उत्तर पूरी तरह से पता हो, फिर भी वह इस बात को लेकर भ्रमित रहता है कि वह उस उत्तर तक कैसे पहुँचा, क्योंकि एक ही समाधान बनाने के कई अलग-अलग तरीके मौजूद हैं।

उपमा 1: ऑर्केस्ट्रा कंडक्टर (परम्यूटेशन सिमेट्री)

कल्पना कीजिए कि एक कंडक्टर एक ऑर्केस्ट्रा का नेतृत्व कर रहा है। संगीत (भविष्यवाणी/prediction) एकदम सटीक है।

समस्या: वायलिन सेक्शन में 100 खिलाड़ी हैं। यदि खिलाड़ी #1 अपनी सीट बदलकर खिलाड़ी #50 के साथ बदल लेता है, तो संगीत बिल्कुल वैसा ही सुनाई देगा।
भ्रम: यदि आप कंडक्टर से पूछते हैं, "पहला वायलिन कौन बजा रहा है?" और वे कहते हैं, "यह खिलाड़ी #1 है," तो आपको लग सकता है कि उन्हें 100% यकीन है। लेकिन वास्तव में, खिलाड़ी #50 भी वह भूमिका निभा सकता था, और संगीत फिर भी बिल्कुल वैसा ही होता।
पेपर का निष्कर्ष: मानक सांख्यिकी (standard statistics) में, हम मानते हैं कि पर्याप्त अभ्यास (डेटा) के साथ, कंडक्टर को सटीक रूप से पता होगा कि कौन कहाँ बैठा है। लेकिन इन विशाल नेटवर्क्स में, कंडक्टर कभी भी बैठने के चार्ट (seating chart) के बारे में निश्चित नहीं हो सकता, भले ही संगीत त्रुटिहीन क्यों न हो। संगीत (फंक्शन) ज्ञात होने के बावजूद, कौन बजा रहा है (पैरामीटर्स) इसके बारे में अनिश्चितता बनी रहती है।

उपमा 2: पिज्जा स्लाइसिंग (कंटीन्यूअस नॉन-आइडेंटिफिएबिलिटी)

अब, कल्पना कीजिए कि नेटवर्क ज़रूरत से भी बड़ा है। इसमें अतिरिक्त "न्यूरॉन्स" (अतिरिक्त शेफ) हैं जिनकी सख्त ज़रूरत नहीं है।

परिदृश्य: आपको एक पिज्जा बनाना है जिसके लिए ठीक 100 ग्राम चीज़ (cheese) की आवश्यकता है।
भ्रम:
- परिदृश्य A: एक शेफ पिज्जा पर पूरे 100 ग्राम चीज़ डालता है।
- परिदृश्य B: दो शेफ 50-50 ग्राम डालते हैं।
- परिदृश्य C: दस शेफ 10-10 ग्राम डालते हैं।
- परिदृश्य D: शेफ A 99 ग्राम डालता है, शेफ B 1 ग्राम डालता है।
पेपर का निष्कर्ष: नेटवर्क उसी पिज्जा (वही भविष्यवाणी) को प्राप्त करने के लिए अतिरिक्त शेफों के बीच "चीज़" (वेट/weight) को अनंत अलग-अलग तरीकों से बाँट सकता है।
- ऑर्केस्ट्रा की तरह जहाँ लोग बस अपनी सीटें बदलते हैं, यहाँ शेफ लगातार चीज़ को बाँटने के लिए बहस कर रहे हैं।
- पेपर यह सिद्ध करता है कि अनंत डेटा के साथ भी, नेटवर्क चीज़ को बाँटने के किसी एक विशिष्ट तरीके पर नहीं टिकता। इसके बजाय, यह एक "मैनिफोल्ड" (संभावनाओं की एक चिकनी सतह) के आसपास घूमता रहता है जहाँ कुल चीज़ हमेशा 100 ग्राम होती है, लेकिन व्यक्तिगत मात्रा बदलती रहती है।

यह क्यों मायने रखता है? ("क्यों सामान्य माप विफल होते हैं" वाला भाग)

आमतौर पर, जब वैज्ञानिक किसी मॉडल की "अनिश्चितता" को मापते हैं, तो वे देखते हैं कि आउटपुट में कितना बदलाव आता है।

पुराना दृष्टिकोण: "यदि मॉडल हर बार एक ही उत्तर देता है, तो यह अनिश्चित नहीं है।"
पेपर का दृष्टिकोण: "यह गलत है। मॉडल एक ही उत्तर दे सकता है, लेकिन इसके आंतरिक गियर (वजन/weights) अलग-अलग दिशाओं में तेज़ी से घूम रहे हो सकते हैं।"

लेखक बताते हैं कि यदि आप केवल अंतिम उत्तर (पिज्जा) को देखते हैं, तो आप इस तथ्य को नज़रअंदाज़ कर देते हैं कि आंतरिक मशीनरी अराजक (chaotic) है। यह तब महत्वपूर्ण होता है जब आपको यह जानने की आवश्यकता हो कि मॉडल कैसे काम करता है (जैसे डिबगिंग, कंप्रेशन, या यह समझने के लिए कि कौन सी विशेषताएं महत्वपूर्ण हैं), न कि केवल यह कि उत्तर क्या है।

उन्होंने क्या किया?

सिद्धांत (The Theory): उन्होंने गणित का उपयोग करके यह सिद्ध किया कि सरल न्यूरल नेटवर्क्स (ReLU networks) के लिए, यह "बाँटने" (splitting) और "बदलने" (swapping) की प्रक्रिया मॉडल के मस्तिष्क के भीतर अनिश्चितता का एक स्थायी कोहरा पैदा करती है, भले ही मॉडल अपने काम में परफेक्ट हो।
गणित (The Math): उन्होंने इस कोहरे को मैनिफोल्ड्स (manifolds) नामक आकृतियों का उपयोग करके वर्णित किया। इसे एक 3D कमरे में तैरते हुए कागज के एक चिकने, सपाट पन्ने की तरह समझें। मॉडल के वेट्स (weights) उस पन्ने पर कहीं भी फिसल सकते हैं बिना परिणाम बदले।
प्रयोग (The Experiments): उन्होंने ये नेटवर्क्स बनाए और उन्हें कंप्यूटर पर चलाया। उन्होंने "वेट्स" (आंतरिक नंबरों) की गतिविधियों को देखा।
- परिणाम 1: जैसे-जैसे उन्होंने अधिक डेटा देखा, नेटवर्क्स भविष्यवाणियां करने में बेहतर होते गए।
- परिणाम 2: लेकिन आंतरिक वेट्स ने कभी घूमना बंद नहीं किया। वे उन "मैनिफोल्ड्स" (sheets) के साथ फिसलते रहे और अपनी जगह बदलते रहे, जिससे यह सिद्ध हुआ कि आंतरिक संरचना के बारे में अनिश्चितता कभी खत्म नहीं हुई।
सैंपलिंग का मुद्दा (The Sampling Issue): उन्होंने यह भी देखा कि कंप्यूटर इन नेटवर्क्स को कैसे "एक्सप्लोर" करते हैं (MCMC विधि का उपयोग करके)। उन्होंने पाया कि यदि आप कंप्यूटर सिमुलेशन को एक विशिष्ट "बैठने की व्यवस्था" (एक परम्यूटेशन) में शुरू करते हैं, तो वह आमतौर पर वहीं फंस जाता है और अन्य समान व्यवस्थाओं में नहीं कूद पाता, भले ही वे सभी वैध हों। इसका मतलब है कि मानक कंप्यूटर विधियाँ अनिश्चितता की पूरी तस्वीर को मिस कर सकती हैं।

निष्कर्ष (The Takeaway)

पेपर का दावा है कि ओवरपैरामीटराइज्ड न्यूरल नेटवर्क्स में उनकी अपनी आंतरिक संरचना के बारे में एक छिपा हुआ, स्थायी अनिश्चितता होती है।

फंक्शन स्पेस (आउटपुट): मॉडल निश्चित हो जाता है। वह उत्तर जानता है।
पैरामीटर स्पेस (आंतरिक वेट्स): मॉडल अनिश्चित बना रहता है। वह यह नहीं जानता कि वह उस उत्तर तक पहुँचने के लिए नंबरों के किस विशिष्ट संयोजन का उपयोग कर रहा है, क्योंकि लाखों समान रूप से अच्छे संयोजन मौजूद हैं।

यह एक मास्टर शेफ की तरह है जो एक बेहतरीन व्यंजन बना सकता है, लेकिन यदि आप उससे पूछते हैं, "क्या आपने 2 चम्मच नमक डाला या 1 चम्मच नमक और 1 चम्मच सोया सॉस?" तो वह आपको नहीं बता पाएगा, क्योंकि दोनों रेसिपी का स्वाद बिल्कुल एक जैसा है। पेपर का तर्क है कि हमें यह मानना बंद कर देना चाहिए कि शेफ को सटीक रेसिपी पता है सिर्फ इसलिए क्योंकि खाना स्वादिष्ट है।

तकनीकी सारांश: ओवरपैरामिट्राइज्ड न्यूरल नेटवर्क की एपिस्टेमिक अनिश्चितता पर

समस्या विवरण (Problem Statement)

मशीन लर्निंग में एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को पारंपरिक रूप से एक ऐसी कम होने योग्य अनिश्चितता के रूप में परिभाषित किया जाता है जो डेटा के आकार के साथ समाप्त हो जाती है, जिसे अक्सर प्रेडिक्टिव वेरिएबिलिटी (predictive variability) के समान माना जाता है। यह परिप्रेक्ष्य पैरामीटर आइडेंटिफिएबिलिटी (parameter identifiability) की धारणा पर निर्भर करता है, जहाँ पोस्टीरियर डिस्ट्रीब्यूशन $n \to \infty$ होने पर एक अद्वितीय पैरामीटर वेक्टर (या पॉइंट मास) के चारों ओर केंद्रित होता है। हालांकि, ओवरपैरामिट्राइज्ड न्यूरल नेटवर्क्स में, सिमेट्रीज़ (जैसे कि परम्यूटेशन इनवेरियंस) और रेडंडेंट रिप्रेजेंटेशन के कारण पैरामीटर्स आमतौर पर नॉन-आइडेंटिफिएबल होते हैं।

मुख्य समस्या जिसका समाधान किया गया है वह यह है कि जबकि अंतर्निहित फंक्शन $f^*$ पूरी तरह से आइडेंटिफाइड हो सकता है, पैरामीटर स्पेस में पर्याप्त अनिश्चितता बनी रहती है जो अनंत डेटा के साथ भी समाप्त नहीं होती है। क्लासिकल अनसर्टेन्टी डिकम्पोजिशन, जो प्रेडिक्टिव वेरिएंस पर ध्यान केंद्रित करते हैं, इस "रेसिड्यूअल" (residual) अनिश्चितता को पकड़ने में विफल रहते हैं क्योंकि वे उन पैरामीटर परिवर्तनों के प्रति इनवेरिएंट होते हैं जो फंक्शन को अपरिवर्तित रखते हैं। फलस्वरूप, ओवरपैरामिट्राइज्ड मॉडल्स की स्ट्रक्चरल प्रॉपर्टीज (जहाँ पैरामीटर स्पेस में पोस्टीरियर एक पॉइंट में कोलैप्स नहीं होता) और मानक अनसर्टेंटी क्वांटिफिकेशन विधियों के बीच एक विसंगति उत्पन्न होती है।

कार्यप्रणाली (Methodology)

लेखक एक वन-हिडन-लेयर ReLU नेटवर्क आर्किटेक्चर के माध्यम से नॉन-आइडेंटिफिएबिलिटी के लेंस से एपिस्टेमिक अनिश्चितता का विश्लेषण करते हैं:
$f_w(x) = w_2^\top \phi(W_1 x)$
जहाँ $\phi(\cdot) = \max(0, \cdot)$ । अध्ययन एक रेगुलराइज्ड लॉस ऑब्जेक्टिव को मानता है जो एक गौसियन प्रायर (Gaussian prior) के साथ बेयसियन पोस्टीरियर के समतुल्य है।

कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): लेखक नॉन-आइडेंटिफिएबिलिटी के दो स्रोतों के बीच अंतर करते हैं:
- परम्यूटेशन सिमेट्री (Permutation Symmetry): सही ढंग से निर्दिष्ट मॉडल्स ( $M = M^*$ ) में, नॉन-आइडेंटिफिएबिलिटी इन परम्यूटेशन्स के ऊपर हिडन न्यूरॉन्स को बदलने से उत्पन्न होती है। पोस्टीरियर इन परम्यूटेशन्स के ऊपर डिराक मेजर्स (Dirac measures) के मिश्रण के रूप में अभिसरित (converge) होता है।
- कंटीन्यूअस स्प्लिटिंग (Continuous Splitting - Manifold Assignment): ओवरपैरामिट्राइज्ड मॉडल्स ( $M > M^*$ ) में, वास्तविक न्यूरॉन्स को कई रेडंडेंट न्यूरॉन्स के निरंतर संयोजनों द्वारा दर्शाया जा सकता है। यह एक "स्प्लिटिंग मैनिफोल्ड" $\mathcal{M}_\varsigma$ को प्रेरित करता है जहाँ फंक्शन और रेगुलराइजेशन कॉस्ट को बनाए रखते हुए वेट्स को निरंतर पुनर्वितरित किया जा सकता है।
पोस्टीरियर व्युत्पत्ति (Posterior Derivation): पेपर इन मैनिफोल्ड्स पर प्रेरित पोस्टीरियर के सटीक रूप को व्युत्पन्न करता है। यह स्थापित करता है कि एक निश्चित असाइनमेंट मैप $\varsigma$ (जो मॉडल न्यूरॉन्स को वास्तविक न्यूरॉन्स से मैप करता है) के लिए, स्प्लिटिंग कोएफिशिएंट्स एक सिमेट्रिक डिरिचलेट डिस्ट्रीब्यूशन (symmetric Dirichlet distribution) का पालन करते हैं। लेखक मैनिफोल्ड पर पोस्टीरियर को मैनिफोल्ड के चारों ओर एक $\epsilon$ -ट्यूब के लिए एम्बिएंट पोस्टीरियर के वीक लिमिट (weak limit) के रूप में परिभाषित करते हैं जब $\epsilon \to 0$ होता है।
अनुभवजन्य सत्यापन (Empirical Validation): सैद्धांतिक निष्कर्षों को गौसियन प्रायर और लाइकलीहुड्स के साथ बेयसियन न्यूरल नेटवर्क्स (BNNs) का उपयोग करके सत्यापित किया गया है। इन्फरेंस के लिए स्टोकेस्टिक ग्रेडिएंट लैंगविन डायनेमिक्स (SGLD) और नो-यू-टर्न सैंपलर (NUTS) का उपयोग किया गया है। अध्ययन पोस्टीरियर सैंपल्स के अभिसरण गुणों, परम्यूटेशन चैंबर्स के बीच स्विचिंग रेट्स और स्प्लिटिंग कोएफिशिएंट्स के वितरण का विश्लेषण करने के लिए सैंपल्स का विश्लेषण करता है।

मुख्य योगदान (Key Contributions)

एपिस्टेमिक अनसर्टेंटी का पुनर्निर्धारण: पेपर का तर्क है कि ओवरपैरामिट्राइज्ड मॉडल्स में एपिस्टेमिक अनसर्टेंटी में नॉन-आइडेंटिफिएबिलिटी के कारण एक निरंतर घटक शामिल है जो डेटा बढ़ने के साथ समाप्त नहीं होता है, भले ही प्रेडिक्टिव फंक्शन पूरी तरह से आइडेंटिफाइड हो।
रेसिड्यूअल अनसर्टेंटी का लक्षण वर्णन:
- डिस्क्रीट स्रोत: सही ढंग से निर्दिष्ट मॉडल्स में, अनसर्टेंटी परम्यूटेशन ऑर्बिट्स के ऊपर डिराक मेजर्स के मिश्रण के रूप में प्रकट होती है।
- कंटीन्यूअस स्रोत: ओवरपैरामिट्राइज्ड मॉडल्स में, अनसर्टेंटी स्प्लिटिंग मैनिफोल्ड्स के ऊपर एक नॉन-डिजेनरेट डिस्ट्रीब्यूशन के रूप में प्रकट होती है। लेखक व्युत्पन्न करते हैं कि स्प्लिटिंग कोएफिशिएंट्स $\text{Dir}(\alpha, \dots, \alpha)$ के साथ डिरिचलेट डिस्ट्रीब्यूशन का पालन करते हैं जहाँ $\alpha = (p+1)/2$ है।
पोस्टीरियर मोमेंट्स और ज्योमेट्री: लेखक ओवरपैरामिटराइजेशन के तहत वेट्स के पोस्टीरियर मोमेंट्स के स्पष्ट सूत्र व्युत्पन्न करते हैं। वे दिखाते हैं कि जबकि रेडंडेंट न्यूरॉन्स का कुल योगदान स्थिर रहता है, प्रत्येक न्यूरॉन का व्यक्तिगत योगदान नेटवर्क की चौड़ाई $M$ बढ़ने के साथ घटता जाता है (मीन में $O(M^{-1/2})$ और कोवेरिएंस में $O(M^{-1})$ )।
सैंपलिंग डायनेमिक्स: पेपर प्रदर्शित करता है कि मानक MCMC सैंपलर (विशिष्ट निरंतरता धारणाओं के तहत) लगभग निश्चित रूप से (almost surely) एक ही परम्यूटेशन चैंबर या एक ही असाइनमेंट मैनिफोल्ड इंटीरियर तक सीमित होते हैं। वे विभिन्न सिमेट्री-संबंधित क्षेत्रों के बीच सीमाओं को पार नहीं करते हैं, जिसका अर्थ है कि एक सिंगल चेन पूर्ण पोस्टीरियर सपोर्ट के केवल एक उपसमुच्चय (subset) का अन्वेषण करती है।

परिणाम (Results)

कन्वर्जेंस बनाम वेरिएंस: अनुभवजन्य परिणाम पुष्टि करते हैं कि जबकि $n$ बढ़ने के साथ प्रेडिक्टिव परफॉरमेंस (RMSE, LPPD) वास्तविक फंक्शन की ओर अभिसरित होता है, वेट कोवेरिएंस मैट्रिक्स का ट्रेस परम्यूटेशन और स्प्लिटिंग सिमेट्रीज़ के कारण गैर-शून्य बना रहता है।
मैनिफोल्ड स्ट्रक्चर: ओवरपैरामिट्राइज्ड सेटिंग्स ( $M > M^*$ ) में, पोस्टीरियर सैंपल्स इस सैद्धांतिक भविष्यवाणी के अनुरूप होते हैं कि स्प्लिटिंग कोएफिशिएंट्स बीटा डिस्ट्रीब्यूशन (डिरिचलेट का मार्जिनल) का पालन करते हैं। वेट कॉन्ट्रिब्यूशंस के अनुभवजन्य वितरण सैद्धांतिक डिरिचलेट मार्जिनल्स से बारीकी से मेल खाते हैं।
सैंपलिंग व्यवहार: NUTS और SGLD के साथ प्रयोगों से पता चलता है कि चेन्स (chains) सिंगल परम्यूटेशन चैंबर्स के भीतर सीमित रहती हैं। चैंबर्स के बीच "स्विच रेट" नगण्य है, और "मीन मिनिमम मार्जिन" इंगित करता है कि चेन्स विशिष्ट चैंबर्स के भीतर गहराई में रहती हैं, और उन शून्य-माप सीमाओं (measure-zero boundaries) को शायद ही कभी पार करती हैं जहाँ न्यूरॉन्स विनिमेय (exchangeable) हो जाते हैं।
व्यावहारिक प्रभाव: पेपर यह स्पष्ट करता है कि नॉन-आइडेंटिफिएबिलिटी को अनदेखा करने से डाउनस्ट्रीम टास्क में विकृत अनुमान लग सकते हैं। कॉन्टिनुअल लर्निंग (EWC) में, नॉन-आइडेंटिफिएबिलिटी-प्रेरित वेरिएंस पैरामीटर महत्व को गलत तरीके से बढ़ा सकता है, जिससे अत्यधिक प्रतिबंधात्मक अपडेट होते हैं। इस वेरिएंस को ठीक करने से अनुकूलन (adaptation) में सुधार होता है। इसी तरह, पैरामीटर स्पेस में मानक कन्वर्जेंस डायग्नोस्टिक्स (जैसे $\hat{R}$ ) अनिश्चित रूप से बढ़े हुए रह सकते हैं, भले ही फंक्शन-स्पेस कन्वर्जेंस प्राप्त हो गया हो।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह डीप लर्निंग में एपिस्टेमिक अनसर्टेंटी के मानक दृष्टिकोण के लिए एक आवश्यक सुधार प्रदान करता है। यह तर्क देता है कि:

पैरामीटर अनसर्टेंटी बनी रहती है: क्लासिकल दृष्टिकोण के विपरीत जहाँ अनसर्टेंटी डेटा के साथ समाप्त हो जाती है, ओवरपैरामिट्राइज्ड नेटवर्क्स में पैरामीटर अनसर्टेंटी स्ट्रक्चरल सिमेट्रीज़ के कारण अपरिहार्य (irreducible) है।
फंक्शन बनाम पैरामीटर स्पेस: जबकि फंक्शन स्पेस में काम करना इन समस्याओं को कम करता है, सीधे वेट्स पर संचालित होने वाली प्रक्रियाएं (जैसे कि इंटरप्रिटेबिलिटी, मॉडल कम्प्रेशन, कॉन्टिनुअल लर्निंग, या सैंपलिंग-आधारित इन्फरेंस) इस रेसिड्यूअल अनसर्टेंटी को ध्यान में रखनी चाहिए ताकि भ्रामक निष्कर्षों से बचा जा सके।
वर्तमान ह्यूरिस्टिक्स की सीमाएं: प्रैक्टिकल ह्यूरिस्टिक्स जैसे कि डीप एन्सेम्बल्स कुछ नॉन-आइडेंटिफिएबिलिटी प्रभावों को "औसत" (average out) कर सकते हैं, लेकिन वे अंतर्निहित ज्यामितीय संरचना को समाप्त नहीं करते हैं। पेपर सुझाव देता है कि पोस्टीरियर की ज्योमेट्री (विशेष रूप से ओवरपैरामिटराइजेशन द्वारा प्रेरित मैनिफोल्ड्स) को समझना पैरामीटर स्पेस में सटीक अनसर्टेंटी क्वांटिफिकेशन के लिए महत्वपूर्ण है।

लेखक अपने दायरे के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि उनके औपचारिक परिणाम गौसियन प्रायर के साथ वन-हिडन-लेयर ReLU नेटवर्क्स के लिए व्युत्पन्न किए गए हैं। वे स्वीकार करते हैं कि गहरे नेटवर्क अतिरिक्त लेयर-वार नॉन-आइडेंटिफिएबिलिटीज पेश करते हैं जो उनके सिद्धांत द्वारा कवर नहीं किए गए हैं, और विशिष्ट डिरिचलेट स्प्लिटिंग लॉ गौसियन प्रायर/L2 रेगुलराइजेशन के चुनाव पर निर्भर करता है। हालांकि, वे तर्क देते हैं कि परम्यूटेशन और स्प्लिटिंग सिमेट्रीज़ के तंत्र ओवरपैरामिट्राइज्ड मॉडल्स के लिए मौलिक हैं और व्यापक आर्किटेक्चर तक विस्तारित होने की संभावना है।