📊 statistics

Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

यह शोध पत्र रैंडम फीचर रिग्रेशन के लिए एक सुदृढ़ बेयसियन ढांचे का प्रस्ताव करता है जो ट्रैक्टेबल अनिश्चितता सीमाओं को प्राप्त करने के लिए हबर-शैली के संदूषण सेटों (Huber-style contamination sets) और निराशावादी अपडेटिंग (pessimistic updating) का उपयोग करता है, यह प्रदर्शित करते हुए कि भविष्य कहने वाली अनिश्चितता कम्प्यूटेशनल रूप से कुशल बनी रहती है, डबल-डिसेंटต์ एसिम्प्टोटिक्स (double-descent asymptotics) को संरक्षित करती है, और प्रायोर (prior) तथा लाइकलीहुड (likelihood) मिसस्पेसिफिकेशन के तहत बेहतर वर्स्ट-केस गारंटी प्रदान करती है।

मूल लेखक: Michele Caprio, Katerina Papagiannouli, Siu Lun Chau, Sayan Mukherjee

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michele Caprio, Katerina Papagiannouli, Siu Lun Chau, Sayan Mukherjee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम पूर्वानुमानकर्ता हैं जो कल के तापमान की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक परिष्कृत कंप्यूटर मॉडल (रैंडम फीचर मॉडल) है जो पिछले डेटा को देखकर अपना अनुमान लगाता है। आमतौर पर, यह मॉडल बहुत आत्मविश्वासी होता है: यह आपको एक एकल संख्या देता है (जैसे, "70°F") और अनिश्चितता का एक सटीक दायरा भी देता है (जैसे, "68°F और 72°F के बीच")।

हालाँकि, एक समस्या है। यह मॉडल दो बड़े अनुमान लगाता है:

प्रायर धारणा (The Prior Assumption): यह मानता है कि मौसम इतिहास के आधार पर एक बहुत ही विशिष्ट, "सामान्य" तरीके से व्यवहार करता है।
लाइकलीहुड धारणा (The Likelihood Assumption): यह मानता है कि प्राप्त डेटा (तापमान रीडिंग) सटीक है और एक मानक बेल कर्व (घंटी के आकार के वक्र) का पालन करता है।

वास्तविक दुनिया में, ये धारणाएं अक्सर गलत होती हैं। हो सकता कि सेंसर खराब चल रहे हों (खराब डेटा), या जलवायु किसी ऐसे तरीके से बदल रही हो जिसकी मॉडल ने उम्मीद नहीं की थी (गलत धारणाएं)। यदि आप मॉडल पर अंधा विश्वास करते हैं, तो यह आपको एक बहुत ही सटीक लेकिन खतरनाक रूप से गलत उत्तर दे सकता है।

यह शोध पत्र इस अनिश्चितता को संभालने का एक नया तरीका प्रस्तावित करता है, जिसे कंटैमिनेशन रैंडम फीचर्स मॉडल (Contamination Random Features Model) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "सुरक्षा मार्जिन" दृष्टिकोण (कंटैमिनेशन सेट्स)

एक एकल "सर्वश्रेष्ठ अनुमान" पर भरोसा करने के बजाय कि दुनिया कैसे काम करती है, लेखक कहते हैं: "मान लेते हैं कि हमारा मॉडल ज्यादातर सही है, लेकिन शायद थोड़ा सा गलत भी हो सकता है।"

वे कंटैमिनेशन (Contamination) की एक अवधारणा पेश करते हैं। कल्पना कीजिए कि आपका मौसम मॉडल एक रेसिपी (नुस्खा) है।

बेसलाइन: रेसिपी का 95% हिस्सा मूल, भरोसेमंद निर्देश हैं।
कंटैमिनेशन: शेष 5% "वाइल्डकार्ड" सामग्रियां हैं। हमें ठीक से नहीं पता कि वे क्या हैं, लेकिन हम जानते हैं कि वे रसोई में कहीं हैं।

शोध पत्र में, वे इन्हें "क्रेडल सेट्स" (credial sets) कहते हैं। एक एकल संभाव्यता वितरण (probability distribution) के बजाय, वे संभावनाओं के एक बादल के साथ काम करते हैं। वे पूछते हैं: "यदि रेसिपी का 5% हिस्सा खराब किया गया हो, तो सबसे खराब स्थिति (worst-case scenario) क्या होगी?"

2. "निराशावादी" पूर्वानुमानकर्ता

लेखक पेसिमिस्टिक जनरलाइज्ड बायेसियन अपडेटिंग (Pessimistic Generalized Bayesian Updating) नामक रणनीति का उपयोग करते हैं। इसे एक बहुत ही सतर्क पूर्वानुमानकर्ता के रूप में सोचें जो हमेशा सबसे खराब स्थिति के लिए तैयार रहता है।

यदि डेटा थोड़ा दूषित (जैसे सेंसर की खराबी) है, तो यह पूर्वानुमानकर्ता उसे केवल अनदेखा नहीं करता है। वे अपने भविष्यवाणी के दायरे को चौड़ा कर देते हैं ताकि इस संभावना को ध्यान में रखा जा सके कि डेटा झूठ बोल रहा है।
वे दो सीमाएं (boundaries) निर्धारित करते हैं: एक लोअर बाउंड (सबसे आशावादी जो मॉडल हो सकता है) और एक अपर बाउंड (सबसे निराशावादी जो मॉडल हो सकता है)।
परिणाम: एक एकल पतली रेखा के बजाय, आपको एक "सुरक्षा लिफाफा" (safety envelope) या एक "धुंधला क्षेत्र" (fuzzy zone) मिलता है। यह लिफाफा आपको बताता है: "सच्चाई निश्चित रूप से इसी के भीतर है, भले ही हमारी धारणाएं थोड़ी गलत क्यों न हों।"

3. "डबल डिसेंट" (Double Descent) का रहस्य

आधुनिक AI में, एक अजीब घटना होती है जिसे डबल डिसेंट कहा जाता है।

उपमा: कल्पना कीजिए कि आप बिल्ली का चित्र बनाने की कोशिश कर रहे हैं।
- यदि आपके पास बहुत कम रेखाएं (फीचर्स) हैं, तो चित्र धुंधला होता है (उच्च त्रुटि/error)।
- जैसे-जैसे आप अधिक रेखाएं जोड़ते हैं, चित्र स्पष्ट होता जाता है (त्रुटि कम होती है)।
- लेकिन, यदि आप बहुत अधिक रेखाएं (overfitting) जोड़ देते हैं, तो चित्र अजीब और टेढ़ा-मेढ़ा हो जाता है (त्रुटि बढ़ जाती है)।
- ट्विस्ट: यदि आप और भी अधिक रेखाएं जोड़ते जाते हैं, तो चित्र अचानक चिकना और सटीक हो जाता है (त्रुटि फिर से कम हो जाती है)। यह "ऊपर और नीचे" जाने वाला आकार एक दोहरे उतार-चढ़ाव जैसा दिखता है, इसलिए इसे "डबल डिसेंट" कहते हैं।

शोध पत्र यह सिद्ध करता है कि एक बहुत महत्वपूर्ण बात: भले ही आप "कंटैमिनेशन" (खराब डेटा या गलत धारणाएं) जोड़ते हैं, यह डबल डिसेंट का आकार गायब नहीं होता है।

क्या बदलता है: "पहाड़" और "घाटियां" ऊंचे और चौड़े हो जाते हैं। अनिश्चितता का लिफाफा फैल जाता है।
क्या वैसा ही रहता है: शिखर (peak) का स्थान (वह बिंदु जहां मॉडल सबसे अधिक भ्रमित होता है) बिल्कुल वहीं रहता है जहाँ वह पहले था। "डबल डिसेंट" की संरचना सुरक्षित रहती है।

4. "इप्रिसिस हाईएस्ट डेंसिटी रीजन" (IHDR)

आप इस धुंधले लिफाफे का वास्तव में उपयोग कैसे करते हैं? लेखक IHDR नामक एक उपकरण पेश करते हैं।

एक मानक कॉन्फिडेंस इंटरवल को भविष्यवाणी के चारों ओर एक तंग रबर बैंड के रूप में सोचें।
IHDR एक "स्मार्ट रबर बैंड" है। यह उन सबसे खराब परिदृश्यों को कवर करने के लिए पर्याप्त खिंचता है जो आपके कंटैमिनेशन सेटिंग्स द्वारा अनुमत हैं, लेकिन यह अनावश्यक रूप से नहीं खिंचता है।
शोध पत्र दिखाता है कि आप इस जटिल "स्मार्ट बैंड" की गणना बहुत आसानी से कर सकते हैं, बस एक मानक गॉसियन (बेल कर्व) अंतराल को समायोजित करके। यह एक मानक मानचित्र लेने और निर्माण कार्य के कारण सड़कों के चारों ओर "बफर ज़ोन" जोड़ने जैसा है।

शोध पत्र के दावों का सारांश

मजबूती (Robustness): यह स्वीकार करके कि हमारे मॉडल थोड़े गलत हो सकते हैं (कंटैमिनेशन सेट्स के माध्यम से), हम ऐसी भविष्यवाणियां बना सकते हैं जो खराब डेटा या गलत धारणाओं के खिलाफ "सुरक्षित" हों।
सुगमता (Tractability): भले ही हम सबसे खराब परिदृश्यों को देख रहे हों, गणित सरल और तेज़ बना रहता है। हमें सुपरकंप्यूटर की आवश्यकता नहीं है; हमें बस मानक सूत्रों को समायोजित करने की आवश्यकता है।
संरचना संरक्षण (Structure Preservation): AI मॉडलों का अजीब "डबल डिसेंट" व्यवहार एक मौलिक संरचनात्मक विशेषता है। यह तब भी जीवित रहता है जब मॉडल को त्रुटियों से "दूषित" (contaminated) किया जाता है। त्रुटियां केवल अनिश्चितता को बड़ा करती हैं, वे पैटर्न को तोड़ती नहीं हैं।
व्यावहारिक उपकरण: हम "अनिश्चितता लिफाफे" बना सकते हैं जो हमें बताते हैं कि हमें अपनी भविष्यवाणी पर कितना भरोसा करना चाहिए जब डेटा अव्यवस्थित हो।

संक्षेप में, यह शोध पत्र हमें सिखाता है कि कैसे ऐसे AI मॉडल बनाए जाएं जो विनम्र (humble) हों। यह कहने के बजाय कि, "मुझे 99% यकीन है कि तापमान 70°F है," मॉडल कहता है, "यह देखते हुए कि मेरे सेंसर खराब हो सकते हैं, मुझे 99% यकीन है कि यह 65°F और 75°F के बीच है।" और यह सिद्ध करता है कि यह विनम्रता उस अंतर्निहित गणित को नहीं तोड़ती है जिसके माध्यम से मॉडल सीखता है।

तकनीकी सारांश: संदूषित बेयसियन रैंडम फीचर्स में सुदृढ़ भविष्यवाणात्मक अनिश्चितता और डबल-डिसेन्ट (Double Descent)

समस्या विवरण
रैंडम फीचर (RF) मॉडल कर्नेल विधियों को बड़े डेटासेट तक स्केल करने के लिए एक मानक तंत्र है, जिसे अक्सर बेयसियन दृष्टिकोण के माध्यम से व्याख्यायित किया जाता है जहाँ रिज-रेगुलराइज्ड (ridge-regularized) प्रशिक्षण को गाऊसी प्रायर (Gaussian priors) और लाइकलीहुड्स (likelihoods) के साथ मैक्सिमम ए पोस्टेरिओरी (MAP) अनुमान के रूप में देखा जाता है। हालाँकि, शास्त्रीय बेयसियन RF फॉर्मुलेशन उन मॉडलिंग धारणाओं (गुणांकों पर गाऊसी प्रायर और आउटपुट्स के लिए गाऊसी लाइकलीहुड) पर निर्भर करते हैं जो वास्तव में शायद ही कभी सटीक होती हैं। हेवी-टेल्ड नॉइज़ (heavy-tailed noise), लेबल भ्रष्टाचार (label corruption), हेटेरोस्केडैस्टिसिटी (heteroskedasticity), या डिस्ट्रीब्यूशन शिफ्ट के कारण होने वाले विचलन ऐसे भविष्यवाणात्मक वितरणों को अत्यधिक आत्मविश्वासी, भंगुर (brittle), या प्रायर के चयन के प्रति संवेदनशील बना सकते हैं। यह शोध पत्र इस प्रश्न को संबोधित करता है कि जब प्रायर और लाइकलीहुड मिसस्पेसिफिकेशन (misspecification) को स्पष्ट रूप से ध्यान में रखा जाता है, तो बेयसियन RF निष्कर्ष कैसे बदलते हैं, विशेष रूप से यह जांचते हुए कि क्या RF मॉडल के संरचनात्मक गुण, जैसे कि डबल-डिसेन्ट घटना, इस अनिश्चितता के तहत बने रहते हैं।

कार्यप्रणाली (Methodology)
लेखक एक कंटैमिनेशन रैंडम फीचर्स (CRF) मॉडल प्रस्तावित करते हैं, जो एक सुदृढ़ बेयियन फॉर्मुलेशन है जो एकल प्रायर और लाइकलीहुड विनिर्देशों के स्थान पर क्रेडल सेट्स (credal sets) (संभाव्यता मापों के उत्तल, weak*-closed सेट) का उपयोग करता है।

संदूषण सेट (Contamination Sets): मॉडल $\epsilon$ -संदूषित प्रायर सेट्स और $\eta$ -संदूषित लाइकलीहुड सेट्स का उपयोग करता है। इन्हें बेसलाइन गाऊसी विनिर्देशों ( $P^N$ और $L^N$ ) को मनमाने वैकल्पिक वितरणों ( $Q$ और $S$ ) के साथ मिश्रण के रूप में परिभाषित किया गया है। औपचारिक रूप से, $P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ और $L_\eta = \{(1-\eta)L^N + \eta S\}$ ।
अनुमान नियम (Inference Rule): लेखक पेसिमिस्टिक जनरलाइज्ड बेयसियन अपडेटिंग (pessimistic generalized Bayesian updating) (Walley, 1991) को अपनाते हैं। यह दृष्टिकोण एकल पोस्टीरियर वितरण के बजाय क्रेडल सेट्स के लोअर (lower) और अपर (upper) एनवेलप को अपडेट करके रूढ़िवादी (worst-case) पोस्टीरियर निष्कर्ष प्रदान करता है।
विश्लेणात्मक दृष्टिकोण: शोध पत्र लोअर और अपर पोस्टीरियर प्रेडिक्टिव डेंसिटी के लिए स्पष्ट बाउंड्स (bounds) व्युत्पन्न करता है। यह $\epsilon$ और $\eta$ को क्रमशः प्रायर और डेटा-जनरेटिंग धारणाओं के लिए 'एम्बिग्युटी बजट' (ambiguity budget) के रूप में व्याख्यायित करते हुए, प्रायर और लाइकलीहुड के लिए कंटैमिनेशन पैरामीटर्स के रूप में व्यवहार करता है।

प्रमुख योगदान

स्पष्ट भविष्यवाणात्मक बाउंड्स (Explicit Predictive Bounds): लेखक एक साथ प्रायर और लाइकलीहुड कंटैमिनेशन द्वारा प्रेरित लोअर और अपर पोस्टीरियर प्रेडिक्टिव डेंसिटी के लिए सुलभ, स्पष्ट बाउंड्स व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि लोअर पोस्टीरियर प्रेडिक्टिव डेंसिटी $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$ को संतुष्ट करती है, जहाँ $\ell_{pred}$ शास्त्रीय गाऊसी प्रेडिक्टिव डेंसिटी है। अपर बाउंड में एक योगात्मक (additive) वर्स्ट-केस टर्म शामिल है। ये परिणाम बताते हैं कि प्रायर और लाइकलीहुड का मध्यम कंटैमिनेशन लगभग पोस्टीरियर प्रेडिक्टिव वितरण के प्रत्यक्ष कंटैमिनेशन के समान कार्य करता है।
इम्प्रेसिस हाईएस्ट डेंसिटी रीजन (IHDR): भविष्यवाणात्मक अनिश्चितता को मापने के लिए, यह शोध पत्र IHDR पेश करता है, जिसे लक्षित लोअर प्रेडिक्टिव प्रोबेबिलिटी मास प्राप्त करने वाले सबसे छोटे क्षेत्र के रूप में परिभाषित किया गया है। लेखक दिखाते हैं कि IHDR को शास्त्रीय गाऊसी पोस्टीरियर प्रेडिक्टिव वितरण के एक विश्वसनीय अंतराल (credible interval) द्वारा एक एडजस्टेड कवरेज लेवल ( $\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$ ) के साथ कुशलतापूर्वक अनुमानित किया जा सकता है। यह सुदृढ़ भविष्यवाणात्मक अंतरालों के लिए एक कम्प्यूटेशनल रूप से व्यवहार्य प्रक्रिया प्रदान करता है।
वैरिएंस बाउंड्स और एसिम्प्टोटिक्स (Variance Bounds and Asymptotics): शोध पत्र लोअर और अपर प्रेडिक्टिव वेरिएंस के लिए बाउंड्स व्युत्पन्न करता है। एक हल्के ट्रंकेशन अप्रोक्सिमेशन (truncation approximation) के तहत, इन वेरिएंस बाउंड्स को शास्त्रीय प्रेडिक्टिव वेरिएंस के एफाइन ट्रांसफॉर्मेशन (affine transformations) के रूप में दिखाया गया है। महत्वपूर्ण रूप से, लेखक सिद्ध करते हैं कि ये बाउंड्स RF मॉडल के लिए ज्ञात लीडिंग-ऑर्डर प्रोपोर्शनल-ग्रोथ एसिम्प्टोटिक्स (leading-order proportional-growth asymptotics) को संरक्षित करते हैं।
डबल-डिसेन्ट संरक्षण (Double-Descent Preservation): विश्लेषण प्रदर्शित करता है कि डबल-डिसेन्ट चरण संरचना (इंटरपोलेशन थ्रेशोल्ड $N \approx n$ के पास रिस्क और वेरिएंस का सिंगुलर व्यवहार) कंटैमिनेशन के तहत सुरक्षित रहती है। कंटैमिनेशन पैरामीटर्स वेरिएंस पीक के परिमाण को बढ़ाने वाले रीस्केलिंग कारकों के रूप में कार्य करते हैं, लेकिन प्रोपोर्शनल ग्रोथ रिजीम में इसके स्थान को नहीं बदलते हैं।

परिणाम

सैद्धांतिक बाउंड्स: व्युत्पन्न बाउंड्स पुष्टि करते हैं कि शास्त्रीय गाऊसी प्रेडिक्टिव वितरण के चारों ओर अनिश्चितता एनवेलप सीधे कंटैमिनेशन स्तरों $\epsilon$ और $\eta$ से प्रभावित होते हैं। लोअर बाउंड एक सरल रीस्केलिंग है, जबकि अपर बाउंड एक रीस्केलिंग और ट्रंकेशन इंटरवल पर निर्भर टर्म का संयोजन है।
एसिम्प्टोटिक व्यवहार: प्रोपोर्शनल एसिम्प्टोटिक रिजीम ( $n, d, N \to \infty$ के साथ फिक्स्ड रेश्यो) में, सुदृढ़ मॉडल बेसलाइन RF मॉडल के समान ही एसिम्प्टोटिक व्यवहार बनाए रखता है। प्रेडिक्टिव वेरिएंस में डबल-डिसेन्ट पीक अभी भी उसी स्थान ( $\psi_1 = N/d$ ) पर रहती है, हालांकि इसकी ऊंचाई कंटैमिनेशन द्वारा बढ़ जाती है।
संख्यात्मक सत्यापन (Numerical Validation): लेबल मिसस्पेसिफिकेशन (हूबर-शैली के आउटलेयर्स के माध्यम से सिम्युलेटेड) पर प्रयोग पुष्टि करते हैं कि कंटैमिनेशन लेवल $\eta$ को बढ़ाने से इंटरपोलेशन थ्रेशोल्ड के पास टेस्ट MSE पीक का आयाम बढ़ता है, बिना इसके स्थान को बदले। बायस (bias) घटक स्थिर रहता है, जबकि वेरिएंस घटक डबल-डिसेन्ट व्यवहार को संचालित करता है, जो सैद्धांतिक बाउंड्स के अनुरूप है।

महत्व और दावे
यह शोध पत्र बेयसियन रैंडम फीचर्स के लिए एक सुदृढ़ता सिद्धांत (robustness theory) स्थापित करता है। यह दावा करता है कि प्रायर और लाइकलीहुड के सीमित मिसस्पेसिफिकेशन के तहत भी RF मॉडल में भविष्यवाणात्मक अनिश्चितता कम्प्यूटेशनल रूप से सुलभ और एसिम्प्टोटिक रूप से सुव्यवस्थित रह सकती है।

त्याग के बिना सुदृढ़ता (Robustness without Sacrifice): यह ढांचा गाऊसी RF मॉडल की विश्लेषणात्मक सुलभता को छोड़े बिना स्पष्ट, वर्स्ट-केस गारंटी (अनिश्चितता एनवेलप और IHDR के माध्यम से) प्रदान करता है।
संरचनात्मक स्थिरता (Structural Stability): एक केंद्रीय दावा यह है कि उच्च-आयामी शिक्षण (high-dimensional learning) की संरचनात्मक विशेषताएं, विशेष रूप से डबल-डिसेन्ट घटना, मॉडल मिसस्पेसिफिकेशन के प्रति सुदृढ़ हैं। कंटैमिनेशन अनिश्चितता के "तनुकरण" (dilution) या प्रवर्धन के रूप में कार्य करता है लेकिन मॉडल के मौलिक फेज ट्रांजिशन स्ट्रक्चर को नहीं बदलता है।
व्यावहारिक उपयोगिता: प्रस्तावित विधि आउटलेयर्स या डिस्ट्रीब्यूशन शिफ्ट की उपस्थिति में अनिश्चितता को मापने के लिए एक सिद्धांत आधारित तरीका प्रदान करती है, जिससे अभ्यासकर्ता कंटैमिनेशन पैरामीटर्स के आधार पर सेंसिटिविटी कर्व्स या कैलिब्रेटेड प्रेडिक्टिव इंटरवल्स रिपोर्ट कर सकते हैं।

लेखक नोट करते हैं कि मनमाने नॉनपैरामेट्रिक कंटैमिनेशन के तहत पूर्णतः स्वचालित कंटैमिनेशन स्तरों $(\epsilon, \eta)$ का चयन करने के लिए अतिरिक्त मॉडलिंग धारणाओं की आवश्यकता है और इसे भविष्य के कार्य के लिए छोड़ दिया गया है। इसी तरह, अपर वेरिएंस बाउंड्स के लिए ट्रंकेशन इंटरवल्स का चयन वर्तमान में ह्यूरिस्टिक (heuristic) है, हालांकि डेटा-एडाप्टिव विकल्पों को भविष्य के अनुसंधान के लिए एक दिशा के रूप में पहचाना गया है।

1. "सुरक्षा मार्जिन" दृष्टिकोण (कंटैमिनेशन सेट्स)

2. "निराशावादी" पूर्वानुमानकर्ता

3. "डबल डिसेंट" (Double Descent) का रहस्य

4. "इप्रिसिस हाईएस्ट डेंसिटी रीजन" (IHDR)

शोध पत्र के दावों का सारांश

इसी तरह के और पेपर