🤖 machine learning

Bandwidth Selection in Kernel Density Estimation for Model Calibration

यह शोध पत्र रिस्क अलाइनमेंट (RA) को प्रस्तुत करता है, जो एक नवीन अनुकूलन ढांचा (optimization framework) है जो पुनर्गठित जोखिम (reconstructed risk) को अनुभवजन्य जोखिम (empirical risk) के साथ संरेखित करके मॉडल अंशांकन (model calibration) के लिए इष्टतम कर्नेल बैंडविड्थ का चयन करता है, जिससे यह मानक चयन विधियों से बेहतर प्रदर्शन करता है और अधिक विश्वसनीय अनिश्चितता मूल्यांकन प्रदान करता है।

मूल लेखक: Han Zhou, Teodora Popordanoska, Matthew Blaschko

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Han Zhou, Teodora Popordanoska, Matthew Blaschko

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आप सिर्फ यह नहीं कहते कि "बारिश होगी"; बल्कि आप कहते हैं, "बारिश होने की 80% संभावना है।"

समस्या: "आत्मविश्वास" का जाल (The "Confidence" Trap)
AI की दुनिया में, मॉडल मौसम विज्ञानियों की तरह होते हैं। वे भविष्यवाणियां करते हैं और उनके साथ एक "कॉन्फिडेंस स्कोर" (आत्मविश्वास का स्तर) भी जोड़ते हैं (जैसे, "मुझे 90% यकीन है कि यह एक बिल्ली है")। आदर्श रूप से, यदि कोई मॉडल कहता है कि वह 90% आश्वस्त है, तो उसे 90% बार सही होना चाहिए। इसे वेल-कैलिब्रेटेड (well-calibrated) कहा जाता है।

हालाँकि, आधुनिक AI मॉडल अक्सर ज़रूरत से ज़्यादा आत्मविश्वासी (overconfident) होते हैं। वे "99% आश्वस्त" कह सकते हैं, लेकिन गलत हो सकते हैं। इसे ठीक करने के लिए, वैज्ञानिकों को यह मापने का तरीका चाहिए कि वह आत्मविश्वास कितना गलत है। यहीं पर यह शोध पत्र काम आता है।

पुराना तरीका: "बाल्टी" विधि (The "Bucket" Method)
पारंपरिक रूप से, यह जांचने के लिए कि क्या एक मॉडल कैलिब्रेटेड है, वैज्ञानिक बिनिंग (binning) नामक विधि का उपयोग करते हैं। कल्पना कीजिए कि आपके पास पानी की एक बाल्टी है (मॉडल के कॉन्फिडेंस स्कोर) और आप निश्चित आकार की बाल्टियों (0-10%, 10-20%, आदि) में पानी डालकर उसका स्तर मापने की कोशिश कर रहे हैं।

दोष: यह एक बहती हुई नदी को लकड़ी की बाड़ (picket fence) के माध्यम से देखने जैसा है। आप बाड़ के बीच के विवरणों को खो देते हैं। यह "ऊबड़-खाबड़" (jagged) डेटा बनाता है और यह इस बात के प्रति बहुत संवेदनशील है कि आपने बाल्टियों का आकार कैसे रखा है। यदि आप बाल्टी का आकार थोड़ा सा भी बदलते हैं, तो आपका माप पूरी तरह बदल जाता है।

नया तरीका: "स्मूथ कर्व" (KDE)
लेखक इसके बजाय कर्नेल डेंसिटी एस्टीमेशन (KDE) का उपयोग करने का सुझाव देते हैं। इसे एक लकड़ी की बाड़ के बजाय एक चिकनी, पारदर्शी कांच की शीट के रूप में सोचें। डेटा को कठोर बाल्टियों में डालने के बजाय, यह विधि एक चिकना, निरंतर वक्र (curve) बनाती है जो सभी डेटा बिंदुओं के बीच से बहता है। यह बहुत अधिक सुंदर है और "बाल्टी" विधि के "ऊबड़-खाबड़" किनारों से बचता है।

चुनौती: "ज़ूम लेंस" की समस्या (The "Zoom Lens" Problem)
tricky हिस्सा यह है: उस चिकने वक्र को बनाने के लिए, आपको एक बैंडविड्थ (bandwidth) चुनने की आवश्यकता होती है।

बैंडविड्थ को एक ज़ूम लेंस के रूप में समझें।
- बहुत अधिक ज़ूम (छोटा बैंडविड्थ): आप धूल का हर छोटा कण और हर एक पत्ती देखते हैं। आप विवरण तो देखते हैं, लेकिन बड़ी तस्वीर चूक जाते हैं। वक्र स्पाइक्स (spikes) का एक ऊबड़-खाबड़ ढेर बन जाता है, जो वास्तविक मौसम पैटर्न के बजाय रैंडम शोर (जैसे कि बारिश की एक अकेली बूंद) पर प्रतिक्रिया करता है।
- बहुत कम ज़ूम (बड़ा बैंडविड्थ): आप इतना ज़ूम आउट हो जाते हैं कि वक्र एक सपाट, उबाऊ रेखा बन जाता है। आप वास्तविक डेटा के महत्वपूर्ण उतार-चढ़ाव को मिस कर देते हैं।

अतीत की गलती: "सेल्फी" का जाल (The "Selfie" Trap)
पहले, वैज्ञानिक ज़ूम लेवल चुनने के लिए मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) नामक एक मानक विधि का उपयोग करते थे।

उपमा: MLE एक ऐसे फोटोग्राफर की तरह है जिसे केवल व्यक्तिगत विषय को परफेक्ट दिखाने की चिंता होती है। वह इतना करीब ज़ूम करता है कि वह व्यक्ति की नाक के सूक्ष्म छिद्रों (शोर/noise) पर ध्यान केंद्रित करता है और चेहरे के आकार (वास्तविक पैटर्न) को अनदेखा कर देता है।
परिणाम: AI को लगता है कि वह बहुत आत्मविश्वासी है क्योंकि वह एक बहुत ही विशिष्ट विवरण पर ध्यान केंद्रित कर रहा है, लेकिन वास्तव में वह रैंडम शोर (noise) के प्रति ओवरफिट हो रहा है। यह आपको मॉडल की विश्वसनीयता के बारे में असली सच्चाई बताने में विफल रहता है।

समाधान: "रिस्क अलाइनमेंट" (RA)
लेखक एक नया तरीका पेश करते हैं, जिसे रिस्क अलाइनमेंट (RA) कहा जाता है।

उपमा: यह पूछने के बजाय कि, "क्या यह ज़ूम लेवल व्यक्तिगत पिक्सेल को शार्प बनाता है?" (जैसा कि MLE करता है), RA पूछता है, "क्या यह ज़ूम लेवल पूरी तस्वीर को वास्तविकता के साथ मेल खाता है?"
यह कैसे काम करता है: कल्पना कीजिए कि आप एक कमरे में लोगों की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं।
- MLE एक विशिष्ट व्यक्ति की ऊंचाई को पूरी तरह से सटीक बताने की कोशिश करता है, भले ही इसके लिए उसे बाकी सभी को अनदेखा करना पड़े।
- RA पूरे समूह की कुल त्रुटि (total error) को देखता है। यह समझ जाता है कि यदि आप बहुत अधिक ज़ूम करते हैं, तो "शोर" (रैंडम बदलाव), "सिग्नल" (वास्तविक पैटर्न) को खत्म कर देता है। यह उस "गोल्डिलॉक्स" (Goldilocks) ज़ूम लेवल को खोज लेता है जहाँ स्मूथ कर्व वास्तविक परिणामों के साथ सबसे अच्छी तरह मेल खाता है, और रैंडम स्टेटिक (static) को अनदेखा करता है।

यह क्यों महत्वपूर्ण है?
यह शोध पत्र सिद्ध करता है कि इस "रिस्क अलाइनमेंट" विधि का उपयोग करके:

यह AI को अपने आत्मविश्वास के बारे में झूठ बोलने से रोकता है। यह सही ज़ूम लेवल पाता है ताकि वास्तविक विश्वसनीयता वक्र देखा जा सके।
यह पुराने "बाल्टी" तरीके से बेहतर काम करता है। स्मूथ कर्व अधिक सटीक है।
यह पुराने "सेल्फी" तरीके (MLE) से बेहतर काम करता है। यह छोटे, रैंडम विवरणों से विचलित नहीं होता है।

निष्कर्ष (The Bottom Line)
लेखकों ने AI के आत्मविश्वास को मापने के लिए एक बेहतर पैमाना बनाया है। उन्होंने महसूस किया कि पुराने पैमाने या तो बहुत मोटे (बाल्टियाँ) थे या शोर पर बहुत अधिक ज़ूम किए हुए (MLE) थे। उनका नया उपकरण (रिस्क अलाइनमेंट) एकदम सही फोकस पाता है, यह सुनिश्चित करता है कि जब कोई AI कहता है, "मैं 90% आश्वस्त हूँ," तो उसका वास्तव में वही अर्थ हो।

नोट: पेपर में उल्लेख किया गया है कि हालांकि यह अधिकांश कार्यों के लिए बहुत अच्छा काम करता है, लेकिन यदि आपके पास बहुत बड़ी संख्या में श्रेणियां (जैसे 1,000 अलग-अलग प्रकार की वस्तुएं) हैं, तो "स्मूथ कर्व" विधि संघर्ष कर सकती है क्योंकि स्थान भरने के लिए पर्याप्त डेटा नहीं होता है, जो कि कुछ रेत के कणों के मार्गदर्शन से एक रेगिस्तान का स्मूथ मैप बनाने की कोशिश करने जैसा है।

तकनीकी सारांश: मॉडल अंशांकन (Model Calibration) के लिए कर्नेल डेंसिटी एस्टीमेशन में बैंडविड्थ चयन

समस्या विवरण
जैसे-जैसे डीप लर्निंग मॉडल्स को उच्च-जोखिम वाले अनुप्रयोगों (high-stakes applications) में तैनात किया जा रहा है, उनकी अनिश्चितता अनुमानों (uncertainty estimates) की विश्वसनीयता (अंशांकन/calibration) उतनी ही महत्वपूर्ण है जितनी कि भविष्य कहनेवाला सटीकता (predictive accuracy)। मिसकैलिब्रेशन (Miscalibration) तब होता है जब मॉडल के कॉन्फिडेंस स्कोर वास्तविक परिणामों की संभावना (true likelihood) के साथ संरेखित नहीं होते हैं। अंशांकन का मूल्यांकन करने के लिए वास्तविक सशर्त प्रायिकता (conditional probability) $R = E[y | f(x)]$ का अनुमान लगाना आवश्यक है, जो अज्ञात है और जिसे अनुभवजन्य रूप से (empirically) अनुमानित किया जाना चाहिए।

पारंपरिक विधियाँ बिनिंग (जैसे, एक्सपेक्टेड कैलिब्रेशन एरर) पर निर्भर करती हैं, जो प्रेडिक्शन स्पेस को असतत अंतरालों (discrete intervals) में विभाजित करती हैं। सरल होने के बावजूद, बिनिंग कृत्रिम विच्छेदन (artificial discontinuities) पैदा करती है, उच्च विचरण (high variance) का शिकार होती है, और विभाजन योजना के प्रति संवेदनशील होती है। इसके अतिरिक्त, यह एसिम्प्टोटिक रूप से असंगत (asymptotically inconsistent) है और मल्टी-क्लास सेटिंग्स में 'कर्स ऑफ डायमेंशनलिटी' (curse of dimensionality) का सामना करती है।

कर्नेल डेंसिटी एस्टीमेशन (KDE) बिनिंग के एक सुचारू (smooth) और अवकलनीय (differentiable) विकल्प के रूप में उभरा है। हालाँकि, KDE-आधारित एस्टिमेटर्स की विश्वसनीयता काफी हद तक कर्नेल बैंडविड्थ ( $h$ ) के चयन पर निर्भर करती है। मानक चयन तकनीकें, जैसे कि मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE), अंशांकन कार्यों के लिए इष्टतम नहीं हैं। MLE स्थानीय घनत्व (local density) को अधिकतम करने के लिए रोगजनक रूप से छोटे बैंडविड्थ (pathologically small bandwidths) को चुनने की ओर प्रवृत्त होता है, जिससे एस्टिमेटर अंतर्निहित अंशांकन प्रोफाइल को पकड़ने के बजाय सैंपलिंग शोर (sampling noise) के प्रति ओवरफिट हो जाता है। इसके परिणामस्वरूप एक "वैरिएंस-बायस ट्रैप" (variance-bias trap) उत्पन्न होता है जहाँ एस्टिमेटर एक नियरस्ट-नेबर लेबल सैंपलर में बदल जाता है, जिससे शोर युक्त और अविश्वसनीय कैलिब्रेशन सतहें (calibration surfaces) बनती हैं।

कार्यप्रणाली: रिस्क एलाइनमेंट (RA)
लेखक बैंडविड्थ के चयन के लिए एक नवीन अनुकूलन ढांचा (optimization framework) के रूप में रिस्क एलाइनमेंट (RA) प्रस्तावित करते हैं। मुख्य अंतर्दृष्टि प्रॉपर स्कोरिंग रूल्स के ब्रेगमैन अपघटन (Bregman decomposition) से प्राप्त की गई है, जो एक प्रॉपर लॉस के अपेक्षित जोखिम (expected risk) को दो घटकों में विभाजित करती है:

कैलिब्रेशन एरर (CE): अनुमानित प्रायिकताओं और वास्तविक सशर्त प्रायिकताओं के बीच का अंतर।
रिफाइनमेंट (REF): नमूनों के बीच अंतर करने की मॉडल की क्षमता।

लेखक सैद्धांतिक रूप से प्रदर्शित करते हैं कि हालांकि कैलिब्रेशन और रिफाइनमेंट के व्यक्तिगत एस्टिमेटर्स सशर्त प्रायिकता एस्टिमेटर ( $\text{Var}(\hat{R})$ ) के विचरण (variance) से दूषित होते हैं, लेकिन ये विचरण पद कुल जोखिम (total risk) बनाने के लिए जुड़ते समय एक संरचनात्मक रद्दीकरण (structural cancellation) प्रदर्शित करते हैं। विशेष रूप से:

कैलिब्रेशन पद में, विचरण एक स्प्यूरियस पॉजिटिव बायस (spurious positive bias) के रूप में कार्य करता है।
रिफाइनमेंट पद में, विचरण एक नेगेटिव बायस के रूप में प्रकट होता है।
जब इन्हें मिलाया जाता है, तो द्वितीय-क्रम के विचरण पद (second-order variance terms) रद्द हो जाते हैं, जिससे कुल जोखिम का बायस मुख्य रूप से $R$ के एस्टीमेशन बायस से जुड़ जाता है, जो अनुमानित प्रायिकता द्वारा निर्धारित भार (weight) द्वारा स्केल होता है।

इस आधार पर, RA ऑब्जेक्टिव पूरे डेटासेट में KDE-पुनर्निर्मित जोखिम और अनुभवजन्य प्रेक्षित जोखिम (ग्राउंड ट्रुथ लेबल्स) के बीच कुल विसंगति को कम करता है:
$L_{RA}(h) = \sum_{i=1}^{n} |\hat{r}_{kde, i}(h) - r_i|^p$
जहाँ $\hat{r}_{kde, i}$ को KDE एस्टिमेटर $\hat{R}_i$ का उपयोग करके पुनर्निर्मित जोखिम है, और $r_i$ प्रेक्षित जोखिम है। पुनर्निर्मित जोखिम को अनुभवजन्य ग्राउंड ट्रुथ के साथ संरेखित करके, RA एक ऐसा बैंडविड्थ चुनता है जो स्थानीय स्टोकेस्टिक शोर (विचरण) को दबाता है जबकि एस्टिमेटर की सुगमता (smoothness) को बनाए रखता है, जिससे प्रभावी रूप से उस 'वैरिएंस-बायस ट्रेडऑफ' से बचा जा सके जो MLE को प्रभावित करता है।

प्रमुख योगदान

नवीन ढांचा: KDE-आधारित अंशांकन एस्टिमेटर्स में बैंडविड्थ चयन के लिए एक सिद्धांत आधारित अनुकूलन ढांचा, रिस्क एलाइनमेंट (RA) ऑब्जेक्टिव का परिचय, जिसे जोखिम अनुमान संरेखण समस्या के रूप में तैयार किया गया है।
सैद्धांतिक विश्लेषण: एक सैद्धांतिक प्रदर्शन कि RA ऑब्जेक्टिव कुल जोखिम अपघटन में विचरण पदों के रद्दीकरण का लाभ उठाकर अंशांकन एस्टीमेशन बायस को कम करता है। यह विभिन्न मेट्रिक्स, जिनमें कैनोनिकल और क्लास-वाइज कैलिब्रेशन एरर शामिल हैं, के लिए लागू होने वाला मानदंड स्थापित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो दिखाते हैं कि RA बैंडविड्थ चुनने में मानक MLE और बिनिंग विधियों की तुलना में लगातार बेहतर प्रदर्शन करता है, जिससे अधिक विश्वसनीय अंशांकन मूल्यांकन प्राप्त होता है।

परिणाम
लेखकों ने सिंथेटिक और वास्तविक दुनिया के डेटा पर अपने तरीके का मूल्यांकन किया:

सिंथेटिक डेटा: ज्ञात ग्राउंड-ट्रुथ कंडीशनल प्रोबेबिलिटी वाले परिदृश्यों में, RA का उपयोग करने वाले KDE एस्टिमेटर्स ने क्लास-वाइज कैलिब्रेशन एरर का अनुमान लगाने में सर्वश्रेष्ठ प्रदर्शन किया, जो MLE और बिनिंग बेसलाइन्स से काफी बेहतर रहा। RA ने ऐसी रिलायबिलिटी प्लॉट्स (reliability plots) बनाईं जो ग्राउंड ट्रुथ के करीब थीं, जबकि MLE-चयनित बैंडविड्थ ओवरफिटिंग को दर्शाने वाले तीखे स्पाइक्स (spikes) उत्पन्न करती थी।
वास्तविक दुनिया का डेटा: विभिन्न मॉडल्स (ResNet, VGG, ViT, Transformers) का उपयोग करके CIFAR-10/100, ImageNet और Amazon Reviews पर किए गए प्रयोगों ने MLE और बिनिंग विधियों की तुलना में RA की श्रेष्ठता की पुष्टि की। क्लास-वाइज सेटिंग्स में, RA ने लगातार MLE और बिनिंग विधियों की तुलना में सबसे कम मीन एब्सोल्यूट एरर (MAE) दिया।
- नोट ऑन हाई डायमेंशन: पेपर नोट करता है कि अत्यंत उच्च-आयामी सेटिंग्स (जैसे, 1,000 ImageNet क्लासेस के साथ कैनोनिकल कैलिब्रेशन) में, प्रायबिलिटी सिम्प्लेक्स (probability simplex) पर डेटा की कमी के कारण KDE विधियाँ (RA सहित) खराब प्रदर्शन करती हैं। इन विशिष्ट व्यवस्थाओं में, लेखकों ने देखा कि KDE विधियाँ Kernel Ridge Regression (KRR) दृष्टिकोणों की तुलना में कम प्रतिस्पर्धी हो जाती हैं, जो सुझाव देता है कि जबकि RA बैंडविड्थ को अनुकूलित करता है, उच्च आयामों में कर्नेल का चुनाव भी महत्वपूर्ण बना रहता है।

महत्व और दावे
पेपर का दावा है कि RA एक सिद्धांत आधारित बैंडविड्थ चयन मानदंड प्रदान करता है जो वर्तमान KDE अंशांकन एस्टिमेटर्स की मौलिक सीमाओं को संबोधित करता है। डेंसिटी रिकवरी (MLE) से ध्यान हटाकर रिस्क एलाइनमेंट पर केंद्रित करके, यह विधि सुनिश्चित करती है कि अंशांकन मूल्यांकन सैंपलिंग शोर के प्रति मजबूत है।

लेखक दावा करते हैं कि RA मानक विधियों की तुलना में अधिक विश्वसनीय अंशांकन मूल्यांकन प्रदान करता है, विशेष रूप से क्लास-वाइज सेटिंग्स में। वे इस बात पर जोर देते हैं कि उनका दृष्टिकोण वैकल्पिक MSE-आधारित जोखिम ढांचों के लिए आवश्यक महंगी क्रॉस-वैलिडेशन की आवश्यकता के बिना KDE की कम्प्यूटेशनल दक्षता ( $O(n^2)$ ) को बनाए रखता है। यह कार्य बताता है कि RA सशर्त प्रायिकता मैनिफोल्ड (conditional probability manifold) की एक मजबूत रिकवरी की सुविधा देता है, जो उच्च-जोखिम वाले अनुप्रयोगों में मॉडल अंशांकन के मूल्यांकन के लिए एक स्थिर आधार प्रदान करता है। लेखक उच्च-आयामी कैनोनिकल अंशांकन के संबंध में विनम्र रहते हैं, यह स्वीकार करते हुए कि डेटा की कमी (sparsity) अभी भी KDE-आधारित दृष्टिकोणों के लिए एक चुनौती बनी हुई है।

इसी तरह के और पेपर