💻 computer science

Deep Probabilistic Supervision for Image Classification

यह शोध पत्र डीप प्रोबेबिलिस्टिक सुपरविजन (DPS) का प्रस्ताव करता है, जो एक सिद्धांत-आधारित ढांचा है जो हार्ड टारगेट्स पर निर्भरता को समाप्त करने के लिए मॉडल के अपने भविष्यवाणियों पर सांख्यिकीय अनुमान के माध्यम से नमूना-विशिष्ट लक्ष्य वितरणों का निर्माण करता है, जिससे मौजूदा सेल्फ-डिस्टिलेशन विधियों की तुलना में टेस्ट सटीकता, अंशांकन (कैलिब्रेशन) और मजबूती में महत्वपूर्ण सुधार होता है।

मूल लेखक: Anton Adelöw, Matteo Gamba, Atsuto Maki

प्रकाशित 2026-02-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anton Adelöw, Matteo Gamba, Atsuto Maki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को जानवरों की पहचान करना सिखा रहे हैं। एक पारंपरिक कक्षा (स्टैंडर्ड डीप लर्निंग) में, शिक्षक एक कुत्ते की तस्वीर दिखाता है और कहता है, "यह एक कुत्ता है।" यदि छात्र "बिल्ली" कहता है, तो शिक्षक बस कहता है, "गलत।" यदि छात्र "केतली" कहता है, तो वह भी कहता है, "गलत।"

समस्या यह है कि "बिल्ली" वास्तव में "केतली" की तुलना में बहुत बेहतर अनुमान है। पारंपरिक तरीका सभी गलत उत्तरों के साथ एक जैसा व्यवहार करता है, इस सूक्ष्म संकेत को अनदेखा कर देता है कि एक कुत्ता बिल्ली जैसा दिख सकता है (दोनों के शरीर पर बाल हैं, चार पैर हैं) लेकिन केतली जैसा बिल्कुल नहीं। यह छात्र को अति-आत्मविश्वासी और जिद्दी बनाता है; वे "कुत्ता" लेबल को रटने लगते हैं बजाय इसके कि वे कुत्ते की अवधारणा (concept) को समझें।

यह शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे डीप प्रोबेबिलिस्टिक सुपरविजन (DPS) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "स्व-चिंतनशील" छात्र (The "Self-Reflecting" Student)

शिक्षक के कठोर "सही/गलत" लेबल पर केवल निर्भर रहने के बजाय, DPS छात्र से उनके अपने पिछले अनुमानों को देखने और उनसे सीखने के लिए कहता है।

पुराना तरीका: छात्र "बिल्ली" कहता है, उसे गलत बताया जाता है, और शिक्षक उसे "कुत्ता" रटने के लिए मजबूर करता है।
DPS का तरीका: छात्र "बिल्ली" कहता है। शिक्षक कहता है, "ठीक है, तुम गलत थे, लेकिन तुम एक केतली की तुलना में बिल्ली के अधिक करीब थे। चलो तुम्हारे आंतरिक मानचित्र (internal map) को अपडेट करते हैं ताकि तुम्हें याद रहे कि 'कुत्ता' और 'बिल्ली' पड़ोसी हैं।"

छात्र प्रभावी रूप से अपना स्वयं का शिक्षक बन जाता है, जो विभिन्न चीजों के बीच संबंध को समझने के लिए अपने स्वयं के ज्ञान को परिष्कृत करता है।

2. "स्मृति लुप्त होने" की उपमा (The "Fading Memory" Analogy - Bayesian Updates)

यह शोध पत्र "बायेसियन इन्फरेंस" (Bayesian Inference) नामक गणितीय अवधारणा का उपयोग करता है, जिसे आप एक लुप्त होती स्मृति बैंक के रूप में समझ सकते हैं।

कल्पना कीजिए कि छात्र एक नोटबुक रखता है जिसमें उसने हर बार कुत्ता देखा जब भी उसका उल्लेख हुआ।

प्रारंभिक प्रशिक्षण: छात्र नया है और भ्रमित है। उसके अनुमान अस्थिर हैं। DPS में, हम इन शुरुआती अनुमानों को "शोरयुक्त" (noisy) या अविश्वसनीय मानते हैं। हम उन्हें थोड़ा महत्व देते हैं लेकिन उन्हें अभी तक उनके पूरे दृष्टिकोण को परिभाषित करने नहीं देते हैं।
बाद का प्रशिक्षण: जैसे-जैसे छात्र स्मार्ट होता जाता है, उसके अनुमान अधिक सटीक होते जाते हैं। DPS इन नए अनुमानों पर बहुत अधिक भरोसा करना शुरू कर देता है।
डिस्काउंट फैक्टर (The Discount Factor): शोध पत्र एक "डिस्काउंट" पेश करता है (जिसे ग्रीक अक्षर गामा, $\gamma$ द्वारा दर्शाया गया है)। इसे आप एक छात्र द्वारा धीरे-धीरे अपने बहुत पहले के, अनाड़ी अनुमानों को भूलने के रूप में समझ सकते हैं ताकि वह शुरुआती गलतियों में न फंसा रहे। वे अपने हालिया, सटीक अंतर्दृष्टि पर ध्यान केंद्रित करते हैं।

यह छात्र को एक सूक्ष्म संभाव्यता मानचित्र (nuanced probability map) बनाने की अनुमति देता है। केवल "100% कुत्ता" जानने के बजाय, वे सीखते हैं "90% कुत्ता, 10% बिल्ली, 0% केतली।" यह उन्हें बहुत अधिक लचीला बनाता है और कठिन छवियों से बचने में मदद करता है।

3. यह क्यों बेहतर है (परिणाम)

लेखकों ने इस पद्धति का परीक्षण प्रसिद्ध इमेज डेटासेट (जैसे CIFAR और ImageNet) पर किया और उन्हें तीन प्रमुख लाभ मिले:

स्मार्ट अनुमान (सटीकता - Accuracy): मॉडल चीजों को पहचानने में बेहतर हो गए। उदाहरण के लिए, ImageNet जैसे जटिल डेटासेट पर, इस पद्धति ने मानक प्रशिक्षण की तुलना में सटीकता में लगभग 2% का सुधार किया। AI की दुनिया में, यह एक बहुत बड़ी छलांग है।
ईमानदारी (कैलिब्रेशन - Calibration): यह एक बड़ी बात है। मानक AI मॉडल अक्सर कहते हैं, "मुझे 99.9% यकीन है कि यह एक कुत्ता है," भले ही वह एक बिल्ली हो। वे अति-आत्मविश्वासी होते हैं। DPS मॉडल अधिक ईमानदार होते हैं। यदि वे अनिश्चित हैं, तो वे इसे स्वीकार करते हैं। शोध पत्र दिखाता है कि इन मॉडलों ने "एक्सपेक्टेड कैलिब्रेशन एरर" (अति-आत्मविश्वास का एक माप) को लगभग 40% कम कर दिया।
शोर के प्रति प्रतिरोध (Noise Resistance): कल्पना कीजिए कि शिक्षक गलती से 20% चित्रों पर गलत लेबल लिख देता है (जैसे, बिल्ली को कुत्ता कहना)। मानक छात्र भ्रमित हो जाते हैं और असफल हो जाते हैं। DPS छात्र, क्योंकि वे केवल शिक्षक के लेबल के बजाय आकारों और विशेषताओं की अपनी विकसित होती समझ पर भरोसा करते हैं, बहुत अधिक मजबूत होते हैं। वे खराब लेबल को अनदेखा कर सकते हैं और फिर भी सही अवधारणाओं को सीख सकते हैं।

4. यह क्या नहीं है

इसके लिए छात्र को सिखाने के लिए दूसरे, बड़े "शिक्षक" AI की आवश्यकता नहीं है (अन्य विधियों के विपरीत)। छात्र खुद को सिखाता है।
इसके लिए न्यूरल नेटवर्क के आर्किटेक्चर को बदलने की आवश्यकता नहीं है (कोई अतिरिक्त हार्डवेयर या जटिल परतें नहीं)। यह इस बारे में एक बदलाव है कि प्रशिक्षण कैसे होता है, न कि AI क्या बना है।

सारांश

डीप प्रोबेबिलिस्टिक सुपरविजन एक छात्र को अपने बढ़ते हुए अंतर्ज्ञान (intuition) पर भरोसा करना सिखाने जैसा है। एक कठोर "सही/गलत" सूची का अंधाधुंध पालन करने के बजाय, छात्र अपने पिछले अनुमानों को तौलना, अपनी शुरुआती गलतियों को भूलना और विभिन्न श्रेणियों के बीच सूक्ष्म संबंधों को समझना सीखता है। परिणाम एक ऐसा AI है जो न केवल अधिक सटीक है, बल्कि अधिक विनम्र, ईमानदार और खराब डेटा के प्रति प्रतिरोधी भी है।

तकनीकी सारांश: इमेज क्लासिफिकेशन के लिए डीप प्रोबेबिलिस्टिक सुपरविजन (DPS)

1. समस्या विवरण (Problem Statement)

इमेज क्लासिफिकेशन के लिए डीप न्यूरल नेटवर्क आमतौर पर हार्ड टारगेट्स (वन-हॉट एनकोडेड लेबल्स) का उपयोग करके प्रशिक्षित किए जाते हैं। यह दृष्टिकोण "डार्क नॉलेज" को त्याग देता है—अर्थात इंटर-क्लास समानता और अस्पष्टता (जैसे, एक कुत्ते को बिल्ली के रूप में गलत वर्गीकृत करने बनाम एक टीपॉट के रूप में गलत वर्गीकृत करने के बीच का अंतर) के संबंध में सूक्ष्म, सैंपल-विशिष्ट जानकारी। केवल हार्ड टारगेट्स पर निर्भर रहना ओवरकॉन्फिडेंस को बढ़ावा देता है, कैलिब्रेशन को सीमित करता है, और विशेष रूप से लेबल नॉइज़ की उपस्थिति में मजबूती (robustness) को कम करता है।

मौजूदा सेल्फ-डिस्टिलेशन विधियाँ मॉडल के अपने प्रेडिक्शन्स का लाभ उठाकर डार्क नॉलेज को पुनः प्राप्त करने का प्रयास करती हैं। हालाँकि, वर्तमान दृष्टिकोणों में कई सीमाएँ हैं:

हार्ड टारगेट्स पर निर्भरता: अधिकांश विधियाँ अभी भी मूल हार्ड लेबल्स से प्राप्त लॉस टर्म को शामिल करती हैं, जो मॉडल की पूरी तरह से कैलिब्रेटेड और सूक्ष्म भविष्यवाणियाँ करने की क्षमता को बाधित करती हैं।
अनिश्चितता मॉडलिंग का अभाव: वे प्रेडिक्टिव अनसर्टेन्टी (predictive uncertainty) को स्पष्ट रूप से मॉडल नहीं करती हैं, जो कैलिब्रेशन को नकारात्मक रूप से प्रभावित करता है।
वैरिएंस और अस्थिरता: डेटा ऑग्मेंटेशन के तहत वैरिएंस पैदा कर सकती हैं या लगभग समान मॉडल स्टेट्स पर निर्भर विधियाँ (जैसे, टेम्पोरल एनसेम्बलिंग, DLB) अस्थिर हो सकती हैं।
नॉइज़ के प्रति संवेदनशीलता: ओवरपैरामीटराइज्ड रिजीम में, हार्ड टारगेट्स पर निर्भरता लेबल नॉइज़ के तहत "डबल डिसेंट" (double descent) घटनाओं को बढ़ा सकती है।

2. कार्यप्रणाली: डीप प्रोबेबिलिस्टिक सुपरविजन (DPS)

लेखक डीप प्रोबेबिलिस्टिक सुपरविजन (DPS) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो मॉडल के अपने प्रेडिक्शन्स पर सांख्यिकीय अनुमान (statistical inference) के माध्यम से सैंपल-विशिष्ट टारगेट डिस्ट्रीब्यूशन का निर्माण करता है, जो इनिशियलाइजेशन के बाद हार्ड टारगेट्स से स्वतंत्र रूप से कार्य करता है।

मुख्य फ्रेमवर्क: रिकर्सिव बायेसियन एस्टीमेशन (Recursive Bayesian Estimation)

DPS ट्रेनिंग को एक रिकर्सिव बायेसियन एस्टीमेशन समस्या के रूप में फ्रेम करता है। न्यूरल नेटवर्क को एक "सेंसर" के रूप में माना जाता है जो इनपुट $x_i$ के वास्तविक क्लास डिस्ट्रीब्यूशन को देख रहा है।

लेटेंट वेरिएबल (Latent Variable): एक लेटेंट क्लास वेरिएबल $z_i$ को कैटेगोरिकल डिस्ट्रीब्यूशन $z_i \sim \text{Cat}(y_i)$ के साथ मॉडल किया जाता है, जहाँ $y_i$ वास्तविक क्लास प्रोबेबिलिटीज को दर्शाता है।
प्रायर (Prior): एक डिरिचलेट प्रायर (Dirichlet prior) $y_i \sim \text{Dir}(\alpha_i)$ का उपयोग किया जाता है। प्रारंभिक पैरामीटर्स $\alpha^0_i$ को हार्ड लेबल (लेबल की गई क्लास पर उच्च एकाग्रता और अन्य पर कम) के आधार पर सेट किया जाता है ताकि एक प्रायर विश्वास स्थापित किया जा सके।
लाइकलीहुड (Likelihood): एपोक $t$ पर मॉडल का प्रेडिक्शन $\hat{y}^t_i$ एक नॉइज़ी मेजरमेंट (एविडेंस) के रूप में माना जाता है, जिसकी लाइकलीहुड प्रेडिक्टेड पावर्स द्वारा उठाए गए क्लास प्रोबेबिलिटीज के गुणनफल के समानुपाती होती है।
पोस्टीरियर अपडेट (Posterior Update): एविडेंस को संचित करके पोस्टीरियर डिस्ट्रीब्यूशन को अपडेट किया जाता है। मेजरमेंट नॉइज़ की नॉन-स्टेशनरी प्रकृति (जैसे-जैसे ट्रेनिंग आगे बढ़ती है, प्रेडिक्शन्स बेहतर होते हैं) को संभालने के लिए, एक डिस्काउंटेड बायेसियन मॉडल का उपयोग किया जाता है।

अपडेट नियम (The Update Rule)

टारगेट डिस्ट्रीब्यूशन को एक डिस्काउंट फैक्टर $\gamma \in [0, 1]$ का उपयोग करके रिकर्सिवली अपडेट किया जाता है:
$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$
इससे अपडेट नियम प्राप्त होता है:
$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$
जहाँ $A^t_i$ डिरिचलेट पैरामीटर्स का योग है।

मैकेनिज्म: ट्रेनिंग के शुरुआती चरण में, प्रायर हावी रहता है। जैसे-जैसे ट्रेनिंग आगे बढ़ती है, हालिया प्रेडिक्शन्स (जो अधिक सटीक होते हैं) को अधिक महत्व दिया जाता है, जबकि पुराने, नॉइजी एविडेंस को डिस्काउंट फैक्टर के माध्यम से "भुलवाया" (forget) जाता है।
स्वतंत्रता: इनिशियलाइजेशन के बाद, टारगेट डिस्ट्रीब्यूशन पूरी तरह से मॉडल के प्रेडिक्शन्स और बायेसियन अपडेट पर आधारित होता है, जो लर्निंग प्रोसेस को मूल हार्ड लेबल्स से अलग (decouple) कर देता है।

मौजूदा विधियों के साथ संबंध

लेखक प्रदर्शित करते हैं कि DPS कई मौजूदा विधियों को एकीकृत और सामान्यीकृत करता है:

पारंपरिक प्रशिक्षण (Conventional Training): $\gamma \to 0$ और अनंत प्रायर कंसंट्रेशन (टारगेट को फिक्स करना) के अनुरूप है।
लेबल स्मूथिंग (Label Smoothing): तब अनुमानित होती है जब $\gamma$ शून्य के करीब हो और इसे एक विशिष्ट फिक्स्ड पॉइंट पर नॉन-जीरो $\epsilon$ के साथ इनिशियलाइज किया गया हो।
PS-KD / DLB: $\gamma = 0$ सेट करके (केवल सबसे हालिया प्रेडिक्शन का उपयोग करके) या मिनी-बैच स्तर पर अपडेट लागू करके प्राप्त किया जाता है।
टेम्पोरल एनसेम्बलिंग (Temporal Ensembling - TE): एक स्पष्ट वेटिंग के साथ इमप्रोपर प्रायर (improper prior) के अनुरूप है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: DPS का परिचय, जो एक हल्का, सिद्धांत-आधारित फ्रेमवर्क है जो सूक्ष्म टारगेट डिस्ट्रीब्यूशन का निर्माण करता है और इनिशियलाइजेशन के बाद हार्ड टारगेट्स से स्वतंत्र रूप से कार्य करता है।
सैद्धांतिक औपचारिकता (Theoretical Formalization): "डार्क नॉलेज" को नेटवर्क आउटपुट के इंटर-क्लास ( $\mu_k$ ) और सैंपल-विशिष्ट ( $\delta(x_i)$ ) घटकों के अपघटन के रूप में पहली बार औपचारिक रूप दिया गया, जो दिखाता है कि DPS दोनों को कैप्चर करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग जो दर्शाते हैं कि DPS जनरलाइजेशन और कैलिब्रेशन में मौजूदा सेल्फ-डिस्टिलेशन विधियों और पारंपरिक नॉलेज डिस्टिलेशन से बेहतर प्रदर्शन करता है।
मजबूती (Robustness): यह प्रदर्शन करना कि DPS डेटा करप्शन, परटर्बेशन और लेबल नॉइज़ के खिलाफ मजबूती प्रदान करता है, विशेष रूप से एपोक-वाइज डबल डिसेंट कर्व को कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ResNet, DenseNet, और ViT आर्किटेक्चर का उपयोग करके CIFAR-10, CIFAR-100, TinyImageNet, और ImageNet पर DPS का मूल्यांकन किया।

जनरलाइजेशन और सटीकता (Generalization and Accuracy)

प्रदर्शन लाभ: DPS लगातार उच्च टेस्ट सटीकता प्रदान करता है। उदाहरण के लिए, DenseNet-264 के साथ ImageNet पर, DPS ने बेसलाइन पर +2.0% और सर्वश्रेष्ठ सेल्फ-डिस्टिलेशन विधि पर +1.0% सुधार किया।
तुलना: DPS पारंपरिक नॉलेज डिस्टिलेशन से आगे निकल जाता है और मॉडल एनसेम्बल्स के प्रदर्शन के करीब पहुँच जाता है।

कैलिब्रेशन (Calibration)

ECE में कमी: DPS अपेक्षित कैलिब्रेशन एरर (Expected Calibration Error - ECE) को महत्वपूर्ण रूप से कम करता है। CIFAR-100 के साथ ResNet-50 पर, ECE सर्वश्रेष्ठ सेल्फ-डिस्टिलेशन विधि की तुलना में 40% और बेसलाइन की तुलना में 60% से अधिक कम हो गया।
NLL: कन्वेन्शनल नेटवर्क्स के लिए NLL बेसलाइन की तुलना में 70% से अधिक कम हो गया।
विश्वसनीयता: रिलायबिलिटी डायग्राम दिखाते हैं कि DPS कर्व्स विकर्ण (diagonal) के सबसे करीब हैं, जो बेहतर प्रोबेबिलिटी एस्टीमेशन का संकेत देते हैं।

शोर और करप्शन के प्रति मजबूती (Robustness to Noise and Corruptions)

लेबल नॉइज़: 20% सिमेट्रिक और एसिमेट्रिक लेबल नॉइज़ के तहत, DPS ने सिंगल-नेटवर्क विधियों में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए। विशेष रूप से, इसने अन्य विधियों में देखे गए डबल डिसेंट कर्व को सपाट (flattened) कर दिया, जो एक अधिक स्थिर लर्निंग प्रक्रिया का संकेत देता है।
करप्शन: CIFAR-10-C (करप्शन) और CIFAR-10-P (परटर्बेशन) पर, DPS ने सभी आर्किटेक्चर में उच्चतम सटीकता और न्यूनतम मीन फ्लिप प्रोबेबिलिटी (mFP) हासिल की।
ऑग्मेंटेशन: जब इसे CutOut और CutMix के साथ जोड़ा गया, तो DPS ने बेसलाइन और DLB को लगातार पछाड़ दिया, जिसमें CIFAR-100 पर 4.1 प्रतिशत अंक तक की वृद्धि हुई।

एब्लेशन और विश्लेषण (Ablation and Analysis)

हाइपरपैरामीटर्स: डिस्काउंट फैक्टर $\gamma$ और प्रायर कंसंट्रेशन $c$ सटीकता और कैलिब्रेशन के बीच ट्यूनिंग की अनुमति देते हैं। एक विशिष्ट कॉन्फ़िगरेशन ( $\gamma=0.97, c=2000$ ) ने CIFAR-100 पर 1.33% का ECE प्राप्त किया, हालांकि इसमें सटीकता के साथ थोड़ा समझौता हुआ।
डार्क नॉलेज विज़ुअलाइज़ेशन: विज़ुअलाइज़ेशन ने पुष्टि की कि DPS पारंपरिक प्रशिक्षण की तुलना में सार्थक इंटर-क्लास संबंधों (जैसे, जानवरों को ग्रुप करना) और सैंपल-विशिष्ट विचलन को अधिक प्रभावी ढंग से सीखने को बढ़ावा देता है।

5. महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि DPS हीयुरिस्टिक (heuristic) सेल्फ-डिस्टिलेशन से एक सिद्धांत-आधारित प्रोबेबिलिस्टिक दृष्टिकोण की ओर एक बदलाव है। प्रेडिक्टिव अनसर्टेन्टी को स्पष्ट रूप से मॉडल करके और हार्ड टारगेट्स से अलग होकर, DPS ओवरकॉन्फिडेंस और खराब कैलिब्रेशन की मौलिक सीमाओं को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि DPS:

अधिक सुचारू (smoother) और मजबूत प्रोबेबिलिटी अनुमान प्रदान करता है।
लेबल नॉइज़ के तहत डबल डिसेंट घटना को कम करता है।
कंट्रास्टिव लॉस या मानक ऑग्मेंटेशन तकनीकों के साथ मिलकर स्टेट-ऑफ-द-आर्ट मजबूती प्राप्त करता है।
एक लाइटवेट कार्यान्वयन है जिसमें फॉरवर्ड-बैकवर्ड पास की तुलना में नगण्य कम्प्यूटेशनल ओवरहेड ($O(BK)$ प्रति बैच) है।

यह कार्य सुझाव देता है कि ट्रेनिंग प्रक्रिया को एक बायेसियन इंफरेंस समस्या के रूप में मानना, जहाँ मॉडल के अपने प्रेडिक्शन्स विकसित होते हुए साक्ष्य (evidence) के रूप में कार्य करते हैं, कैलिब्रेटेड, जनरलाइजेबल और रोबस्ट डीप लर्निंग मॉडल प्राप्त करने के लिए एक बेहतर रणनीति है।