🤖 machine learning

Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown

यह शोध पत्र सोक्रेट्स लॉस (Socrates Loss) को प्रस्तुत करता है, जो एक एकीकृत प्रशिक्षण उद्देश्य है जो वर्गीकरण सटीकता और आत्मविश्वास अंशांकन (confidence calibration) को एक साथ अनुकूलित करने के लिए एक सहायक अज्ञात वर्ग (auxiliary unknown class) को शामिल करता है, जो प्रभावी रूप से मौजूदा विधियों में निहित स्थिरता-प्रदर्शन व्यापार-रुप (stability-performance trade-off) को हल करता है।

मूल लेखक: Sandra Gómez-Gálvez, Tobias Olenyi, Gillian Dobbie, Katerina Taškova

प्रकाशित 2026-04-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sandra Gómez-Gálvez, Tobias Olenyi, Gillian Dobbie, Katerina Taškova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जो एक कठिन परीक्षा दे रहा है। इस छात्र को, आइए हम उसे "डीप न्यूरल नेटवर्क" कहें, वह सवालों के जवाब देने में माहिर है। वह 95% उत्तर सही देता है। लेकिन एक समस्या है: उसे यह नहीं पता कि उसे क्या नहीं पता है।

जब वह अनिश्चित होता है, तब भी वह 100% आत्मविश्वास के साथ उत्तर चिल्लाकर देता है। जब वह अनुमान लगा रहा होता है, तब भी वह ऐसा व्यवहार करता है जैसे वह पूरी तरह निश्चित हो। वास्तविक दुनिया में, यह खतरनाक है। यदि कोई मेडिकल AI कहता है, "मुझे 100% यकीन है कि यह ट्यूमर सौम्य (benign) है," लेकिन वास्तव में वह घातक (malignant) है, तो मरीज मुसीबत में पड़ सकता है। AI को यह सीखना चाहिए कि "मैं इस बारे में अनिश्चित हूँ," बजाय इसके कि वह आत्मविश्वास के साथ अनुमान लगाए।

यह शोध पत्र एक नई प्रशिक्षण विधि पेश करता है जिसे सोक्रेट्स लॉस (Socrates Loss) कहा जाता है, जिसका नाम प्राचीन ग्रीक दार्शनिक के नाम पर रखा गया है जिन्होंने प्रसिद्ध रूप से कहा था, "मैं जानता हूँ कि मैं कुछ नहीं जानता।"

यहाँ इसका सरल विवरण दिया गया है कि यह कैसे काम करता है, कुछ रोजमर्रा के उपमाओं का उपयोग करते हुए।

समस्या: "अति-आत्मविश्वासी छात्र"

वर्तमान AI मॉडल उसी अति-आत्मविश्वासी छात्र की तरह हैं। वे तथ्यों को याद रखने (वर्गीकरण/classification) में तो बहुत अच्छे हैं, लेकिन अपनी स्वयं की धारणा (confidence) को आंकने में बहुत खराब हैं (कैलिब्रेशन)।

पुराना तरीका: शोधकर्ताओं ने इसे दो चरणों में ठीक करने की कोशिश की। पहले, छात्र को सही उत्तर पाने के लिए सिखाएं। दूसरा, उसे विनम्र होना सिखाने की कोशिश करें। लेकिन यह एक धावक को दौड़ना सिखाने और फिर उसी समय उसे पीछे की ओर चलना सिखाने जैसा है—यह प्रशिक्षण को अस्थिर और अव्यवस्थित बना देता है।
समझौता (Trade-off): यदि आप मॉडल को विनम्र होने के लिए मजबूर करते हैं, तो कभी-कभी वह कम सही उत्तर देता है। यदि आप इसे आत्मविश्वासी होने देते हैं, तो यह अधिक सही उत्तर देता है लेकिन अपनी निश्चितता के बारे में झूठ बोलता है।

समाधान: "अनजान" विकल्प

लेखकों ने महसूस किया कि इसे ठीक करने के लिए, AI को एक विशिष्ट उपकरण की आवश्यकता है: अज्ञानता स्वीकार करने की क्षमता।

एक मानक परीक्षा में, आपको A, B, C या D चुनना होता है। यदि आप नहीं जानते, तो भी आपको एक चुनना ही पड़ता है।
सोक्रेट्स लॉस नियमों को बदल देता है। यह एक पांचवां विकल्प जोड़ता है: "मुझे नहीं पता" (IDK)।

अब, AI को दो चीजें एक साथ सीखनी होंगी:

सही उत्तर क्या है? (वर्गीकरण)
मुझे कब "मुझे नहीं पता" चुनना चाहिए? (अनिश्चितता)

यह कैसे काम करता है: तीन जादुई सामग्रियां

यह शोध पत्र एक विशेष "लॉस फंक्शन" (एक गणितीय सूत्र जो AI को बताता है कि वह कैसा प्रदर्शन कर रहा है) का उपयोग करता है। इस सूत्र को एक सख्त लेकिन निष्पक्ष शिक्षक के रूप में समझें जो तीन विशिष्ट तकनीकों का उपयोग करता है:

1. "कठिन प्रश्न" पर ध्यान (फोकल टर्म - The Focal Term)

कल्पना कीजिए कि एक शिक्षक अपना 90% समय उन प्रश्नों में मदद करने में बिताता है जिनके साथ छात्र संघर्ष कर रहे हैं, और उन आसान सवालों पर मुश्किल से नज़र डालता है जिन्हें छात्र पहले से ही जानता है।

शोध पत्र में: AI आसान, स्पष्ट उत्तरों को अनदेखा करता है और अपनी ऊर्जा कठिन, भ्रमित करने वाले चित्रों पर केंद्रित करता है। यह इसे आसान कार्यों पर "आलसी" और अति-आत्मविश्वासी होने से रोकता है।

2. "स्मृति" की जांच (एडेप्टिव टारगेट - The Adaptive Target)

कल्पना कीजिए कि एक छात्र जो याद रखता है कि उसने कल क्या सही किया था। यदि उसने कल एक कठिन प्रश्न सही किया था, तो वह आज खुद पर थोड़ा अधिक भरोसा करता है। यदि उसने गलत किया था, तो वह अपने आत्मविश्वास को कम कर देता है।

शोध पत्र में: AI अपने पिछले अनुमानों को देखता है। यह उसके आत्मविश्वास के स्तर को सुचारू बनाता है ताकि वह एक सेकंड से दूसरे सेकंड में "100% निश्चित" से "0% निश्चित" के बीच तेजी से न झूलता रहे। यह प्रशिक्षण प्रक्रिया को स्थिर और शांत बनाता है।

3. "ईमानदारी का दंड" (डायनामिक अनसर्टेन्टी पेनल्टी - The Dynamic Uncertainty Penalty)

यह सबसे महत्वपूर्ण हिस्सा है। कल्पना कीजिए कि एक नियम है: "यदि आप गलत उत्तर में 'मुझे नहीं पता' की तुलना में अधिक आत्मविश्वास रखते हैं, तो आपको दंडित किया जाएगा।"

परिदृश्य: AI एक बिल्ली की तस्वीर देखता है। वह सोचता है, "क्या यह कुत्ता है? शायद। क्या यह बिल्ली है? शायद।"
गलती: यदि AI कहता है, "यह एक कुत्ता है (90% विश्वास)" लेकिन वास्तव में यह एक बिल्ली है, और उसने "मुझे नहीं पता" नहीं कहा, तो उसे दंडित किया जाता है।
सुधार: AI सीखता है कि यदि वह 100% निश्चित नहीं है, तो उसे "मुझे नहीं पता" विकल्प की संभावना को बढ़ाना चाहिए। वह अपनी अनिश्चितता को पहचानना सीखता है।

परिणाम: एक संतुलित AI

सोक्रेट्स लॉस का उपयोग करके, AI एक "सोक्रेटिक" शिक्षार्थी बनना सीख जाता है:

यह अधिक उत्तर सही पाता है (उच्च सटीकता)।
इसे पता होता है कि वह कब अनिश्चित है (अच्छा कैलिब्रेशन)।
यह प्रशिक्षण के दौरान घबराता या क्रैश नहीं होता (स्थिरता)।

यह क्यों मायने रखता है

चिकित्सा, परमाणु सुरक्षा या स्वयं चलने वाली कारों (self-driving cars) जैसे उच्च-जोखिम वाले क्षेत्रों में, एक आत्मविश्वासी गलती एक सतर्क गलती से अधिक बुरी होती है।

पुराना AI: "मुझे 99% यकीन है कि यह एक स्टॉप साइन है!" (यह वास्तव में एक पेड़ है। दुर्घटना।)
सोक्रेट्स AI: "मुझे लगता है कि वह एक स्टॉप साइन है, लेकिन मैं केवल 60% निश्चित हूँ। मुझे धीमा हो जाना चाहिए और किसी इंसान से जाँच करने के लिए कहना चाहिए।" (सुरक्षित।)

सारांश

यह शोध पत्र AI को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करता है जो "अज्ञानता स्वीकार करने" को एक कौशल के रूप में मानता है, न कि एक विफलता के रूप में। AI के टूलबॉक्स में "मुझे नहीं पता" बटन जोड़कर और इसे इसका बुद्धिमानी से उपयोग करना सिखाकर, उन्होंने एक ऐसा मॉडल बनाया है जो न केवल स्मार्ट है बल्कि अधिक विश्वसनीय और अपनी सीमाओं के प्रति ईमानदार भी है। यह एक सर्वज्ञानी छात्र और एक बुद्धिमान, आत्म-जागरूक छात्र के बीच का अंतर है।

यहाँ शोध पत्र "Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) अक्सर खराब कॉन्फिडेंस कैलिब्रेशन (poor confidence calibration) से ग्रस्त होते हैं, जिसका अर्थ है कि उनके भविष्यवाणात्मक आत्मविश्वास स्कोर (predictive confidence scores) उनकी वास्तविक सटीकता के साथ संरेखित नहीं होते हैं (उदाहरण के लिए, एक मॉडल 90% आत्मविश्वास के साथ भविष्यवाणी करता है लेकिन केवल 70% बार सही होता है)। यह विश्वसनीयता की कमी चिकित्सा निदान और परमाणु सुरक्षा जैसे उच्च-जोखिम वाले क्षेत्रों में तैनाती में बाधा डालती है।

मौजूदा समाधान एक मौलिक स्थिरता-प्रदर्शन ट्रेड-ऑफ (stability-performance trade-off) का सामना करते हैं:

पोस्ट-हॉक विधियाँ (Post-hoc methods) (जैसे टेम्परेचर स्केलिंग): ये सरल हैं लेकिन इनके लिए अतिरिक्त डेटा की आवश्यकता होती है, इन्हें ट्रांसफर लर्निंग से पहले लागू नहीं किया जा सकता, और ये मिश्रित कैलिब्रेशन पैटर्न को ठीक करने में अक्सर विफल रहती हैं।
एड-हॉक प्रशिक्षण विधियाँ (Ad-hoc training methods): ये आम तौर पर दो श्रेणियों में आती हैं:
1. दो-चरण प्रशिक्षण (Two-phase training): ये लॉस (losses) को जोड़ती हैं या जटिल शेड्यूल्स का उपयोग करती हैं। हालांकि वे मजबूत वर्गीकरण सटीकता प्राप्त करती हैं, लेकिन वे अक्सर प्रशिक्षण अस्थिरता (training instability) और खराब अंतिम कैलिब्रेशन से ग्रस्त होती हैं।
2. सिंगल-लॉस विधियाँ (Single-loss methods): ये स्थिर रूप से प्रशिक्षित होती हैं और अच्छा कैलिब्रेशन प्राप्त करती हैं, लेकिन अक्सर वर्गीकरण सटीकता (classification accuracy) का त्याग करती हैं।

शोध पत्र एक अंतराल की पहचान करता है: ऐसा कोई एकल, आसानी से लागू होने वाला लॉस फंक्शन नहीं है जो विभिन्न आर्किटेक्चर और डेटासेट में प्रशिक्षण स्थिरता, उच्च वर्गीकरण सटीकता और मजबूत कॉन्फिडेंस कैलिब्रेशन को एक साथ सुनिश्चित कर सके।

2. कार्यप्रणाली: सोक्रेट्स लॉस (Methodology: Socrates Loss)

लेखक Socrates Loss का प्रस्ताव करते हैं, जो एक नवीन, एकीकृत लॉस फंक्शन है जो एक सहायक "अननोन" क्लास (auxiliary "unknown" class) (जिसे $idk$ द्वारा दर्शाया गया है) को पेश करके अनिश्चितता को स्पष्ट रूप से मॉडल करता है। इसकी मूल फिलॉसफी सुकरात के इस कथन से प्रेरित है, "मैं जानता हूँ कि मैं कुछ नहीं जानता," जो मॉडल को अपनी अनिश्चितता को पहचानने के लिए प्रोत्साहित करती है।

लॉस फंक्शन ( $L_{Socrates}$ ) को इस प्रकार परिभाषित किया गया है:
$L_{Socrates}(f) = -\frac{1}{n} \sum_{i=1}^{n} (1 - \hat{p}_{i,y_i,e})^\gamma \left[ t_{i,y_i,e} \log \hat{p}_{i,y_i,e} + \beta_{i,e}(1 - t_{i,y_i,e}) \log \hat{p}_{i,idk,e} \right]$

यह चार प्रमुख घटकों से बना है:

**अननोन क्लास ($idk $):** मानक$ c $-क्लास समस्या को$ (c+1)$-क्लास समस्या के रूप में पुनर्गठित किया गया है। यह मॉडल को गलत उच्च-विश्वास वाली भविष्यवाणी करने के बजाय स्पष्ट रूप से "मुझे नहीं पता" (I don't know) भविष्यवाणी करने की अनुमति देता है।
डायनेमिक अनसर्टेन्टी पेनल्टी ( $\beta$ ):
- यह एक डायनेमिक टर्म है (न कि एक निश्चित हाइपरपैरामीटर) जिसे इस प्रकार गणना की जाती है: $\beta_{i,e} = \max_{\bar{y}_i \neq y_i} (\hat{p}_{i,\bar{y}_i,e}) - \hat{p}_{i,idk,e}$ ।
- यह मॉडल को दंडित करता है यदि किसी भी गलत ज्ञात क्लास की संभावना 'अननोन' क्लास की संभावना से अधिक हो जाती है। यह मॉडल को मजबूर करता है कि जब वह अनिश्चित हो, तो वह अनिश्चित होने के बजाय किसी गलत क्लास का आत्मविश्वास से अनुमान लगाने के बजाय 'अननोन' क्लास को उच्च संभावना प्रदान करे।
एडेप्टिव टारगेट ( $t$ ):
- सेल्फ-एडेप्टिव ट्रेनिंग (SAT) से प्रेरित होकर, यह टर्म एक मोमेंटम फैक्टर ( $\alpha$ ) का उपयोग करता है जो ग्राउंड ट्रुथ लेबल को पिछले प्रेडिक्शन के साथ मिलाता है: $t_{i,y_i,e} = \alpha \cdot t_{i,y_i,e-1} + (1-\alpha) \cdot \hat{p}_{i,y_i,e}$ ।
- यह ट्रेनिंग सिग्नल को स्मूथ करता है, जिससे प्रेडिक्शन अस्थिरता कम होती है और कन्वर्जेंस (convergence) को बढ़ावा मिलता है।
फोकल टर्म (मोड्यूलरिटी फैक्टर $\gamma$ ):
- फोकल लॉस के समान, यह आसान उदाहरणों के प्रभाव को कम करता है और ग्रेडिएंट को कठिन-से-वर्गीकृत (hard-to-classify) इंस्टेंस पर केंद्रित करता है। यह मॉडल को आसान डेटा पर ओवरफिट होने और अनावश्यक रूप से कॉन्फिडेंस मार्जिन बढ़ाने से रोकता है।

सैद्धांतिक गारंटी (Theoretical Guarantees):

वेट रेगुलराइजेशन (Weight Regularization): लेखक सिद्ध करते हैं कि Socrates Loss एक रेगुलराइज़र के रूप में कार्य करता है। जब मॉडल उच्च आत्मविश्वास तक पहुँच जाता है, तो Socrates Loss के ग्रेडिएंट्स स्टैंडर्ड क्रॉस-एन्ट्रॉपी (CE) की तुलना में छोटे होते हैं, जो ओवरफिटिंग और मिसकैलिब्रेशन को रोकते हैं।
KL डाइवर्जेंस बाउंड (KL Divergence Bound): यह लॉस कुलबैक-लीब्लर (KL) डाइवर्जेंस के एक रेगुलराइज्ड अपर बाउंड के रूप में कार्य करता है। एंट्रॉपी को अधिकतम करके (अनोन क्लास के माध्यम से) और ओवरकॉन्फिडेंस को दंडित करके, यह CE की तुलना में प्रेडिक्टेड और टारगेट डिस्ट्रीब्यूशन के बीच डाइवर्जेंस को अधिक प्रभावी ढंग से कम करता है।

3. मुख्य योगदान (Key Contributions)

एकीकृत लॉस फंक्शन: Socrates Loss जटिल शेड्यूलिंग के बिना वर्गीकरण और कॉन्फिडेंस कैलिब्रेशन उद्देश्यों को एक एकल, स्थिर, सिंगल-लॉस फ्रेमवर्क में एकीकृत करने वाला पहला तरीका है।
स्पष्ट अनसर्टेन्टी मॉडलिंग: एक सहायक अनोन क्लास और डायनेमिक पेनल्टी का लाभ उठाकर, यह विधि मॉडल को अपने ज्ञान की कमी को पहचानने के लिए मजबूर करती है।
सैद्धांतिक विश्लेषण: शोध पत्र प्रमाण प्रदान करता है कि यह विधि नेटवर्क वेट्स को रेगुलराइज करती है और KL डाइवर्जेंस के एक रेगुलराइज्ड अपर बाउंड के रूप में कार्य करती है, जो सैद्धांतिक रूप से ओवरफिटिंग और मिसकैलिब्रेशन को रोकती है।
व्यापक अनुभवजन्य सत्यापन (Empirical Validation): चार डेटासेट्स (SVHN, CIFAR-10/100, Food-101) और कई आर्किटेक्चर (VGG, ResNet, ViT) पर व्यापक प्रयोग बेहतर प्रदर्शन प्रदर्शित करते हैं।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने पोस्ट-हॉक विधियों (टेम्परेचर स्केलिंग, मैट्रिक्स/वेक्टर स्केलिंग) और एड-हॉक विधियों (फोकल लॉस, SAT, CCL-SC, ब्रायर लॉस) के विरुद्ध Socrates Loss का मूल्यांकन किया।

प्रशिक्षण स्थिरता (Training Stability): Socrates Loss लगातार बिना किसी स्पाइक या समय से पहले कन्वर्जेंस के अभिसरित (converge) हुआ, जो SAT और CCL-SC जैसी दो-चरण वाली विधियों में देखा गया था।
एकरूपता-कैलिब्रेशन ट्रेड-ऑफ (Accuracy-Calibration Trade-off): पारेटो प्लॉट्स (एरर रेट बनाम एक्सपेक्टेड कैलिब्रेशन एरर - ECE) का उपयोग करते हुए, Socrates Loss लगातार सबसे अच्छा या दूसरा सबसे अच्छा संतुलन प्राप्त करता है। इसने सटीकता का त्याग किए बिना कैलिब्रेशन में सुधार किया, जबकि अन्य विधियाँ अक्सर एक ट्रेड-ऑफ (जैसे, बेहतर कैलिब्रेशन लेकिन कम सटीकता) लागू करती हैं।
ट्रांसफर लर्निंग (Transfer Learning): विजन ट्रांसफॉर्मर (ViT) के साथ ट्रांसफर लर्निंग वाले परिदृश्यों में, Socrates ही एकमात्र ऐसा तरीका था जिसने वर्गीकरण और कैलिब्रेशन दोनों को सफलतापूर्वक एक साथ सुधारा।
मजबूती (Robustness): यह विधि सरल (CIFAR-10) और जटिल (Food-101) डेटासेट्स के साथ-साथ विभिन्न आर्किटेक्चर (CNNs और Transformers) पर अच्छा प्रदर्शन करती है।
एब्लेशन स्टडी (Ablation Study): किसी भी घटक (अनोन क्लास, डायनेमिक पेनल्टी $\beta$ , फोकल टर्म, या एडेप्टिव टारगेट) को हटाने से प्रदर्शन में काफी गिरावट आई, जिससे पुष्टि होती है कि सभी तत्व आवश्यक हैं।

5. महत्व (Significance)

उच्च-जोखिम वाले अनुप्रयोगों में विश्वसनीयता: मॉडल को सटीक और अच्छी तरह से कैलिब्रेटेड बनाकर, Socrates Loss DNNs को चिकित्सा निदान और सुरक्षा जैसे महत्वपूर्ण अनुप्रयोगों के लिए अधिक भरोसेमंद बनाता है।
सरलता और दक्षता: जटिल दो-चरण प्रशिक्षण या भारी एन्सेम्बल विधियों के विपरीत, Socrates Loss एक एकल, आसानी से लागू होने वाला लॉस फंक्शन है जो कुशलतापूर्वक एक एकल मॉडल को प्रशिक्षित करता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह शोध पत्र इस धारणा को चुनौती देता है कि आधुनिक DNNs को अनिवार्य रूप से ओवरकॉन्फिडेंट होना चाहिए। यह प्रदर्शित करता है कि लॉस फंक्शन का चुनाव कैलिब्रेशन व्यवहार को मौलिक रूप से बदल सकता है, जो अक्सर डिजाइन के आधार पर अंडरकॉन्फिडेंट या पूरी तरह से कैलिब्रेटेड मॉडल का परिणाम देता है।
भविष्य की दिशाएँ: यह कार्य सिलेक्टिव क्लासिफिकेशन (अनिश्चित होने पर रुकना) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन के अनुसंधान के लिए मार्ग प्रशस्त करता है, क्योंकि "अनोन" क्लास मैकेनिज्म स्वाभाविक रूप से इन कार्यों के साथ संरेखित है।

निष्कर्षतः, Socrates Loss प्रभावी रूप से कॉन्फिडेंस कैलिब्रेशन में स्थिरता-प्रदर्शन ट्रेड-ऑफ को हल करता है, जो मौजूदा एड-हॉक और पोस्ट-हॉक विधियों के लिए एक मजबूत, सैद्धांतिक रूप से आधारित और अनुभवजन्य रूप से श्रेष्ठ विकल्प प्रदान करता है।