🤖 machine learning

Benchmarking non-conformity score functions in conformal prediction

यह शोध पत्र कॉन्फॉर्मल प्रेडिक्शन (conformal prediction) में नॉन-कन्फॉर्मिटी स्कोर फंक्शन्स का एक अवलोकन प्रदान करता है और उनमें संशोधन प्रस्तुत करता है, तथा विशेष रूप से क्लास-इम्बैलेंस्ड (class-imbalanced) स्थितियों के तहत प्रेडिक्शन सेट्स उत्पन्न करने में उनकी प्रभावशीलता को बेंचमार्क करने के लिए एक नवीन मूल्यांकन पद्धति प्रस्तावित करता है।

मूल लेखक: Sol Erika Boman

प्रकाशित 2026-05-26

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sol Erika Boman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके पेपर का विवरण दिया गया है।

बड़ी तस्वीर: "एक चीज़ का अनुमान लगाने" से "एक सुरक्षित सूची बनाने" तक

कल्पना कीजिए कि आप "जानवर पहचानो" खेल खेल रहे हैं। एक मानक मशीन लर्निंग मॉडल एक आत्मविश्वासी दोस्त की तरह है जो एक तस्वीर की ओर इशारा करता है और कहता है, "यह निश्चित रूप से एक बिल्ली (Cat) है।" कभी-कभी वे सही होते हैं, लेकिन कभी-कभी गलत भी होते हैं, और वे अपनी अनिश्चितता को कभी स्वीकार नहीं करते।

कन्फॉर्मल प्रेडिक्शन (Conformal Prediction) एक अलग दृष्टिकोण है। केवल एक जानवर का अनुमान लगाने के बजाय, मॉडल आपको संभावनाओं की एक सूची (list) देता है। यह कह सकता है, "यह संभवतः एक बिल्ली है, लेकिन यह एक कुत्ता या एक लोमड़ी भी हो सकती है।"

इस पद्धति का जादू एक सुरक्षा जाल (safety net) की गारंटी देना है। यदि आप मॉडल को बताते हैं, "मैं चाहता हूँ कि मैं 95% सुनिश्चित रहूँ कि मेरा उत्तर इस सूची में है," तो मॉडल इस बात को सुनिश्चित करने के लिए अपनी सूची के आकार को समायोजित करेगा कि समय के साथ, वास्तविक जानवर उस सूची के अंदर 95% बार मौजूद रहे।

समस्या: सूची कितनी बड़ी होनी चाहिए?

पेपर एक महत्वपूर्ण प्रश्न पूछता है: हम कैसे तय करें कि सूची में क्या जाना चाहिए?

यदि सूची बहुत छोटी है (जैसे, केवल "बिल्ली"), तो आप वास्तविक उत्तर को चूक सकते हैं। यदि सूची बहुत बड़ी है (जैसे, "बिल्ली, कुत्ता, लोमड़ी, हैम्स्टर, गोल्डफिश"), तो आप सुरक्षित तो हैं, लेकिन सूची बेकार है क्योंकि इसमें सब कुछ शामिल है।

मॉडल द्वारा यह तय करने के लिए कि सूची में क्या रखा जाए, जिस उपकरण का वह उपयोग करता है उसे नॉन-कन्फॉर्मिटी स्कोर (Non-conformity Score) कहा जाता है। इस स्कोर को एक "अजीबोगरीब मीटर" (Weirdness Meter) के रूप में समझें।

कम स्कोर (Low Score): डेटा पॉइंट उस क्लास के लिए बहुत सामान्य दिखता है (जैसे, एक रोएँदार तस्वीर बिल्ली की तरह बहुत अधिक दिखती है)।
उच्च स्कोर (High Score): डेटा पॉइंट उस क्लास के लिए अजीब या "नॉन-कन्फॉर्मिंग" दिखता है (जैसे, अगर आप बिल्ली कहने की कोशिश कर रहे हैं, तो एक पत्थर की तस्वीर बहुत अजीब लगेगी)।

पेपर का लक्ष्य विभिन्न प्रकार के डेटा (जैसे जानवरों की तस्वीरें) में अलग-अलग प्रकार के "अजीबोगरीब मीटर" का परीक्षण करना था ताकि यह देखा जा सके कि कौन सा सबसे उपयोगी सूची (ऐसी सूचियाँ जो छोटी हैं लेकिन फिर भी सुरक्षित हैं) बनाता है।

परीक्षित किए गए "अजीबोगरीब मीटर" (Weirdness Meters)

लेखकों ने विभिन्न प्रकार के डेटा (जैसे जानवरों की छवियों) में "अजीबोगरीबपन" को मापने के कई तरीकों का परीक्षण किया। यहाँ मुख्य तुलना दी गई है, उपमाओं का उपयोग करते हुए:

लेबल डिस्टेंस (द "टारगेट प्रैक्टिस" मीटर):
- यह कैसे काम करता है: यह मापता है कि मॉडल का अनुमान "परफेक्ट" उत्तर से कितना दूर है। कल्पना कीजिए कि आप निशाने पर तीर फेंक रहे हैं। यदि तीर बुल्सआई (bullseye) के करीब है, तो स्कोर कम है (अजीब नहीं)। यदि यह दूर है, तो स्कोर अधिक है।
- पेपर का निष्कर्ष: यह बहुत अच्छा रहा, विशेष रूप से "कोसाइन डिस्टेंस" (Cosine Distance) नामक दूरी मापने के एक विशिष्ट तरीके का उपयोग करते समय (जो केवल कच्ची दूरी के बजाय अनुमान की दिशा को देखता है)।
मार्जिन डिस्टेंस (द "बॉर्डर पेट्रोल" मीटर):
- यह कैसे काम करता है: परफेक्ट उत्तर से दूरी मापने के बजाय, यह दो उत्तरों के बीच की सीमा (border) से निकटता को मापता है। यदि आप "बिल्ली" और "कुत्ता" के बीच की रेखा पर खड़े हैं, तो आप बहुत भ्रमित हैं (उच्च अजीबोगरीबपन)। यदि आप "बिल्ली" के क्षेत्र में गहराई में हैं, तो आप आश्वस्त हैं (कम अजीबोगरीबपन)।
- पेपर का निष्कर्ष: यह एक सुपरस्टार परफॉर्मर था, जिसने अक्सर सबसे छोटी और सबसे कुशल सूचियाँ बनाईं, विशेष रूप से प्रतिशत में बदलने से पहले के कच्चे नंबरों को देखते समय।
मीन डिस्टेंस (द "ग्रुप हग" मीटर):
- यह कैसे काम करता है: यह एक नई तस्वीर की तुलना उस क्लास के लिए पहले देखी गई सभी तस्वीरों के "औसत" (average) से करता है। यदि एक नई बिल्ली की तस्वीर औसत बिल्ली जैसी दिखती है, तो यह एक अच्छा फिट है। यदि यह कुत्ते जैसी दिखती है, तो यह अजीब है।
- पेपर का निष्कर्ष: यह कई श्रेणियों वाले जटिल डेटासेट्स (जैसे CIFAR100) के लिए सबसे अच्छा तरीका था।
APS/RAPS/SAPS (द "रैंकिंग" मीटर):
- यह कैसे काम करता है: ये अधिक जटिल तरीके हैं जो उत्तरों की रैंकिंग को देखते हैं। वे कहते हैं, "आइए शीर्ष अनुमान जोड़ें, फिर दूसरा, फिर तीसरा..." जब तक कि हम पर्याप्त सुरक्षित महसूस न करें कि रुक जाएँ। वे सूचियों को बहुत बड़ा होने से रोकने के लिए कुछ गणितीय ट्रिक्स (regularization) जोड़ते हैं।
- पेपर का निष्कर्ष: ये अच्छे थे, लेकिन अक्सर "डिस्टेंस" मीटर की तुलना में थोड़ी बड़ी सूचियाँ बनाते थे। दिलचस्प बात यह है कि पेपर ने पाया कि इन तरीकों को निष्पक्ष बनाने के लिए जोड़ा गया रैंडम "शोर" (noise) वास्तव में सुरक्षा गारंटी के लिए आवश्यक नहीं था; एक साधारण निश्चित संख्या भी उतना ही अच्छा काम करती थी।
ग्रेडिएंट/फीचर डिस्टेंस (द "डीप डाइव" मीटर):
- यह कैसे काम करता है: ये केवल अंतिम आउटपुट पर ही नहीं, बल्कि कंप्यूटर के मस्तिष्क के गहरे हिस्सों (फीचर लेयर्स) के अंदर अजीबोगरीबपन को मापने की कोशिश करते हैं।
- पेपर का निष्कर्ष: ये गणनात्मक रूप से भारी (धीमे) थे और हमेशा सरल तरीकों से बेहतर प्रदर्शन नहीं करते थे।

"अनुचित" परीक्षण: असंतुलित क्लासेस (Imbalanced Classes)

लेखकों ने यह भी परीक्षण किया कि जब डेटा अनुचित हो तो क्या होता है। कल्पना कीजिए कि एक डेटासेट है जहाँ 90% तस्वीरें बिल्लियों की हैं, और केवल 1% बाघों (Tigers) की हैं।

चुनौती: मॉडल बिल्लियों को पहचानने में बहुत अच्छा है लेकिन बाघों को पहचानने में बहुत खराब है।
परिणाम: जब मॉडल को 95% सुनिश्चित होने के लिए मजबूर किया जाता है, तो यह लगभग हर एक तस्वीर के लिए सूची में "बाघ" को शामिल कर देता है, भले ही तस्वीर स्पष्ट रूप से एक बिल्ली की हो।
क्यों? मॉडल बाघों के बारे में इतना अनिश्चित है कि वह सुरक्षित खेलना चाहता है। यह एक सुरक्षा गार्ड की तरह है जो बाघ को मिस करने से इतना डरता है कि वह इमारत में प्रवेश करने वाले हर व्यक्ति को रोक देता है। पेपर नोट करता है कि हालांकि यह भविष्यवाणी को "ईमानदार" बनाता है (यह स्वीकार करता है कि इसे नहीं पता), यह सूची को बहुत बड़ा और सामान्य वस्तुओं के लिए कम उपयोगी बना देता है।

मुख्य निष्कर्ष

कोई एक विजेता नहीं: हर स्थिति के लिए एक भी "सर्वश्रेष्ठ" अजीबोगरीब मीटर नहीं है।
- सरल कार्यों के लिए, Label Distance या Margin Distance सबसे अच्छा काम करता है।
- कई श्रेणियों वाले जटिल कार्यों के लिए, Mean Distance चैंपियन था।
दिशा मायने रखती है: Cosine Distance (डेटा की दिशा/कोण को मापना) का उपयोग करना मानक दूरी की तुलना में अक्सर बेहतर था, विशेष रूप से हाई-डायमेंशनल स्पेस (जैसे डीप लर्निंग मॉडल) में।
सादगी की जीत: सबसे जटिल तरीके (जैसे डीप फीचर ग्रेडिएंट्स) जरूरी नहीं कि बेहतर परिणाम दें और वे बहुत धीमे भी थे।
आर्किटेक्चर मायने रखता है: उपयोग किए गए कंप्यूटर मॉडल का प्रकार (जैसे ResNet बनाम EfficientNet) इस बात को बदल देता है कि कौन सा "अजीबोगरीब मीटर" सबसे अच्छा काम करता है, जिससे पता चलता है कि मीटर का चयन आपके विशिष्ट मॉडल के उपयोग पर निर्भर करता है।

संक्षेप में, यह पेपर सुरक्षित AI सूचियाँ बनाने के लिए उपकरणों का एक "मेन्यू" प्रदान करता है। यह दिखाता है कि अपने विशिष्ट समस्या के लिए सही "अजीबोगरीब मीटर" चुनकर, आप सुरक्षा से समझौता किए बिना अपनी भविष्यवाणियों की सूचियों को छोटा और उपयोगी रख सकते हैं।

तकनीकी सारांश: कॉन्फॉर्मल प्रेडिक्शन में नॉन-कन्फॉर्मिटी स्कोर फंक्शन का बेंचमार्किंग

समस्या विवरण (Problem Statement)

कॉन्फॉर्मल प्रेडिक्शन (CP), मशीन लर्निंग वर्गीकरण में मॉडल कैलिब्रेशन के एक कठोर विकल्प के रूप में कार्य करता है, जो एकल-वर्ग भविष्यवाणियों के बजाय प्रेडिक्शन सेट्स (prediction sets) उत्पन्न करता है। जबकि CP यह गारंटी देता है कि वास्तविक वर्ग $1 - \alpha$ की प्रायिकता के साथ प्रेडिक्शन सेट के भीतर मौजूद है (जहाँ $\alpha$ एक पूर्व-निर्धारित त्रुटि दर है), इन सेट्स की व्यावहारिक उपयोगिता उनके आकार पर बहुत अधिक निर्भर करती है। एक प्रेडिक्शन सेट जो बहुत बड़ा है, वह सूचनात्मक नहीं रह जाता।

इन सेट्स का आकार और उपयोगिता नॉन-कन्फॉर्मिटी स्कोर फंक्शन (non-conformity score function) के चयन द्वारा निर्धारित होती है। साहित्य में कई स्कोर फंक्शनों के अस्तित्व के बावजूद, उनके गुणों, प्रभावशीलता और मॉडल आर्किटेक्चर एवं क्लास इम्बैलेंस (वर्ग असंतुलन) के साथ उनकी अंतःक्रिया का व्यवस्थित अध्ययन करने में कमी है। यह शोध पत्र विभिन्न कॉन्फॉर्मल डोमेन (प्रोबेबिलिटी स्पेस, लॉजिट स्पेस और फीचर स्पेस) और असंतुलित डेटासेट सहित विभिन्न स्थितियों में विभिन्न स्कोर फंक्शन कैसे प्रदर्शन करते हैं, इस समझ के अंतर को दूर करता है।

कार्यप्रणाली (Methodology)

मूल्यांकन मीट्रिक (Evaluation Metric)

लेखक एक नया मूल्यांकन मीट्रिक, $I_1$ पेश करते हैं, जो त्रुटि दर $\alpha$ के मनमाने चयन के बिना स्कोर फंक्शनों का आकलन करने के लिए है। पारंपरिक मीट्रिक एक निश्चित $\alpha$ पर औसत प्रेडिक्शन सेट आकार की रिपोर्ट करते हैं, जो भ्रामक हो सकता है यदि $\alpha$ मॉडल की सटीकता के अनुरूप न हो।
मीट्रिक को इस प्रकार परिभाषित किया गया है:
$I_k = \frac{1}{1 - A_k} \int_{0}^{1 - A_k} \bar{|P|}(\alpha) \, d\alpha$
जहाँ $A_k$ टॉप- $k$ मॉडल सटीकता (विशेष रूप से टॉप-1 सटीकता के लिए $A_1$ ) है, और $\bar{|P|}(\alpha)$ त्रुटि दर $\alpha$ पर औसत प्रेडिक्शन सेट का आकार है। यह इंटीग्रल मूल्यांकन को त्रुटि दरों की "दिलचस्प" सीमा (मॉडल की अंतर्निहित त्रुटि दर से 0 तक) तक सीमित करता है, जिससे एक एकल, वस्तुनिष्ठ संख्या प्राप्त होती है जहाँ कम मान बेहतर प्रदर्शन (छोटे प्रेडिक्शन सेट्स) को दर्शाते हैं।

प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट्स: ImageNet (1000 क्लासेस), CIFAR-100 (100 क्लासेस), और CIFAR-10 (10 क्लासेस)।
मॉडेल्स: ResNet50 (प्राथमिक), ResNet18, और EfficientNet-B0।
कॉन्फॉर्मल डोमेन: अध्ययन तीन अलग-अलग स्पेस में स्कोर फंक्शनों का मूल्यांकन करता है:
1. प्रोबेबिलिटी स्पेस (Probability Space): सॉफ्टमैक्स फंक्शन ( $\Delta_{n-1}$ ) का आउटपुट।
2. लॉजिट स्पेस (Logit Space): सॉफ्टमैक्स से पहले कच्चे आउटपुट वेक्टर्स ( $\mathbb{R}^n$ )।
3. फीचर स्पेस (Feature Space): लीनियर आउटपुट लेयर से पहले अंतिम फीचर वेक्टर्स।
बेंचमार्क किए गए स्कोर फंक्शन:
- लेबल डिस्टेंस (Label Distance): प्रेडिक्शन और वन-हॉट एनकोडेड लेबल के बीच की दूरी।
- मार्जिन डिस्टेंस (Margin Distance): वास्तविक वर्ग और सबसे संभावित गलत वर्ग के बीच निर्णय सीमा (decision boundary) से दूरी।
- मीन डिस्टेंस (Mean Distance): उसी वर्ग के कैलिब्रेशन उदाहरणों के माध्य से दूरी।
- नियरस्ट नेबर (Nearest Neighbor): निकटतम समान-वर्ग बनाम भिन्न-वर्ग उदाहरणों के बीच का अनुपात।
- APS/RAPS/SAPS: एडेप्टिव प्रेडिक्शन सेट्स और उनके रेगुलराइज्ड वेरिएंट (रैंक-आधारित विधियाँ)।
- ग्रेडिएंट/फास्ट ग्रेडिएंट (Gradient/Fast Gradient): फीचर-आधारित विधियाँ जो फीचर स्पेस में निर्णय सीमा से दूरी का अनुमान लगाती हैं।
इम्बैलेंस टेस्टिंग: एक क्लास-कंडीशनल सेटिंग का परीक्षण किया गया जहाँ अल्पसंख्यक वर्गों (minority classes) की व्यापकता को घटाकर 10% कर दिया गया ताकि यह मूल्यांकन किया जा सके कि विभिन्न स्कोर फंक्शन क्लास इम्बैलेंस को कितनी अच्छी तरह संभालते हैं।

मुख्य परिणाम (Key Results)

स्कोर फंक्शन का प्रदर्शन

$I_1$ मीट्रिक द्वारा सारांशित बेंचमार्किंग परिणाम विशिष्ट प्रदर्शन पैटर्न प्रकट करते हैं:

डिस्टेंस-आधारित बनाम रैंक-आधारित: डिस्टेंस-आधारित स्कोर फंक्शनों ने विशेष रूप से कोसाइन डिस्टेंस (cosine distance) का उपयोग करते समय, प्रेडिक्शन सेट के आकार के मामले में रैंक-आधारित विधियों (APS, RAPS, SAPS) से बेहतर प्रदर्शन किया।
इष्टतम डोमेन और मीट्रिक्स:
- ResNet मॉडल्स के लिए ImageNet हेतु लॉजिट स्पेस में मार्जिन डिस्टेंस और कोसाइन डिस्टेंस ने सबसे कम $I_1$ मान प्राप्त किए।
- मीन डिस्टेंस ने CIFAR-100 पर, विशेष रूप से फीचर स्पेस में कोसाइन डिस्टेंस के साथ असाधारण प्रदर्शन किया।
- प्रोबेबिलिटी स्पेस में कोसाइन डिस्टेंस के साथ लेबल डिस्टेंस भी अत्यधिक प्रतिस्पर्धी था।
यूक्लिडियन बनाम कोसाइन: यूक्लिडियन डिस्टेंस को उच्च-आयामी स्पेस (जैसे ResNet50 में फीचर वेक्टर्स) के लिए कम उपयुक्त पाया गया, जबकि कोसाइन डिस्टेंस ने मजबूत प्रदर्शन किया, जो यह सुझाव देता है कि ये मॉडल वर्गों को लगभग ऑर्थोगोनल क्लस्टर्स में व्यवस्थित करते हैं।
APS/RAPS में रैंडमाइजेशन: अध्ययन में पाया गया कि कैलिब्रेटेड सेटिंग्स में कवरेज गारंटी के लिए APS और RAPS में रैंडमाइज्ड टर्म ( $u$ ) पूरी तरह आवश्यक नहीं है। $u$ को एक छोटे स्थिरांक (टाई-ब्रेकर के रूप में कार्य करने वाला) के रूप में सेट करने से अक्सर मानक रैंडमाइज्ड दृष्टिकोण की तुलना में बेहतर प्रदर्शन मिला।
ग्रेडिएंट विधियाँ: ग्रेडिएंट और फास्ट ग्रेडिएंट विधियाँ कम्प्यूटेशनल रूप से महंगी थीं और, फास्ट ग्रेडिएंट के मामले में, परीक्षण किए गए डेटासेट्स पर अन्य विधियों की तुलना में काफी खराब प्रदर्शन किया।

मॉडल आर्किटेक्चर का प्रभाव

जबकि ResNet50 और ResNet18 ने स्कोर फंक्शन के प्रदर्शन का समान सापेक्ष क्रम दिखाया, EfficientNet-B0 ने एक अलग रैंकिंग प्रदर्शित की। यह सुझाव देता है कि मॉडल आर्किटेक्चर (जैसे ReLU बनाम Swis जैसे एक्टिवेशन फंक्शन) कॉन्फॉर्मल डोमेन के ज्यामितीय गुणों को प्रभावित करता है, और इस प्रकार स्कोर फंक्शन के इष्टतम चयन को मॉडल की कच्ची सटीकता से भी अधिक प्रभावित कर सकता है।

क्लास इम्बैलेंस (Class Imbalance)

इम्बैलेंस्ड सेटिंग में, अल्पसंख्यक वर्गों को अक्सर उनकी वास्तविक व्यापकता की तुलना में बहुत अधिक आवृत्ति के साथ प्रेडिक्शन सेट्स में शामिल किया गया (उदाहरण के लिए, 0.1% वास्तविक व्यापकता वाले वर्ग के लिए 27% समावेश)। लेखक नोट करते हैं कि हालांकि यह प्रेडिक्टर की शुद्धता (precision) को कम करता है, लेकिन यह दुर्लभ वर्गों के संबंध में मॉडल की अनिश्चितता का एक "ईमानदार" प्रतिबिंब है। फीचर स्पेस में मीन डिस्टेंस ने इस ओवर-इनक्लूजन (अति-समावेशन) को बनाए रखते हुए कवरेज को कम करने में सबसे अच्छी क्षमता दिखाई।

महत्व और दावे (Significance and Claims)

यह शोध पत्र नॉन-क conformidad स्कोर फंक्शन के गुणों और प्रभावशीलता के संबंध में ज्ञान के अंतर को भरने का दावा करता है। इसके प्राथमिक योगदान हैं:

व्यवस्थित बेंचमार्किंग: कई डेटासेट्स, मॉडल्स और विभिन्न कॉन्फॉर्मल डोमेन में विविध स्कोर फंक्शनों की एक व्यापक तुलना प्रदान करना।
मूल्यांकन मीट्रिक: मॉडल सटीकता को ध्यान में रखते हुए और त्रुटि दर चयन के विवाद से बचते हुए एक मजबूत, एकल-संख्या मीट्रिक के रूप में $I_1$ को पेश करना।
डोमेन और मीट्रिक अंतर्दृष्टि: यह प्रदर्शित करना कि उच्च-आयामी कॉन्फॉर्मल डोमेन में कोसाइन डिस्टेंस, यूक्लिडियन डिस्टेंस की तुलना में बेहतर है और लॉजिट स्पेस अक्सर प्रोबेबिलिटी सिम्प्लेक्स से बेहतर प्रदर्शन करता है।
व्यावहारिक मार्गदर्शन: अभ्यासकर्ताओं को उनके विशिष्ट मॉडल आर्किटेक्चर और डेटा विशेषताओं के आधार पर स्कोर फंक्शन चुनने के लिए एक शुरुआती बिंदु प्रदान करना, न कि केवल एक एकल "सर्वश्रेष्ठ" सार्वभौमिक विधि पर निर्भर रहना।

लेखक निष्कर्ष निकालते हैं कि कोई भी एकल स्कोर फंक्शन सार्वभौमिक रूप से श्रेष्ठ नहीं है; बल्कि, इष्टतम चुनाव मॉडल और डेटा के विशिष्ट संदर्भ पर निर्भर करता है। फिर भी, बेंचमार्क इन चयनों को करने के लिए एक स्पष्ट, डेटा-संचालित आधार प्रदान करता है।