🤖 machine learning

Reliable Conformal Prediction for Ordinal Classification Using the Ranked Probability Score

यह शोधपत्र ऑर्डिनल क्लासिफिकेशन (क्रमिक वर्गीकरण) के लिए एक मॉडल-एग्नोस्टिक कॉन्फॉर्मल प्रेडिक्शन विधि प्रस्तुत करता है जो निरंतर, मीडियन-केंद्रित (मध्यिका-केंद्रित) प्रेडिक्शन सेट्स उत्पन्न करने के लिए रैंक किया गया प्रोबेबिलिटी स्कोर को नॉनकॉन्फॉर्मिटी माप के रूप में उपयोग करता है, जो विभिन्न डेटासेट्स में सेट की चौड़ाई और ऑर्डिनल मिसकवरेज की गंभीरता के बीच प्रभावी ढंग से संतुलन बनाता है।

मूल लेखक: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Stefan Haas, Luca Killmaier, Alireza Javanmardi, Eyke Hüllermeier

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: सुरक्षा जाल के साथ अनुमान लगाना

कल्पना कीजिए कि आप एक डॉक्टर हैं जो किसी मरीज की उम्र का अनुमान लगाने की कोशिश कर रहे हैं, या एक वित्तीय विश्लेषक (financial analyst) जो किसी कंपनी के जोखिम स्तर का अनुमान लगाने की कोशिश कर रहे हैं। इन स्थितियों में, उत्तर केवल "लाल," "नीला," या "हरा" जैसे यादृच्छिक (random) वर्ग नहीं होते। उनका एक स्वाभाविक क्रम होता है: "शिशु," "बच्चा," "किशोर," "वयस्क," "वरिष्ठ नागरिक।" इसे ऑर्डिनल क्लासिफिकेशन (Ordinal Classification) कहा जाता है।

समस्या यह है कि बेहतरीन AI मॉडल भी गलतियाँ करते हैं। कभी-कभी वे "किशोर" का अनुमान लगाते हैं जबकि व्यक्ति वास्तव में "वरिष्ठ नागरिक" होता है। चिकित्सा या वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में, उस गलती का आकार मायने रखता है। "वयस्क" के बजाय "वरिष्ठ नागरिक" का अनुमान लगाना एक छोटी गलती है। "शिशु" के बजाय "वरिष्ठ नागरिक" का अनुमान लगाना एक बहुत बड़ी, खतरनाक गलती है।

यह शोध पत्र इन AI भविष्यवाणियों के चारों ओर एक "सुरक्षा जाल" (safety net) बनाने का एक नया तरीका पेश करता है। केवल एक अनुमान देने के बजाय, AI संभावित उत्तरों की एक सीमा (prediction set) देता है। लक्ष्य यह सुनिश्चित करना है कि सही उत्तर उस सीमा के भीतर हो, और साथ ही यह भी सुनिश्चित करना है कि वह सीमा बहुत अधिक चौड़ी न हो और बीच के महत्वपूर्ण चरणों को छोड़ न दे।

पुराने तरीकों के साथ समस्या: "लालची" दृष्टिकोण (The "Greedy" Approach)

पहले, अधिकांश तरीके इन सुरक्षा जालों को बनाने की कोशिश करते थे जो AI के "सर्वश्रेष्ठ अनुमान" (सबसे संभावित उत्तर) से शुरू होते थे और उसके बगल में मौजूद सबसे बड़े टुकड़ों को पकड़ने वाले एक लालची खाने वाले की तरह बाहर की ओर फैलते थे।

दोष: कल्पना कीजिए कि AI एक मरीज को देख रहा है और सोचता है कि "किशोर" होने की 40% संभावना है, "वरिष्ठ नागरिक" होने की 35% संभावना है, और "बच्चा" होने की बहुत कम संभावना है।

पुराना तरीका: यह "किशोर" से शुरू होता है और "बच्चा" को पकड़ लेता है क्योंकि यह अगला सबसे बड़ा हिस्सा है। यह कुछ समय के लिए "वरिष्ठ नागरिक" को अनदेखा कर देता है।
परिणाम: सुरक्षा जाल {किशोर, बच्चा} बन सकता है। यदि मरीज वास्तव में "वरिष्ठ नागरिक" है, तो सुरक्षा जाल पूरी तरह विफल हो जाता है, और त्रुटि बहुत बड़ी होती है (किशोर से वरिष्ठ नागरिक तक की छलांग)। पुराना तरीका जाल के आकार पर अधिक ध्यान देता है बजाय इसके कि गलती की दूरी कितनी है।

नया समाधान: "संतुलित तराजू" (Ranked Probability Score)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे रैंक्ड प्रोबेबिलिटी स्कोर (RPS) कहा जाता है। इसे एक संतुलित तराजू या एक रस्सी पर चलने वाले (tightrope walker) के रूप में सोचें।

"सबसे संभावित" अनुमान से शुरू होकर पड़ोसियों को पकड़ने के बजाय, यह विधि संभावनाओं के संपूर्ण वितरण (entire distribution) को देखती है और सुरक्षा जाल को मध्य (median) से बाहर की ओर बनाती है।

यह कैसे काम करता है:

केंद्र खोजें: यह AI की अनिश्चितता के मध्य बिंदु को पाता है।
समान रूप से विस्तार करें: यह केंद्र के बाईं और दाईं ओर अगले सबसे संभावित विकल्पों को जोड़ता है, यह प्रयास करते हुए कि दोनों तरफ का "भार" संतुलित रहे।
परिणाम: सुरक्षा जाल हमेशा एक सतत ब्लॉक (contiguous block) होता है (बिना किसी अंतराल के)। यदि AI अनिश्चित है, तो जाल मध्य क्षेत्र को शामिल करने के लिए फैलता है।

उपमा (Analogy):
कल्पना कीजिए कि आप तापमान का अनुमान लगाने की कोशिश कर रहे हैं।

पुराना तरीका (Mode-centered): आप अनुमान लगाते हैं "70°F" (सबसे संभावित)। आप "69°F" और "71°F" जोड़ते हैं क्योंकि वे करीब हैं। लेकिन यदि वास्तविक तापमान वास्तव में "50°F" (ठंड का झोंका) है, तो आपका जाल {69, 70, 71} बेकार है। आपने ठंड को पूरी तरह से मिस कर दिया।
नया तरीका (RPS/Median-centered): यह पूरी तस्वीर को देखता है। यदि AI "ठंडा," "सामान्य," और "गर्म" के बीच अनिश्चित है, तो नया तरीका एक ऐसा जाल बनाता है जो "सामान्य" से लेकर "गर्म" तक की पूरी सीमा को कवर करता है ताकि आप चरम सीमाओं को मिस न करें। यह त्रुटि की दूरी को कम करने को प्राथमिकता देता है। यदि आप गलत हैं, तो आप थोड़ा गलत होना चाहते हैं, बहुत ज्यादा नहीं।

यह क्यों मायने रखता है: "निरंतरता" का नियम (The "Contiguity" Rule)

ऑर्डिनल समस्याओं में, आपका सुरक्षा जाल एक ठोस ब्लॉक होना चाहिए। आप ऐसा जाल नहीं रख सकते जो कहता हो "यह एक शिशु या एक वरिष्ठ नागरिक है, लेकिन निश्चित रूप से एक बच्चा नहीं है।" यह समझ में नहीं आता।

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि उनकी नई विधि हमेशा एक ठोस, अटूट ब्लॉक बनाती है। इसे डेटा के "घंटी के आकार" (bell-shaped/unimodal) होने के बारे में विशेष धारणाओं की आवश्यकता नहीं है। भले ही AI भ्रमित हो और सोचता हो कि उत्तर दो बहुत अलग चीजें हो सकती हैं (जैसे "शिशु" और "वरिष्ठ नागरिक" के बीच कुछ भी नहीं है), यह विधि अंतराल को भर देती है ताकि सुरक्षा जाल निरंतर बना रहे।

"गति" का लाभ

आमतौर पर, एक आदर्श सुरक्षा जाल खोजने के लिए बहुत अधिक कंप्यूटर खोज (जैसे संख्याओं के हर संभावित संयोजन को आज़माना) की आवश्यकता होती है। लेखक दिखाते हैं कि उनकी विधि बहुत तेज़ है। यह एक शॉर्टकट की तरह है जो उन्हें एक ही बार में (one pass) परफेक्ट जाल की गणना करने की अनुमति देता है, बजाय इसके कि वे भूलभुलैया में खोज करते रहें। यह इसे वास्तविक दुनिया के उपयोग के लिए व्यावहारिक बनाता है।

परिणाम: एक बेहतर संतुलन

लेखकों ने छवियों (जैसे चेहरे से उम्र का अनुमान लगाना या चिकित्सा स्कैन से बीमारी की गंभीरता का पता लगाना) और डेटा तालिकाओं (जैसे क्रेडिट स्कोर) पर इसका परीक्षण किया।

दक्षता (Efficiency): नया तरीका सुरक्षा जाल बनाता है जो उचित रूप से छोटे (कुशल) हैं।
सुरक्षा: महत्वपूर्ण रूप से, जब सुरक्षा जाल विफल होता है (सही उत्तर जाल के बाहर होता है), तो त्रुटि पुराने तरीकों की तुलना में बहुत कम होती है।
- पुराना तरीका: "मैंने किशोर का अनुमान लगाया, लेकिन आप वरिष्ठ नागरिक थे।" (बड़ी त्रुटि)।
- नया तरीका: "मैंने किशोर का अनुमान लगाया, लेकिन आप वयस्क थे।" (छोटी त्रुटि)।

सारांश

यह शोध पत्र एक स्मार्ट तरीके के बारे में है जिससे AI कह सके, "मैं 100% निश्चित नहीं हूँ, लेकिन मुझे काफी हद तक यकीन है कि उत्तर इस सीमा के भीतर है।"

केवल लोकप्रिय अनुमानों को अंधाधुंध पकड़ने के बजाय, यह एक संतुलित, निरंतर सुरक्षा जाल बनाता है जो यह सुनिश्चित करता है कि यदि AI गलत है, तो वह केवल थोड़ा सा गलत होगा, विनाशकारी रूप से नहीं। यह एक रस्सी पर चलने वाले की तरह है जो हमेशा बीच में अपना संतुलन बनाए रखता है, यह सुनिश्चित करता है कि वह कभी भी किनारे से एक बड़ा, खतरनाक कदम न ले ले।

तकनीकी सारांश: रैंक प्रोबेबिलिटी स्कोर का उपयोग करके ऑर्डिनल क्लासिफिकेशन के लिए विश्वसनीय कॉन्फॉर्मल प्रेडिक्शन

समस्या विवरण (Problem Statement)

ऑर्डिनल क्लासिफिकेशन (OC) में एक स्वाभाविक रैखिक क्रम (जैसे, रोग की गंभीरता, आयु समूह, क्रेडिट रेटिंग) वाले असतत लेबल (discrete labels) की भविष्यवाणी करना शामिल है। जबकि पॉइंट प्रेडिक्शन के लिए महत्वपूर्ण प्रगति हुई है, अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification - UQ) अभी भी अल्पविकसित है, विशेष रूप से चिकित्सा और वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में। मानक कॉन्फॉर्मल प्रेडिक्शन (CP) वितरण-मुक्त (distribution-free) प्रेडिक्शन सेट प्रदान करता है लेकिन ऑर्डिनल सेटिंग में विशिष्ट चुनौतियों का सामना करता है:

निरंतरता (Contiguity): लेबल के क्रम का सम्मान करने के लिए प्रेडिक्शन सेट निरंतर अंतराल (जैसे, {बच्चा, किशोर, वयस्क}) होने चाहिए। गैर-निरंतर सेट (जैसे, {बच्चा, वरिष्ठ}) अर्थपूर्ण रूप से अनुचित हैं।
ऑर्डिनल जोखिम (Ordinal Risk): जब वास्तविक लेबल प्रेडिक्शन सेट के बाहर गिरता है (मिस्कवरेज), तो त्रुटि की गंभीरता ऑर्डिनल दूरी पर निर्भर करती है। एक विधि जो सेट के आकार को कम करने (दक्षता) का प्रयास करती है, वह ऐसे सेट बना सकती है जो, विफल होने पर, वास्तविक लेबल से बहुत बड़े अंतर से चूक जाते हैं, जिससे विनाशकारी जोखिम आकलन (risk misestimation) हो सकता है।
वितरण धारणाएं (Distribution Assumptions): मौजूदा विधियां अक्सर निरंतरता सुनिश्चित करने के लिए ग्रीडी सर्च प्रक्रियाओं या यूनिमोडैलिटी (एकल शिखर वाली प्रेडिक्टिव डिस्ट्रीब्यूशन) पर निर्भर करती हैं। ये धारणाएं जटिल डेटा (जैसे, विशेषज्ञ असहमति से उत्पन्न द्वि-मोडल वितरण) के लिए लागू नहीं हो सकती हैं और पक्षपाती अनिश्चितता अनुमानों का कारण बन सकती हैं।

वर्तमान दृष्टिकोण संरचनात्मक पूर्वाधों को लागू किए बिना सेट दक्षता और ऑर्डिनल मिस्कवरेज की तीव्रता को कम करने के बीच संतुलन बनाने में संघर्ष करते हैं।

कार्यप्रणाली (Methodology)

लेखक रैंक प्रोबेबिलिटी स्कोर (RPS) पर आधारित एक मॉडल-एग्नोस्टिक CP विधि प्रस्तावित करते हैं।

मुख्य तंत्र (Core Mechanism):

नॉनकनफॉर्मिटी स्कोर (Nonconformity Score): मोड-केंद्रित स्कोर (जैसे, लीस्ट एम्बिगअस सेट-वैल्यूड क्लासिफायर या एडेप्टिव प्रेडिक्शन सेट्स) के बजाय, यह विधि नॉनकनफॉर्मिटी माप के रूप में RPS का उपयोग करती है। RPS एक स्ट्रिक्टली प्रॉपर स्कोरिंग नियम है जो संचयी प्रेडिक्टिव वितरण (cumulative predictive distributions) पर परिभाषित है:
$\text{RPS}(X, Y) = \frac{1}{K-1} \sum_{k=1}^{K-1} (F_X(k) - \mathbb{1}\{Y \leq y_k\})^2$
जहाँ $F_X(k)$ प्रेडिक्टेड क्युमुलेटिव डिस्ट्रीब्यूशन फंक्शन (CDF) है और $K$ क्लास की संख्या है।
प्रेडिक्शन सेट निर्माण: एक टेस्ट इंस्टेंस $X_{n+1}$ और मिस्कवरेज दर $\alpha$ के लिए, प्रेडिक्शन सेट को इस प्रकार परिभाषित किया गया है:
$C_\alpha(X_{n+1}) = \{y \in \mathcal{Y} : \text{RPS}(X_{n+1}, y) \leq \hat{q}_{1-\alpha} \}$
जहाँ $\hat{q}_{1-\alpha}$ कैलिब्रेशन सेट पर गणना किए गए RPS स्कोर का एम्पिरिकल $(1-\alpha)$ -क्वांटाइल है।

सैद्धांतिक गुण (Theoretical Properties):
यह शोध पत्र तीन प्रमुख गुणों को स्थापित करता है:

मार्जिनल कवरेज (Marginal Coverage): यह विधि एक्सचेंजैबिलिटी धारणा के तहत मानक मार्जिनल कवरेज गारंटी ( $P(Y \in C(X)) \geq 1-\alpha$ ) को संतुष्ट करती है, चाहे अंतर्निहित प्रेडिक्टिव मॉडल कुछ भी हो।
निरंतरता और मीडियन-सेंटरिंग (Contiguity and Median-Centering): मोड-आधारित दृष्टिकोणों के विपरीत, RPS-आधारित सेट निर्माण द्वारा निरंतर (contiguous by construction) होते हैं। RPS स्कोर फंक्शन प्रेडिक्टिव डिस्ट्रीब्यूशन के मीडियन (median) के चारों ओर V-आकार का होता है। फलस्वरूप, प्रेडिक्शन सेट मीडियन पर केंद्रित निरंतर अंतराल होते हैं, न कि मोड पर। यह उन द्वि-मोडल (bimodal) वितरणों के लिए भी सत्य है जहाँ मोड और मीडियन भिन्न होते हैं।
ऑर्डिनल रिस्क ऑप्टिमैलिटी (Ordinal Risk Optimality): एक ऑरेकल कंडीशनल कवरेज सेटिंग के तहत (जहाँ वास्तविक कंडीशनल डिस्ट्रीब्यूशन ज्ञात है), RPS-आधारित सेट अपेक्षित $L_1$ दूरी (ऑर्डिनल रिस्क) को कम करते हैं। यह विधि केवल सेट कार्डिनैलिटी के बजाय ऑर्डिनल रिस्क को कम करने के लिए अनुकूलित करती है।

कंप्यूटेशनल दक्षता (Computational Efficiency):
यह विधि कंप्यूटेशनल रूप से कुशल है। जबकि सभी $K$ लेबल्स के लिए नेइवली RPS की गणना करने में $O(K^2)$ समय लगता है, लेखक एक रिकरेंस रिलेशन प्रदर्शित करते हैं जो सभी स्कोर को लीनियर टाइम $O(K)$ में कंप्यूट करने की अनुमति देता है। समग्र जटिलता कैलिब्रेशन पॉइंट्स और लेबल्स की संख्या दोनों के साथ रैखिक रूप से स्केल करती है।

मुख्य योगदान (Key Contributions)

नया नॉनकनफॉर्मिटी माप: ऑर्डिनल कॉन्फॉर्मल प्रेडिक्शन के लिए विशेष रूप से एक प्रॉपर, मॉडल-एग्नोस्टिक नॉनकफोंमिटी माप के रूप में रैंक प्रोबेबिलिटी स्कोर (RPS) का परिचय।
सैद्धांतिक गारंटी: प्रमाण कि RPS-आधारित सेट मार्जिनल कवरेज को संतुष्ट करते हैं, $\alpha$ के संबंध में नेस्टेड हैं, और यूनिमोडैलिटी धारणाओं की आवश्यकता के बिना स्वाभाविक रूप से निरंतर और मीडियन-सेंटर्ड हैं।
जोखिम अनुकूलन: यह प्रदर्शन करना कि RPS-आधारित सेट ऑरेकल कंडीशनल कवरेज के तहत ऑर्डिनल रिस्क ( $L_1$ एरर) को सीधे अनुकूलित करते हैं, जो मोड-केंद्रित विधियों के विपरीत है जो सेट दक्षता को प्राथमिकता देती हैं।
दक्षता: एक लीनियर-टाइम इम्प्लीमेंटेशन एल्गोरिदम जो मौजूदा ऑर्डिनल CP विधियों के लिए आवश्यक ग्रीडी सर्च या बाइनरी सर्च प्रक्रियाओं से बचता है।
अनुभवजन्य सत्यापन (Empirical Validation): BACH, RetinaMNIST, FGNet जैसे ऑर्डिनल इमेज और टैबुलर डेटासेट्स पर व्यापक मूल्यांकन, जो min-CPS, COPOC (LAC/APS), और OCDF जैसे बेसलाइन्स के विरुद्ध तुलना करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दक्षता और ऑर्डिनल रिस्क दोनों को कैप्चर करने वाले मेट्रिक्स का उपयोग करके कई डेटासेट्स पर विधि का मूल्यांकन किया:

मिस्कवरेज मैग्नीट्यूड (Miscoverage Magnitude): इसे मीन एब्सोल्यूट मिस्कवरेज मैग्नीट्यूड (MAMM) और वर्स्ट-केस एब्सोल्यूट मिस्कवरेज मैग्नीट्यूड (WAMM) द्वारा मापा गया। RPS-आधारित सेटों ने मोड-केंद्रित विधियों (min-CPS, COPOCL, COPOCA) की तुलना में लगातार कम MAMM और WAMM प्राप्त किया, जो इंगित करता है कि त्रुटियां होने पर, वास्तविक लेबल प्रेडिक्शन सेट के करीब होता है।
दक्षता बनाम जोखिम ट्रेड-ऑफ: इसे एवरेज इंटरवल स्कोर लॉस (AISL) द्वारा मापा गया, जो व्यापक अंतराल और बड़े मिस्कवरेज डिस्टेंस दोनों को दंडित करता है। RPS-आधारित सेटों ने एक अनुकूल संतुलन प्राप्त किया, जो अक्सर AISL में बेसलाइन्स से बेहतर प्रदर्शन करता है।
निरंतरता (Contiguity): सभी RPS-आधारित सेट निरंतर थे (CV = 0), जबकि गैर-ऑर्डिनल बेसलाइन्स (LAC, APS) ने अक्सर निरंतरता का उल्लंघन किया।
मजबूती (Robustness): द्वि-मोडल प्रेडिक्टिव डिस्ट्रीब्यूशन (जैसे, द्वि-मोडल विशेषज्ञ राय) के मामलों में, RPS ने मजबूत प्रदर्शन बनाए रखा, जबकि मोड-केंद्रित विधियां एकल उच्चतम संभाव्यता शिखर (highest probability peak) पर ध्यान केंद्रित करके ऑर्डिनल रिस्क को कम आंकने की प्रवृत्ति रखती हैं।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि RPS-आधारित कॉन्फॉर्मल प्रेडिक्शन एक मजबूत और बहुमुखी समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

निष्ठापूर्ण अनिश्चितता प्रतिनिधित्व: मीडियन-सेंटर्ड और डिज़ाइन द्वारा निरंतर होने के कारण, यह पूर्ण ऑर्डिनल संरचना और संबंधित जोखिमों को सटीक रूप से दर्शाता है, विशेष रूप से उन परिदृश्यों में जहाँ मोड-आधारित दृष्टिकोण विफल हो जाते हैं।
उच्च-जोखिम वाली प्रयोज्यता: यह मिस्कवरेज की गंभीरता को कम करता है, जो चिकित्सा निदान और वित्तीय जोखिम मूल्यांकन जैसे डोमेन में एक महत्वपूर्ण आवश्यकता है जहाँ त्रुटि की लागत उसके ऑर्डिनल अंतर के समानुपाती होती है।
व्यावहारिकता: यह एक कंप्यूटेशनल रूप से कुशल, मॉडल-एग्नोस्टिक फ्रेमवर्क प्रदान करता है जो विशिष्ट आर्किटेक्चरल बाधाओं (जैसे यूनिमोडैलिटी) या महंगी खोज प्रक्रियाओं पर निर्भर नहीं है, जिससे यह किसी भी अंतर्निहित प्रोबेबिलिस्टिक प्रेडिक्टर के लिए लागू करने योग्य बनाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि RPS-आधारित सेट हमेशा सबसे छोटे संभव प्रेडिक्शन सेट (अधिकतम दक्षता) नहीं दे सकते हैं, वे अंतराल की चौड़ाई और ऑर्डिनल मिस्कवरेज की तीव्रता के बीच एक बेहतर संतुलन बनाते हैं, जो उन्हें वास्तविक दुनिया के ऑर्डिनल प्रेडिक्शन कार्यों के लिए एक विश्वसनीय विकल्प बनाता है। भविष्य के कार्य में इस ढांचे के भीतर एपिस्टेमिक और एलेटोरिक घटकों को डीकंपोज करना शामिल है।