🤖 machine learning

CREDO: Epistemic-Aware Conformalized Credal Envelopes for Regression

यह शोध पत्र CREDO को प्रस्तुत करता है, जो एक ऐसी विधि है जो व्याख्या योग्य क्रेडलल एनवेलप्स (credal envelopes) को कॉन्फॉर्मल कैलिब्रेशन के साथ जोड़ती है ताकि वितरण-मुक्त (distribution-free) भविष्यवाणी अंतराल उत्पन्न किए जा सकें जो कठोर कवरेज गारंटी बनाए रखते हुए स्पष्ट रूप से एपिस्टेमिक अनिश्चितता (epistemic uncertainty) को ध्यान में रखते हैं।

मूल लेखक: Luben M. C. Cabezas, Sabina J. Sloman, Bruno M. Resende, Fanyi Wu, Michele Caprio, Rafael Izbicki

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luben M. C. Cabezas, Sabina J. Sloman, Bruno M. Resende, Fanyi Wu, Michele Caprio, Rafael Izbicki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आपका काम कल के तापमान की भविष्यवाणी करना और लोगों को संभावनाओं की एक सीमा देना है, जैसे कि "यह 60°F और 70°F के बीच होगा।"

अधिकांश आधुनिक AI मॉडल इसमें बहुत अच्छे होते हैं, लेकिन उनमें एक खतरनाक आदत है: वे अति-आत्मविश्वासी (overconfident) होते हैं।

यदि आप किसी ऐसी जगह के मौसम के बारे में एक मानक AI से पूछते हैं जहाँ वह कभी नहीं गया है (एक "स्पार्स" क्षेत्र जहाँ उसके पास डेटा नहीं है), तो वह फिर भी आत्मविश्वास से कह सकता है, "यह 60°F और 70°F के बीच होगा।" उसे यह एहसास नहीं होता कि क्योंकि उसके पास वहां का कोई डेटा नहीं है, इसलिए वह वास्तव में केवल एक अनुमान लगा रहा है। वह यह admitting करने में विफल रहता है कि, "मुझे निश्चित होने के लिए पर्याप्त जानकारी नहीं है।"

यह पेपर एक नई विधि पेश करता है जिसे CREDO (Conformalized Regression with Epistemic-aware creDal envelOpes) कहा जाता है। CREDO को एक "ईमानदार मौसम विज्ञानी" के रूप में समझें जो जानता है कि वह कब अनुमान लगा रहा है।

यह यहाँ कैसे काम करता है, इसे सरल उपमाओं में विभाजित किया गया है:

1. अनिश्चितता के दो प्रकार

CREDO को समझने के लिए, आपको "न जानने" के दो प्रकारों को जानना आवश्यक है:

Aleatoric Uncertainty (शोर/Noise): यह दुनिया की स्वाभाविक अराजकता है। भले ही आप मौसम के बारे में सब कुछ जानते हों, फिर भी यह थोड़ा रैंडम होता है कि बारिश होगी या धूप निकलेगी। यह अपरिहार्य है।
Epistemic Uncertainty (अज्ञानता/Ignorance): यह सूचना के अभाव के कारण होने वाली अनिश्चितता है। यह तब होता है जब मॉडल ने सटीक अनुमान लगाने के लिए पर्याप्त डेटा नहीं देखा है।

मानक AI मॉडल अक्सर इन्हें आपस में मिला देते हैं। वे आपको एक संकीर्ण सीमा (कम अनिश्चितता) दे सकते हैं, भले ही वे पूरी तरह से अनभिज्ञ हों। CREDO इन्हें अलग करता है।

2. "Credal Envelope" (सुरक्षा जाल)

CREDO का पहला चरण एक Credal Envelope बनाना है।
कल्पना कीजिए कि आपके पास 100 अलग-अलग मौसम विशेषज्ञों की एक टीम है (एक "credal set")।

उस शहर में जहाँ सभी वर्षों से रह रहे हैं (बहुत सारा डेटा है), सभी 100 विशेषज्ञ सहमत हैं: "यह 60–70°F होगा।"
एक नए, अनछुए रेगिस्तान में (कम डेटा है), विशेषज्ञ बहस करने लगते हैं। कुछ कहते हैं 40°F, अन्य कहते हैं 90°F।

CREDO एक विशेषज्ञ को नहीं चुनता। इसके बजाय, यह एक विशाल सुरक्षा जाल (safety net) बनाता है जो टीम के सभी तर्कसंगत अनुमानों को कवर करता है।

शहर में: जाल संकीर्ण है (60–70°F)।
रेगिस्तान में: जाल बहुत बड़ा है (40–90°F)।

यह "Epistemic" वाला हिस्सा है। जाल ठीक वहीं चौड़ा हो जाता है जहाँ मॉडल अनिश्चित होता है क्योंकि उसके पास डेटा की कमी होती है।

3. "Conformal Calibration" (वास्तविकता की जाँच)

यहाँ एक पेच है: विशेषज्ञों की राय से बना सुरक्षा जाल अभी भी गलत हो सकता है यदि विशेषज्ञ पक्षपाती हैं। हो सकता है कि वे सभी सोचते हों कि तापमान वास्तविक से अधिक है।

यहीं पर दूसरा चरण, Conformal Calibration आता है। इसे एक क्वालिटी कंट्रोल इंस्पेक्टर (गुणवत्ता नियंत्रण निरीक्षक) के रूप में सोचें।

इंस्पेक्टर पिछले मौसम के डेटा का एक अलग सेट लेता है (वह डेटा जो मॉडल ने पहले नहीं देखा है)।
वे जाँचते हैं: "सुरक्षा जाल कितनी बार वास्तविक तापमान से चूक गया?"
यदि जाल बार-बार चूक गया, तो इंस्पेक्टर कहता है, "जाल को थोड़ा और चौड़ा करें!"
यदि जाल बहुत अधिक चौड़ा था, तो वे कहते हैं, "इसे थोड़ा कम करें।"

यह चरण गारंटी देता है कि, गणितीय रूप से, अंतिम भविष्यवाणी अंतराल (prediction interval) 90% समय (या जो भी स्तर आप चुनें) सही होगा, चाहे डेटा कितना भी अजीब क्यों न हो। यह एक "distribution-free" गारंटी है, जिसका अर्थ है कि यह तब भी काम करता है जब मौसम एक पागल, अप्रत्याशित पैटर्न का पालन करता है।

4. सबसे अच्छा हिस्सा: "Deconstruction" (विखंडन)

CREDO का जादू यह नहीं है कि यह आपको केवल एक अंतिम संख्या देता है; बल्कि यह आपको बताता है कि वह संख्या चौड़ी क्यों है।

जब आपको "यह 40°F और 90°F के बीच होगा" जैसी भविष्यवाणी मिलती है, तो CREDO उस 50-डिग्री के अंतर को तीन भागों में तोड़ देता है:

The Core (Aleatoric): "मौसम स्वाभाविक रूप से परिवर्तनशील है, इसलिए हम 10-डिग्री के उतार-चढ़ाव की उम्मीद करते हैं।"
The Ignorance (Epistemic): "लेकिन हम एक ऐसे रेगिस्तान में हैं जहाँ डेटा नहीं है, इसलिए हमने 'सावधानी के तौर पर' 30 डिग्री जोड़ा है।"
The Safety Margin (Calibration): "और हमने 10 डिग्री इसलिए जोड़ा क्योंकि इंस्पेक्टर ने कहा था कि हमारे पिछले अनुमान थोड़े गलत थे।"

यह क्यों महत्वपूर्ण है

वास्तविक दुनिया में, आप अनिश्चित क्यों हैं यह जानना उतना ही महत्वपूर्ण है जितना कि भविष्यवाणी स्वयं।

चिकित्सा में: यदि कोई AI भविष्यवाणी करता है कि किसी मरीज के ठीक होने की 90% संभावना है, लेकिन "Ignorance" वाला हिस्सा बहुत बड़ा है, तो डॉक्टर जानता है, "यह AI अनुमान लगा रहा है क्योंकि इसने इस दुर्लभ बीमारी को पहले नहीं देखा है। मुझे सावधान रहने की जरूरत है।"
सेल्फ-ड्राइविंग कारों में: यदि कार का AI सड़क पर एक अजीब वस्तु देखता है जिसे उसने पहले कभी नहीं देखा है, तो CREDO अनिश्चितता क्षेत्र को बहुत बड़ा कर देगा, जिससे कार को धीमा होने और अतिरिक्त सावधानी बरतने का निर्देश मिलेगा, बजाय इसके कि वह आत्मविश्वास के साथ वहां से निकल जाए।

सारांश

CREDO एक ऐसी विधि है जो विशेषज्ञों की टीम की ईमानदारी (जो स्वीकार करते हैं कि वे नहीं जानते) को एक क्वालिटी कंट्रोल इंस्पेक्टर की सख्ती (जो गारंटी देता है कि अंतिम उत्तर सांख्यिकीय रूप से सुरक्षित है) के साथ जोड़ती है।

यह आपको एक भविष्यवाणी अंतराल देता है जो:

जब AI "अनजान क्षेत्र" में होता है, तो स्वतः ही चौड़ा हो जाता है।
गारंटी देता है कि यह बहुत अधिक बार गलत नहीं होगा।
समझाता है कि अनिश्चितता का कितना हिस्सा "वास्तविक शोर" है बनाम "डेटा की कमी"।

यह एक "ब्लैक बॉक्स" भविष्यवाणी को एक पारदर्शी, भरोसेमंद बातचीत में बदल देता है।

यहाँ शोध पत्र "CREDO: Epistemic-Aware Conformalized Credal Envelopes for Regression" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक मशीन लर्निंग सिस्टमों को सुदृढ़ अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification - UQ) की आवश्यकता होती है, विशेष रूप से उन रिग्रेशन कार्यों में जहाँ भविष्यवाणियाँ महत्वपूर्ण निर्णय लेने में सहायक होती हैं। दो प्रमुख दृष्टिकोण मौजूद हैं, लेकिन दोनों की अपनी सीमाएँ हैं:

कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP): यह डिस्ट्रीब्यूशन-फ्री मार्जिनल कवरेज (distribution-free marginal coverage) गारंटी (वैधता) प्रदान करता है, लेकिन अक्सर एपिस्टेमिक अनिश्चितता (epistemic uncertainty) (डेटा की कमी या मॉडल अस्पष्टता के कारण होने वाली अनिश्चितता) को स्पष्ट रूप से दर्शाने में विफल रहता है। फलस्वरूप, मानक CP अंतराल डेटा-दुर्लभ क्षेत्रों या एक्सट्रपोलेशन (extrapolation) के दौरान "अति-आत्मविश्वासी" (बहुत संकीर्ण) दिखाई दे सकते हैं।
क्रेडल/इम्प्रेसिस प्रोबेबिलिटी विधियाँ (Credal/Imprecise Probability Methods): ये एक एकल वितरण के बजाय संभावित वितरणों के सेट का उपयोग करके एपिस्टेमिक अनिश्चितता को दर्शाती हैं। हालाँकि वे एपिस्टेमिक प्रभावों को दृश्यमान बनाती हैं, लेकिन वे आमतौर पर मॉडल-आधारित होती हैं और उनमें कठोर, डिस्ट्रीब्यूशन-फ्री कवरेज गारंटी का अभाव होता है, जिससे वे मजबूत धारणाओं के बिना सीमित-नमूना (finite-sample) सेटिंग्स में अविश्वसनीय हो जाती हैं।

मुख्य चुनौती: ऐसे प्रेडिक्शन इंटरवल (prediction intervals) का निर्माण कैसे किया जाए जो कैलिब्रेटेड (गारंटीकृत कवरेज) भी हों और एपिस्टेमिक रूप से व्याख्या योग्य (जब स्थानीय डेटा समर्थन कमजोर हो तो उपयुक्त रूप से चौड़े हों) भी हों।

2. कार्यप्रणाली: CREDO फ्रेमवर्क (Methodology: The CREDO Framework)

लेखक CREDO (Conformalized Regression with Epistemic-aware creDal envelOpes) का प्रस्ताव करते हैं, जो एक "क्रेडल-फिर-कॉन्फॉर्मलाइज" (credal-then-conformalize) रेसिपी है जो कवरेज के कैलिब्रेशन से एपिस्टेमिक अनिश्चितता के मॉडलिंग को अलग करती है।

A. उच्च-स्तरीय वर्कफ़्लो (High-Level Workflow)

क्रेडल एनवेलप निर्माण (Credal Envelope Construction): एपिस्टेमिक अनिश्चितता को दर्शाने के लिए एक स्थानीय, कोवेरिएट-निर्भर भविष्य कहनेवाला वितरणों ( $F_0(x)$ ) का निर्माण करें। इस सेट को एक क्रेडल क्वांटाइल एनवेलप $[\ell(x), u(x)]$ में संक्षेपित करें।
कॉन्फॉर्मल कैलिब्रेशन (Conformal Calibration): मार्जिनल कवरेज की गारंटी देने के लिए इस एनवेलप पर डिस्टेंस-टू-एनवेलप स्कोर का उपयोग करके स्प्लिट कॉन्फॉर्मल प्रेडिक्शन लागू करें।

B. मुख्य तकनीकी घटक (Key Technical Components)

1. एंडपॉइंट-ट्रिम्ड पोस्टीरियर क्रेडल सेट्स (Endpoint-Trimmed Posterior Credal Sets - Step 1)
एक एकल पोस्टीरियर वितरण का उपयोग करने के बजाय, CREDO केवल "संभावित" पोस्टीरियर प्रेडिक्टिव डिस्ट्रीब्यूशन को बनाए रखकर एक क्रेडल सेट बनाता है।

तंत्र (Mechanism): यह पोस्टीरियर $\pi(\theta | D_{tr})$ से नमूने (samples) लेता है। प्रत्येक नमूने $\theta$ के लिए, यह कंडीशनल क्वांटाइल्स $q_L(\theta, x)$ और $q_U(\theta, x)$ की गणना करता है।
ट्रिमिंग (Trimming): यह एक ट्रिमिंग स्तर $\gamma$ के आधार पर इन क्वांटाइल्स के चरम एंडपॉइंट्स को ट्रिम करता है। विशेष रूप से, यह सबसे निचले $\gamma/2$ लोअर एंडपॉइंट्स और सबसे ऊँचे $\gamma/2$ अपर एंडपॉइंट्स को हटा देता है।
परिणाम: शेष रेंज $[C_L(x), C_U(x)]$ एक क्रेडल एनवेलप बनाती है। इसकी चौड़ाई पोस्टीरियर के फैलाव को दर्शाती है, जो एपिस्टेमिक अनिश्चितता के प्रॉक्सी के रूप में कार्य करती है।

2. एडेप्टिव डेटा-डेंसिटी-अवेयर ट्रिमिंग (Adaptive Data-Density-Aware Trimming - Step 1.5)
इस समस्या को हल करने के लिए कि ग्लोबल ट्रिमिंग घने क्षेत्रों में बहुत रूढ़िवादी या विरल क्षेत्रों में बहुत ढीली हो सकती है, CREDO एक एडेप्टिव $\gamma(x)$ पेश करता है।

स्कार्सिटी स्कोर (Scarcity Score): प्रशिक्षण डेटा में $k$ -वें निकटतम पड़ोसी (nearest neighbor) से दूरी का उपयोग करके एक स्कोर $sc(x) $की गणना की जाती है (एक प्रतिनिधित्व$ \phi(x)$ का उपयोग करके)।
एडेप्टिव लॉजिक (Adaptive Logic):
- **विरल क्षेत्र (उच्च $sc(x) $):**$ \gamma(x)$ छोटा हो जाता है। कम ट्रिमिंग होती है, जिसके परिणामस्वरूप एक चौड़ा एनवेलप मिलता है ताकि उच्च एपिस्टेमिक अनिश्चितता को कैप्चर किया जा सके।
- **घने क्षेत्र (निम्न $sc(x) $):**$ \gamma(x)$ बड़ा हो जाता है। आक्रामक ट्रिमिंग होती है, जिसके परिणामस्वरूप एक तंग (tighter) एनवेलप मिलता है जो स्थानीय सटीकता का लाभ उठाता है।
वैधता (Validity): चूंकि $\gamma(x)$ केवल कोवेरिएट्स $X$ पर निर्भर करता है, इसलिए आगामी कॉन्फॉर्मल चरण वैध रहता है।

3. कॉन्फॉर्मल कैलिब्रेशन (Conformal Calibration - Steps 3-4)

स्कोर फंक्शन (Score Function): एनवेलप से नए बिंदु $y$ की दूरी का उपयोग करता है: $s(x, y) = \max(\ell(x) - y, y - u(x))$ ।
कैलिब्रेशन (Calibration): कैलिब्रेशन सेट पर इन स्कोर्स का एम्पिरिकल क्वांटाइल $\hat{\tau}$ कंप्यूट करता है।
अंतिम अंतराल (Final Interval): $C(x) = [\ell(x) - \hat{\tau}, u(x) + \hat{\tau}]$ ।

4. अनिश्चितता अपघटन (Uncertainty Decomposition)
CREDO की एक अनूठी विशेषता अंतिम अंतराल की चौड़ाई $|C(x)|$ को तीन व्याख्या योग्य घटकों में विभाजित करने की क्षमता है:
$|C(x)| = \underbrace{U_A(x)}_{\text{Aleatoric}} + \underbrace{(|[\ell(x), u(x)]| - U_A(x))}_{\text{Epistemic}} + \underbrace{2\hat{\tau}}_{\text{Calibration Slack}}$

Aleatoric: कंडीशनल मॉडल की औसत चौड़ाई (अपरिहार्य शोर/noise)।
Epistemic: क्रेडल सेट के कारण होने वाली वृद्धि (मॉडल अस्पष्टता/डेटा की कमी)।
Calibration: कवरेज सुनिश्चित करने के लिए आवश्यक डिस्ट्रीशन-फ्री स्लैक (slack)।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: CREDO पहला ऐसा तरीका है जो स्पष्ट रूप से रिग्रेशन सेटिंग में क्रेडल सेट्स (एपिस्टेमिक मॉडलिंग के लिए) को स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (वैधता के लिए) के साथ जोड़ता है।
व्याख्यात्मकता (Interpretability): यह अंतराल की चौड़ाई का एक पारदर्शी अपघटन प्रदान करता है, जिससे उपयोगकर्ताओं को यह निदान करने में मदद मिलती है कि अंतराल चौड़ा क्यों है (जैसे, क्या यह शोर के कारण है, डेटा की कमी के कारण है, या कैलिब्रेशन के कारण है?)।
एडेप्टिव तंत्र: एक डेटा-घनत्व-जागरूक ट्रिमिंग पैरामीटर $\gamma(x)$ का परिचय विधि को मैन्युअल ट्यूनिंग के बिना एक्सट्रपोलेटिव क्षेत्रों में अंतराल को स्वचालित रूप से चौड़ा करने की अनुमति देता है।
सैद्धांतिक गारंटी:
- थ्योरम 3.3: सिद्ध करता है कि CREDO एक्सचेंजेबिलिटी (exchangeability) के तहत डिस्ट्रीब्यूशन-फ्री मार्जिनल कवरेज ( $P(Y_{n+1} \in C(X_{n+1})) \geq 1-\alpha$ ) प्राप्त करता है।
- थ्योरम 3.4: एसिम्प्टोटिक कंसिस्टेंसी (asymptotic consistency) दिखाता है, जहाँ कॉन्फॉर्मल सुधार लुप्त हो जाता है और नमूना आकार बढ़ने के साथ अंतराल ऑरेकल कंडीशनल क्वांटाइल्स (oracle conditional quantiles) की ओर अभिसरित होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने CQR, UACQR, और EPICScore जैसे अत्याधुनिक बेसलाइन्स के विरुद्ध 12 मानक रिग्रेशन बेंचमार्क (1,000 से 54,000 नमूनों तक) पर CREDO का मूल्यांकन किया।

कवरेज (Coverage): CREDO ने लगातार लक्षित 90% मार्जिनल कवरेज प्राप्त किया, जो इसकी वैधता की पुष्टि करता है।
दक्षता (Efficiency - SMIS): CREDO स्केल्ड मीन इंटरवल स्कोर (SMIS) में बेसलाइन्स के बराबर या उनसे बेहतर प्रदर्शन करता है, जो कवरेज त्रुटियों और अंतराल की चौड़ाई के बीच बेहतर संतुलन को दर्शाता है।
एपिस्टेमिक एडेप्टिविटी (ILR): CREDO ने इंटरवल लेंथ रेश्यो (ILR) में श्रेष्ठता प्रदर्शित की। इसने इनलायर्स (inliers) की तुलना में आउटलायर्स (डेटा-दुर्लभ क्षेत्रों) के लिए अंतराल को काफी अधिक चौड़ा किया, जबकि CQR जैसे मानक तरीके अक्सर विरल क्षेत्रों में एकसमान या अति-आत्मविश्वासी बने रहते हैं।
अपघटन सत्यापन (Decomposition Validation): प्रयोगों ने पुष्टि की कि अनिश्चितता अपघटन का "एपिस्टेमिक" घटक इनलायर्स की तुलना में आउटलायर्स के लिए काफी अधिक था, जो विधि की मॉडल अस्पष्टता को एलियटोरिक शोर से अलग करने की क्षमता को प्रमाणित करता है।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को पाटना: CREDO सफलतापूर्वक कॉन्फॉर्मल प्रेडिक्शन की सैद्धांतिक कठोरता और इम्प्रेसिस प्रोबेबिलिटी की व्याख्यात्मकता के बीच के अंतर को पाटता है।
उच्च-दांव वाले AI में सुरक्षा: जहाँ डेटा दुर्लभ है वहाँ स्पष्ट रूप से अंतराल को चौड़ा करके, CREDO उन महत्वपूर्ण अनुप्रयोगों (जैसे स्वास्थ्य सेवा, स्वायत्त ड्राइविंग) में "अति-आत्मविश्वासी" भविष्यवाणियों के जोखिम को कम करता है जहाँ एक्सट्रपोलेशन खतरनाक हो सकता है।
नैदानिक उपकरण (Diagnostic Tool): अनिश्चितता अपघटन मॉडल डेवलपर्स को यह समझने के लिए एक नया नैदानिक लेंस प्रदान करता है कि भविष्यवाणी की अनिश्चितता अंतर्निहित डेटा शोर से उत्पन्न होती है या प्रशिक्षण डेटा की कमी से, जो बेहतर मॉडल डीबगिंग और डेटा संग्रह रणनीतियों को सुगम बनाता है।
स्केलेबिलिटी: विधि कम्प्यूटेशनल रूप से कुशल है, जो मानक पोस्टीरियर सैंपलिंग (जैसे मोंटे कार्लो ड्रॉपआउट या MCMC) और सरल क्वांटाइल गणनाओं पर निर्भर करती है, जिससे यह बड़े पैमाने के डेटासेट के लिए लागू करने योग्य बनती है।

संक्षेप में, CREDO रिग्रेशन अनिश्चितता मात्रा निर्धारण में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो एक ऐसी विधि प्रदान करता है जो न केवल सांख्यिकीय रूप से वैध है बल्कि एपिस्टेमिक रूप से ईमानदार भी है, जो साक्ष्य की स्थानीय उपलब्धता के अनुसार अपने आत्मविश्वास स्तर को अनुकूलित करती है।