📊 statistics

CP4SBI: Local Conformal Calibration of Credible Sets in Simulation-Based Inference

यह शोध पत्र CP4SBI को प्रस्तुत करता है, जो एक मॉडल-अज्ञेय (model-agnostic) कॉन्फॉर्मल कैलिब्रेशन फ्रेमवर्क है जो सिमुलेशन-आधारित अनुमान (simulation-based inference) के लिए परिमित-नमूना कवरेज गारंटी के साथ स्थानीय रूप से कैलिब्रेटेड विश्वसनीय सेट (credible sets) का निर्माण करता है, जिससे विभिन्न स्कोरिंग फंक्शन और बेंचमार्क के माध्यम से न्यूरल पोस्टीरियर एस्टिमेटर्स के मिसकैलिब्रेशन को सुधारा जा सके।

मूल लेखक: Luben M. C. Cabezas, Vagner S. Santos, Thiago R. Ramos, Pedro L. C. Rodrigues, Rafael Izbicki

प्रकाशित 2026-06-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luben M. C. Cabezas, Vagner S. Santos, Thiago R. Ramos, Pedro L. C. Rodrigues, Rafael Izbicki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने वाले जासूस हैं। आपके पास एक जटिल मशीन (सिम्युलेटर) है जो छिपे हुए नियमों (पैरामीटर्स) के आधार पर सुराग उत्पन्न कर सकती है। आपका लक्ष्य उन छिपे हुए नियमों का पता लगाना है जिन्हें मशीन द्वारा दिए गए सुरागों को देखकर समझा जा सके।

आधुनिक विज्ञान की दुनिया में, इसे सिमुलेशन-बेस्ड इन्फरेंस (SBI) कहा जाता है। वैज्ञानिक इन नियमों का अनुमान लगाने के लिए शक्तिशाली AI का उपयोग करते हैं। हालाँकि, एक बड़ी समस्या है: ये AI अनुमान अक्सर अति-आत्मविश्वासी (overconfident) होते हैं। वे अपने उत्तर के चारों ओर एक छोटा घेरा खींचते हैं और कहते हैं, "मैं 90% आश्वस्त हूँ कि सच्चाई इसके अंदर है!" लेकिन वास्तव में, सच्चाई अक्सर उस घेरे के बाहर होती है। AI अपने आत्मविश्वास के बारे में झूठ बोल रहा है।

यह शोध पत्र इस झूठ को ठीक करने के लिए CP4SBI नामक एक नया टूल पेश करता है। इसे एक "रियलिटी चेक" या "कैलिब्रेशन किट" के रूप में समझें जो इन AI जासूसों को सुधारता है।

यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. समस्या: "वन-साइज़-फिट्स-ऑल" (एक ही नियम सबके लिए) वाली गलती

कल्पना कीजिए कि आप मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं।

पुराना तरीका (Standard SBI): AI एक बरसाती दिन को देखता है और कहता है, "मुझे 90% यकीन है कि कल बारिश होगी।" यह एक छोटा छाते के आकार का क्षेत्र बनाता है।
समस्या: कभी-कभी AI सही होता है, और कभी-कभी गलत। यदि AI 20% बार गलत होता है, लेकिन दावा करता है कि वह 90% बार सही है, तो उसका "90% विश्वास क्षेत्र" बहुत छोटा है। यह एक ऐसे मौसम पूर्वानुमान की तरह है जो बारिश की 90% संभावना का वादा करता है लेकिन वास्तव में केवल 70% बार ही बारिश लाता है। यह क्षेत्र गलत तरीके से कैलिब्रेटेड (miscalibrated) है।

2. समाधान: CP4SBI (द "लोकल टेलर" या स्थानीय दर्जी)

लेखकों ने इन क्षेत्रों को ठीक करने के लिए CP4SBI बनाया है। हर स्थिति के लिए एक ही विशाल नियम का उपयोग करने के बजाय, CP4SBI एक कस्टम टेलर की तरह काम करता है। यह आपके पास अभी मौजूद विशिष्ट सुरागों को देखता है और उसके अनुसार विश्वास क्षेत्र के आकार को समायोजित करता है।

वे इस टेलरिंग के दो तरीके प्रदान करते हैं:

विधि A: "ट्री हाउस" दृष्टिकोण (LoCart CP4SBI)

कल्पना कीजिए कि आपके पास विभिन्न मौसम परिदृश्यों का एक विशाल जंगल है।

यह कैसे काम करता है: CP4SBI इन परिदृश्यों को छाँटने के लिए एक डिसीजन ट्री (निर्णय वृक्ष) (एक फ्लोचार्ट की तरह) बनाता है।
- "क्या हवा चल रही है?" -> बाईं ओर जाएँ।
- "क्या नमी है?" -> दाईं ओर जाएँ।
जादू: एक बार जब पेड़ एक विशिष्ट प्रकार के मौसम (जैसे, "हवादार और नम") को छाँट लेता है, तो AI यह तय करने के लिए कि विश्वास क्षेत्र कितना बड़ा होना चाहिए, अपनी स्मृति में मौजूद अन्य समान दिनों को देखता है।
परिणाम: यदि वर्तमान स्थिति कठिन और अनुमान लगाने में मुश्किल है, तो पेड़ उसे एक "कठिन" शाखा में डाल देता है, और AI सुरक्षित रहने के लिए एक बड़ा क्षेत्र बनाता है। यदि स्थिति आसान है, तो वह एक छोटा, सटीक क्षेत्र बनाता है। यह सुनिश्चित करता है कि उस विशिष्ट प्रकार के मौसम के लिए "90% का वादा" वास्तव में निभाया जाए।

विधि B: "स्कोर ट्रांसलेटर" दृष्टिकोण (CDF CP4SBI)

कल्पना कीजिए कि AI आपको एक "कॉन्फिडेंस स्कोर" (जैसे टेस्ट ग्रेड) देता है, लेकिन ग्रेडिंग स्केल अजीब और पढ़ने में कठिन है।

यह कैसे काम करता है: CP4SBI उस अजीब स्कोर को एक मानक, आसानी से पढ़े जाने वाले स्कोर (जैसे 0 से 100 तक का प्रतिशत) में अनुवादित (translate) करता है।
जादू: यह इस अनुवाद को करने के लिए AI के अपने ज्ञान का उपयोग करता है। यह पूछता है, "यदि मैं इस AI को 50 का स्कोर दूँ, तो वह वास्तव में कितनी बार सही होता है?" फिर यह स्कोर को इस तरह समायोजित करता है कि "90" का अर्थ वास्तव में 90% निश्चितता हो।
परिणाम: चाहे AI का मूल अनुमान कितना भी जटिल क्यों न हो, विश्वास क्षेत्र पूरी तरह से कैलिब्रेटेड हो जाते हैं।

3. यह क्यों महत्वपूर्ण है

शोधकर्ताओं ने इसे दस अलग-अलग "रहस्य खेलों" (वैज्ञानिक बेंचमार्क) पर परखा, जिनमें शामिल हैं:

टू मून (Two Moons): एक अर्धचंद्राकार पैटर्न वाला पहेली।
न्यूरल मास मॉडल्स (Neural Mass Models): मस्तिष्क की कोशिकाओं के फायर होने (जैसे EEG सिग्नल) का अनुकरण करना।

परिणाम:

CP4SBI से पहले: AI के विश्वास क्षेत्र अक्सर बहुत छोटे (अति-आत्मविश्वासी) या बहुत बड़े (बर्बादी वाले) थे।
CP4SBI के बाद: क्षेत्र बिल्कुल सही थे।
- जब AI आत्मविश्वासी था, तो क्षेत्र छोटा और सटीक था।
- जब AI अनिश्चित था, तो वह सत्य को पकड़ने के लिए बड़ा हो गया।
- महत्वपूर्ण बात यह है कि "90% का वादा" वास्तव में एक वास्तविक 90% का वादा बन गया।

निष्कर्ष

CP4SBI को वैज्ञानिक AI के लिए एक गुणवत्ता नियंत्रण निरीक्षक (quality control inspector) के रूप में समझें। यह AI के सोचने के तरीके को नहीं बदलता है; यह बस AI के आत्मविश्वास पर एक रियलिटी चेक लगाता है। यह सुनिश्चित करता है कि जब कोई वैज्ञानिक कहता है, "मैं 90% आश्वस्त हूँ," तो वे वास्तव में उस संख्या पर भरोसा कर सकें। यह सिमुलेशन पर आधारित वैज्ञानिक खोजों को बहुत अधिक विश्वसनीय और भरोसेमंद बनाता है।

तकनीकी सारांश: CP4SBI – सिमुलेशन-आधारित अनुमान (SBI) में विश्वसनीय सेट्स का स्थानीय अनुरूप अंशांकन (Local Conformal Calibration)

1. समस्या विवरण

सिमुलेशन-आधारित अनुमान (Simulation-Based Inference - SBI), खगोल भौतिकी, तंत्रिका विज्ञान और द्रव गतिज विज्ञान जैसे क्षेत्रों में 'लाइकलहुड-फ्री' (likelihood-free) बेयसियन अनुमान के लिए एक मानक ढांचा बन गया है, जहाँ जटिल स्टोकेस्टिक सिम्युलेटर डेटा $x$ को मापदंडों $\theta$ के आधार पर उत्पन्न करते हैं, लेकिन उनके पास सुलभ लाइकलहुड फलन (tractable likelihood functions) नहीं होते। जबकि डीप जेनरेटिव मॉडल (जैसे कि नॉर्मलाइजिंग फ्लो, डिफ्यूजन मॉडल) ने कुशल पोस्टीरियर सन्निकटन (posterior approximation) को सक्षम किया है, ये सन्निकटन अक्सर सांख्यिकीय मिसकैलिब्रेशन (statistical miscalibration) से ग्रस्त होते हैं। विशेष रूप से, अनुमानित पोस्टीरियर $\hat{p}(\theta|x)$ से निर्मित विश्वसनीय क्षेत्र (credible regions) अक्सर अपने नाममात्र कवरेज स्तरों को प्राप्त करने में विफल रहते हैं, जिससे अति-आत्मविश्वासपूर्ण अनुमान (overconfident inferences) उत्पन्न होते हैं।

कन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP) का उपयोग करके इसे सुधारने के मौजूदा प्रयास आमतौर पर केवल सीमांत कवरेज (marginal coverage) ( $P(\theta \in C(X)) = 1-\alpha$ ) की गारंटी देते हैं, जो सभी संभावित डेटा और मापदंडों पर औसत निकालता है। यह बेयसियन अनुमान के लिए अपर्याप्त है, जिसे विशिष्ट अवलोकनों के लिए सशर्त कवरेज (conditional coverage) ( $P(\theta \in C(X) | X = x_{obs}) = 1-\alpha$ ) की आवश्यकता होती है। इसके अलावा, SBI के लिए कई वर्तमान CP विधियों को क्लोज्ड-फॉर्म पोस्टीरियर घनत्व (closed-form posterior densities) की आवश्यकता होती है, जो आधुनिक सैंपल-आधारित जेनरेटिव मॉडल जैसे कि डिफ्यूजन मॉडल को बाहर कर देता है।

2. कार्यप्रणाली: CP4SBI

लेखक CP4SBI का प्रस्ताव करते हैं, जो एक मॉडल-अज्ञेयवादी (model-agnostic), पोस्ट-हॉक ढांचा है जो परिमित-नमूना गारंटी (finite-sample guarantees) के साथ विश्वसनीय सेट्स का निर्माण करने के लिए SBI पाइपलाइन में कन्फॉर्मल प्रेडिक्शन को एकीकृत करता है। मुख्य अंतर्दृष्टि यह है कि स्कोरिंग फंक्शन $s(\theta; x)$ (जो अनुमानित पोस्टीरियर से प्राप्त होता है) को कन्फॉर्मल इंफरेंस फ्रेमवर्क के भीतर एक नॉन-कन्फॉर्मिटी स्कोर (nonconformity score) के रूप में पुनर्व्याख्या करना है।

इस ढांचे के लिए एक कैलिब्रेशन डेटासेट $D_{cal} = \{(\theta_i, x_i)\}_{i=1}^B$ की आवश्यकता होती है, जहाँ जोड़े प्रायर (prior) और फॉरवर्ड मॉडल से सिम्युलेट किए गए हैं। CP4SBI स्थानीय और सशर्त कवरेज प्राप्त करने के लिए दो अलग-अलग वेरिएंट प्रदान करता है:

A. LoCart CP4SBI (रिग्रेशन ट्री के माध्यम से स्थानीय अंशांकन)

तंत्र: यह विधि अवलोकन $x$ से स्कोरिंग फंक्शन $s(\theta; x)$ की भविष्यवाणी करने के लिए प्रशिक्षित रिग्रेशन ट्री का उपयोग करके फीचर स्पेस $\mathcal{X}$ को विभाजित करती है। विभाजन को बेहतर बनाने के लिए ट्री को स्कोर के सशर्त विचरण (conditional variance) के अनुमान के साथ संवर्धित किया जाता है।
कैलिब्रेशन: एक नए अवलोकन $x_{obs}$ के लिए, विधि उस लीफ नोड (क्षेत्र $A_j$ ) की पहचान करती है जिसमें $x_{obs}$ स्थित है। इसके बाद, यह केवल उस विशिष्ट क्षेत्र के भीतर आने वाले कैलिब्रेशन स्कोर का उपयोग करके एक स्थानीय कन्फॉर्मल थ्रेशोल्ड $t_{1-\alpha}$ की गणना करती है।
गारंटी: यह सुनिश्चित करता है कि स्थानीय कवरेज ( $P(\theta \in C(X) | X \in A_j) \geq 1-\alpha$ ) प्राप्त हो। नियमितता की शर्तों के तहत, जैसे-जैसे कैलिब्रेशन सेट का आकार $B \to \infty$ होता है, विभाजन अधिक सूक्ष्म हो जाता है, और विधि अनंतस्पर्शी सशर्त कवरेज (asymptotic conditional coverage) प्राप्त करती है ( $P(\theta \in C(X) | X = x) \to 1-\alpha$ )।

B. CDF CP4SBI (CDF-आधारित अंशांकन)

तंत्र: यह वेरिएंट कच्चे नॉन-कन्फॉर्मिटी स्कोर $s(\theta; x)$ को अनुमानित सशर्त संचयी वितरण फलन (conditional cumulative distribution function - CDF), $\hat{F}(s | x)$ का उपयोग करके रूपांतरित करता है। रूपांतरित स्कोर $s'(\theta; x) = \hat{F}(s(\theta; x) | x)$ है।
कार्यान्वयन: मानक सेटिंग्स के विपरीत जहाँ सशर्त CDF का अनुमान शून्य से लगाना पड़ता है, CP4SBI पहले से प्रशिक्षित पोस्टीरियर एप्रोक्सिमेटर का लाभ उठाता है। यह एक मोंटे कार्लो दृष्टिकोण के माध्यम से $\hat{F}$ का अनुमान लगाता है: $M$ नमूने $\{\theta_j\}_{j=1}^M \sim \hat{p}(\theta|x)$ लेना और स्कोर के एम्पिरिकल CDF की गणना करना।
कैलिब्रेशन: रूपांतरित स्कोर $s'$ पर एक एकल वैश्विक थ्रेशोल्ड की गणना की जाती है। क्योंकि रूपांतरण का लक्ष्य स्कोर को $x$ के सापेक्ष यूनिफॉर्म रूप से वितरित करना है, इसलिए परिणामी विश्वसनीय सेट अनंतस्पर्शी सशندत कवरेज प्राप्त करता है जब प्रशिक्षण आकार $K$ , कैलिब्रेशन आकार $B$ , और मोंटे कार्लो नमूने $M$ सभी अनंत की ओर बढ़ते हैं।

लचीलापन:

मॉडल अज्ञेयवादी (Model Agnostic): यह डेंसिटी-आधारित एस्टिमेटर्स (जैसे कि न्यूरल पोस्टीरियर एस्टीमेशन) और सैंपल-आधारित जेनरेटिव मॉडल्स (जैसे डिफ्यूजन, फ्लो मैचिंग) दोनों के साथ काम करता है। सैंपल-आधारित मॉडल्स के लिए, स्कोर का अनुमान कर्नेल डेंसिटी एस्टीमेशन या एम्पिरिकल मोमेंट्स का उपयोग करके लगाया जाता है।
स्कोरिंग फंक्शन्स: यह उच्चतम पोस्टीरियर डेंसिटी (HPD), सिमेट्रिक, और क्वांटाइल-आधारित क्षेत्रों के अनुकूल है।
रूपांतरण: यह रूपांतरित स्पेस $\phi = g(\theta)$ पर पद्धति लागू करके स्वाभाविक रूप से न्युसेंस पैरामीटर्स (nuisance parameters) को संभालता है।

3. प्रमुख योगदान

गारंटीकृत सीमांत कवरेज: सामान्य अनुमानित विश्वसनीय सेट्स के विपरीत, CP4SBI बेयसियन स्कोर को नॉन-कन्फॉर्मिटी स्कोर के रूप में पुनर्व्याख्या करके गैर-अनंतस्पर्शी (non-asymptotic) सीमांत कवरेज गारंटी प्रदान करता है।
उन्नत स्थानीय/सशर्त अनुकूलन क्षमता:
- LoCart CP4SBI रिग्रेशन ट्री का उपयोग करके क्षेत्र के आकार को अनुमान की कठिनाई के अनुसार अनुकूलित करके परिमित-नमूना स्थानीय कवरेज और अनंतस्पर्शी सशर्त कवरेज प्रदान करता है।
- CDF CP4SBI स्कोर को रूपांतरित करने के लिए पोस्टीरियर एप्रोक्सिमेटर का लाभ उठाकर अनंतस्पर्शी सशर्त कवरेज प्राप्त करता है, जिससे क्लोज्ड-फॉर्म डेंसिटी की आवश्यकता के बिना अंशांकन में सुधार होता है।
व्यापकता: ढांचा किसी भी पोस्टीरियर एप्रोक्सिमेटर (डेंसिटी या सैंपल-आधारित) और विभिन्न स्कोरिंग फंक्शन के साथ संगत है, जो उस अंतर को भरता है जहाँ पिछली CP विधियों को क्लोज्ड-फॉर्म पोस्टीरियर की आवश्यकता थी जो आधुनिक SBI में उपलब्ध नहीं हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने दस SBI बेंचमार्क (जैसे कि टू मून्स, गॉसियन मिक्सचर, लोटका-वोल्टेरा) और एक कम्प्यूटेशनल न्यूरोसाइंस न्यूरल मास मॉडल (NMM) पर CP4SBI का मूल्यांकन किया।

मेट्रिक्स: प्रदर्शन को सशर्त कवरेज के माध्य पूर्ण त्रुटि (Mean Absolute Error - MAE) और औसत सीमांत कवरेज (Average Marginal Coverage - AMC) का उपयोग करके मापा गया।
बेसलाइन्स: सेल्फ-कैलिब्रेशन, ग्लोबल कन्फॉर्मल प्रेडिक्शन, और HDR (Highest Density Region) रीकैलिब्रेशन के विरुद्ध तुलना की गई।
निष्कर्ष:
- सशर्त कवरेज: जब न्यूरल पोस्टीरियर एस्टीमेशन (NPE) का उपयोग किया गया, तो दोनों LoCart और CDF वेरिएंट 10 में से 8 बेंचमार्क में बेसलाइन्स से काफी बेहतर रहे। LoCart CP4SBI विशेष रूप से स्कोर-डिफ्यूजन मॉडल्स (NPSE) के लिए प्रभावी था, जो 10 में से 7 कार्यों में सर्वश्रेष्ठ रहा।
- सीमांत कवरेज: प्रस्तावित विधियों ने लगातार नाममात्र स्तर (0.9) के करीब कवरेज बनाए रखा, जबकि सेल्फ-कैलिब्रेशन और HDR जैसे बेसलाइन्स अक्सर सीमांत वैधता बनाए रखने में विफल रहे।
- अनुकूलन क्षमता: NMM केस स्टडी में, LoCart CP4SBI ने अनुकूलित विश्वसनीय क्षेत्र (adaptive credible regions) उत्पन्न किए जो विशिष्ट पैरामीटर संयोजन के आधार पर आकार में भिन्न थे, जबकि ग्लोबल विधियों ने समान रूप से बड़े क्षेत्र और सेल्फ-कैलिब्रेशन ने समान रूप से छोटे क्षेत्र उत्पन्न किए।
- मजबूती: विधियाँ विभिन्न सिमुलेशन बजटों में अच्छा प्रदर्शन करती हैं, हालांकि LoCart को ट्री पार्टिशन्स को प्रभावी ढंग से भरने के लिए पर्याप्त कैलिब्रेशन डेटा की आवश्यकता होती है।

5. महत्व और दावे

लेखक दावा करते हैं कि CP4SBI कम्प्यूटेशनल विज्ञान में अनिश्चितता मात्रा निर्धारण (uncertainty quantification) में एक सार्थक प्रगति है। परिमित-नमूना गारंटी और स्थानीय/सशर्त कवरेज प्रदान करके, यह SBI में मिसकैलिब्रेशन की महत्वपूर्ण समस्या को हल करता है, जो डाउनस्ट्रीम निर्णय लेने की विश्वसनीयता को कमजोर करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण परिणामी क्षेत्रों की सटीकता (tightness) के संबंध में 'संयमित' (modest) है: विश्वसनीय सेट्स की गुणवत्ता अभी भी प्रारंभिक पोस्टीरियर सन्निकटन की गुणवत्ता पर निर्भर करती है। खराब सन्निकटन व्यापक, हालांकि कैलिब्रेटेड, सेट्स प्रदान करेंगे। हालाँकि, यह ढांचा यह सुनिश्चित करता है कि कवरेज सांख्यिकीय रूप से वैध है, जो वर्तमान SBI प्रथाओं में सामान्य अति-आत्मविश्वास को रोकता है।

यह कार्य CP4SBI को एक सामान्य-उद्देश्य वाले उपकरण के रूप में स्थापित करता जिसे विश्वास को बढ़ाने के लिए किसी भी SBI विधि (डिफ्यूजन मॉडल या फ्लो मैचिंग का उपयोग करने वाले सहित) पर लागू किया जा सकता है। लेखक नोट करते हैं कि हालांकि उन्होंने दो विशिष्ट स्थानीय कन्फॉर्मल दृष्टिकोणों पर ध्यान केंद्रित किया है, यह ढांचा पदानुक्रमित (hierarchical) या असतत (discrete) पैरामीटर सेटिंग्स के लिए अन्य सशर्त कवरेज तकनीकों और भविष्य के विस्तार के लिए खुला है।