तकनीकी सारांश: पोस्टीरियर कॉन्फॉर्मल प्रेडिक्शन (PCP)

1. समस्या विवरण (Problem Statement)

कॉन्फॉर्मल प्रेडिक्शन (CP) एक व्यापक रूप से उपयोग की जाने वाली, मॉडल-मुक्त तकनीक है जो वितरण-मुक्त कवरेज गारंटी के साथ प्रेडिक्शन अंतराल (prediction intervals) बनाने के लिए उपयोग की जाती है। हालांकि, मानक CP विधियां, जैसे कि स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (SCP), केवल सीमांत वैधता (marginal validity) प्रदान करती हैं। इसका अर्थ यह है कि कवरेज गारंटी ($1-\alpha$) पूरी जनसंख्या पर औसतन लागू होती है, लेकिन विशिष्ट उपसमूहों या व्यक्तियों के लिए विफल हो सकती है, विशेष रूप से जब परीक्षण डेटा (test data) ऐसे उप-जनसंख्या से लिया गया हो जिसके पास प्रशिक्षण डेटा कम हो (जैसे चुनाव पूर्वानुमान में ग्रामीण काउंटियाँ या कम प्रतिनिधित्व वाले जनसांख्यिकीय समूह)।

सशर्त वैधता (conditional validity) प्राप्त करना—अर्थात प्रत्येक विशिष्ट फीचर वेक्टर $X$ के लिए कवरेज की गारंटी देना—बिना मजबूत धारणाओं (जैसे स्मूथनेस) के वितरण-मुक्त सेटिंग्स में सैद्धांतिक रूप से असंभव है, क्योंकि इसके लिए अनंत अपेक्षित अंतराल लंबाई की आवश्यकता होगी। सशर्त वैधता को अनुमानित करने के लिए मौजूदा दृष्टिकोण, जैसे कि लोकलाइजेशन (localization) (फीचर दूरी के आधार पर पड़ोसियों को वेट देना) या ग्रुपिंग (grouping) (संवेदनशील विशेषताओं द्वारा विभाजन), सीमाओं का सामना करते हैं:

• लोकलाइजेशन (Localization): उच्च-आयामी स्थानों (high-dimensional spaces) में, "पड़ोसी" दूर हो सकते हैं, जिससे डेटा विरल (sparse) हो जाता है और अंतराल अस्थिर हो जाते हैं।
• ग्रूपिंग (Grouping): संवेदनशील विशेषताओं द्वारा विभाजन करने से उन समूहों के भीतर अल्पसंख्यक व्यक्तियों के लिए कवरेज हानि हो सकती है (उदाहरण के लिए, मुख्य रूप से महिला समूह में लंबी महिलाएं) क्योंकि वहां सैंपल साइज छोटा होता है।

यह शोध पत्र एक ऐसी विधि की आवश्यकता को संबोधित करता है जो कच्चे फीचर (raw feature) निकटता के बजाय अवशेष व्यवहार (residual behavior) के आधार पर डेटा बिंदुओं के "लैटेंट प्रकारों" (latent types) की पहचान करके सीमांत और सशर्त वैधता के बीच संतुलन बनाती है।

2. कार्यप्रणाली: पोस्टीरियर कॉन्फॉर्मल प्रेडिक्शन (PCP)

PCP एक ऐसा ढांचा पेश करता है जो नॉन-कन्फॉर्मिटी स्कोर (residuals) के वितरण को क्लस्टर वितरण के एक परिमित मिश्रण (finite mixture of cluster distributions) के रूप में मॉडल करता है। कच्चे फीचर्स $X$ के आधार पर समानता को परिभाषित करने के बजाय, PCP अवशेषों (residuals) के क्लस्टर सदस्यता संभावनाओं (cluster membership probabilities) के आधार पर समानता को परिभाषित करता है।

मुख्य तंत्र (Core Mechanism)

1. मिश्रण मॉडलिंग (Mixture Modeling): यह माना जाता है कि नॉन-कन्फॉर्मिटी स्कोर $R_i = |Y_i - \hat{\mu}(X_i)|$ एक मिश्रण मॉडल का पालन करते हैं:
   $$R_i | X_i \sim \sum_{k=1}^K \pi_k(X_i) f_k$$
   जहाँ $\pi(X_i)$ क्लस्टर सदस्यता संभावनाओं का एक वेक्टर है और $f_k$ अलग-अलग क्लस्टर वितरण हैं।
2. रैंडमाइज्ड वेट्स (Randomized Weights): एक टेस्ट पॉइंट $X_{n+1}$ के लिए प्रेडिक्शन इंटरवल बनाने के लिए, PCP वास्तविक (अज्ञात) $\pi(X_{n+1})$ का उपयोग नहीं करता है। इसके बजाय, यह एक रैंडमाइजेशन स्टेप पेश करता है:
   • यह एक सैंपल $L^* \sim \text{Multi}(m, \pi(X_{n+1}))$ (या एक अनुमानित संस्करण $\hat{\pi}$) खींचता है ताकि अनुभवजन्य आवृत्तियाँ (empirical frequencies) $\pi^*(X_{n+1}) = L^*/m$ प्राप्त की जा सकें।
   • सदस्यता संभावना के इस "नॉइजिंग" (noising) से टेस्ट पॉइंट को विशिष्ट रूप से पहचाने जाने से रोका जाता है, जिससे विनिमेयता (exchangeability) बनी रहती है।
3. वेटेड क्वांटाइल (Weighted Quantile): प्रेडिक्शन इंटरवल को अवशेषों के वेटेड एम्पिरिकल क्वांटाइल का उपयोग करके बनाया जाता है। एक वैलिडेशन पॉइंट $i$ के लिए वेट $w_i$ उस संभावना के समानुपाती है कि उसके क्लस्टर सदस्यता $\pi(X_i)$ ने रैंडमाइज्ड ऑब्जर्वेशन $\pi^*(X_{n+1})$ को उत्पन्न किया है:
   $$w_i \propto \prod_{k=1}^K [\pi_k(X_i)]^{m \pi^*_k(X_{n+1})}$$
   यह प्रभावी रूप से उन वैलिडेशन पॉइंट्स को अधिक वेट देता है जिनके अवशेष वितरण (क्लस्टर सदस्यता) टेस्ट पॉइंट के समान होते हैं, भले ही उनके कच्चे फीचर्स दूर हों।

अज्ञात मापदंडों को संभालना (Handling Unknown Parameters)

चूंकि वास्तविक $\pi(X)$ अज्ञात है, PCP इसे डेटा से सीखता है। एल्गोरिदम:

• सभी संभावित $y$ के लिए टेस्ट रिस्पॉन्स $Y_{n+1} = y$ को इम्प्यूट (impute) करता है।
• संवर्धित डेटासेट (augmented dataset) से सदस्यता संभावनाओं $\hat{\pi}_y$ का अनुमान लगाने के लिए एक सिमेट्रिक लर्निंग एल्गोरिदम का उपयोग करता है।
• इन संभावनाओं का अनुमान लगाने के लिए एक कुशल मैचिंग एल्गोरिदम (ग्रिडिंग, फिटिंग और क्लस्टरिंग) का उपयोग करता है, जिसकी जटिलता सैंपल साइज के सापेक्ष रैखिक (linear) है, ताकि प्रत्येक संभावित $y$ के लिए जटिल मॉडल को फिर से फिट किए बिना इन्हें अनुमानित किया जा सके।

3. प्रमुख योगदान और सैद्धांतिक गारंटी

सैद्धांतिक वैधता (Theoretical Validity)

• क्लस्टर सदस्यता पर सशर्त वैधता: प्रमेय 1 स्थापित करता है कि PCP इंटरवल $P(Y_{n+1} \notin \hat{C}_n(X_{n+1}) \mid \pi^*(X_{n+1})) \le \alpha$ को संतुष्ट करता है। यह टेस्ट पॉइंट के रैंडमाइज्ड क्लस्टर असाइनमेंट पर सशर्त वैधता की गारंटी देता है।
• अनुमानित सशर्त वैधता: जैसे-जैसे परिशुद्धता पैरामीटर $m$ बढ़ता है, $\pi^*(X_{n+1})$, वास्तविक $\pi(X_{n+1})$ की ओर केंद्रित होता है। शोध पत्र दिखाता है कि यदि मिश्रण मॉडल (mixture model) वास्तविक अवशेष वितरण का अच्छी तरह से अनुमान लगाता है, तो इंटरवल टेस्ट पॉइंट पर सशर्त वैधता के करीब पहुँच जाता है।
• परिमित अंतराल लंबाई (Finite Interval Length): उच्च-आयामी स्थानों में अनंत अंतराल उत्पन्न करने वाली सख्त लोकलाइजेशन विधियों के विपरीत, PCP बड़े $m$ के साथ भी परिमित अंतराल बनाए रख सकता है यदि पर्याप्त संख्या में वैलिडेशन पॉइंट्स समान क्लस्टर सदस्यता संभावना साझा करते हैं (प्रमेय 2)।
• PAC गारंटी: मिश्रण लर्निंग एल्गोरिदम पर स्थिरता संबंधी धारणाओं के तहत, PCP "प्रोबेबली एप्रोक्सिमेटली करेक्ट" (PAC) गारंटी को संतुष्ट करता है, यह सुनिश्चित करता है कि वैधता वैलिडेशन डेटा के रियलाइजेशन पर उच्च संभाव्यता के साथ बनी रहती है (अनुभाग D)।

विस्तार (Extensions)

• इक्वलाइज्ड कंडीशनल कवरेज (Equalized Conditional Coverage): PCP का उपयोग उपसमूहों (जैसे लिंग) के लिए कवरेज की गारंटी देने के लिए किया जाता है, जबकि यह सुनिश्चित किया जाता है कि अंतराल उपसमूह सदस्यता से एसिम्प्टोटिक रूप से स्वतंत्र है। यह विभाजन विधियों (partition methods) में देखी जाने वाली "अल्पसंख्यक के भीतर अल्पसंख्यक" कवरेज हानि को रोकता है (प्रपोजिशन 3)।
• वर्गीकरण के लिए लेवल-एडाप्टिव कवरेज (Level-Adaptive Coverage for Classification): श्रेणीबद्ध प्रतिक्रियाओं (categorical responses) के लिए, PCP क्लासिफायर की प्रेडिक्टिव संभावनाओं के आधार पर लक्षित कवरेज स्तर को समायोजित करता है। यदि एक क्लासिफायर अच्छी तरह से कैलिब्रेटेड और आत्मविश्वासी है, तो PCP वैधता बनाए रखते हुए छोटे (सिंगलटन) प्रेडिक्शन सेट बनाता है (प्रपोजिशन 4)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक सिंथेटिक और वास्तविक दुनिया के डेटासेट पर PCP का मूल्यांकन करते हैं, और इसकी तुलना SCP, SCP+CC (कंडीशनल कैलिब्रेशन के साथ SCP), और RLCP (रैंडमली-लोकलाइज्ड कॉन्फॉर्मल प्रेडिक्शन) से करते हैं।

• कम्युनिटीज एंड क्राइम डेटासेट: PCP लक्षित कवरेज दर (0.9) के करीब "वर्स्ट-स्लाइस" (worst-slice) कंडीशनल कवरेज प्राप्त करता है, जो SCP (लगभग 0.8) से काफी बेहतर है और उन्नत विधियों जैसे RLCP और SCP+CC के बराबर है। महत्वपूर्ण रूप से, PCP, SCP के समान अंतराल लंबाई बनाए रखता है, जबकि RLCP काफी व्यापक अंतराल उत्पन्न करता है।
• सिंथेटिक डेटा (नॉनलीन अवशेष): उन सेटिंग्स में जहाँ अवशेषों का वेरिएंस (variance) एक फीचर पर नॉन-लीनियर रूप से निर्भर करता है, PCP सफलतापूर्वक प्रासंगिक फीचर की पहचान करता है और अंतराल की चौड़ाई को अनुकूलित करता है, जिससे फीचर रेंज में कवरेज बना रहता है। RLCP और SCP+CC इन नॉन-लिनियैरिटीज़ को पकड़ने में विफल रहते हैं, जिससे कवरेज गैप पैदा होता है।
• मेडिकल एक्सपेंडिचर पैनल सर्वे (MEPS): असंतुलित उपसमूहों (जैसे लिंग) वाले परिदृश्य में, मानक विभाजन विधियाँ (SCP+Partition) अल्पसंख्यक व्यक्तियों को कवर करने में विफल रहती हैं। PCP इसे कम प्रतिनिधित्व वाले व्यक्तियों के लिए अंतराल को चौड़ा करके और अच्छी तरह से प्रतिनिधित्व वाले लोगों के लिए इसे संकीर्ण करके ठीक करता है, जिससे समग्र दक्षता से समझौता किए बिना उपसमूहों में समान कवरेज प्राप्त होता है।
• HAM10000 (स्किन लीजन): वर्गीकरण के लिए, PCP मानक कॉन्फॉर्मल सेट्स की तुलना में अच्छी तरह से कैलिब्रेटेड क्लासिफायर के लिए छोटे प्रेडिक्शन सेट्स बनाता है, जो क्लासिफायर के आत्मविश्वास के साथ सेट के आकार को जोड़ता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि PCP कॉन्फॉर्मल प्रेडिक्शन में समानता को मॉडल करने के लिए एक पूरी तरह से अलग दृष्टिकोण पेश करता है। कच्चे फीचर स्पेस से ध्यान हटाकर नॉन-कन्फॉर्मिटी स्कोर के वितरण पर ध्यान केंद्रित करके, PCP टाइट और अधिक मजबूत अंतराल बनाने के लिए नॉन-लोकल जानकारी का लाभ उठाता है।

इसका महत्व निम्नलिखित है:

1. दूरी को पाटना: यह बिना किसी वितरण संबंधी धारणा के सीमांत और सशर्त वैधता के बीच के अंतर को पाटता है।
2. स्वचालित संतुलन: यह कंडीशनल कवरेज और अंतराल लंबाई के बीच के ट्रेड-ऑफ को स्वचालित रूप से संतुलित करता है, जिससे "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) से बचा जा सकता है जो लोकलाइजेशन विधियों को प्रभावित करती है।
3. निष्पक्षता बढ़ाना: यह उपसमूहों के भीतर कम प्रतिनिधित्व वाले व्यक्तियों के लिए कवरेज सुनिश्चित करके निष्पक्षता को बढ़ाता है, जो विभाजन-आधारित विधियों के एक विशिष्ट फेल्योर मोड को संबोधित करता है।
4. क्लासिफायर कॉन्फिडेंस के अनुकूल होना: यह वर्गीकरण कार्यों में क्लासिफायर के आत्मविश्वास के अनुकूल होता है, जिससे अधिक उपयोगी प्रेडिक्शन सेट्स मिलते हैं।

लेखक इस बात पर जोर देते हैं कि हालांकि PCP एक मिश्रण मॉडल सीखने पर निर्भर करता है, यह एक वितरण-मुक्त विधि के रूप में बना रहता है क्योंकि यह $Y|X$ के विशिष्ट पैरामेट्रिक रूप की धारणा नहीं बनाता है, केवल यह कि अवशेषों को क्लस्टर्स के एक मिश्रण द्वारा अनुमानित किया जा सकता है। इसे विभिन्न डोमेन जैसे सामाजिक-आर्थिक, सामग्री विज्ञान और स्वास्थ्य सेवा में कुशल और प्रभावी दिखाया गया है।