📊 statistics

Multivariate Standardized Residuals for Conformal Prediction

यह शोध पत्र एक बहुभिन्नरूपी कन्फॉर्मल प्रेडिक्शन फ्रेमवर्क प्रस्तावित करता है जो हेटेरोस्केडास्टिसिटी (heteroskedasticity) और आउटपुट सहसंबंधों को प्रभावी ढंग से संभालने के लिए महलानोबिस दूरी-आधारित मानकीकृत अवशेषों (Mahalanobis distance-based standardized residuals) का उपयोग करता है, जिससे बेहतर सशर्त कवरेज प्राप्त होता है और महंगे नमूनाकरण की आवश्यकता के बिना मिसिंग वैल्यू हैंडलिंग जैसे व्यावहारिक विस्तार सक्षम होते हैं।

मूल लेखक: Sacha Braun, Eugène Berta, Michael I. Jordan, Francis Bach

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sacha Braun, Eugène Berta, Michael I. Jordan, Francis Bach

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञान हैं। आपका काम केवल यह बताना नहीं है कि "कल बारिश होगी।" बल्कि यह कहना है कि, "बारिश होगी, और मुझे 90% यकीन है कि यह 1 से 3 इंच के बीच होगी।"

मशीन लर्निंग की दुनिया में, इस "1 से 3 इंच के बीच की मात्रा" को कॉन्फॉर्मल प्रेडिक्शन सेट (conformal prediction set) कहा जाता है। यह एक सुरक्षा कवच (safety net) है जो गारंटी देता है कि आपकी भविष्यवाणी एक निश्चित प्रतिशत बार (जैसे, 90% बार) सही होगी।

हालाँकि, इसमें एक पेंच है। अधिकांश मानक तरीके केवल यह गारंटी देते हैं कि यह सुरक्षा कवच सभी दिनों में औसत रूप से काम करेगा। वे यह गारंटी नहीं देते कि यह विशिष्ट दिनों के लिए काम करेगा।

समस्या: एक शांत, अनुमान लगाने योग्य दिन पर, आपका कवच बहुत बड़ा हो सकता है (1 से 10 इंच), जिससे आपका समय बर्बाद होता है। एक अराजक, तूफानी दिन पर, आपका कवच बहुत छोटा हो सकता है (1 से 1.1 इंच), और आप बारिश में भीग सकते हैं। इसे हेटेरोस्केडैस्टिसिटी (heteroskedasticity) कहा जाता है—यानी अनिश्चितता स्थिति के अनुसार बदलती रहती है।

प्रस्तुत शोध पत्र, "मल्टीवेरिएट स्टैंडर्डाइज्ड रेसिडुअल्स फॉर कॉन्फॉर्मल प्रेडिक्शन" (Multivariate Standardized Residuals for Conformal Prediction), विशेष रूप से एक साथ कई चीजों को प्रेडिक्ट करने (मल्टीवेरिएट) के लिए इस समस्या को ठीक करने का एक नया तरीका पेश करता है।

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. मूल विचार: "स्मार्ट इलास्टिक बैंड"

कल्पना कीजिए कि आप अपने दोस्त द्वारा फेंकी गई गेंद को पकड़ने की कोशिश कर रहे हैं।

पुराना तरीका (नेइव): आप एक कठोर, निश्चित आकार का जाल (net) उपयोग करते हैं। कभी-कभी गेंद आसानी से पकड़ी जा सकती है, और जाल बहुत बड़ा होता है। कभी-कभी गेंद अनियंत्रित होती है, और जाल बहुत छोटा रह जाता है।
शोध पत्र का तरीका: आप एक स्मार्ट, खिंचने वाले इलास्टिक बैंड का उपयोग करते हैं।
- यदि गेंद धीरे से फेंकी जा रही है (कम अनिश्चितता), तो बैंड गेंद के चारों ओर कस जाता है।
- यदि गेंद बहुत अनियंत्रित तरीके से फेंकी जा रही है (उच्च अनिश्चितता), तो बैंड उसे पकड़ने के लिए फैल जाता है।
- ट्विस्ट: लेखकों ने यह पता लगाया कि ऐसा तब कैसे किया जाए जब आप एक साथ कई गेंदों को पकड़ रहे हों जो एक-दूसरे से टकरा भी सकती हैं (कोरिलेटेड आउटपुट्स)।

2. यह कैसे काम करता है: "व्हाइटनिंग" (Whitening) का तरीका

गणितीय रूप में, यह पेपर त्रुटि (प्रेडिक्शन और वास्तविकता के बीच का अंतर) को "व्हाइटन" (whiten) करता है।

उपमा: कल्पना कीजिए कि आप ट्रैक के केंद्र से कार की दूरी मापने की कोशिश कर रहे हैं।
- यदि ट्रैक एक पूर्ण वृत्त (perfect circle) है, तो आप केवल दूरी मापते हैं।
- लेकिन क्या होगा यदि ट्रैक एक अंडाकार (oval) है, या दबा हुआ वृत्त है, या कोई अजीब आकार का है जो स्थान के आधार पर बदलता रहता है?
- लेखकों का तरीका हर एक क्षण के लिए ट्रैक के आकार को (लोकल कोवेरिएंस/local covariance) सीखता है। फिर यह उस स्थान को खींचता या सिकोड़ता है ताकि ट्रैक फिर से एक पूर्ण वृत्त जैसा दिखे।
- एक बार जब स्थान "नॉर्मलाइज्ड" (whitened) हो जाता है, तो वे प्रेडिक्शन के चारों ओर एक पूर्ण वृत्त (उच्च आयामों में एक एलिप्सॉइड/ellipsoid) बना सकते हैं। यह वृत्त ही उनका सुरक्षा कवच है।

3. यह एक बड़ी उपलब्धि क्यों है

यह पेपर तीन मुख्य जीत का दावा करता है:

यह स्मार्ट है: यह विशिष्ट स्थिति के अनुकूल होता है। यदि डेटा शोर भरा (noisy) है, तो जाल बड़ा हो जाता है। यदि डेटा साफ है, तो जाल छोटा हो जाता है। यह इसे एक "वन-साइज-फिट्स-ऑल" जाल वाले तरीकों की तुलना में बहुत अधिक उपयोगी बनाता है।
यह तेज़ है: अन्य तरीके जो ऐसा करने की कोशिश करते हैं, उनमें जटिल, धीमी सैंपलिंग शामिल होती है (जैसे आकार का अनुमान लगाने के लिए दस लाख सिमुलेशन चलाना)। लेखकों का तरीका एक क्लोज्ड-फॉर्म सॉल्यूशन (closed-form solution) का उपयोग करता है।
- उपमा: बादल के आकार का अनुमान लगाने के लिए एक घंटे तक उसे देखने के बजाय, उनके पास एक फॉर्मूला है जो उन्हें तुरंत आकार बता देता है। यह गणनात्मक रूप से बहुत सस्ता है।
यह "लापता हिस्सों" और "नए दृश्यों" को संभालता है:
- लापता डेटा (Missing Data): कभी-कभी, आपके पास सभी डेटा नहीं होते (जैसे, आप तापमान जानते हैं लेकिन आर्द्रता नहीं)। यह पेपर दिखाता है कि कैसे केवल उपलब्ध हिस्सों का उपयोग करके भी एक वैध सुरक्षा कवच बनाया जा सकता है, बिना गणित को तोड़े।
- आंशिक प्रकटीकरण (Partial Revelation): मान लीजिए कि आप मरीज के ब्लड शुगर और कोलेस्ट्रॉल की भविष्यवाणी करते हैं। यदि आप ब्लड शुगर को पहले मापते हैं, तो आप कोलेस्ट्रॉल के लिए सुरक्षा कवच को तुरंत छोटा कर सकते हैं क्योंकि दोनों आपस में संबंधित हैं। यह पेपर पूरे मॉडल को फिर से प्रशिक्षित किए बिना तुरंत नेट को अपडेट करने की अनुमति देता है।
- रूपांतरण (Transformations): यदि आप दो मानों के बीच के अंतर की भविष्यवाणी करना चाहते हैं (जैसे, लाभ = राजस्व - लागत), तो यह विधि सीधे उस अंतर के लिए नेट बना सकती है, बजाय इसके कि राजस्व और लागत के लिए अलग-अलग नेट बनाया जाए और फिर उम्मीद की जाए कि वे मेल खाएंगे।

4. उन्होंने क्या सिद्ध किया

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने गणित का उपयोग किया।

उन्होंने सिद्ध किया कि यदि त्रुटियां एक निश्चित "एलिप्टिकल" (elliptical) आकार (जैसे खिंचा हुआ वृत्त या अंडाकार) का पालन करती हैं, तो उनका तरीका गारंटी देता है कि सुरक्षा कवच हर एक इनपुट के लिए पूरी तरह से काम करेगा, न कि केवल औसत रूप से।
भले ही डेटा एक आदर्श अंडाकार न हो, उन्होंने दिखाया कि जैसे-जैसे उन्हें अधिक डेटा मिलता है, उनका तरीका पूर्ण सटीकता के बहुत करीब पहुँच जाता है।

5. परिणाम

उन्होंने नकली डेटा और वास्तविक दुनिया के डेटा (जैसे घर की कीमतों या टैक्सी मार्गों की भविष्यवाणी करना) पर परीक्षण किया।

परिणाम: उनके "स्मार्ट इलास्टिक बैंड" (महालानोबिस दूरी/Mahalanobis distance) ने सुरक्षा कवच को अधिक सटीक (tighter) और अधिक सटीक (more accurate) बनाया (90% बार लक्ष्य को हिट किया) अन्य तरीकों की तुलना में।
गति: यह अन्य जटिल तरीकों की तुलना में काफी तेज़ था, जिससे यह वास्तविक समय (real-time) के उपयोग के लिए व्यावहारिक बन गया।

सारांश

यह पेपर इस समस्या को हल करता है कि: "मैं एक साथ कई भविष्यवाणियों के चारों ओर एक पूर्ण, कस्टम-शेप्ड सुरक्षा कवच कैसे बनाऊं, भले ही डेटा अव्यवस्थित, गायब या बदल रहा हो?"

वे उत्तर देते हैं: "अनिश्चितता के स्थानीय आकार को सीखें, स्थान को खींचकर एक वृत्त बनाएं, और एक पूर्ण जाल बनाएं।" इसके परिणामस्वरूप ऐसी भविष्यवाणियाँ मिलती हैं जो न केवल सांख्यिकीय रूप से वैध हैं, बल्कि विशिष्ट स्थिति के लिए वास्तव में उपयोगी और सटीक भी हैं।

तकनीकी सारांश: कॉन्फॉर्मल प्रेडिक्शन के लिए मल्टीवेरिएट स्टैंडर्डाइज़्ड रेसिडुअल्स (Multivariate Standardized Residuals)

समस्या विवरण (Problem Statement)
कॉन्फॉर्मल प्रेडिक्शन (Conformal prediction) प्रेडिक्टिव सेट्स बनाने के लिए एक मॉडल-एग्नोस्टिक फ्रेमवर्क प्रदान करता है जो सीमित-नमूना मार्जिनल कवरेज (finite-sample marginal coverage) की गारंटी देता है। हालाँकि, इसकी एक महत्वपूर्ण सीमा कंडीशनल कवरेज (conditional coverage) प्राप्त करने में कठिनाई है, जहाँ वैधता विशिष्ट देखे गए इनपुट्स के लिए होनी चाहिए न कि केवल औसत पर। यह हेटरोसेडास्टिक सेटिंग्स (heteroskedastic settings) में विशेष रूप से महत्वपूर्ण है जहाँ इनपुट फीचर्स के साथ प्रेडिक्टिव अनिश्चितता बदलती रहती है। मौजूदा दृष्टिकोणों में ट्रेड-ऑफ (trade-offs) का सामना करना पड़ता है:

यूनिवेरिएट विधियाँ (Univariate methods): "स्टैंडर्डाइज़्ड रेसिडुअल्स" (स्थानीय विचरण द्वारा त्रुटियों को सामान्य बनाना) जैसी तकनीकें यूनिवेरिएट रिग्रेशन में कंडीशनल कवरेज में सुधार करती हैं, लेकिन वे स्वाभाविक रूप से मल्टीवेरिएट आउटपुट्स तक विस्तारित नहीं होती हैं।
मल्टीवेरिएट डेंसिटी एस्टीमेशन (Multivariate density estimation): विधियाँ जो पूर्ण कंडीशनल डेंसिटी का अनुमान लगाती हैं, वैध सेट्स दे सकती हैं, लेकिन वे कम्प्यूटेशनल रूप से महंगी होती हैं, अक्सर सैंपलिंग की आवश्यकता होती है, और "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) से जूझती हैं।
फिक्स्ड-शेप विधियाँ (Fixed-shape methods): फिक्स्ड-साइज़ या नॉन-अडेप्टिव सेट्स बनाने वाले दृष्टिकोण इनपुट-डिपेंडेंट अनिश्चितता को कैप्चर करने में विफल रहते हैं।
सैंपलिंग-आधारित विधियाँ (Sampling-based methods): कंडीशनल कवरेज में सुधार के लिए हालिया रणनीतियाँ समान इनपुट्स के लिए यादृच्छिकता (randomness) और परिवर्तनशीलता पेश करती हैं, जो पुनरुत्पादकता (reproducibility) को कमजोर करती हैं।

कार्यप्रणाली (Methodology)
लेखक एक फ्रेमवर्क प्रस्तावित करते हैं जो स्टैंडर्डाइज़्ड रेसिडुअल्स की अवधारणा को मल्टीवेरिएट सेटिंग में विस्तारित करता है। मुख्य विचार एक फीचर-डिपेंडेंट लोकल कोवेरिएंस मैट्रिक्स को सीखना है जो रेसिडुअल्स को "व्हाइटन" (whiten) कर सके, जिससे आउटपुट सहसंबंधों (correlations) को अलग करना और स्थानीय विचरण को मानकीकृत करना संभव हो सके।

मॉडलिंग (Modeling): एक फीचर वेक्टर $X$ और एक मल्टीवेरिएट रिस्पॉन्स $Y \in \mathbb{R}^k$ के लिए, विधि दो फंक्शन सीखती है:
- एक प्रेडिक्टर $f_\theta(X)$ जो कंडीशनल मीन $\mathbb{E}[Y|X]$ का अनुमान लगाता है।
- एक कोवेरिएंस एस्टीमेटर $\Sigma_\varphi(X)$ जो कंडीशनल कोवेरिएंस मैट्रिक्स का अनुमान लगाता है।
  इन दोनों को मैक्सिमम लाइकलीहुड (Gaussian approximation मानते हुए) के माध्यम से संयुक्त रूप से सीखा जा सकता है या किसी पूर्व-मौजूद ब्लैक-बॉक्स पॉइंट प्रेडिक्टर पर लागू किया जा सकता है।
नॉन-कन्फॉर्मिटी स्कोर (Non-conformity Score): विधि महालानोबिस डिस्टेंस (Mahalanobis distance) पर आधारित एक नॉन-कन्फॉर्मिटी स्कोर को परिभाषित करती है:
$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$
यह स्कोर स्थानीय कोवेरिएंस संरचना द्वारा स्केल किए गए मीन से रेसिड्यूल की दूरी को मापता है।
कॉन्फॉर्मल सेट्स (Conformal Sets): परिणामी प्रेडिक्शन सेट $C_\alpha(X_{\text{test}})$ $f_\theta(X_{\text{test}})$ के चारों ओर एक दीर्घवृत्त (ellipsoid) है, जिसका आकार और साइज $\Sigma_\varphi(X_{\text{test}})$ और कैलिब्रेशन सेट से प्राप्त थ्रेशोल्ड द्वारा निर्धारित होता है। यह हेटरोसेडास्टिकिटी के अनुकूल होने की अनुमति देता है।
विस्तार (Extensions): यह फ्रेमवर्क स्वाभाविक रूप से कई व्यावहारिक विस्तारों का समर्थन करता है:
- मिसिंग आउटपुट्स (Missing Outputs): Gaussian डेंसिटी को ऑब्जर्व्ड डायमेंशन्स पर मार्जिनलाइज़ करके और ची-स्क्वायर (Chi-squared) CDF का उपयोग करके, विधि तब भी वैध स्कोर बनाती है जब कैलिब्रेशन डेटा में मिसिंग वैल्यूज हों।
- पार्शियली रिवील्ड आउटपुट्स (Partially Revealed Outputs): यदि टेस्ट टाइम पर आउटपुट का एक हिस्सा $Y_r$ प्रकट होता है, तो विधि बिना रिट्रेनिंग के छिपे हुए भाग $Y_h$ के लिए प्रेडिक्शन सेट को रिफाइन करने के लिए कंडीशनल Gaussian गुणों का उपयोग करती है।
- आउटपुट ट्रांसफॉर्मेशन (Output Transformations): आउटपुट के लीनियर ट्रांसफॉर्मेशन (जैसे पोर्टफोलियो रिटर्न्स) के लिए, विधि ट्रांसफॉर्म किए गए मीन और कोवेरिएंस का उपयोग करके सीधे ट्रांसफॉर्म किए गए वेरिएबल्स पर कॉन्फॉर्मल सेट्स बनाती है, जिससे मौजूदा सेट्स को प्रोजेक्ट करने की कंजर्वेटिवनेस से बचा जा सके।

सैद्धांतिक गारंटी (Theoretical Guarantees)
पेपर यह स्थापित करता है कि यह विधि एसिम्प्टोटिक कंडीशनल कवरेज (asymptotic conditional coverage) प्राप्त करने के लिए एक पर्याप्त स्थिति (sufficient condition) प्रदान करती है। विशेष रूप से, यदि स्टैंडर्डाइज़्ड रेसिड्यूल $U = \Sigma(X)^{-1/2}(Y - f(X))$ , $X$ से स्वतंत्र है, तो विधि एसिम्प्टोटिक रूप से सटीक कंडीशनल कवरेज प्रदान करती है। यह स्थिति एलिप्टिकल डिस्ट्रीब्यूशंस सहित व्यापक वर्ग के लिए सत्य है, लेकिन इसके लिए शोर (noise) का एलिप्टिकल होना अनिवार्य नहीं है। भले ही यह स्वतंत्रता लागू न हो, फिर भी यह विधि रेसिड्यूल्स के पहले दो मोमेंट्स को नॉर्मलाइज़ करके कंडीशनल कवरेज में सुधार करती है।

प्रमुख योगदान (Key Contributions)

मल्टीवेरिएट एक्सटेंशन: एक सीखे गए लोकल कोवेरिएंस मैट्रिक्स का उपयोग करके मल्टीवेरिएट रिग्रेशन के लिए स्टैंडर्डाइज़्ड रेसिड्यूल्स का एक स्वाभाविक सामान्यीकरण।
क्लोज्ड-फॉर्म एफिशिएंसी: डेंसिटी-आधारित विधियों के विपरीत जिनमें सैंपलिंग की आवश्यकता होती है, यह दृष्टिकोण क्लोज्ड फॉर्म में कॉन्फॉर्मल सेट्स प्रदान करता है, जिससे इंफरेंस टाइम पर कम्प्यूटेशनल दक्षता मिलती है।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): उन डिस्ट्रीब्यूशंस का लक्षण वर्णन करने वाली एक पर्याप्त स्थिति जो एसिम्प्टोटिक कंडीशनल कवरेज प्रदान करते हैं।
व्यावहारिक लचीलापन: यह फ्रेमवर्क मिसिंग कैलिब्रेशन आउटपुट्स को संभालने, आंशिक रूप से रिवील्ड आउटपुट्स के आधार पर सेट्स को रिफाइन करने और आउटपुट ट्रांसफॉर्मेशन के लिए वैध सेट्स बनाने में सक्षम बनाता है।

प्रायोगिक परिणाम (Experimental Results)
लेखक सिंथेटिक और वास्तविक दुनिया के डेटासेट्स (जैसे Bias, CASP, House, rf1, scm1d, Taxi) पर HPD (डेंसिटी-आधारित), C-PCP, L-CP, ECM (एम्पिरिकल कोवेरिएंस), और OT (ऑप्टिमल ट्रांसपोर्ट) सहित बेसलाइन्स के विरुद्ध इस विधि का मूल्यांकन करते हैं।

कंडीशनल कवरेज: यह विधि मौजूदा मल्टीवेरिएट बेसलाइन्स की तुलना में लक्षित स्तर (जैसे 90%) के करीब कंडीशनल कवरेज प्राप्त करती है, विशेष रूप से उन "मार्जनल-ओनली" विधियों से बेहतर प्रदर्शन करती है जो कहीं न कहीं अंडर-कवरेज की भरपाई के लिए कुछ क्षेत्रों में ओवर-कवर करती हैं।
सेट साइज: यह विधि कवरेज बनाए रखते हुए डेंसिटी-आधारित विधियों की तुलना में टाइटर (छोटे वॉल्यूम वाले) कॉन्फॉर्मल सेट्स बनाती है।
कम्प्यूटेशनल दक्षता: यह विधि डेंसिटी-आधारित दृष्टिकोणों (HPD, PCP, C-PCP) की तुलना में काफी तेज़ है, जिन्हें अक्सर महंगे मोंटे कार्लो सैंपलिंग की आवश्यकता होती है। उदाहरण के लिए, 1,000 पॉइंट्स के लिए कवरेज का आकलन करने में बेसलाइन्स द्वारा आवश्यक सैकड़ों या हजारों सेकंडों की तुलना में नगण्य समय लगता है।
मजबूती (Robustness): यह विधि तब भी अच्छा प्रदर्शन करती है जब अंडरलाइंग Gaussian धारणा गलत (mis-specified) हो (जैसे एक्सपोनेंशियल नॉइज़ के साथ), जो इसके सैद्धांतिक अनुमानों से परे मजबूती का सुझाव देती है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि यह दृष्टिकोण न्यूनतम धारणाओं के तहत विश्वसनीय कंडीशनल कवरेज के लक्ष्य की ओर एक "प्रोत्साहित करने वाला कदम" (encouraging step) है। पूर्ण कंडीशनल डेंसिटी एस्टीमेशन की आवश्यकता से बचकर, यह विधि एक ऐसा विकल्प प्रदान करती है जो मार्जिनल कवरेज की सख्त गारंटी और कंडीशनल कवरेज की अडैप्टिविटी के बीच संतुलन बनाता है। लेखक इस बात पर जोर देते हैं कि हालांकि सभी डिस्ट्रीब्यूशंस के लिए सख्त कंडीशनल कवरेज की गारंटी नहीं दी जा सकती है, फिर भी यह विधि व्यापक वर्ग के लिए एसिम्प्टोटिक रूप से इसे प्राप्त करती है और व्यवहार में मजबूत अनुमानित कवरेज प्रदान करती है। मिसिंग वैल्यूज को संभालने और आंशिक जानकारी के साथ प्रेडिक्शन को रिफाइन करने की क्षमता वास्तविक दुनिया के परिदृश्यों में कॉन्फॉर्मल प्रेडिक्शन की उपयोगिता को और बढ़ाती है जहाँ डेटा अक्सर अधूरा या आंशिक रूप से देखा गया होता है।