📊 statistics

Localized conformal model selection

यह शोध पत्र एक स्थानीय अनुरूप मॉडल चयन ढांचे (localized conformal model selection framework) का प्रस्ताव करता है जो डेटा-निर्भर सुरक्षित सूचकांक सेटों (data-dependent safe index sets) के निर्माण के लिए स्थानीय अनुकूलन क्षमता को चयन-पश्चात वैधता (post-selection validity) के साथ एकीकृत करता है, जिससे विषम और कम-शोर वाले परिवेश में सटीक परिमित-नमूना मार्जिनल कवरेज प्राप्त करते हुए भविष्यवाणी अंतराल की लंबाई को काफी कम किया जा सके।

मूल लेखक: Yuhao Wang, Tengyao Wang

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuhao Wang, Tengyao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं जो कल के तापमान की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास अपने स्टाफ में पाँच अलग-अलग विशेषज्ञों (मॉडल्स) की एक टीम है:

विशेषज्ञ A शांत, स्थिर मौसम में भविष्यवाणी करने में माहिर है लेकिन तूफानों में भ्रमित हो जाता है।
विशेषज्ञ B अचानक आने वाले तूफानों की भविष्यवाणी करने में जीनियस है लेकिन शांत दिनों पर ज़रूरत से ज़्यादा प्रतिक्रिया देता है।
विशेषज्ञ C, D, और E के पास अपनी विशिष्ट ताकत और कमजोरियां हैं।

आपका लक्ष्य केवल तापमान का अनुमान देना नहीं है; आपको एक रेंज (जैसे, "यह 60°F और 70°F के बीच होगा") देनी है और आपको 95% सुनिश्चित होना है कि वास्तविक तापमान उस रेंज के भीतर ही रहेगा।

समस्या: "विजेता चुनने" का जाल (The "Pick-a-Winner" Trap)

अतीत में, सांख्यिकीविदों (statisticians) के पास एक नियम था: एक विशेषज्ञ को चुनें और उसी पर टिके रहें। यदि आप विशेषज्ञ A को चुनते, तो आप उनकी डेटा का उपयोग करके अपनी रेंज बनाएंगे। यह सुरक्षित था और गणितीय रूप से 95% बार सही होने की गारंटी देता था।

लेकिन क्या होगा यदि आप स्मार्ट बनने की कोशिश करें? मान लीजिए कि आप अभी के मौसम को देखते हैं और कहते हैं, "ओह, यह तूफानी है, इसलिए मैं कल की भविष्यवाणी के लिए विशेषज्ञ B का उपयोग करूँगा।"

खतरा: यदि आप उस डेटा के आधार पर विशेषज्ञ चुनते हैं जिसका आप भविष्यवाणी करने जा रहे हैं, तो आप धोखाधड़ी कर रहे हैं। आपने उत्तर कुंजी (answer key) को पहले ही देख लिया है। आपकी "95% गारंटी" ढह जाएगी, और आप ऐसी रेंज देंगे जो बहुत संकीर्ण (narrow) होगी, जिससे आप उम्मीद से कहीं अधिक बार गलत साबित होंगे।

पुराना समाधान: एक "ग्लोबल" समझौता (The "Global" Compromise)

कुछ हालिया तरीकों ने इसे ठीक करने की कोशिश की: पूरे वर्ष के लिए "सबसे अच्छे समग्र विशेषज्ञ" को चुनकर। लेकिन यह पूरे विश्व के लिए एक ही मौसम विज्ञत्ता को नियुक्त करने जैसा है। वे लंदन में बेहतरीन हो सकते हैं लेकिन टोक्यो में बहुत खराब। यदि आपके डेटा में अलग-अलग "पड़ोस" (neighborhoods) हैं (कुछ सुचारू, कुछ अराजक), तो एक एकल ग्लोबल विशेषज्ञ उन सभी को कुशलता से नहीं संभाल सकता।

नया समाधान: "लोकलाइज्ड कॉन्फॉर्मल मॉडल सिलेक्शन" (LCP-MS)

यह पेपर एक चतुर नया ढांचा पेश करता है जो एक स्मार्ट टूर गाइड की तरह काम करता है।

1. "सुरक्षित सूची" (The "Safe List" - Surrogate Intervals)

भविष्यवाणी करने वाले टेस्ट पॉइंट को देखने के बाद विजेता चुनने के बजाय (जो नियमों को तोड़ता है), लेखक एक तरकीब निकालते हैं। वे पूछते हैं: "यदि मौसम खराब होता, तो कौन सा विशेषज्ञ अभी भी सुरक्षित रहता? यदि मौसम आदर्श होता, तो कौन सा विशेषज्ञ सुरक्षित रहता?"

वे हर स्थान के लिए विशेषज्ञों की एक "सुरक्षित सूची" तैयार करते हैं।

वे केवल एक को नहीं चुनते। वे उम्मीदवारों का एक छोटा समूह रखते जो सबसे अच्छा हो सकता है, लेकिन वे गारंटी देते कि "वास्तविक सर्वश्रेष्ठ विशेषज्ञ" (Oracle) निश्चित रूप से इस सूची में है।
इसे एक नौकरी के लिए फाइनल उम्मीदवारों की शॉर्टलिस्ट की तरह समझें। आप अभी विजेता को काम पर नहीं रखते; आप बस यह सुनिश्चित करते हैं कि विजेता अभी भी दौड़ में है।

2. "स्थानीय अनुकूलनशीलता" (The "Local Adaptivity" - Neighborhood Watch)

अब, कल्पना करें कि आप एक विशिष्ट सड़क के लिए मौसम की भविष्यवाणी कर रहे हैं।

एक सुचारू, समतल पड़ोस में (कम शोर/noise), "सुरक्षित सूची" उन विशेषज्ञों तक सीमित हो सकती है जो वाइड लेंस (बड़ी तस्वीर देखने वाले) का उपयोग करते हैं। यह एक सटीक, कुशल भविष्यवाणी देता है।
एक अराजक, पहाड़ी पड़ोस में (उच्च शोर/दोलन), "सुरक्षित सूची" उन विशेषज्ञों में बदल सकती है जो ज़ूम लेंस (बारीकियों पर ध्यान देने वाले) का उपयोग करते हैं।

जादू यह है कि यह सिस्टम बिना किसी गणितीय नियम को तोड़े, स्वचालित रूप से अपने शॉर्टलिस्ट को बदल देता है। यह एक ऐसे टूर गाइड की तरह है जो जानता है कि शहर के केंद्र में, आपको एक ऐसे गाइड की आवश्यकता है जो हर गली को जानता हो, लेकिन ग्रामीण इलाकों में, आपको एक ऐसे गाइड की आवश्यकता है जो मुख्य सड़कों को जानता हो।

3. परिणाम: छोटी, स्मार्ट रेंज

क्योंकि यह सिस्टम स्थानीय "इलाके" (terrain) के अनुसार खुद को ढाल लेता है:

आसान-से-अनुमान लगाने वाले क्षेत्रों में, यह आपको एक बहुत ही सटीक रेंज देता है (जैसे, 64°F से 66°F)।
अराजक क्षेत्रों में, यह सुरक्षित रहने के लिए रेंज को पर्याप्त रूप से चौड़ा कर देता है (जैसे, 60°F से 70°F)।

"स्विस आर्मी नाइफ" बनाम "विशेष उपकरण" की उपमा

पुराना तरीका: आप एक स्विस आर्मी नाइफ ले जाते हैं। यह हर जगह ठीक-ठाक काम करता है, लेकिन यह किसी भी विशिष्ट कार्य के लिए कभी भी "परफेक्ट" टूल नहीं होता। आपकी भविष्यवाणी रेंज हर जगह थोड़ी अधिक विस्तृत होती है।
इस पेपर का तरीका: आपके पास एक टूलबॉक्स है। जब आपको पेंच खोलने की आवश्यकता होती है, तो आप स्क्रूड्राइवर उठाते हैं। जब आपको हथौड़ा चलाने की आवश्यकता होती है, तो आप हथौड़ा उठाते हैं। लेकिन आपके पास एक सुरक्षा प्रोटोकॉल है जो यह सुनिश्चित करता है कि आप गलती से गलत उपकरण न उठा लें। परिणाम? आप काम को तेज़ी से और अधिक सटीकता से करते हैं।

यह क्यों मायने रखता है

लेखकों ने सिमुलेशन (कंप्यूटर प्रयोग) चलाए जहाँ "मौसम" पूरे मानचित्र पर शांत से अराजक में बदल रहा था।

परिणाम: उनके नए तरीके ने एकल सर्वश्रेष्ठ विशेषज्ञ का उपयोग करने की तुलना में 25% से 35% छोटी भविष्यवाणी रेंज प्रदान की, जबकि वह 95% सटीक रही।
मुख्य बात: आपको यह चुनने की ज़रूरत नहीं है कि आपको "सुरक्षित" (गणितीय रूप से वैध) होना है या "स्मार्ट" (स्थानीय विवरणों के अनुकूल) होना है। आप दोनों प्राप्त कर सकते हैं।

संक्षेप में, यह पेपर हमें एक ऐसा भविष्यवाणी सिस्टम बनाने का तरीका सिखाता है जो स्थानीय अराजकता को संभालने के लिए पर्याप्त लचीला है, लेकिन अपनी विश्वसनीयता के बारे में कभी झूठ न बोलने के लिए पर्याप्त कठोर है।

यहाँ युहाओ वांग और टेंग्याओ वांग के शोध पत्र "Localized conformal model selection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कॉन्फॉर्मल प्रेडिक्शन (CP) में एक महत्वपूर्ण अंतराल को संबोधित करता है, जो कि वितरण-मुक्त अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक ढांचा है और जो परिमित-नमूना कवरेज गारंटी (finite-sample coverage guarantees) प्रदान करता है। जबकि मानक CP मजबूत है, यह आमतौर पर एक निश्चित भविष्य कहने वाले मॉडल (fixed predictive model) को मानता है। हालांकि, व्यवहार में, विशेषज्ञों को विभिन्न जटिलताओं या स्मूथनेस धारणाओं वाले संभावित मॉडलों के संग्रह का सामना करना पड़ता है।

मॉडल चयन को कॉन्फॉर्मल प्रेडिक्शन के साथ संयोजित करते समय दो विशिष्ट चुनौतियाँ उत्पन्न होती हैं:

चयन-पश्चात वैधता (Post-Selection Validity): उसी डेटा के आधार पर मॉडल का चयन करना जिसका उपयोग कैलिब्रेशन के लिए किया गया है, विनिमेयता (exchangeability) की धारणा का उल्लंघन करता है, जिससे व्यवस्थित कम-कवरेज (undercoverage) होता है (अर्थात, प्रेडिक्शन इंटरवल नामित दर पर वास्तविक रिस्पॉन्स को समाहित करने में विफल रहते हैं)।
स्थानीय अनुकूलन क्षमता का अभाव (Lack of Local Adaptivity): चयन-पश्चात वैधता के मौजूदा समाधान (जैसे, यांग और कुचिभोटला, 2025; लियांग और अन्य, 2024) वैश्विक (global) स्तर पर कार्य करते हैं। वे पूरे डेटासेट के लिए एक ही मॉडल का चयन करते हैं, जिससे स्थानिक विषमता (spatial heterogeneity) को समझने में विफलता होती है जहाँ अंतर्निहित रिग्रेशन फंक्शन कुछ क्षेत्रों में सुचारू (smooth) हो सकता है और अन्य क्षेत्रों में अत्यधिक दोलनशील (oscillatory) हो सकता है। इसके विपरीत, लोकलाइज्ड कॉन्फॉर्मल प्रेडिक्शन (LCP) (गुआन, 2023) स्थानीय शोर और संरचना के अनुकूल होता है लेकिन एक निश्चित मॉडल को मानता है।

मुख्य समस्या: एक ऐसा प्रेडिक्शन इंटरवल कैसे बनाया जाए जो एक साथ स्थानीय रूप से अनुकूल (locally adaptive) (कोवेरिएट-विशिष्ट संरचना के अनुकूल) हो और बिना परिमित-नमूना कवरेज गारंटी का उल्लंघन किए डेटा-संचालित मॉडल चयन के बाद वैध (valid after data-driven model selection) हो।

2. कार्यप्रणाली: लोकलाइज्ड कॉन्फॉर्मल मॉडल सिलेक्शन (LCP-MS)

लेखक एक ढांचा प्रस्तावित करते हैं जो समरूपता (symmetry) को बहाल करने के लिए लोकलाइज्ड कॉन्फॉर्मल प्रेडिक्शन (LCP) को एक सेफ इंडेक्सिंग (Safe Indexing) तकनीक के साथ एकीकृत करता है।

अ. लोकलाइज्ड कॉन्फॉर्मल प्रेडिक्शन (LCP)

वैश्विक अनुभवजन्य क्वांटाइल (global empirical quantile) के बजाय, LCP भारित अनुभवजन्य क्वांटाइल्स (weighted empirical quantiles) का उपयोग करके प्रेडिक्शन इंटरवल का निर्माण करता है।

एक लोकलाइज़र फंक्शन (localizer function) $H(X_{n+1}, X_i)$ (जैसे, एक्सपोनेंशियल या गॉसियन कर्नेल) उन कैलिब्रेशन बिंदुओं $X_i$ को उच्च भार देता है जो टेस्ट पॉइंट $X_{n+1}$ के करीब होते हैं।
यह इंटरवल की चौड़ाई को स्थानीय शोर स्तरों और स्थानीय मॉडल फिट के अनुकूल होने की अनुमति देता है।

ब. समरूपता की चुनौती (The Symmetry Challenge)

एक सहज दृष्टिकोण वह होगा जो टेस्ट पॉइंट $X_{n+1}$ पर LCP इंटरवल की लंबाई को न्यूनतम करने वाले मॉडल $k$ का चयन करता है। हालांकि, यह चयन अनपेक्षित $Y_{n+1}$ पर निर्भर करता है, जो डेटासेट की विनिमेयता को तोड़ देता है और कवरेज गारंटी को अमान्य कर देता है।

स. सेफ इंडेक्सिंग समाधान (The Safe Indexing Solution)

इसे हल करने के लिए, लेखक एक डेटा-निर्भर सेफ इंडेक्स सेट पेश करते हैं जो सभी डेटा बिंदुओं (टेस्ट पॉइंट सहित जिसे कैलिब्रेशन पॉइंट माना गया है) के माध्यम से सममित रूप से निर्मित किया जाता है।

सरोगेट इंटरवल्स (Surrogate Intervals): प्रत्येक कैलिब्रेशन बिंदु $i$ $i$ और संभावित मॉडल $k$ $k$ के लिए, लेखक "ओरेकल" (oracle) इंटरवल्स परिभाषित करते हैं जो अनपेक्षित $Y_{n+1}$ $Y_{n + 1}$ पर निर्भर करते हैं। चूंकि $Y_{n+1}$ $Y_{n + 1}$ अज्ञात है, वे सरोगेट इंटरवल्स का निर्माण करते हैं:
- लोअर बाउंड ( $C^-$ ): यह मान लेता है कि $Y_{n+1}$ मॉडल $k$ के अनुरूप पूरी तरह से फिट बैठता है (जो इंटरवल को न्यूनतम करता है)।
- अपर बाउंड ( $C^+$ ): यह चरम गैर-अनुरूपता (extreme non-conformity) को मानता है (जो इंटरवल को अधिकतम करता है)।
सेफ इंडेक्स सेट ( $K_i(\gamma)$ ): प्रत्येक बिंदु $i$ $i$ के लिए, वे एक मॉडल सेट $K_i(\gamma)$ $K_{i} (γ)$ परिभाषित करते हैं जिसमें वे सभी मॉडल शामिल हैं जिनका सर्वश्रेष्ठ-मामला (best-case) इंटरवल अंतराल, सबसे छोटे प्रतिस्पर्धी मॉडल के सबसे खराब-मामले (worst-case) इंटरवल अंतराल से अधिक नहीं है।
- महत्वपूर्ण रूप से, यह सेट गारंटी देता है कि इसमें ओरेकल मॉडल शामिल है (वह मॉडल जो सबसे छोटा इंटरवल देगा यदि $Y_{n+1}$ ज्ञात होता)।
अनुमेय मिसकवरेज स्तर (Admissible Miscoverage Levels): विधि सभी कैलिब्रेशन बिंदुओं में लोअर बाउंड्स के इंटरसेक्शन और अपर बाउंड्स के यूनियन के माध्यम से अनुभवजन्य कवरेज का मूल्यांकन करती है ताकि एक वैध रेंज $[\hat{\gamma}_L, \hat{\gamma}_U]$ निर्धारित की जा सके।
अंतिम एन्सेम्बल (Final Ensemble): अंतिम प्रेडिक्शन इंटरवल मिसकवरेज के अनुमेय रेंज से चुने गए सबसे छोटे लोकलाइज्ड कॉन्फॉर्मल इंटरवल्स का यूनियन है।

3. प्रमुख योगदान

स्थानीय + चयन-पश्चात वैधता के लिए पहला ढांचा: यह पूर्ण नॉनपैरामेट्रिक सेटिंग में स्थानीय अनुकूलता (local adaptivity) और चयन-पश्चात वैधता (post-selection validity) को एक साथ प्राप्त करने वाला पहला कॉन्फॉर्मल इन्फरेंस ढांचा है।
सेफ इंडेक्सिंग के माध्यम से समरूपता की बहाली: यह पेपर एक नवीन "सेफ इंडेक्सिंग" तकनीक पेश करता है जो सरोगेट इंटरवल्स का उपयोग करके सभी कैलिब्रेशन बिंदुओं में सममित रूप से चयन नियमों को लागू करती है। यह परिमित-नमूना वैधता के लिए आवश्यक विनिमेयता को बहाल करता है।
सटीक परिमित-नमूना गारंटी: प्रमेय 1 सिद्ध करता है कि प्रस्तावित प्रक्रिया किसी भी $\alpha \in [0, 1]$ के लिए $P(Y_{n+1} \in C_{LCP-MS}) \geq 1 - \alpha$ को संतुष्ट करती है, चाहे अंतर्निहित वितरण या मॉडल की जटिलता कुछ भी हो।
अनुकूली एन्सेम्बल व्यवहार: यह विधि अत्यधिक दोलनशील क्षेत्रों में जटिल मॉडलों (जैसे, छोटे बैंडविड्थ) और सुचारू क्षेत्रों में सरल मॉडलों (जैसे, बड़े बैंडविड्थ) को स्वचालित रूप से प्राथमिकता देती है, जिसके लिए मैन्युअल ट्यूनिंग की आवश्यकता नहीं होती है।

4. परिणाम

लेखकों ने पैरामेट्रिक और नॉनपैरामेट्रिक सेटिंग्स दोनों में सिमुलेशन के माध्यम से विधि का मूल्यांकन किया, जिसमें LCP-MS एन्सेम्बल की तुलना सर्वश्रेष्ठ एकल मॉडल ( hindsight में चुना गया) से की गई।

पैरामेट्रिक सेटिंग (पिसवाइस साइनुसोइडल):
- कम-शोर सेटिंग्स ( $\sigma=0.1$ ) में, LCP-MS ने सर्वश्रेष्ठ एकल मॉडल की तुलना में काफी छोटे इंटरवल (लगभग 15-20% की कमी) उत्पन्न किए।
- उच्च-शोर सेटिंग्स में, प्रदर्शन तुलनीय था, क्योंकि जब सिग्नल-टू-नॉइज़ अनुपात कम होता है, तो लोकलाइजेशन के लाभ कम हो जाते हैं।
नॉनपैरामेट्रिक सेटिंग (परिवर्तनीय वक्रता):
- परिवर्तनशील वक्रता वाले एक सुचारू फंक्शन ( $Y = \sin(X^3) + \epsilon$ ) के लिए, LCP-MS ने सर्वश्रेष्ठ एकल फिक्स्ड-बैंडविड्थ एस्टिमेटर की तुलना में 25-35% की कमी हासिल की।
- सुधार सबसे अधिक बड़े नमूना आकार ( $n=2000$ ) और कम शोर के साथ देखा गया।
दृश्य विश्लेषण (Visual Analysis):
- चित्र 1 दर्शाता है कि एन्सेम्बल उच्च-वक्रता वाले क्षेत्रों में छोटे बैंडविड्थ को और सुचारू क्षेत्रों में बड़े बैंडविड्थ को अनुकूल रूप से चुनता है। यह स्थानिक रूप से परिवर्तनशील चयन इसके बेहतर प्रदर्शन की व्याख्या करता है, क्योंकि कोई भी एकल फिक्स्ड मॉडल पूरे डोमेन में समान रूप से अनुकूल नहीं हो सकता।

5. महत्व और चर्चा

दो प्रतिमानों को जोड़ना: यह कार्य स्थानीय अनुकूलता (LCP) और मजबूत मॉडल चयन (post-selection validity) के बीच के अंतर को सफलतापूर्वक पाटता है, जो दो ऐसे क्षेत्र हैं जिन्हें पहले अलग-अलग माना जाता था।
व्यावहारिक उपयोगिता: वास्तविक दुनिया के अनुप्रयोगों में जहाँ डेटा विषम संरचनाओं (जैसे, वित्तीय समय श्रृंखला, स्थानिक डेटा) को प्रदर्शित करता है, यह विधि विशेषज्ञों को सांख्यिकीय गारंटी से समझौता किए बिना विविध मॉडल लाइब्रेरी का लाभ उठाने की अनुमति देती है।
कंप्यूटेशनल ट्रेड-ऑफ: लीव-वन-आउट कंस्ट्रक्शन और कई मॉडलों/लेवलों के मूल्यांकन के कारण यह विधि मानक CP की तुलना में अधिक कम्प्यूटेशनल रूप से भारी है। हालांकि, लेखक नोट करते हैं कि ये चरण स्वाभाविक रूप से समानांतर करने योग्य (parallelizable) हैं।
भविष्य की दिशाएं: जबकि वर्तमान गारंटी मार्जिनल (ग्लोबल कवरेज) है, यह विधि स्थानीय ज्यामिति के अनुकूल होकर प्रभावी रूप से कंडीशनल कवरेज का अनुमान लगाती है। "सेफ इंडेक्सिंग" की अवधारणा अन्य अनुकूली कॉन्फॉर्मल सेटिंग्स में भी विस्तारित हो सकती है जहाँ डेटा-निर्भर निर्णय विनिमेयता को खतरे में डालते हैं।

संक्षेप में, यह शोध पत्र कॉन्फॉर्मल प्रेडिक्शन में "मॉडल चयन विरोधाभास" (model selection paradox) के लिए एक कठोर समाधान प्रदान करता है, जिससे सख्त सैद्धांतिक वैधता बनाए रखते हुए स्थानीय डेटा संरचनाओं के अनुकूल बनने वाले अधिक सटीक और संक्षिप्त प्रेडिक्शन इंटरवल का निर्माण संभव होता है।