🤖 AI

Relevance-Aware Thresholding in Online Conformal Prediction for Time Series

यह शोध पत्र टाइम सीरीज़ के लिए एक नवीन ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन फ्रेमवर्क प्रस्तावित करता है जो थ्रेशोल्ड अपडेट स्टेप के दौरान बाइनरी कवरेज चेक्स को रेलेवेंस-अवेयर फंक्शन्स से बदलकर वैधता बनाए रखते हुए प्रेडिक्शन इंटरवल की टाइटनेस में सुधार करता है।

मूल लेखक: Théo Dupuy, Binbin Xu, Stéphane Perrey, Jacky Montmain, Abdelhak Imoussaten

प्रकाशित 2026-06-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Théo Dupuy, Binbin Xu, Stéphane Perrey, Jacky Montmain, Abdelhak Imoussaten

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कल के मौसम की भविष्यवाणी करने की कोशिश कर रहे हैं। आप केवल यह नहीं कहना चाहते कि "यह 20°C होगा।" आप एक सीमा (range) देना चाहते हैं, जैसे "यह 18°C और 22°C के बीच होगा।" लेकिन वह सीमा कितनी चौड़ी होनी चाहिए?

यदि आप सीमा बहुत चौड़ी रखते हैं (जैसे, 0°C से 40°C), तो आप लगभग निश्चित रूप से सही होंगे, लेकिन जानकारी बेकार है क्योंकि यह बहुत अस्पष्ट है। यदि आप इसे बहुत संकीर्ण रखते हैं (19.9°C से 20.1°C), तो यह बहुत सटीक हो सकता है, लेकिन आपके गलत होने का जोखिम बना रहता है।

यह शोध पत्र इन भविष्यवाणी सीमाओं के लिए "गोल्डिलॉक्स" (Goldilocks) ज़ोन खोजने के बारे में है, विशेष रूप से उन चीजों के लिए जो समय के साथ बदलती रहती हैं, जैसे स्टॉक की कीमतें या तापमान।

समस्या: "सब-या-कुछ-नहीं" वाली गलती

लेखक एक विधि पर विचार करते हैं जिसे ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (OCP) कहा जाता है। OCP को एक स्मार्ट थर्मोस्टेट के रूप में समझें जो पिछले अनुभवों के आधार पर तापमान की सीमा को समायोजित करता है।

हालाँकि, इन पुराने थर्मोस्टैट्स के काम करने का तरीका बहुत ही रूखा था। वे केवल दो संभावनाओं को देखते थे:

क्या वास्तविक तापमान आपकी सीमा के भीतर आया? (सफलता)
क्या यह बाहर रहा? (विफलता)

लेखक इस तर्क में एक दोष बताते हैं। कल्पना कीजिए कि आपकी सीमा [0°C, 10°C] है।

परिदृश्य A: वास्तविक तापमान 11°C है। आप गलत थे।
परिदृश्य B: वास्तविक तापमान 50°C है। आप इसमें भी गलत थे।

पुराने सिस्टम में, दोनों परिदृश्यों को बिल्कुल एक जैसा माना जाता है: "आप विफल रहे।" थर्मोस्टेट कल के लिए सीमा को बहुत अधिक चौड़ा करने के लिए प्रतिक्रिया देता है ताकि दोबारा गलत होने से बचा जा सके। लेकिन यह अनुचित है! 1 डिग्री की चूक (परिदृश्य A) होना, 40 डिग्री की चूक (परिदृश्य B) होने की तुलना में बहुत कम बड़ी बात है। पुराना सिस्टम अंतर नहीं जानता, इसलिए वह छोटी गलतियों पर अत्यधिक प्रतिक्रिया देता है और बड़ी गलतियों पर कम प्रतिक्रिया देता है।

समाधान: "प्रासंगिकता-जागरूक" (Relevance-Aware) समायोजन

लेखक भविष्यवाणी की सीमा को समायोजित करने का एक नया तरीका प्रस्तावित करते हैं। एक साधारण "पास/फेल" स्विच के बजाय, वे एक "प्रासंगिकता मीटर" (Relevance Meter) पेश करते हैं।

इसे एक वीडियो गेम स्कोर की तरह समझें।

यदि आप लक्ष्य से थोड़ा सा चूक जाते हैं, तो आपको "कम दंड" (Low Penalty) मिलता है।
यदि आप लक्ष्य से बहुत दूर चूक जाते हैं, तो आपको "उच्च दंड" (High Penalty) मिलता है।

नया तरीका यह मापने के लिए एक गणितीय फलन (एक सुचारू वक्र/smooth curve) का उपयोग करता है कि वास्तविक मान आपकी भविष्यवाणी सीमा के किनारे से कितनी दूर था।

यदि वास्तविक मान सीमा से बस थोड़ा ही बाहर है: सिस्टम कहता है, "ठीक है, आप करीब थे। आइए सीमा को केवल थोड़ा सा ही बढ़ाएं।"
यदि वास्तविक मान बहुत दूर बाहर है: सिस्टम कहता है, "वाह, यह एक बड़ी चूक थी! आइए सीमा को काफी अधिक बढ़ा दें।"

यह क्यों महत्वपूर्ण है

इस "प्रासंगिकता मीटर" का उपयोग करके, सिस्टम अचानक और झटकेदार समायोजन करना बंद कर देता है।

पुराना तरीका: एक छोटी सी गलती के कारण सिस्टम घबरा जाता है और लंबे समय के लिए भविष्यवाणी की सीमा को बहुत बड़ा कर देता है।
नया तरीका: सिस्टम सुचारू रूप से प्रतिक्रिया करता है। यह भविष्यवाणी सीमा को यथासंभव सटीक (tight) बनाए रखता है और साथ ही पर्याप्त सटीक भी रहता है।

परिणाम

लेखकों ने वास्तविक दुनिया के डेटा, जैसे अमेज़न, गूगल और माइक्रोसॉफ्ट के स्टॉक की कीमतों और दिल्ली के तापमान पर इसका परीक्षण किया। उन्होंने अपने नए "प्रासंगिकता-जागरूक" तरीके की तुलना पुराने "सब-या-कुछ-नहीं" वाले तरीकों से की।

निष्कर्ष ये थे:

सटीकता समान रही: नया तरीका यह सुनिश्चित करने में उतना ही अच्छा था कि वास्तविक मान सीमा के भीतर आए (वैधता)।
सीमाएं अधिक सटीक (tighter) हुईं: क्योंकि सिस्टम छोटी गलतियों पर अत्यधिक प्रतिक्रिया नहीं दे रहा था, इसलिए भविष्यवाणी की सीमाएं अधिक संकीर्ण थीं। इसका अर्थ है कि भविष्यवाणियां अधिक सटीक और निर्णय लेने वालों के लिए अधिक उपयोगी थीं।

संक्षेप में

यह शोध पत्र तर्क देता है कि जब समय के साथ बदलने वाली चीजों के लिए भविष्यवाणी की जाती है, तो हमें केवल यह नहीं पूछना चाहिए, "क्या मैं सही था या गलत?" बल्कि हमें यह पूछना चाहिए, "मैं कितना गलत था?" अपनी गलती की डिग्री को मापकर, हम अपनी सुरक्षा कवच खोए बिना स्मार्ट, सटीक और अधिक उपयोगी भविष्यवाणी सीमाएं बना सकते हैं।

तकनीकी सारांश: टाइम सीरीज़ के लिए ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन में रिलिवेंस-अवेयर थ्रेशोल्डिंग

समस्या विवरण

संवेदनशील डोमेन (स्वास्थ्य, वित्त, आदि) में मशीन लर्निंग अनुप्रयोगों को तेजी से मजबूत अनिश्चितता मात्रा निर्धारण (uncertainty quantification) की आवश्यकता हो रही है। जबकि कॉन्फॉर्मल प्रेडिक्शन (CP) वितरण-मुक्त कवरेज गारंटी प्रदान करता है, इसका शास्त्रीय स्वरूप डेटा विनिमेयता (exchangeability) की धारणा पर निर्भर करता है, जो टाइम सीरीज़ डेटा में अक्सर वितरण बदलाव (distribution shifts) के कारण बाधित होती है।

इस समस्या को संबोधित करने के लिए, ऑनलाइन कॉन्फॉर्मल प्रेडिक्शन (OCP) विधियों को देखे गए त्रुटियों (errors) के आधार पर प्रेडिक्शन इंटरवल को गतिशील रूप से अपडेट करने के लिए विकसित किया गया है। हालाँकि, मौजूदा अत्याधुनिक OCP विधियाँ (जैसे PID और ECI) आमतौर पर प्रेडिक्शन प्रदर्शन के बाइनरी मूल्यांकन पर निर्भर करती हैं: कि क्या ग्राउंड ट्रुथ (ground truth) प्रेडिक्शन इंटरवल के अंदर है या बाहर। यह बाइनरी दृष्टिकोण उस जानकारी को त्याग देता है जो त्रुटि की परिमाण (magnitude) के संबंध में होती है जब ग्राउंड ट्रुथ इंटरवल के बाहर होता है, या सुरक्षा के स्तर (degree) के संबंध में होती है जब वह अंदर होता है। फलस्वरूप, ये विधियाँ अत्यधिक रूढ़िवादी (चौड़े) प्रेडिक्शन इंटरवल बना सकती हैं या अचानक थ्रेशोल्ड समायोजन का शिकार हो सकती हैं, जिससे आउटपुट सूचनात्मक नहीं रह जाता।

कार्यप्रणाली

यह शोध पत्र एक रिलिवेंस-अवेयर थ्रेशोल्डिंग (Relevance-Aware Thresholding) ढांचे का प्रस्ताव करता है जो बाइनरी एरर इंडिकेटर के स्थान पर प्रेडिक्शन इंटरवल की "प्रासंगिकता" (relevance) को मापने वाले एक निरंतर फलन (continuous function) का उपयोग करता है।

मुख्य अवधारणा

बाइनरी इंडिकेटर $1\{Y_t \notin \hat{C}_t\}$ के बजाय, लेखक फलन के एक परिवार $f_{\omega, v, \mu_t}(s_t - q_t)$ का परिचय देते हैं, जो ग्राउंड ट्रुथ ( $Y_t$ ) और प्रेडिक्शन बाउंड्स के बीच की दूरी को $[0, 1]$ के मान में मैप करता है।

इनपुट: मात्रा $s_t - q_t$ , जहाँ $s_t$ नॉन-कन्फॉर्मिटी स्कोर (प्रेडिक्शन और ग्राउंड ट्रुथ के बीच की दूरी) है और $q_t$ वर्तमान थ्रेशोल्ड है।
व्यवहार:
- यदि ग्राउंड ट्रुथ इंटरवल से बहुत बाहर है ( $s_t - q_t \gg 0$ ), तो फलन 1 के करीब पहुँच जाता है, जो अगले चरण के लिए थ्रेशोल्ड को महत्वपूर्ण रूप से बढ़ाने का संकेत देता है।
- यदि ग्राउंड ट्रुथ बहुत अंदर है ( $s_t - q_t \ll 0$ ), तो फलन 0 के करीब पहुँच जाता है, जो संकेत देता है कि इंटरवल को संकुचित करने के लिए थ्रेशोल्ड को कम किया जा सकता है।
- यदि ग्राउंड ट्रुथ सीमा के पास है, तो फलन लक्षित मिसकवरेज स्तर $\alpha$ के आसपास सुचारू रूप से परिवर्तित होता है।

फलन डिज़ाइन (Function Design)

प्रस्तावित फलन परिवार को इस प्रकार परिभाषित किया गया है:
$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$
जहाँ:

$\sigma$ सिग्मॉइड (sigmoid) फलन है।
$\mu_t$ एक गतिशील स्केलिंग कारक (हाल के पूर्ण त्रुटियों का माध्य) है जो स्केल स्वतंत्रता सुनिश्चित करता है।
$\omega$ और $v$ पैरामीटर हैं जो निर्णय लेने वालों (Decision Makers - DMs) को फलन के आकार को ट्यून करने (जैसे, विशिष्ट त्रुटि श्रेणियों के लिए प्लेटो बनाना) की अनुमति देते हैं, जो डोमेन विशेषज्ञता पर आधारित है।

OCP में एकीकरण

लेखक इन फलनों को दो प्रमुख OCP एल्गोरिदम में एकीकृत करते हैं:

PID (प्रोपोर्शनल-इंटीग्रल-डेरिवेटिव): अपडेट नियम में बाइनरी इंडिकेटर को विभिन्न कॉन्फ़िगरेशन (पूर्ण प्रतिस्थापन, सैचुरेशन-ओनली, या एरर-टर्म-ओनली) में रिलिवेंस फंक्शन द्वारा बदल दिया जाता है।
ECI (एरर-करेक्टिंग इन्फरेंस): फलन के ग्रेडिएंट से जुड़े स्मूथिंग टर्म को प्रस्तावित रिलिवेंस फंक्शन के ग्रेडिएंट का उपयोग करने के लिए संशोधित किया गया है।

सैद्धांतिक विश्लेषण (थ्योरम 1-3) यह प्रदर्शित करता है कि सैचुरेशन फंक्शन और लर्निंग रेट के संबंध में विशिष्ट शर्तों के तहत, ये संशोधित अपडेट दीर्घकालिक कवरेज गारंटी (वैधता) को बनाए रखते हैं।

मुख्य योगदान

रिलिवेंस-अवेयर फ्रेमवर्क: बाइनरी एरर ट्रैकिंग से आगे बढ़कर, टाइम सीरीज़ में ग्राउंड ट्रुथ और इंटरवल बाउंड्स के बीच की दूरी का लाभ उठाने के लिए एक सामान्य दृष्टिकोण का परिचय।
अनुकूलन योग्य फलन परिवार (Customizable Function Family): फलनों का एक सेट जो DMs को प्रेडिक्शन त्रुटियों के लिए दंड/पुरस्कार तंत्र को अनुकूलित करने की अनुमति देता है, जो विशिष्ट डोमेन बाधाओं और प्राथमिकताओं को समायोजित करता है।
एल्गोरिद्मिक संवर्द्धन: प्रस्तावित फलनों को शामिल करने के लिए अत्याधुनिक OCP विधियों (PID और ECI) का संशोधन, जिसके लिए वैधता (कवरेज) बनाए रखने वाले सैद्धांतिक प्रमाण भी दिए गए हैं।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि संशोधित विधियाँ कवरेज वैधता को बनाए रखते हुए या उसमें सुधार करते हुए अधिक सटीक (तंग) प्रेडिक्शन इंटरवल प्राप्त करती हैं।

प्रायोगिक परिणाम

लेखकों ने वास्तविक दुनिया के डेटासेट्स: अमेज़न, गूगल और माइक्रोसॉफ्ट स्टॉक प्राइस, और दिल्ली तापमान डेटा पर संशोधित PID और ECI विधियों का मूल्यांकन किया।

PID परिणाम: अमेज़न डेटासेट पर, संशोधित PID ने 90% कवरेज बनाए रखते हुए औसत इंटरवल चौड़ाई को 32.42 से घटाकर 29.36 (AR रिग्रेसर) कर दिया। गूगल स्टॉक डेटा पर, संशोधित PID ने औसत चौड़ाई को काफी कम कर दिया (उदाहरण के लिए, AR के लिए 43.75 से 34.96)।
ECI परिणाम: मूल ECI विधि लेखकों के प्रायोगिक सेटअप में लक्षित 90% कवरेज प्राप्त करने में संघर्ष करती रही (लगभग 78-83% प्राप्त किया)। संशोधित ECI ने सभी डेटासेट्स पर लक्षित 90% कवरेज सफलतापूर्वक प्राप्त किया। हालांकि संशोधित ECI ने कुछ मामलों में मूल ECI की तुलना में थोड़े व्यापक इंटरवल बनाए, लेकिन मूल विधि के संकीर्ण इंटरवल को अंडर-कवरेज के कारण अविश्वसनीय माना गया। मूल ECI पेपर में रिपोर्ट किए गए परिणामों के साथ प्रत्यक्ष तुलना में, संशोधित विधि प्रतिस्पर्धी या बेहतर प्रदर्शन दिखाती है, विशेष रूप से तापमान डेटासेट पर जहाँ इसने सभी मेट्रिक्स में मूल से बेहतर प्रदर्शन किया।
स्थिरता (Stability): रिलिवेंस फंक्शन के उपयोग से थ्रेशोल्ड समायोजन अधिक सुचारू रहा, जिससे बाइनरी-अपडेट विधियों में होने वाले अचानक परिवर्तनों को रोका जा सका।

महत्व और दावे

लेख का दावा है कि बाइनरी एरर व्यू से रिलिवेंस-बेस्ड व्यू की ओर शिफ्ट होकर, OCP विधियाँ कवरेज वैधता की महत्वपूर्ण आवश्यकता से समझौता किए बिना अधिक सूचनात्मक (संकीर्ण) प्रेडिक्शन इंटरवल प्रदान कर सकती हैं। यह टाइम सीरीज़ अनुप्रयोगों के लिए विशेष रूप से महत्वपूर्ण है जहाँ वितरण बदलाव आम हैं और निर्णय लेने वालों को मजबूत अनिश्चितता मात्रा निर्धारण की आवश्यकता होती है।

लेखक इस बात पर जोर देते हैं कि यह कार्य संवेदनशील अनुप्रयोगों के लिए ट्रस्टवर्दी एआई (Trustworthy AI) के विकास में योगदान देता है। वे उल्लेख करते हैं कि यह दृष्टिकोण रिलिवेंस फंक्शनों के पैरामीट्राइजेशन के माध्यम से निर्णय लेने वालों (Decision Makers) की प्राथमिकताओं को शामिल करने की अनुमति देता है, जो सांख्यिकीय गारंटी और व्यावहारिक निर्णय लेने की जरूरतों के बीच के अंतर को पाटता है। लेख विनम्रता से समाप्त होता है, जो सुझाव देता है कि भविष्य के कार्य हाइपरपैरामीटर को अनुकूलित करने और स्केलिंग पैरामीटर $\mu_t$ के प्रभाव की आगे जांच करने पर केंद्रित होना चाहिए।