Retrieval-Corrected Conformal Prediction for Time Series

कल्पना कीजिए कि आप एक मौसम विज्ञानी हैं। आप बादलों, हवा और बैरोमीटर को देखते हैं और आत्मविश्वास से भविष्यवाणी करते हैं, "दोपहर 2:00 बजे बारिश होगी।" लेकिन एक अच्छा मौसम विज्ञानी जानता है कि प्रकृति चंचल है। वे केवल एक समय नहीं देते; वे एक अंतराल (विंडो) देते हैं: "दोपहर 1:45 से 2:15 के बीच बारिश होगी।" इस अंतराल को प्रेडिक्शन इंटरवल (prediction interval) कहा जाता है। लक्ष्य इस अंतराल को बिल्कुल सही बनाना है: न इतना चौड़ा कि यह बेकार हो जाए (जैसे यह कहना कि "आज कभी भी बारिश हो सकती है"), और न इतना संकीर्ण कि आप बिना छाते के बारिश में फंस जाएं।

इन अंतरालों को बनाने के लिए वैज्ञानिक एक चतुर तकनीक का उपयोग करते हैं जिसे कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) कहा जाता है। इसे एक "कैलिब्रेशन चेक" की तरह समझें। कल के पूर्वानुमान पर भरोसा करने से पहले, आप देखते हैं कि अतीत में आपकी भविष्यवाणियां कितनी गलत थीं। यदि आप आमतौर पर 10 मिनट के अंतर से गलत होते थे, तो आप अपने अंतराल को दोनों तरफ 10 मिनट चौड़ा कर देंगे। यह तब बहुत अच्छा काम करता है जब मौसम उबाऊ और अनुमानित हो। लेकिन टाइम सीरीज़ डेटा—जैसे शेयर की कीमतें, बिजली का उपयोग, या ट्रैफ़िक—लगातार बदलता रहता है। डेटा का "मौसम" बदलता रहता है। कभी त्रुटियां बहुत छोटी होती हैं; कभी बहुत बड़ी। यदि आप अंतराल का आकार सेट करने के लिए एक एकल, स्थिर नियम का उपयोग करते हैं, तो आप शांत समय में बहुत सुरक्षित हो सकते हैं और अराजक समय में खतरनाक रूपसे जोखिम में पड़ सकते हैं।

यहीं से उल्सान नेशनल इंस्टीट्यूट ऑफ साइंस एंड टेक्नोलॉजी के सांगजिन जिन और उनके सहयोगियों का एक नया अध्ययन आता है। वे इस समस्या से निपट रहे हैं कि जो डेटा अपनी राय बदलता रहता है, उसके लिए इन सुरक्षा अंतरालों को कैसे बनाया जाए। वे रिट्रीवल-करेक्टेड कॉन्फॉर्मल प्रेडिक्शन (RCCP) नामक एक विधि प्रस्तावित करते हैं। सभी पिछले गलतियों के आधार पर अंतराल का आकार अनुमान लगाने के बजाय, या केवल हाल की गलतियों के आधार पर, उनकी विधि एक अत्यंत बुद्धिमान लाइब्रेरियन की तरह कार्य करती है। यह वर्तमान स्थिति के बिल्कुल समान दिखने वाले क्षणों की तलाश करती है, उन विशिष्ट क्षणों के दौरान हुई गलतियों को इकट्ठा करती है, और एक कस्टम विंडो बनाने के लिए उनका उपयोग करती है। लेकिन यहाँ मुख्य बात यह है कि उन्होंने महसूस किया कि केवल समान पिछले अनुभवों को पकड़ लेना सुरक्षा की गारंटी देने के लिए पर्याप्त नहीं है। इसलिए, उन्होंने किसी भी शेष अंतराल को ठीक करने के लिए एक अंतिम "करेक्शन" चरण जोड़ा, जिससे यह सुनिश्चित हो सके कि अंतराल सटीक और विश्वसनीय दोनों है।

समस्या: "एक ही आकार सबके लिए" वाला जाल

कल्पना कीजिए कि आप अनुमान लगाने की कोशिश कर रहे हैं कि स्कूल तक पैदल चलने में कितना समय लगता है। यदि आप अपनी पिछली सभी यात्राओं को देखते हैं, तो आपको पता चल सकता है कि कभी-कभी आप दौड़ते हैं (5 मिनट) और कभी-कभी आप ट्रैफ़िक में फंस जाते हैं (20 मिनट)। यदि आप केवल औसत लेते हैं, तो आप अपना अंतराल 12 मिनट पर सेट कर सकते हैं। लेकिन यदि आज एक बरसाती मंगलवार है और आपके पास भारी बैग है, तो वह "औसत" काम नहीं आएगा। आपको एक ऐसे अंतराल की आवश्यकता है जो जानता हो कि आज बरसाती मंगलवार है।

पुराने तरीकों ने हाल की यात्राओं को देखकर या समान दिनों को अधिक महत्व देकर इसे हल करने की कोशिश की। लेकिन लेखकों ने एक खामी पाई: ये तरीके साक्ष्यों को कमजोर कर देते हैं। वे शायद एक ऐसा "समान" दिन शामिल कर देते हैं जो वास्तव में काफी अलग था, या वे जटिल गणित पर निर्भर हो सकते हैं जो उलझ जाता है। यह घास के ढेर में सुई खोजने की तरह है—या तो पूरे ढेर को देखकर, या बस हाथ में आए घास के आखिरी मुट्ठी भर हिस्से को देखकर। आप सुई को मिस कर सकते हैं, या आप घास के उस टुकड़े को पकड़ सकते हैं जो सुई जैसा दिखता है लेकिन सुई नहीं है।

समाधान: "टाइम-ट्रैवलिंग लाइब्रेरियन"

लेखकों की नई विधि, RCCP, दो अलग-अलग चरणों में काम करती है, जैसे कि दो लोगों की टीम: रिट्रीवर (Retriever) और करैक्टर (Corrector)।

चरण 1: रिट्रीवल (जुड़वा ढूंढना)
सबसे पहले, सिस्टम वर्तमान क्षण को देखता है (मान लीजिए, एक भारी बैग के साथ बरसाती मंगलवार)। फिर यह सभी पिछले क्षणों के "ज्ञान कोष" (knowledge base) में गोता लगाता है। यह केवल पिछले कुछ दिनों को नहीं देखता; यह किसी भी ऐसे पिछले क्षण की तलाश करता है जो बिल्कुल वैसा ही महसूस होता हो। शायद उसे तीन साल पहले का एक बरसाती मंगलवार मिल जाए जब उसके पास भी भारी बैग था।
एक बार जब उसे ये "जुड़वा" मिल जाते हैं, तो वह देखता है कि उन विशिष्ट दिनों में भविष्यवाणी कितनी गलत थी। क्या आप वहां 5 मिनट में पहुंचे या 20 मिनट में? यह केवल इन जुड़वाओं के आधार पर एक कस्टम, असममित (asymmetric) विंडो बनाता है। यदि जुड़वा आमतौर पर दाईं ओर देरी से पहुंचे लेकिन बाईं ओर जल्दी पहुंचे, तो विंडो दाईं ओर अधिक फैल जाती है। यह "रिट्रीवल" वाला हिस्सा है। यह अपने दोस्तों से पूछने जैसा है जिन्होंने बिल्कुल वैसी ही स्थिति का सामना किया था, "आपको वहां पहुँचने में कितना समय लगा?"

चरण 2: करेक्शन (सुरक्षा जाल)
यहीं पर प्रतिभा है। लेखकों ने महसूस किया कि भले ही आप सही जुड़वा पा लें, उनकी पिछली गलतियाँ वर्तमान वास्तविकता से पूरी तरह मेल नहीं खा सकतीं। शायद जुड़वा थोड़े गलत थे, या शायद जुड़वाओं का पुस्तकालय थोड़ा छोटा है। यदि आप केवल जुड़वाओं की गलतियों का उपयोग अंतिम उत्तर के रूपв में करते हैं, तो आप अभी भी गलत हो सकते हैं।
इसलिए, RCCP एक करेक्शन चरण जोड़ता है। यह "रिट्रीव्ड विंडो" को लेता है और यह देखने के लिए डेटा के एक अलग सेट के विरुद्ध इसकी जांच करता है कि इसे 100% सुरक्षित होने के लिए कितना फैलाना या सिकोड़ना आवश्यक है। यह एक एकल "करेक्शन फैक्टर" की गणना करता है—एक जादुई संख्या। यदि रिट्रीव्ड विंडो बहुत तंग थी, तो कारक 1.1 है (इसे 10% फैलाएं)। यदि यह बहुत ढीली थी, तो कारक 0.9 है (इसे 10% सिकोड़ें)।
यह काम को विभाजित करता है: रिट्रीवर विंडो के आकार (क्या यह चौड़ी है? क्या यह एक तरफ झुकी हुई है?) को निर्धारित करता है, और करैक्टर इसके पैमाने (सुरक्षित होने के लिए यह कितनी बड़ी होनी चाहिए?) को निर्धारित करता है।

उन्होंने क्या पाया: सटीक और सुरक्षित विंडो

टीम ने बिजली के उपयोग, पवन ऊर्जा और सौर ऊर्जा सहित वास्तविक दुनिया के डेटा पर इस पद्धति का परीक्षण किया। उन्होंने इसकी तुलना स्प्लिट कॉन्फॉर्मल प्रेडिक्शन (सरल औसत विधि) और EnbPI (हाल की त्रुटियों के आधार पर अपडेट होने वाली विधि) जैसे अन्य लोकप्रिय तरीकों से की।

परिणाम प्रभावशाली थे। अपने परीक्षणों में, RCC-पी ने हर उस सेटिंग में लक्ष्य सुरक्षा स्तर (लक्ष्य कवरेज प्राप्त करना) को सफलतापूर्वक प्राप्त किया, जिसका उन्होंने परीक्षण किया। अन्य तरीके अक्सर लक्ष्य चूक गए, या तो बहुत चौड़े थे (जानकारी बर्बाद करना) या बहुत संकीर्ण थे (बहुत बार लक्ष्य चूक जाना)।

विशेष रूप से, उन्होंने विंकलर स्कोर (Winkler score) नामक एक स्कोर देखा, जो यह मापता है कि विंडो कितनी अच्छी है (कम स्कोर बेहतर है)। RCCP ने हर क्षेत्र में सबसे कम विंकलर स्कोर प्राप्त किया। इसका मतलब है कि उनकी विंडो सबसे कुशल थीं: जब डेटा अनुमानित था तो वे संकीर्ण थीं और जब अराजक था तो वे चौड़ी थीं, बिना सुरक्षा से समझौता किए।

उनकी एक सबसे दिलचस्प खोज "गंभीर चूक" (severe misses) के बारे में थी। कभी-कभी, एक प्रेडिक्शन इंटरवल विफल हो जाता है, और वास्तविक मान विंडो के बहुत बाहर निकल जाता है। लेखकों ने पाया कि RCCP में गंभीर चूक कम थीं। भले ही यह गलत था, वास्तविक मान आमतौर पर विंडो के ठीक बाहर था, न कि बहुत दूर। यह एक इंच की चूक और एक मील की चूक के बीच का अंतर है।

उन्होंने यह भी जांचा कि यह विधि कितनी तेज़ है। जबकि कुछ अन्य तरीकों को गणना करने में लंबा समय लगता है, RCCP आश्चर्यजनक रूप से तेज़ था, जिसने Air डेटासेट पर कैलिब्रेट करने में केवल लगभग 70 सेकंड का समय लिया (कुछ अन्य के 600 सेकंड से अधिक के मुकाबले)। यह सुझाव देता है कि यह न केवल सटीक है, बल्कि वास्तविक समय के उपयोग के लिए भी व्यावहारिक है।

यह क्यों मायने रखता है

यह शोध पत्र बताता है कि "समान अतीतों की खोज" को "अंतिम सुरक्षा जांच" के साथ जोड़कर, हम भविष्य के लिए बेहतर सुरक्षा जाल बना सकते हैं। हमें यह अनुमान लगाने की ज़रूरत नहीं है कि भविष्य अतीत जैसा होगा; हम उस विशिष्ट अतीत को देख सकते हैं जो वर्तमान से मेल खाता है, और फिर अपने काम की दोबारा जांच कर सकते हैं।

लेखक स्वीकार करते हैं कि उनकी विधि इस बात पर निर्भर करती है कि वे "वर्तमान क्षण" को खोजने के लिए उसे कितनी अच्छी तरह वर्णित कर सकते हैं। यदि विवरण खराब है, तो रिट्रीवल विफल हो सकता है। लेकिन फिलहाल, यह "रिट्रीवल-करेक्टेड" दृष्टिकोण उन सभी के लिए एक शक्तिशाली नया उपकरण प्रतीत होता है जो अप्रत्याशित चीजों का पूर्वानुमान लगाने की कोशिश कर रहे हैं, चाहे वे स्टॉक ट्रेडर हों या पावर ग्रिड प्रबंधक। यह टाइम-सीरीज़ डेटा के अराजक मलबे को एक ऐसी कहानी में बदल देता है जहाँ अतीत हमें भविष्य में आगे बढ़ने में मदद करता है, एक बार में एक सुधारा हुआ कदम।