Universal distribution of the empirical coverage in split conformal prediction

आधुनिक पूर्वानुमान की दुनिया में, कल के मौसम की भविष्यवाणी करने से लेकर घर की कीमत का अनुमान लगाने तक, सबसे सामान्य आउटपुट एक एकल संख्या होती है। एक मॉडल डेटा को देखता है और कहता है, "तापमान 72 डिग्री होगा," या "घर की कीमत $450,000 है।" हालांकि ये बिंदु अनुमान (point predictions) उपयोगी होते हैं, लेकिन वे अक्सर एक महत्वपूर्ण जानकारी को छिपा देते हैं: कि मॉडल कितना आश्वस्त है। यदि मॉडल केवल अटकलें लगा रहा है, तो एक एकल संख्या सटीकता का झूठा आभास देती है। इसे ठीक करने के लिए, सांख्यिकीविदों ने 'कॉन्फ़ॉर्मल प्रेडिक्शन' (conformal prediction) नामक एक ढांचा विकसित किया है। केवल एक उत्तर देने के बजाय, यह विधि संभावनाओं की एक सीमा, या संभावित परिणामों का एक सेट तैयार करती है, जो एक सांख्यिकीय गारंटी के साथ आता है। यह वादा करता है कि वास्तविक उत्तर एक निश्चित प्रतिशत बार, जैसे कि 95 प्रतिशत, इस सेट के भीतर होगा। यह दृष्टिकोण शक्तिशाली है क्योंकि यह लगभग किसी भी मौजूदा प्रेडिक्शन टूल के साथ काम करता है, इसके लिए डेटा के वितरण के बारे में किसी विशिष्ट धारणा की आवश्यकता नहीं होती है, और डेटा की मात्रा सीमित होने पर भी ये गारंटियां प्रदान करता है।

हालांकि, इन उपकरणों का उपयोग करने वाले किसी भी व्यक्ति के लिए एक व्यावहारिक प्रश्न बना हुआ है: इस गारंटी को सत्य बनाए रखने के लिए कितने डेटा की आवश्यकता है? एक विशिष्ट सेटअप में, एक डेटासेट को दो भागों में विभाजित किया जाता है। एक भाग मॉडल को प्रशिक्षित करता है, और दूसरा भाग, जिसे कैलिब्रेशन सैंपल (calibration sample) कहा जाता है, प्रेडिक्शन सेट के आकार को ट्यून करने के लिए उपयोग किया जाता है। यदि कैलिब्रेशन सैंपल बहुत छोटा है, तो परिणामी प्रेडिक्शन सेट्स वास्तव में वास्तविक मूल्यों को समाहित करने के लिए बहुत संकीर्ण हो सकते हैं, जिससे वादा किया गया आश्वासन टूट जाता है। यदि यह बहुत बड़ा है, तो प्रेडिक्शन सेट्स अनावश्यक रूप से चौड़े हो जाते हैं, जिससे वे कम उपयोगी हो जाते हैं। वर्षों से, पेशेवरों को कैलिब्रेशन सैंपल के सही आकार का अनुमान लगाने के लिए मजबूर होना पड़ा है, जो अक्सर मोटे नियमों या रूढ़िवादी अनुमानों पर निर्भर करते थे जो मूल्यवान डेटा को बर्बाद कर सकते थे।

ब्राजील के इन्स्पर इंस्टीट्यूट ऑफ एजुकेशन एंड रिसर्च के पाउलो सी. मार्केस एफ. द्वारा किए गए एक हालिया अध्ययन ने इस समस्या को इन प्रेडिक्शन सेट्स के सटीक गणितीय व्यवहार को खोजकर हल कर दिया है। शोधकर्ता ने इस पद्धति के एक विशिष्ट संस्करण पर ध्यान केंद्रित किया जिसे 'स्प्लिट कॉन्फॉर्मल प्रेडिक्शन' (split conformal prediction) कहा जाता है, जो बैचों में कार्य करता है। कल्पना कीजिए कि एक मॉडल पहले से ही प्रशिक्षित और कैलिब्रेटेड है, और अब इसे भविष्य की घटनाओं के एक बड़े समूह के लिए परिणाम बताने के लिए कहा जा रहा है। अध्ययन एक सरल लेकिन गहन प्रश्न पूछता है: यदि हम भविष्य के अनुमानों के एक बैच को देखते हैं, तो उनमें से कितने सही साबित होते हैं, इसका वास्तविक वितरण क्या है?

यह शोध पत्र स्थापित करता है कि उत्तर सार्वभौमिक है। यह डेटा के विशिष्ट प्रकार, मॉडल की जटिलता, या दुनिया के अंतर्निहित पैटर्न पर निर्भर नहीं करता है। इसके बजाय, प्रेडिक्शन सेट्स का व्यवहार पूरी तरह से दो संख्याओं द्वारा निर्धारित होता है: वांछित आत्मविश्वास स्तर (नॉमिनल मिसकवरेज लेवल) और सिस्टम को ट्यून करने के लिए उपयोग किए गए कैलिब्रेशन सैंपल का आकार। शोधकर्ता ने सिद्ध किया कि भविष्य के अवलोकनों के एक परिमित बैच के लिए, सही भविष्यवाणियों की संख्या एक सटीक सांख्यिकीय पैटर्न का पालन करती है जिसे बीटा-बाइनोमियल (Beta-Binomial) वितरण के रूप में जाना जाता है। इसके अलावा, जैसे-जैसे भविष्य के अवलोकनों का बैच अनंत रूप से बढ़ता है, सही भविष्यवाणियों का अनुपात एक विशिष्ट पैटर्न में स्थिर हो जाता है जिसे बीटा वितरण (Beta distribution) के रूप में जाना जाता है। ये निष्कर्ष केवल सुझाव या कंप्यूटर सिमुलेशन के परिणाम नहीं हैं; ये कठोर गणितीय प्रमाण हैं जो इस धारणा से प्राप्त हुए हैं कि डेटा बिंदु विनिमेय (exchangeable) हैं, जिसका अर्थ है कि उनका क्रम मायने नहीं रखता और वे एक ही अंतर्निहित स्रोत से आते हैं।

इस कार्य का सबसे महत्वपूर्ण परिणाम कैलिब्रेशन सैंपल के आकार को चुनने के लिए एक नया, सटीक मानदंड है। चूंकि शोधकर्ता अब कवरेज के सटीक वितरण को जानता है, इसलिए यह गणना करना संभव है कि प्रेडिक्शन सेट्स को एक विशिष्ट त्रुटि मार्जिन के भीतर सटीक सुनिश्चित करने के लिए न्यूनतम कितनी कैलिब्रेशन डेटा की आवश्यकता है। उदाहरण के लिए, यदि कोई उपयोगकर्ता 95 प्रतिशत आश्वस्त होना चाहता है कि उनके प्रेडिक्शन सेट्स 5 प्रतिशत के त्रुटि मार्जिन के भीतर सही हैं, तो यह शोध पत्र सीधे तौर पर आवश्यक कैलिब्रेशन नमूनों की संख्या खोजने का एक तरीका प्रदान करता है। अध्ययन एक व्यापक तालिका प्रस्तुत करता है जो विभिन्न विश्वास स्तरों, त्रुटि मार्जिन और निश्चितता आवश्यकताओं के संयोजन के लिए इन न्यूनतम नमूना आकारों को सूचीबद्ध करती है।

यह तालिका प्रकट करती है कि आवश्यक नमूना आकार इस बात पर नाटकीय रूप से भिन्न हो सकता है कि आवश्यकताएं कितनी सख्त हैं। 90 प्रतिशत विश्वास स्तर के मानक और 10 प्रतिशत के उदार त्रुटि मार्जिन के लिए, लगभग 40 से 50 अवलोकनों का अपेक्षाकृत छोटा कैलिब्रेशन सैंपल पर्याप्त हो सकता है। हालांकि, यदि उपयोगकर्ता 99 प्रतिशत विश्वास स्तर के साथ बहुत कड़ा 1 प्रतिशत का त्रुटि मार्जिन मांगता है, तो आवश्यक नमूना आकार बढ़कर 40,000 से अधिक हो जाता है। अध्ययन स्पष्ट करता है कि ये संख्याएं मनमानी नहीं हैं; ये एम्पिरिकल कवरेज के सटीक वितरण से प्राप्त गणितीय न्यूनतम हैं। यह पेशेवरों को अनुमान लगाना बंद करने और गणना करना शुरू करने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि वे अत्यधिक संसाधनों को बर्बाद किए बिना अपनी विश्वसनीयता लक्ष्यों को पूरा करने के लिए पर्याप्त डेटा का उपयोग करें।

यह पत्र इस बात में एक सूक्ष्म लेकिन महत्वपूर्ण अंतर को भी संबोधित करता है कि ये भविष्यवाणियां कैसे व्यवहार करती हैं। जबकि प्रेडिक्शन सेट्स का औसत प्रदर्शन लक्ष्य विश्वास स्तर के करीब होने के लिए जाना जाता है, किसी भी एकल बैच में वास्तविक प्रदर्शन भिन्न हो सकता है। अध्ययन दिखाता है कि यह भिन्नता यादृच्छिक शोर (random noise) नहीं है बल्कि एक अनुमानित आकार का पालन करती है। इस आकार को समझकर, उपयोगकर्ता यह सराहना कर सकते हैं कि एक आदर्श मॉडल और सही आकार के कैलिब्रेशन सैंपल के साथ भी, भविष्य की भविष्यवाणियों की संख्या में एक स्वाभाविक उतार-चढ़ाव होता है। शोध पुष्टि करता है कि यह उतार-चढ़ाव पद्धति के लिए अंतर्निहित है और यह कैलिब्रेशन सैंपल के आकार और चुने गए विश्वास स्तर द्वारा पूरी तरह से परिभाषित है।

मशीन लर्निंग अनुप्रयोगों के संदर्भ में, यह कार्य विश्वसनीयता के लिए एक आधारभूत उपकरण प्रदान करता है। यह कैलिब्रेशन सैंपल के आकार के चयन को एक कला से विज्ञान में बदल देता है। शोधकर्ता प्रदर्शित करते हैं कि स्प्लिट कॉन्फॉर्मल प्रेडिक्शन के गुण मजबूत और सार्वभौमिक हैं, जो भविष्यवाणियों को उत्पन्न करने के लिए उपयोग किए जाने वाले विशिष्ट एल्गोरिदम के बावजूद सत्य रहते हैं। चाहे कार्य स्टॉक की कीमत जैसे निरंतर मान या बीमारी के निदान जैसे श्रेणीबद्ध लेबल की भविष्यवाणी करना हो, आवश्यक कैलिब्रेशन डेटा को निर्धारित करने के नियम समान रहते हैं। अध्ययन स्वयं के मूल मॉडलों की सटीकता में सुधार करने का दावा नहीं करता है, बल्कि उन मॉडलों के चारों ओर बनाए गए कॉन्फिडेंस इंटरवल को गणितीय रूप से सुदृढ़ और इष्टतम आकार का सुनिश्चित करता है।

इन निष्कर्षों का महत्व उन क्षेत्रों के लिए विशेष रूप से अधिक है जहां डेटा महंगा या दुर्लभ है, क्योंकि वे उपयोगकर्ताओं को वांछित विश्वास प्राप्त करने के लिए आवश्यक डेटा के सटीक निचले स्तर (lower bound) को निर्धारित करने की अनुमति देते हैं। इसके विपरीत, उन परिदृश्यों में जहां डेटा प्रचुर मात्रा में है, अध्ययन अनावश्यक रूप से बड़े कैलिब्रेशन सेट्स का उपयोग करने के विरुद्ध चेतावनी देता है, जो अत्यधिक रूढ़िवादी और सूचनाहीन प्रेडिक्शन इंटरवल की ओर ले जा सकते हैं। एम्पिरिकल कवरेज के वितरण के लिए एक स्पष्ट, सार्वभौमिक सूत्र प्रदान करके, यह शोध पत्र शोधकर्ताओं और पेशेवरों को अपने प्रेडिक्शन सिस्टम को उस स्तर की सटीकता के साथ डिजाइन करने के लिए सक्षम बनाता है जो पहले उपलब्ध नहीं था। इसका परिणाम आर्टिफिशियल इंटेलिजेंस के युग में अनिश्चितता को मापने के लिए एक अधिक कुशल और विश्वसनीय ढांचा है।