Fast rates in Bayesian online learning with approximate posteriors
यह शोध पत्र स्थापित करता है कि अनुमानित बेयसियन ऑनलाइन लर्निंग विधियाँ सटीक बेयस प्रेडिक्शन के तेज़ प्रेडिक्टिव रिग्रेट गारंटियों को सुरक्षित रख सकती हैं, बशर्ते कि अनुमान त्रुटि (वासरस्टीन दूरी द्वारा मापी गई) पोस्टीरियर के कॉन्ट्रैक्शन रेडियस के सापेक्ष पर्याप्त रूप से नियंत्रित हो, और यह सिद्धांत लीनियर मॉडल, अनंत-आयामी अनुक्रम मॉडल, और गौसियन प्रोसेस रिग्रेशन के लिए तीन विशिष्ट एल्गोरिदम के माध्यम से प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीन लर्निंग की दुनिया में, सटीकता (accuracy) और गति (speed) के बीच एक निरंतर तनाव बना रहता है। कल्पना कीजिए कि एक वैज्ञानिक मौसम की भविष्यवाणी करने की कोशिश कर रहा है। सबसे सटीक तरीका यह होगा कि वायुमंडल के बारे में हर संभव डेटा एकत्र किया जाए, एक आदर्श सिमुलेशन चलाया जाए, और उपग्रह से प्राप्त हर नए रीडिंग के साथ उस सिमुलेशन को अपडेट किया जाए। यह "परफेक्ट" दृष्टिकोण, जिसे सांख्यिकी में 'एक्ज़ैक्ट बायेसियन अपडेटिंग' (exact Bayesian updating) कहा जाता है, गणितीय रूप से अत्यंत सुंदर है। यह गारंटी देता है कि जैसे-जैसे अधिक डेटा आता है, भविष्यवाणियां तेजी से अधिक विश्वसनीय होती जाती हैं। हालांकि, इस पूर्णता की एक भारी कीमत चुकानी पड़ती है: इस पूर्ण ज्ञान की स्थिति को बनाए रखने के लिए आवश्यक गणनाएं इतनी विशाल हो सकती हैं कि उन्हें वास्तविक समय (real-time) में चलाना असंभव हो जाता है, खासकर जब डेटा का प्रवाह निरंतर हो।
इन प्रणालियों को उपयोगी बनाने के लिए, इंजीनियर अक्सर शॉर्टकट का सहारा लेते हैं। वे जटिल गणित को सरल बनाने वाले अनुमानित तरीकों (approximate methods) का उपयोग करते हैं, जिससे वे गति में भारी लाभ के लिए थोड़ी सी सटीकता का त्याग करते हैं। बड़ा सवाल हमेशा यह रहा है कि क्या ये शॉर्टकट उस गति के लाभ को नष्ट कर देते हैं जो परफेक्ट विधि को इतना आकर्षक बनाता था। क्या शॉर्टकट द्वारा पेश की गई छोटी सी त्रुटि समय के साथ जमा होकर सिस्टम को सत्य से दूर ले जाती है? या क्या एक स्मार्ट अनुमान (approximation) परफेक्ट संस्करण के काफी करीब रहकर तेज़ और विश्वसनीय प्रदर्शन बनाए रख सकता है? यह वही केंद्रीय पहेली है जिसे इनहा यूनिवर्सिटी के सांख्यिकी विभाग के एक नए अध्ययन में संबोधित किया गया है।
शोधकर्ताओं ने यह सिद्ध करने का लक्ष्य रखा कि इन कम्प्यूटेशनल शॉर्टकट का उपयोग करने पर भी तेज़ और विश्वसनीय भविष्यवाणी संभव है। उन्होंने एक सामान्य नियम विकसित किया जो स्पष्ट करता है कि एक अनुमान कितना त्रुटि सहन कर सकता है बिना अंतिम परिणाम को खराब किए। उनकी मुख्य अंतर्दृष्टि यह है कि गणना में गलती करने की लागत इस बात पर निर्भर करती है कि सिस्टम उस समय कितना सीख रहा है। जब सिस्टम तेजी से सीख रहा होता है और उसका आंतरिक मॉडल सत्य के इर्द-गिर्द कस रहा होता है, तो वह छोटी कम्प्यूटेशनल त्रुटियों के प्रति कम संवेदनशील हो जाता है। इसके विपरीत, जब सिस्टम अनिश्चित होता है, तो त्रुटियां अधिक महत्वपूर्ण हो जाती हैं। परफेक्ट, सैद्धांतिक मॉडल और व्यावहारिक, अनुमानित मॉडल के बीच की दूरी को मापकर, लेखक ने दिखाया कि यदि अनुमान परफेक्ट मॉडल का बारीकी से पीछा करता है, तो सिस्टम अपनी तेज़ सीखने की गति बनाए रखता है। शॉर्टकट का उपयोग करने का कुल दंड एक निश्चित, बड़ी संख्या नहीं है, बल्कि एक छोटा, प्रबंधनीय हिस्सा है जो समय के साथ धीरे-धीरे बढ़ता है।
यह प्रदर्शित करने के लिए कि यह सिद्धांत वास्तविक दुनिया में काम करता है, टीम ने इसे तीन बहुत अलग प्रकार की समस्याओं पर परखा। पहला एक मानक, परिमित-आयामी (finite-dimensional) समस्या थी जहाँ लक्ष्य बिंदुओं के एक बादल के माध्यम से एक रेखा के लिए सबसे अच्छा फिट खोजना था। यहाँ चुनौती यह थी कि मॉडल को अपडेट करने के लिए आवश्यक गणित में जटिल सैंपलिंग चरण शामिल थे जो सटीक रूप से करने के लिए बहुत धीमे थे। शोधकर्ताओं ने 'प्रोजेक्टेड लैंग्विन एल्गोरिदम' (projected Langevin algorithm) नामक तकनीक का उपयोग किया, जो सही उत्तर की ओर छोटे, शोर वाले कदम उठाने का एक तरीका है। उन्होंने दिखाया कि इन कदमों के आकार को सावधानीपूर्वक नियंत्रित करके, एल्गोरिदम परफेक्ट मॉडल के पर्याप्त करीब रह सकता है ताकि भविष्यवाणी सटीकता में उसी तेज़, लॉगरिदमिक सुधार को प्राप्त किया जा सके। अनुमान द्वारा पेश की गई त्रुटि परिणाम को बर्बाद करने के लिए जमा नहीं हुई; इसके बजाय, यह इतनी छोटी रही कि सिस्टम ठीक परफेक्ट संस्करण की तरह ही तेजी से सीख सका।
दूसरा परीक्षण मामला बहुत अधिक अमूर्त और अनंत प्रकृति का था। कल्पना कीजिए कि आप घटनाओं के एक क्रम की भविष्यवाणी करने की कोशिश कर रहे हैं जहाँ अंतर्निहित पैटर्न में अनंत संख्या में संभावित घटक होते हैं, जैसे कि अनंत सुरों वाला एक गीत। एक परफेक्ट परिदृश्य में, कंप्यूटर को उन हर एक सुर के सांख्यिकी को याद रखने की आवश्यकता होगी जो उसने कभी सुना है, जिसके लिए अंततः अनंत मेमोरी की आवश्यकता होगी। इसे हल करने के लिए, शोधकर्ताओं ने 'ट्रंकेशन' (truncation) की एक विधि प्रस्तावित की: कंप्यूटर केवल पहले कुछ सौ सुरों के लिए अपनी मेमोरी को अपडेट करता है और बाकी को अनदेखा कर देता है, यह मानते हुए कि बाकी मूल, अपरिवत नियमों का पालन करते हैं। आश्चर्यजनक रूप से, यह भारी सरलीकरण पूरी तरह से काम कर गया। मेमोरी उपयोग को कम रखकर और अपडेट की गति को स्थिर रखकर, सिस्टम ने इस प्रकार की समस्या के लिए सीखने की सर्वोत्तम दर हासिल की। अध्ययन ने सिद्ध किया कि सटीक होने के लिए सिस्टम को संभावनाओं के अनंत भाग को ट्रैक करने की आवश्यकता नहीं थी; उसे केवल पैटर्न के सबसे सक्रिय हिस्सों को ट्रैक करने की आवश्यकता थी।
तीसरा उदाहरण एक अधिक जटिल, गैर-रेखीय (non-linear) समस्या से संबंधित था जिसे 'गौसियन प्रोसेस रिग्रेशन' (Gaussian process regression) कहा जाता है, जिसका उपयोग अक्सर स्टॉक की कीमतों या जलवायु रुझानों जैसे डेटा में स्मूथ कर्व्स को मॉडल करने के लिए किया जाता है। इस मॉडल का परफेक्ट संस्करण प्रत्येक डेटा बिंदु के बीच संबंधों के एक विशाल ग्रिड को स्टोर करने और हेरफेर करने की आवश्यकता रखता है, जो डेटासेट बढ़ने के साथ कम्प्यूटेशनल रूप से असंभव हो जाता है। शोधकर्ताओं ने एक "स्पार्स" (sparse) दृष्टिकोण लागू किया, जो पूरे डेटासेट का सारांश देने के लिए 'इंड्यूसिंग वेरिएबल्स' (inducing variables) नामक प्रतिनिधि बिंदुओं के एक छोटे सेट का उपयोग करता है। उन्होंने सिद्ध किया कि यदि इन प्रतिनिधि बिंदुओं की संख्या डेटा की जटिलता के आधार पर सही ढंग से चुनी जाती है, तो सरलीकृत मॉडल पूर्ण, परफेक्ट मॉडल जितना ही अच्छा प्रदर्शन करता है। महत्वपूर्ण रूप से, उन्होंने पाया कि अनुमान को पारंपरिक अर्थों में परफेक्ट होने की आवश्यकता नहीं थी; इसे केवल इस संबंध में पर्याप्त रूप से करीब होना था कि परफेक्ट मॉडल अपनी अनिश्चितता को कितना कम कर रहा है। इसका मतलब था कि भले ही सरलीकृत मॉडल पूर्ण सत्य से दूर हो, लेकिन यह तेज़ सीखने की गति को बनाए रखने के लिए सही दिशा में पर्याप्त करीब था।
अध्ययन यह निष्कर्ष निकालता है कि कम्प्यूटेशनल शॉर्टकट द्वारा सांख्यिकीय प्रदर्शन को नष्ट करने का डर काफी हद तक निराधार है, बशर्ते कि शॉर्टकट सही प्रकार की सटीकता के साथ डिज़ाइन किए गए हों। शोधकर्ताओं ने स्थापित किया कि सीखने की गति तब सुरक्षित रहती है जब अनुमान त्रुटि सिस्टम की प्राकृतिक सीखने की गति के साथ सही ढंग से स्केल करती है। यह खोज तेज़, अधिक कुशल मशीन लर्निंग सिस्टम बनाने के लिए एक स्पष्ट डिजाइन सिद्धांत प्रदान करती है। अनुमानों को पूर्ण बनाने के बजाय, जो अक्सर असंभव होता है, इंजीनियरों को ऐसे अनुमानों का लक्ष्य रखना चाहिए जो वर्तमान ज्ञान की स्थिति के सापेक्ष "काफी अच्छे" हों। यह ऑनलाइन लर्निंग सिस्टम बनाने की अनुमति देता है जो बेयसियन विधियों को इतना शक्तिशाली बनाने वाली तीव्र, विश्वसनीय अभिसरण (convergence) से समझौता किए बिना वास्तविक समय में डेटा के विशाल प्रवाह को संभाल सकते हैं। यह कार्य पूर्ण भविष्यवाणी के सैद्धांतिक आदर्श और सीमित कंप्यूटिंग शक्ति की व्यावहारिक वास्तविकता के बीच के अंतर को पाटता है, यह दिखाते हुए कि दोनों बिना किसी समझौते के सह-अस्तित्व में रह सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।