Uncertainty propagation in auto-regressive random neural network models

विज्ञान और इंजीनियरिंग की आधुनिक दुनिया में, कंप्यूटर जटिल प्रणालियों के व्यवहार की भविष्यवाणी करने के लिए अपरिहार्य उपकरण बन गए हैं। मौसम के पूर्वानुमान से लेकर धमनी के माध्यम से रक्त के प्रवाह के मॉडलिंग तक, ये डिजिटल मॉडल कृत्रिम तंत्रिका नेटवर्क (आर्टिफिशियल न्यूरल नेटवर्क) पर निर्भर करते हैं, जो मानव मस्तिष्क से प्रेरित गणितीय संरचनाएं हैं। ये नेटवर्क डेटा की विशाल मात्रा के आधार पर अपने लाखों आंतरिक सेटिंग्स, जिन्हें पैरामीटर कहा जाता है, को समायोजित करके पैटर्न पहचानना और भविष्यवाणियां करना सीखते हैं। हालांकि, एक महत्वपूर्ण चुनौती बनी हुई है: ये मॉडल शायद ही कभी पूर्ण होते हैं। इनमें डाला गया डेटा अक्सर छोटी त्रुटियों से भरा होता है, और इनकी आंतरिक सेटिंग्स स्वयं भी पूर्ण निश्चितता के साथ ज्ञात नहीं होती हैं। कई वास्तविक परिदृश्यों में, ये सूक्ष्म अनिश्चितताएं मॉडल के चलने के दौरान बढ़ सकती हैं, जिससे भविष्यवाणियां वास्तविकता से बहुत दूर भटक सकती हैं या पूरी तरह से अस्थिर हो सकती हैं। वैज्ञानिक लंबे समय से यह ट्रैक करने के तरीके खोज रहे हैं कि ये अनिश्चितताएं समय के साथ कैसे बढ़ती हैं, लेकिन पारंपरिक तरीके अक्सर तब संघर्ष करते हैं जब मॉडल की जाने वाली प्रणाली अराजक (chaotic) होती है और तेजी से बदलती है।

कैलिफोर्निया विश्वविद्यालय, सांता क्रूज़ के शोधकर्ताओं की एक टीम ने इन अनिश्चितताओं को ट्रैक करने का एक नया तरीका विकसित किया है, विशेष रूप से उन प्रणालियों के लिए जो अपने भविष्य के चरणों की भविष्यवाणी करती हैं। उनका दृष्टिकोण इनपुट डेटा और नेटवर्क की आंतरिक सेटिंग्स दोनों को ऐसे चरों (variables) के रूप में मानता है जो उतार-चढ़ाव वाले हो सकते हैं, न कि स्थिर संख्याओं के रूप में। इन नेटवर्कों में उपयोग किए जाने वाले एक विशिष्ट प्रकार के गणितीय फलन (function) का लाभ उठाते हुए, उन्होंने एक ऐसी विधि बनाई जो बिना हजारों अलग-अलग सिमुलेशन चलाए, विश्लेषणात्मक रूप से यह गणना कर सकती है कि अनिश्चितता कैसे फैलती है। उन्होंने इस पद्धति का परीक्षण दो अत्यंत कठिन प्रणालियों पर किया: लोरेन्ज़-63 मॉडल, जो अराजक मौसम जैसे व्यवहार का एक क्लासिक उदाहरण है, और कुरामोटो-सिवाशिंस्की समीकरण, जो जटिल द्रव गतिशीलता (fluid dynamics) का वर्णन करता है। परिणाम दिखाते हैं कि उनकी तकनीक उतनी देर तक अनिश्चितता के विकास का सटीक रूप से अनुसरण कर सकती है जब तक कि प्रणाली अनुमान योग्य रहती है, जो मौजूदा तरीकों का एक अधिक कुशल और स्थिर विकल्प प्रदान करती है।

मूल समस्या यह है कि न्यूरल नेटवर्क अनिश्चितता को कैसे संभालते हैं। जब एक नेटवर्क भविष्यवाणी करता है, तो वह एक इनपुट लेता है, गणितीय ऑपरेशनों की परतों के माध्यम से उसे प्रोसेस करता है, और एक आउटपुट देता है। यदि इनपुट थोड़ा सा गलत है, या यदि आंतरिक सेटिंग्स वैसी नहीं हैं जैसी उन्हें होनी चाहिए, तो आउटपुट बदल जाता है। एक सरल प्रणाली में, यह परिवर्तन छोटा और प्रबंधनीय हो सकता है। लेकिन एक अराजक प्रणाली में, जहाँ छोटे अंतर बहुत अलग परिणामों की ओर ले जाते हैं, ये त्रुटियां विस्फोट कर सकती हैं। इसे समझने के लिए, कल्पना करें कि आप एक अशांत नदी में बहते हुए पत्ते के पथ की भविष्यवाणी करने की कोशिश कर रहे हैं। यदि आप पत्ते की शुरुआती स्थिति के बारे में थोड़े से भी गलत हैं, तो एक मिनट में वह कहाँ होगा, इसकी आपकी भविष्यवाणी पूरी तरह से गलत हो सकती है। शोधकर्ताओं ने एक विशिष्ट प्रकार के न्यूरल नेटवर्क पर ध्यान केंद्रित किया जहाँ आंतरिक गणित 'लीकी रेलू' (Leaky ReLU) नामक एक फलन का उपयोग करके बनाया गया है। इस फलन की एक अनूठी विशेषता है: यह सीधी रेखाओं से बना है। हालांकि समग्र नेटवर्क जटिल है, लेकिन यह खंडित रैखिक (piecewise linear) संरचना शोधकर्ताओं को एक सटीक स्थानीय मानचित्र बनाने की अनुमति देती है कि इनपुट या सेटिंग्स में छोटे बदलाव आउटपुट को कैसे प्रभावित करते हैं।

इस अंतर्दseits का उपयोग करते हुए, टीम ने समीकरणों का एक सेट निकाला जो यह वर्णन करता है कि औसत भविष्यवाणी और संभावित परिणामों का प्रसार समय के साथ कैसे विकसित होता है। अनुमान लगाने के बजाय, उन्होंने इनपुट में अनिश्चितता, नेटवर्क की सेटिंग्स में अनिश्चितता और परिणामी अनिश्चितता के बीच सटीक गणितीय संबंध की गणना की। उनकी खोज का एक महत्वपूर्ण हिस्सा यह महसूस करना था कि जैसे-जैसे नेटवर्क चरण-दर-चरण चलता है, सिस्टम की स्थिति में अनिश्चितता और नेटवर्क की सेटिंग्स में अनिश्चितता आपस में जुड़ जाती हैं। उन्होंने इस संबंध को ट्रैक करने का एक तरीका विकसित किया, जिसे वे 'क्रॉस-कोवेरिएंस' कहते हैं, जो यह सुनिश्चित करता है कि मॉडल दोनों प्रकार की अनिश्चितताओं के एक-दूसरे को प्रभावित करने के तरीके को ध्यान में रखे। यह महत्वपूर्ण है क्योंकि इस लिंक को अनदेखा करने से गलत भविष्यवाणियां होती हैं।

शोधकर्ताओं ने पहले अपने तरीके का परीक्षण लोरेन्ज़-63 प्रणाली पर किया, जो वायुमंडलीय संवहन (atmospheric convection) के अराजक व्यवहार की नकल करने वाला एक गणितीय मॉडल है। इस प्रणाली में, भविष्यवाणी क्षितिज (predictability horizon)—वह समय सीमा जिसके बाद भविष्यवाणियां बेकार हो जाती हैं—लगभग 5.11 टाइम यूनिट है। टीम ने अपने नए तरीके की तुलना मोंटे कार्लो सिमुलेशन (Monte Carlo simulation) नामक एक मानक दृष्टिकोण से की, जिसमें परिणामों की सीमा देखने के लिए थोड़े अलग इनपुट के साथ मॉडल को हजारों बार चलाया जाता है। जबकि मानक तरीका सटीक है, यह गणनात्मक रूप से महंगा है। नए तरीके ने, जिसे वे 'रीसैंपलड मोमेंट प्रोपेगेशन' (Resampled Moment Propagation) कहते हैं, समान सटीकता प्राप्त की लेकिन बहुत कम कंप्यूटेशनल संसाधनों के साथ। उनके परीक्षणों में, केवल 100 कणों (विभिन्न संभावित परिदृश्यों का प्रतिनिधित्व करने वाले) का उपयोग करना मानक पद्धति के 3,000 नमूनों के परिणामों से मेल खाने के लिए पर्याप्त था। उनके दृष्टिकोण ने भविष्यवाणी के क्षितिज के किनारे तक औसत भविष्यवाणी और अनिश्चितता के प्रसार को सफलतापूर्वक ट्रैक किया, जबकि उनके तरीके का एक सरल संस्करण, जिसमें रीसैंपलिंग शामिल नहीं थी, बहुत कम समय के बाद अस्थिर हो गया और गलत परिणाम देने लगा।

इन परिणामों से उत्साहित होकर, टीम ने अपने तरीके को एक बहुत अधिक जटिल प्रणाली पर लागू किया: कुरामोटो-सिवाशिंस्की समीकरण। यह मॉडल एक सतह पर बहने वाली तरल फिल्म के व्यवहार का वर्णन करता है, जो अत्यधिक अराजक है और जिसमें सैकड़ों चर शामिल हैं। शोधकर्ताओं ने इस प्रणाली को 200 आयामों (dimensions) में विभाजित किया, जिससे एक बड़ी कम्प्यूटेशनल चुनौती पैदा हुई। यहाँ, भविष्यवाणी क्षितिज लंबा था, जो लगभग 41.84 टाइम यूनिट तक फैला हुआ था। टीम ने 500 टाइम स्टेप्स के लिए अपना सिमुलेशन चलाया, जो इस क्षितिज के एक महत्वपूर्ण हिस्से को कवर करता है। इस उच्च-आयामी वातावरण में भी, यह तरीका अच्छी तरह से टिका रहा। इसने अनिश्चितता के विकास और सिस्टम के औसत व्यवहार को सटीक रूप से कैप्चर किया। हालांकि, शोधकर्ताओं ने एक व्यावहारिक सीमा नोट की: इस तरीके को सिस्टम की स्थिति और नेटवर्क के मापदंडों के बीच संबंधों को संग्रहीत करने के लिए बड़ी मात्रा में कंप्यूटर मेमोरी की आवश्यकता होती है। 200-आयामी प्रणाली के लिए, इन कनेक्शनों के लिए लगभग 48 गीगाबाइट स्टोरेज की आवश्यकता थी। इस मेमोरी मांग के बावजूद, पद्धति ने यह सिद्ध किया कि हजारों पूर्ण सिमुलेशन चलाने की 'ब्रूट फोर्स' पद्धति के बिना भी उच्च-आयामी, अराजक प्रणालियों के माध्यम से अनिश्चितता को प्रसारित करना संभव है।

इस दृष्टिकोण की सफलता 'रीसैंपलिंग' नामक एक तकनीक पर टिकी है। अपने तरीके में, शोधकर्ता संभावित परिदृश्यों के एक संग्रह, या 'पार्टिकल्स' को ट्रैक करते हैं। जैसे-जैसे समय बीतता है, प्रत्येक कण से जुड़ी अनिश्चितता बढ़ती जाती है। यदि इस वृद्धि को अनियंत्रित छोड़ दिया जाए, तो मॉडल अस्थिर हो जाता है। इसे रोकने के लिए, शोधकर्ता समय-समय पर सिस्टम को "रीसेट" करते हैं। विशिष्ट अंतराल पर, वे प्रत्येक कण की वर्तमान स्थिति को लेते हैं, जो संभावनाओं के एक स्थानीय बादल (cloud) द्वारा प्रतिनिधित्व किया जाता है, और उससे एक नया नमूना लेते हैं। यह प्रक्रिया कणों के संग्रह को ताज़ा करती है, जिससे अनिश्चितता अनियंत्रित होने से बचती है, जबकि मॉडल को उन जटिल, गैर-रेखीय तरीकों को पकड़ने की अनुमति मिलती है जिनसे अनिश्चितता विकसित होती है। उन्होंने पाया कि इन रीसेटों का समय महत्वपूर्ण है। यदि वे बहुत बार होते हैं, तो मॉडल पर्याप्त अनिश्चितता एकत्र करने में विफल रहता है और जोखिम को कम आंकता है। यदि वे बहुत कम बार होते हैं, तो मॉडल अस्थिर हो जाता है। अपने प्रयोगों के माध्यम से, उन्होंने निर्धारित किया कि एक विशिष्ट अंतराल, जैसे कि हर 10 से 20 टाइम स्टेप्स में, उनके द्वारा परीक्षण की गई प्रणालियों के लिए सबसे अच्छा संतुलन प्रदान करता है।

यह कार्य कृत्रिम बुद्धिमत्ता को वैज्ञानिक अनुप्रयोगों के लिए अधिक विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है। जटिल, अराजक प्रणालियों के माध्यम से अनिश्चितता को गणितीय रूप से ट्रैक करने का तरीका प्रदान करके, शोधकर्ताओं ने एक ऐसा उपकरण दिया है जो वैज्ञानिकों को उनकी भविष्यवाणियों की सीमाओं को समझने में मदद कर सकता है। यह पद्धति अनिश्चितता को समाप्त नहीं करती है, बल्कि यह एक स्पष्ट, सटीक चित्र प्रदान करती है कि वह अनिश्चितता कैसे बढ़ती और विकसित होती है। यह जलवायु मॉडलिंग और द्रव गतिशीलता जैसे क्षेत्रों के लिए विशेष रूप से महत्वपूर्ण है, जहाँ छोटी त्रुटियाँ बड़े पैमाने पर गलत व्याख्याओं का कारण बन सकती हैं। शोधकर्ता स्वीकार करते हैं कि उनका तरीका वर्तमान में बहुत बड़ी प्रणालियों के लिए आवश्यक मेमोरी द्वारा सीमित है, लेकिन वे सुझाव देते हैं कि भविष्य के सुधार इस लागत को कम कर सकते हैं। उनके निष्कर्ष दर्शाते हैं कि न्यूरल नेटवर्क के संरचनात्मक गुणों को सावधानीपूर्वक गणितीय विश्लेषण के साथ जोड़कर, ऐसे मॉडल बनाना संभव है जो न केवल भविष्य कहने वाले हों, बल्कि अपनी सीमाओं के प्रति ईमानदार भी हों। यह पूर्वानुमान लगाना कि भविष्यवाणियों पर कब तक भरोसा किया जा सकता है, उतना ही मूल्यवान है जितना कि स्वयं भविष्यवाणी करना, और यह नया ढांचा उस सीमा को निर्धारित करने के लिए एक मजबूत तरीका प्रदान करता है।