An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations
यह अध्ययन गैर-स्वायत्त (non-autonomous) अवकल समीकरणों को हल करने के लिए एक भौतिकी-सूचित तंत्रिका नेटवर्क (Physics-Informed Neural Network) ढांचे के भीतर नौ सक्रियण फलनों (activation functions) का अनुभवजन्य मूल्यांकन करता है, जो यह प्रदर्शित करता है कि अन्य फलनों की तुलना में अवशिष्ट हानि (residual loss) को कम करने में अपने उत्कृष्ट प्रदर्शन के कारण GELU सबसे सुदृढ़ विकल्प है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक विज्ञान और इंजीनियरिंग के विशाल परिदृश्य में, प्रणालियाँ समय के साथ कैसे बदलती हैं, इसका पूर्वानुमान लगाना एक मौलिक चुनौती है। चाहे वह उपग्रह की कक्षा को ट्रैक करना हो, बीमारी के प्रसार का मॉडल बनाना हो, या किसी सामग्री के माध्यम से ऊष्मा के प्रवाह का अनुकरण करना हो, वैज्ञानिक एक विशिष्ट प्रकार के गणितीय नियम पर भरोसा करते हैं जिसे अवकल समीकरण (differential equation) कहा जाता है। ये समीकरण बताते हैं कि कोई मात्रा स्वयं के और अपने परिवेश के संबंध में कैसे बदलती है। दशकों तक, इन समीकरणों को हल करना शास्त्रीय संख्यात्मक विधियों (classical numerical methods) का क्षेत्र रहा है, जो समस्याओं को छोटे, प्रबंधनीय चरणों में विभाजित करती हैं। विश्वसनीय होने के बावजूद, ये पारंपरिक दृष्टिकोण गणनात्मक रूप से महंगे हो सकते हैं और जटिल, उच्च-आयामी समस्याओं के साथ संघर्ष कर सकते हैं। हाल के वर्षों में, एक नया दृष्टिकोण उभरा है, जो आर्टिफिशियल इंटेलिजेंस के क्षेत्र से उधार लिया गया है। शोधकर्ताओं ने न्यूरल नेटवर्क—मानव मस्तिष्क से प्रेरित कंप्यूटर सिस्टम—का उपयोग करना शुरू कर दिया है ताकि इन समीकरणों के समाधानों को सीखा और अनुमानित किया जा सके। इन प्रणालियों को 'फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स' (Physics-Informed Neural Networks) के रूप में जाना जाता है, जिन्हें न केवल डेटा पर, बल्कि भौतिक नियमों पर भी प्रशिक्षित किया जाता है, जिससे वे ऐसे समाधान खोजने में सक्षम होते हैं जो अंतर्निहित विज्ञान का सम्मान करते हैं।
हालाँकि, इन न्यूरल नेटवर्क्स के कार्य करने के लिए, उन्हें जटिलता और गैर-रैखिकता (non-linearity) पेश करने के लिए एक विशिष्ट आंतरिक तंत्र की आवश्यकता होती है, ठीक वैसे ही जैसे एक स्विच जो सर्किट को केवल बिजली को सीधे प्रवाहित करने से कहीं अधिक करने की अनुमति देता है। इस तंत्र को 'एक्टिवेशन फंक्शन' (activation function) कहा जाता है। यह निर्धारित करता है कि नेटवर्क प्रत्येक चरण में सूचना को कैसे संसाधित करता है, जिससे सही उत्तर का अनुमान लगाने और सीखने की इसकी क्षमता को आकार मिलता है। लंबे समय तक, इन वैज्ञानिक सॉल्वर में किस एक्टिवेशन फंक्शन का उपयोग करना है, इसका चुनाव कुछ हद तक एक अनुमान जैसा रहा है, जहाँ शोधकर्ता अक्सर साक्ष्य के बजाय आदत के आधार पर एक को चुनते हैं। यह अनिश्चितता महत्वपूर्ण है क्योंकि गलत चुनाव गलत भविष्यवाणियों या एक ऐसी प्रणाली की ओर ले जा सकता है जो समाधान सीखने में विफल हो जाती है। प्रश्न यह बना हुआ है: हमारे भौतिक जगत को नियंत्रित करने वाले जटिल, समय-निर्भर समीकरणों को हल करने के लिए उपलब्ध कई विकल्पों में से कौन सा वास्तव में सबसे अच्छा है?
एक हालिया अध्ययन ने एक व्यवस्थित और कठोर दृष्टिकोण के साथ इस प्रश्न का उत्तर देने का प्रयास किया। शोधकर्ताओं ने एक विशिष्ट वर्ग की समस्याओं पर ध्यान केंद्रित किया: नॉन-ऑटोनॉमस ऑर्डिनरी डिफरेंशियल इक्वेशन्स (non-autonomous ordinary differential equations)। सरल शब्दों में, ये वे समीकरण हैं जहाँ परिवर्तन के नियम स्थिर नहीं होते हैं बल्कि समय के साथ विकसित होते हैं, जो अक्सर समय या बदलते पर्यावरणीय कारकों जैसे बाहरी कारकों द्वारा संचालित होते हैं। अपने सिद्धांतों का परीक्षण करने के लिए, टीम ने एक मानक न्यूरल नेटवर्क आर्किटेक्चर का निर्माण किया और इसे दस अलग-अलग गणितीय चुनौतियों की एक बैटरी के अधीन किया। इन चुनौतियों में घातांकीय वृद्धि (exponential growth), बहुपद वक्र (polynomial curves), और त्रिकोणमितीय तरंगों (trigonometric waves) द्वारा संचालित समीकरण शामिल थे, जो प्रकृति में पाए जाने वाले व्यवहारों के एक विस्तृत स्पेक्ट्रम को कवर करते हैं। महत्वपूर्ण रूप से, शोधकर्ताओं ने अपने प्रयोग के प्रत्येक अन्य चर को समान रखा। उन्होंने हर परीक्षण के लिए एक ही नेटवर्क संरचना, एक ही संख्या में प्रशिक्षण चक्र और एक ही डेटा बिंदुओं का उपयोग किया। केवल एक चीज़ बदली थी: एक्टिवेशन फंक्शन। उन्होंने क्षेत्र में उपयोग किए जाने वाले नौ सबसे सामान्य फंक्शन का परीक्षण किया, जिसमें प्रसिद्ध सिग्मॉइड (Sigmoid) और रेलू (ReLU) से लेकर अधिक आधुनिक वेरिएंट जैसे GELU, ELU और SiLU शामिल थे।
इस व्यापक सिमुलेशन के परिणाम स्पष्ट और निर्णायक थे। अध्ययन में पाया गया कि कोई भी एकल फंक्शन हर एक परिदृश्य के लिए पूर्ण नहीं था, लेकिन एक पूरे क्षेत्र में सबसे विश्वसनीय प्रदर्शन करने वाले के रूप में उभरा। GELU एक्टिवेशन फंक्शन शीर्ष विकल्प के रूप में उभरा, जिसने साठ प्रतिशत प्रयोगों में सबसे सटीक समाधान दिए। इसने इन समीकरणों के ज्ञात, सटीक उत्तरों की तुलना में लगातार सबसे कम त्रुटियां उत्पन्न कीं। इसके ठीक पीछे दो अन्य फंक्शन, ELU और SELU आए, जिन्होंने भी मजबूत क्षमता प्रदर्शित की। इसके विपरीत, कुछ पुराने, अधिक पारंपरिक विकल्पों, विशेष रूप से सिग्मॉइड और सॉफ्टमैक्स (Softmax) ने खराब प्रदर्शन किया। शोधकर्ताओं ने इस विफलता का श्रेय 'सैचुरेशन' (saturation) नामक घटना को दिया, जहाँ ये फंक्शन कुछ क्षेत्रों में इतने सपाट हो जाते हैं कि वे प्रभावी ढंग से सीखना बंद कर देते हैं, जिससे नेटवर्क रुक जाता है। अध्ययन ने यह भी नोट किया कि जबकि ReLU जैसे फंक्शन सामान्य आर्टिफिशियल इंटेलिजेंस में लोकप्रिय हैं, वे इन विशिष्ट वैज्ञानिक कार्यों के लिए सबसे उपयुक्त नहीं थे, संभवतः इसलिए क्योंकि उनकी तीक्ष्ण, कोणीय प्रकृति भौतिकी-आधारित सॉल्वरों द्वारा आवश्यक सटीक डेरिवेटिव (derivatives) की गणना करने में कठिनाइयाँ पैदा करती है।
इन निष्कर्षों को यह सुनिश्चित करने के लिए कि यह कोई संयोग नहीं है, शोधकर्ताओं ने छह अतिरिक्त समीकरणों के दूसरे सेट को शामिल करने के लिए अपने परीक्षण का विस्तार किया। परिणाम अडिग रहे। इस विस्तारित समूह में, GELU ने फिर से लगभग दो-तिहाई मामलों में शीर्ष स्थान प्राप्त किया, जबकि ELU ने शेष मामलों में नेतृत्व किया। किसी अन्य फंक्शन ने इस सत्यापन समूह में प्रथम स्थान सुरक्षित नहीं किया। अध्ययन का सुझाव है कि GELU और ELU की सफलता उनकी गणितीय सहजता (mathematical smoothness) में निहित है। तीक्ष्ण कोनों या सपाट पठारों वाले फंक्शन के विपरीत, ये सुचारू फंक्शन नेटवर्क को परिवर्तनों और ग्रेडिएंट्स की अधिक विश्वसनीय रूप से गणना करने की अनुमति देते हैं, जो आवश्यक है जब नेटवर्क से समीकरणों में अंतर्निहित भौतिकी के सख्त नियमों को संतुष्ट करने के लिए कहा जाता है। यह सहजता प्रशिक्षण प्रक्रिया को अधिक स्थिरता से अभिसरण (converge) करने में मदद करती है, जिससे अधिक सटीक अंतिम परिणाम मिलते हैं।
इस कार्य के निहितार्थ उन वैज्ञानिकों और इंजीनियरों के लिए व्यावहारिक और तत्काल हैं जो इन कम्प्यूटेशनल उपकरणों पर भरोसा करते हैं। अध्ययन काम के लिए सही उपकरण चुनने के लिए एक स्पष्ट, साक्ष्य-आधारित दिशानिर्देश प्रदान करता है। एक्टिवेशन फंक्शन के चुनाव को एक यादृच्छिक या सार्वभौमिक सेटिंग मानने के बजाय, शोधकर्ता सुझाव देते हैं कि समस्या की विशिष्ट प्रकृति को चुनाव निर्धारित करना चाहिए। सामान्य समय-निर्भर समस्याओं के लिए, GELU सबसे मजबूत डिफ़ॉल्ट विकल्प प्रतीत होता है। बहुपद इंटरैक्शन (polynomial interactions) वाली समस्याओं के लिए, ELU एक मजबूत विकल्प है। इस बीच, अध्ययन स्पष्ट रूप से सिग्मॉइड जैसे सैचुरेटिंग फंक्शन का उपयोग न करने की सलाह देता है, क्योंकि वे इस प्रकार के रेसिडुअल-आधारित सॉल्वर के प्रदर्शन में बाधा डाल सकते हैं। सबसे प्रभावी एक्टिवेशन फंक्शनों की पहचान करके, यह शोध न्यूरल नेटवर्क्स की क्षमताओं को परिष्कृत करने में मदद करता है, जो उन अवकल समीकरणों को हल करने के लिए अधिक कुशल और सटीक तरीकों के निर्माण का मार्ग प्रशस्त करता है जो हमारे ब्रह्मांड का वर्णन करते हैं। यह कार्य यह दावा नहीं करता है कि इसने क्षेत्र की हर समस्या को हल कर दिया है, लेकिन यह भविष्य के विकास के लिए एक ठोस आधार प्रदान करता है, जो अगली पीढ़ी के वैज्ञानिक कंप्यूटिंग टूल बनाने के लिए एक अधिक व्यवस्थित और सूचित दृष्टिकोण की ओर संकेत करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।