Optimal Sobolev Approximation by Deterministic and Random Shallow Sigmoidal Networks

आधुनिक गणित के विशाल परिदृश्य में, एक निरंतर प्रश्न बना हुआ है कि हम सरल निर्माण खंडों (building blocks) का उपयोग करके जटिल वास्तविकता के आकार को कितनी अच्छी तरह से पकड़ सकते हैं। कल्पना कीजिए कि आप एक ऊबड़-खाबड़ पर्वत श्रृंखला, एक घूमते हुए मौसम के पैटर्न, या एक सर्किट के माध्यम से बिजली के प्रवाह का वर्णन करने का प्रयास कर रहे हैं। ये घटनाएँ अपनी सुगमता (smoothness) और अपनी खुरदरापन (roughness) द्वारा परिभाषित होती हैं, उनके कोमल ढलान और उनके तीखे किनारों द्वारा। गणितज्ञ इस गुण को "नियमितता" (regularity) कहते हैं। दशकों से, शोधकर्ता इन जटिल फलनों (functions) का अनुमान लगाने के लिए कृत्रिम तंत्रिका नेटवर्क (artificial neural networks)—जो मानव मस्तिष्क से प्रेरित कम्प्यूटेशनल मॉडल हैं—पर भरोसा करते आए हैं। विशेष रूप से, वे "उथले" (shallow) नेटवर्क का उपयोग करते हैं, जिनमें इनपुट और आउटपुट के बीच एक एकल छिपी हुई प्रसंस्करण इकाइयों (hidden processing units) की परत होती है। ये इकाइयाँ अक्सर डेटा को बदलने के लिए एक चिकनी, S-आकार की वक्र रेखा का उपयोग करती हैं, जिसे सिग्मॉइड (sigmoid) कहा जाता है। केंद्रीय पहेली यह रही है: यदि इन इकाइयों की आंतरिक सेटिंग्स को पहले से ही निर्धारित कर दिया जाए, चाहे उन्हें सावधानीपूर्वक चुनकर या यादृच्छिक (random) रूप से चुनकर, तो क्या नेटवर्क अभी भी उच्च सटीकता के साथ किसी भी सुचारू फलन की नकल करना सीख सकता है? उत्तर यह निर्धारित करता है कि क्या ये लचीले उपकरण केवल एक अनुमानित युक्ति (heuristic trick) हैं या भौतिकी और इंजीनियरिंग के सबसे कठिन समीकरणों को हल करने में सक्षम गणितीय रूप से कठोर उपकरण हैं।

शोधकर्ताओं की एक टीम ने अब इन सुचारू, S-आकार के वक्रों के एक व्यापक वर्ग के लिए इस प्रश्न को सुलझा लिया है। उन्होंने सिद्ध किया कि उथले नेटवर्क वास्तव में सुचारू फलनों का अनुमान लगाने के लिए सर्वोत्तम संभव सटीकता दर प्राप्त कर सकते हैं, बशर्ते कि नेटवर्क में पर्याप्त इकाइयाँ हों। यह तब भी सत्य है जब आंतरिक सेटिंग्स को या तो एक सटीक, नियतात्मक रेसिपी (deterministic recipe) द्वारा चुना जाता है या संभावनाओं के एक समूह से यादृच्छिक रूप से लिया जाता है। शोधकर्ताओं ने व्यावहारिक रूप से उपयोग किए जाने वाले मानक सक्रियण फलनों (activation functions) पर ध्यान केंद्रित किया, जैसे कि हाइपरबोलिक टेंगेंट और एरर फंक्शन, जो अपने सुचारू, घंटी के आकार के डेरिवेटिव के लिए जाने जाते हैं। उनका कार्य प्रदर्शित करता है कि विशिष्ट संख्या में छिपी हुई इकाइयों के साथ, नेटवर्क एक लक्ष्य फलन का अनुमान लगा सकता है, जिसमें त्रुटि (error) अधिक इकाइयाँ जोड़े जाने पर पूर्वानुमानित रूप से घटती जाती है। यह सुधार की दर केवल अच्छी नहीं है; यह गणितीय रूप से इष्टतम (optimal) है, जिसका अर्थ है कि समान मात्रा में कम्प्यूटेशनल संसाधनों का उपयोग करने वाला कोई अन्य तरीका इससे बेहतर नहीं हो सकता।

अध्ययन इन नेटवर्कों को स्थापित करने के दो तरीकों के बीच अंतर करता है। पहले दृष्टिकोण में, शोधकर्ताओं ने विशेषताओं का एक नियतात्मक शब्दकोश (deterministic dictionary) बनाया। उन्होंने प्रत्येक छिपी हुई इकाई के लिए दिशाओं और ऑफसेट्स को सावधानीपूर्वक चुना, जिससे उन्हें संभावित इनपुट के स्थान को कवर करने के लिए एक सटीक ग्रिड की तरह व्यवस्थित किया गया। उन्होंने दिखाया कि किसी भी फलन के लिए, जिसमें एक निश्चित स्तर की सुगमता है, यह सावधानीपूर्वक निर्मित नेटवर्क इसे उस गति से अनुमानित कर सकता है जो गणित के नियमों द्वारा अनुमत सबसे तेज़ गति है। यह गति समस्या के आयाम (dimension) और लक्ष्य फलन की सुगमता पर निर्भर करती है। यदि फलन बहुत सुचारू है, तो त्रुटि तेजी से गिरती है; यदि फलन अधिक खुरदरा है, तो गिरावट धीमी होती है, लेकिन यह एक पूर्ण, पूर्वानुमानित बीजगणितीय नियम का पालन करती है। महत्वपूर्ण रूप से, शोधकर्ताओं ने यह भी सिद्ध किया कि इन इकाइयों को संयोजित करने के लिए उपयोग किए जाने वाले अंक अनियंत्रित रूप से नहीं बढ़ते हैं, जिससे यह सुनिश्चित होता है कि विधि स्थिर और उपयोगी बनी रहे।

दूसरे, शायद अधिक आश्चर्यजनक, दृष्टिकोण में, शोधकर्ताओं ने परीक्षण किया कि क्या होता है जब आंतरिक सेटिंग्स को सावधानीपूर्वक नहीं चुना जाता है, बल्कि यादृच्छिक रूप से लिया जाता है। कई व्यावहारिक अनुप्रयोगों में, इंजीनियर यादृच्छिक नमूनाकरण (random sampling) पसंद करते हैं क्योंकि यह एक आदर्श ग्रिड डिजाइन करने की तुलना में तेज़ और आसान है। शोधकर्ताओं ने सिद्ध किया कि यादृच्छिक नमूनाकरण के साथ भी, नेटवर्क सुचारू फलनों का अनुमान लगाने की वही शक्तिशाली क्षमता बनाए रखता है। जब तक यादृच्छिक चयन एक ऐसे वितरण (distribution) से आता है जो बड़े अंतराल छोड़े बिना आवश्यक स्थान को कवर करता है, नेटवर्क बहुत उच्च संभावना के साथ सटीकता की समान इष्टतम दर प्राप्त करेगा। इस यादृच्छिकता की एकमात्र लागत सटीकता के समान स्तर तक पहुँचने के लिए आवश्यक इकाइयों की संख्या में एक छोटा, लघुगणकीय (logarithmic) इजाफा है। यह निष्कर्ष उच्च-आयामी समस्याओं में यादृच्छिक विशेषताओं के उपयोग को मान्य करता है, यह पुष्टि करता है कि यादृच्छिक नमूनाकरण की "किस्मत" गणितीय शक्ति की कीमत पर नहीं आती है।

अपने सैद्धांतिक प्रमाणों को सत्यापित करने के लिए, शोधकर्ताओं ने विभिन्न परिदृश्यों में व्यापक संख्यात्मक प्रयोग चलाए। उन्होंने दो से दस तक के आयामों का परीक्षण किया, विभिन्न स्तर की सुगमता वाले फलनों को लक्षित किया और सरल औसत अंतरों से लेकर डेरिवेटिव्स से जुड़े अधिक जटिल मापों तक, विभिन्न तरीकों से त्रुटियों को मापा। प्रत्येक मामले में, कंप्यूटर सिमुलेशन उनके गणितीय भविष्यवाणियों से पूरी तरह मेल खाते थे। त्रुटि बनाम इकाइयों की संख्या के ग्राफ ने लघुगणकीय पैमाने पर सीधी रेखाएं दिखाईं, जिससे पुष्टि हुई कि त्रुटि ठीक उसी बीजगणितीय दर से घट रही थी जैसा कि सिद्धांत ने भविष्यवाणी की थी। चाहे विशेषताएँ नियतात्मक थीं या यादृच्छिक, चाहे लक्ष्य एक सरल वक्र था या एक जटिल दस-आयामी सतह, परिणाम सुसंगत थे। प्रयोगों में उच्च-आयामी सेटिंग्स सहित स्थितियों का एक विस्तृत स्पेक्ट्रम शामिल था, जहाँ सहज ज्ञान अक्सर विफल हो जाता है, और हर मामले में, नेटवर्क ने ठीक वैसा ही प्रदर्शन किया जैसा कि नया सिद्धांत वर्णित करता है।

इस कार्य के निहितार्थ एप्रोक्सिमेशन थ्योरी (approximation theory) के अमूर्त क्षेत्र से परे जाते हैं। यह आंशिक अंतर समीकरणों (partial differential equations) को हल करने के लिए फिक्स्ड-फीचर न्यूरल नेटवर्क का उपयोग करने के लिए एक ठोस आधार प्रदान करता है, जो भौतिकी, इंजीनियरिंग और वित्त की भाषा हैं। ये समीकरण अक्सर तीव्र ग्रेडिएंट या जटिल सीमाओं वाली प्रणालियों का वर्णन करते हैं, और यह जानना कि एक यादृच्छिक या नियतात्मक विशेषताओं का सेट उन्हें इष्टतम रूप से अनुमानित कर सकता है, वैज्ञानिकों को उनके संख्यात्मक उपकरणों में विश्वास दिलाता है। शोधकर्ताओं ने यह भी पहचान लिया कि इन परिणामों को प्राप्त करने के लिए नेटवर्क के आंतरिक मापदंडों को किस सटीक पैमाने पर सेट किया जाना चाहिए, जो व्यावहारिक कार्यान्वयन के लिए एक महत्वपूर्ण विवरण है। सुचारू सिग्मोइडल एक्टिवेशन द्वारा पूर्ण पदानुक्रमित अनुमान दरों (hierarchy of approximation rates) को संरक्षित करने की पुष्टि करके, यह अध्ययन न्यूरल नेटवर्क की गणितीय समझ के एक लंबे समय से चले आ रहे अंतर को समाप्त करता है। यह पुष्टि करता है कि ये मॉडल केवल लचीले कर्व-फ़िटर नहीं हैं, बल्कि सुचारू, उच्च-आयामी वास्तविकता को पकड़ने में सक्षम सैद्धांतिक रूप से सुदृढ़ उपकरण हैं।