📊 statistics

Limitations of Learning Tanh Neural Networks with Finite Precision

यह शोध पत्र यह प्रदर्शित करता है कि परिमित-परिशुद्धता (finite-precision) बाधाओं के तहत, स्थानीयकृत बम्प फंक्शन्स (localized bump functions) वाले $\tanh$ न्यूरल नेटवर्क को सीखना मौलिक रूप से मोंटे कार्लो अभिसरण दर (Monte Carlo convergence rate) तक सीमित है, जब तक कि सैंपलिंग बजट नेटवर्क के आकार के साथ तेजी से (exponentially) न बढ़े, जिससे ReLU नेटवर्क से ज्ञात सीमाओं का विस्तार $\tanh$ सेटिंग में किया जा सके।

मूल लेखक: Philipp Grohs, Matěj Trödler

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Philipp Grohs, Matěj Trödler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को एक बहुत ही विशिष्ट, सूक्ष्म गुप्त रहस्य को पहचानना सिखाने की कोशिश कर रहे हैं जो एक विशाल, अंधेरे कमरे के भीतर छिपा हुआ है। कंप्यूटर एक "न्यूरल नेटवर्क" है, जो एक प्रकार का AI है जो उदाहरणों को देखकर सीखता है। इस शोध पत्र में, लेखक एक विशेष प्रकार के AI की जांच कर रहे हैं जो जानकारी को प्रोसेस करने के लिए tanh (हाइपरबोलिक टेंगेंट) नामक एक गणितीय उपकरण का उपयोग करता है। यह उपकरण चिकना और घुमावदार है, जो कई अन्य AI में उपयोग किए जाने वाले "ReLU" उपकरण के विपरीत है, जो एक तीखे ऑन/ऑफ स्विच की तरह काम करता है।

लेखक एक मौलिक प्रश्न पूछते हैं: कंप्यूटर को इस गुप्त रहस्य को पूरी तरह से सीखने के लिए कितने "सैंपल्स" (या झांकने की कोशिशों) की आवश्यकता होगी, यह मानते हुए कि कंप्यूटर के पास बहुत छोटी संख्याओं को देखने की सीमित क्षमता है?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "धुंधली दृष्टि" की समस्या (Finite Precision)

कल्पना कीजिए कि कंप्यूटर ने ऐसे चश्मे पहने हुए हैं जो थोड़े धुंधले हैं। यदि कोई संख्या धूल के एक सूक्ष्म कण से भी छोटी है (जिसे हम "मशीन प्रिसिजन" कह सकते हैं), तो कंप्यूटर के चश्मे उसे पूरी तरह से धुंधला कर देते हैं, और वह उसे शून्य (zero) के रूप में देखता है। वह एक बहुत धीमी फुसफुसाहट और पूर्ण सन्नाटे के बीच अंतर नहीं कर सकता।

लेखक दिखाते हैं कि इस "धुंधली दृष्टि" के कारण, कंप्यूटर एक बड़ी बाधा का सामना करता है। वह एक ऐसे फंक्शन के बीच अंतर नहीं कर सकता जो वास्तव में हर जगह शून्य है और एक ऐसे फंक्शन के बीच जिसमें किसी कोने में एक छोटा, तीखा "उभार" (bump) छिपा हुआ है, जब तक कि वह उभार इतना बड़ा न हो कि उसे धुंध के पार देखा जा सके।

2. "अदृश्य उभार" का निर्माण (The Invisible Bump Construction)

लेखकों ने अपना बिंदु सिद्ध करने के लिए एक विशेष गणितीय तरकीब बनाई। उन्होंने एक "बंप" फंक्शन (डेटा का एक छोटा सा टीला) बनाया जो है:

केंद्र में ऊंचा और तीखा (ताकि उसका बहुत अधिक "द्रव्यमान" या महत्व हो)।
किनारों पर घातांकीय रूप से पतला (Exponentially thin)।

क्योंकि किनारे इतनी तेजी से पतले होते जाते हैं, वे अंततः इतने छोटे हो जाते हैं कि कंप्यूटर के "धुंधले चश्मे" उन्हें शून्य में बदल देते हैं। कंप्यूटर के लिए, यह उभार हर जगह एक सपाट, खाली फर्श की तरह दिखता है, सिवाय एक छोटे, अदृश्य स्थान के।

3. "घास के ढेर में सुई" का खेल (The Needle in a Haystack Game)

अब, कल्पना कीजिए कि आप इन छिपे हुए उभारों को खोजने का खेल खेल रहे हैं।

सेटअप: आपके पास एक विशाल कमरा (डेटा स्पेस) है। आप उभारों की जांच करने के लिए सीमित संख्या में "सेंसर" (सैंपल्स) गिरा सकते हैं।
जाल: लेखकों ने सिद्ध किया कि यदि उभारों को कंप्यूटर की "धुंधली दृष्टि" का फायदा उठाने के तरीके से छिपाया जाता है, तो आप इस कमरे में हजारों ऐसे उभार छिपा सकते हैं।
परिणाम: भले ही आप बहुत बड़ी संख्या में सेंसर गिरा दें, फिर भी इस बात की उच्च संभावना है कि आपका एक भी सेंसर उन छोटे, छिपे हुए स्थानों पर नहीं पहुंचेगा जहाँ उभार वास्तव में मौजूद हैं। आपके सभी सेंसर "शून्य" पढ़ेंगे (क्योंकि उभारों के अत्यंत छोटे केंद्रों के बाहर वे अदृश्य हैं)।

4. "घातांकीय लागत" (The Exponential Cost)

यह इस शोध पत्र के मुख्य निष्कर्ष की ओर ले जाता है: सीखना अविश्वसनीय रूप से महंगा है।

ReLU नेटवर्क की दुनिया में (जो तीखे ऑन/ऑफ स्विच हैं), फंक्शन को सीखने के लिए आवश्यक सैंपल्स की संख्या कुछ हद तक अनुमानित रूप से बढ़ती है। लेकिन इन चिकने tanh नेटवर्क्स के लिए, लेखकों ने पाया कि यह गारंटी देने के लिए कि आप फंक्शन को सटीक रूप से सीख सकते हैं, आपको सैंपल्स की संख्या उतनी बढ़ानी होगी जो नेटवर्क के आकार के साथ घातांकीय (exponentially) रूप से बढ़ती है।

इसे इस तरह सोचें:

यदि आप एक छोटा नेटवर्क सीखना चाहते हैं, तो आपको शायद 10 सैंपल चाहिए।
यदि आप नेटवर्क को थोड़ा बड़ा करते हैं, तो आपको 100 सैंपल चाहिए हो सकते हैं।
यदि आप इसे थोड़ा और बड़ा करते हैं, तो आपको 1,000,000 सैंपल चाहिए हो सकते हैं।
यदि आप इसे थोड़ा सा और बड़ा करते हैं, तो आपको ब्रह्मांड में मौजूद परमाणुओं की संख्या से भी अधिक सैंपल चाहिए हो सकते हैं।

5. "अस्थिर सत्य" (The Unstable Truth)

पत्र एक डरावकी अस्थिरता को भी उजागर करता। उन्होंने दिखाया कि आप दो अलग-अलग फंक्शन रख सकते हैं जो कंप्यूटर को एक समान दिखाई देते हैं (क्योंकि उनके बीच का अंतर इतना छोटा है कि कंप्यूटर के "धुंधले चश्मे" उसे देख नहीं सकते), लेकिन वास्तव में, वे पूरी तरह से अलग हैं (एक में एक बड़ा उभार है, दूसरे में नहीं)।

भले ही आपके पास एक आदर्श एल्गोरिदम हो, तथ्य यह है कि कंप्यूटर सूक्ष्म अंतरों को नहीं देख सकता, जिसका अर्थ है कि वह कभी भी स्थिर (stable) नहीं हो सकता। इनपुट में एक छोटा, अदृश्य परिवर्तन आउटपुट में एक बड़े, अप्रत्याशित परिवर्तन का कारण बन सकता है। यह ताश के पत्तों के घर को कंपन करने वाली मेज पर संतुलित करने जैसा है; चाहे आपके हाथ कितने भी अच्छे क्यों न हों, मेज का कंपन (फाइनाइट प्रिसिजन) एक स्थिर संरचना को असंभव बना देता है।

सारांश

यह शोध पत्र तर्क देता है कि चिकने, घुमावदार न्यूरल नेटवर्क्स (tanh) के लिए, सीमित सटीकता (finite precision) एक कठोर दीवार की तरह कार्य करती है। यह कंप्यूटर को उन फंक्शन्स को सीखने से रोकता है जिनमें तीखे, स्थानीयकृत लक्षण होते हैं, जब तक कि आप इस समस्या पर अत्यधिक बड़ी संख्या में सैंपल्स लगाने के लिए तैयार न हों। कई वास्तविक परिदृश्यों में, यह इन विशिष्ट नेटवर्क्स को सीखना गणनात्मक रूप से असंभव (computationally impossible) बना देता है, इसलिए नहीं कि गणित को हल करना बहुत कठिन है, बल्कि इसलिए क्योंकि आपके पास पर्याप्त "आंखें" (सैंपल्स) नहीं हैं कि आप विवरणों को देखने के लिए उपलब्ध हों, इससे पहले कि कंप्यूटर के "धुंधले चश्मे" उन्हें धुंधला कर दें।

तकनीकी सारांश: परिमित-परिशुद्धता (Finite Precision) के तहत Tanh न्यूरल नेटवर्क सीखने की सीमाएँ

समस्या विवरण
यह शोध पत्र परिमित-परिशुद्धता अंकगणित (finite-precision arithmetic) के तहत हाइपरबोलिक टैनजेंट ( $\tanh$ ) सक्रियण कार्यों (activation functions) वाले न्यूरल नेटवर्क के वर्गों को सीखने की मौलिक सीमाओं की जांच करता है। जबकि सैद्धांतिक परिणाम यह स्थापित करते हैं कि न्यूरल नेटवर्क में सार्वभौमिक सन्निकटन (universal approximation) क्षमताएं होती हैं, व्यावहारिक शिक्षण केवल सीमित संख्या में उपलब्ध नमूनों और कंप्यूटिंग उपकरणों की परिमित परिशुद्धता द्वारा बाधित होता है। लेखक इस प्रश्न का समाधान करती हैं: एक वर्ग के प्रत्येक फलन (function) को एक विशिष्ट सटीकता $\epsilon$ तक अनुमानित करने के लिए कितने नमूने $m$ आवश्यक हैं?

यह अध्ययन $\tanh$ सक्रियणों की सुचारू (smooth), गैर-समांगी (non-homogeneous) प्रकृति और परिमित परिशुद्धता (quantization) द्वारा लगाए गए प्रतिबंधों के बीच के अंतर्संबंध पर केंद्रित है। ReLU नेटवर्क के विपरीत, जहाँ होमोजेनिटी गुण ( $\rho(\lambda x) = \lambda \rho(x)$ ) के कारण सटीक "बम्प" (bump) फलनों का निर्माण किया जा सकता है, $\tanh$ नेटवर्क वास्तविक-विश्लेषणात्मक (real-analytic) होते हैं और सामान्यतः धनात्मक माप वाले सेटों पर कॉम्पैक्ट सपोर्ट (compact support) वाले फलन उत्पन्न नहीं कर सकते। यह लर्निंग कॉम्प्लेक्सिटी पर निचली सीमा (lower bounds) सिद्ध करने के लिए एक महत्वपूर्ण विश्लेषणात्मक बाधा उत्पन्न करता है, क्योंकि सटीक स्थानीयकरण (exact localization) पर आधारित मानक तकनीकें यहाँ विफल हो जाती हैं।

कार्यप्रणाली (Methodology)
लेखक $\tanh$ नेटवर्क में सटीक कॉम्पैक्ट सपोर्ट की कमी को दूर करने के लिए परिमित-परिशुद्धता अंकगणित का लाभ उठाते हुए एक नया ढांचा विकसित करते हैं। उनका दृष्टिकोण तीन प्राथमिक तकनीकी घटकों में शामिल है:

परिमित-परिशुद्धता स्थानीयकरण (Finite-Precision Localization): लेखक एक क्वांटिज़ेशन मैप $Q_{\epsilon_p}$ मानते हैं जहाँ $|x| \le \epsilon_p$ परिमाण वाले किसी भी मान को शून्य मान लिया जाता है। वे ऐसे न्यूरल नेटवर्क का निर्माण करते हैं जो "तीव्र रूप से स्थानीयकृत बम्प" (sharply localized bumps) उत्पन्न करते हैं: ऐसे फलन जो एक छोटे घन (cube) पर गैर-तुच्छ (non-trivial) होते हैं लेकिन इस क्षेत्र के बाहर तेजी से क्षय (decay) होते हैं। नेटवर्क की गहराई और मापदंडों को ट्यून करके, इन फलनों की "पूंछ" (tails) को मशीन परिशुद्धता सीमा $\epsilon_p$ से नीचे धकेल दिया जाता है, जिससे वे कंप्यूटिंग डिवाइस द्वारा शून्य के समान माने जाते हैं, भले ही उनका $L_p$ नॉर्म धनात्मक हो।
फिक्स्ड-पॉइंट इटरेशन तंत्र (Fixed-Point Iteration Mechanism): एक मुख्य नवाचार $\tanh$ सक्रियण की फिक्स्ड-पॉइंट संरचना का दोहन है। एक स्केल्ड सक्रियण $\sigma_a(x) = \tanh(ax)$ के लिए, जहाँ $a > 1$ है, गैर-तुच्छ फिक्स्ड पॉइंट्स $\pm x_\star$ मौजूद होते हैं जो $\tanh(ax_\star) = x_\star$ को संतुष्ट करते हैं। लेखक एक मोटे बम्प फंक्शन (coarse bump function) पर $\sigma_a$ को पुनरावृत्त रूप से लागू करने के लिए नेटवर्क लेयर्स को डिजाइन करते हैं। यह पुनरावृत्ति सिग्नल को प्रवर्धित करती है, जिससे आउटपुट एक स्टेप-फंक्शन प्रोफाइल की ओर बढ़ता है (सपोर्ट के भीतर $\pm x_\star$ की ओर अभिसरित होता है और बाहर तेजी से क्षय होता है)। यह तंत्र ReLU विश्लेषण में उपयोग किए जाने वाले होमोजेनिटी-आधारित निर्माणों का स्थान लेता है।
अनुकूली रैंडमाइज्ड एल्गोरिदम ढांचा (Adaptive Randomized Algorithm Framework): निचली सीमाएँ अनुकूली रैंडमाइज्ड एल्गोरिदम के लिए प्राप्त की गई हैं, जो पिछले अवलोकनों के आधार पर सैंपलिंग पॉइंट्स चुन सकते हैं और आंतरिक यादृच्छिकता (randomness) का उपयोग कर सकते हैं। प्रमाण एक "पिजनहोल" (pigeonhole) तर्क का उपयोग करता है: विलगित (disjoint) बम्प फंक्शन्स का एक बड़ा परिवार बनाकर और यह दिखाकर कि उनका सपोर्ट सैंपलिंग घनत्व से छोटा है, लेखक यह प्रदर्शित करते हैं कि इन फलनों का एक महत्वपूर्ण हिस्सा सभी सैंपल्ड पॉइंट्स पर शून्य क्वांटाइज्ड मान देगा। फलस्वरूप, एल्गोरिदम इन फलनों को शून्य फलन से अलग नहीं कर सकता।

मुख्य योगदान और परिणाम
यह शोध पत्र $\tanh$ न्यूरल नेटवर्क को सीखने के लिए सैंपलिंग कॉम्प्लेक्सिटी पर एक निचली सीमा स्थापित करता है। मुख्य परिणाम (थ्योरम 6) सिद्ध करता है कि $d$ इनपुट आयाम, गहराई $L$ , चौड़ाई $B$ , और सीमित गुणांकों वाले नेटवर्क वर्ग के लिए, $m$ नमूनों का उपयोग करने वाले किसी भी एल्गोरिदम के लिए सन्निकटन त्रुटि $\epsilon$ इस प्रकार होगी:
$\epsilon \gtrsim C \cdot m^{-1/p}$
जहाँ स्थिरांक $C$ नेटवर्क आर्किटेक्चर मापदंडों पर निर्भर करता है।

प्रमुख निष्कर्ष:

आर्किटेक्चर पर घातांकीय निर्भरता (Exponential Dependence on Architecture): एक निश्चित सटीकता प्राप्त करने के लिए आवश्यक नमूनों की स्वीकार्य संख्या ( $m$ ) नेटवर्क आर्किटेक्चर मापदंडों (विशेष रूप से चौड़ाई और गहराई) के संबंध में घातांकीय रूप से बढ़ती है। इसका तात्पर्य यह है कि यदि अनुकूलन समस्या (optimization problem) कम्प्यूटेशनल रूप से हल करने योग्य भी हो, तो भी नेटवर्क का आकार बढ़ने पर सीखना असंभव हो जाता है।
ReLU के साथ तुलना: जबकि ReLU सेटिंग (Berner et al., 2023) $m^{-1/d - 1/p}$ के साथ स्केलिंग वाली निचली सीमा प्रदर्शित करती है, परिमित परिशुद्धता के तहत $\tanh$ सेटिंग $m^{-1/p}$ के साथ स्केलिंग वाली सीमा देती है। हालाँकि, $\tanh$ बाउंड में स्थिरांक कारक आर्किटेक्चर पर घातांकीय रूप से निर्भर करता है, जो समान व्यावहारिक अव्यवहार्यता की ओर ले जाता है।
अंतर्निहित अस्थिरता (Intrinsic Instability): परिणाम सीखने की समस्या में एक मौलिक अस्थिरता को प्रकट करते हैं। उप-घातांकीय (sub-exponential) नमूनों का उपयोग करने वाले किसी भी एल्गोरिदम के लिए, ऐसे न्यूरल नेटवर्क के जोड़े मौजूद हैं जो सभी सैंपल्ड पॉइंट्स पर मशीन परिशुद्धता से नीचे के नगण्य अंतर से भिन्न होते हैं, लेकिन जिनका $L_p$ अंतर बड़ा (क्रम 0.5) होता है। अतः, कोई भी पुनर्निर्माण प्रक्रिया उक्त सैंपलिंग शासन के भीतर एक साथ सटीक और स्थिर नहीं हो सकती।
परिशुद्धता की भूमिका: हार्डनेस का परिणाम परिमित-परिशुद्धता धारणा पर आधारित है। निर्माण इस क्षमता पर निर्भर करता है कि बम्प फंक्शन की पूंछ को क्वांटिज़ेशन थ्रेशोल्ड $\epsilon_p$ के नीचे कैसे "छिपाया" जाए।

महत्व और दावे
यह शोध पत्र ReLU नेटवर्क के लिए पिछले हार्डनेस परिणामों को व्यापक रूप से उपयोग किए जाने वाले $\tanh$ सक्रियण तक विस्तारित करने का दावा करता है, जो रिकरेंट आर्किटेक्चर (RNNs, LSTMs), फिजिक्स-इन्फॉर्म्ड न्यूरल नेटवर्क्स (PINNs), और आधुनिक फाउंडेशनल मॉडल्स में प्रचलित है।

लेखक इस बात पर जोर देते हैं कि उनके परिणाम केवल कम्प्यूटेशनल जटिलता (रनिंग टाइम) के बारे में नहीं हैं बल्कि सूचना-सैद्धांतिक सीमाओं (information-theoretic limitations) के बारे में हैं। भले ही एक अनुकूलन एल्गोरिदम ग्लोबल मिनिममम पा सके, लेकिन पॉइंट इवैल्यूएशन से फलन को विशिष्ट रूप से पहचानने के लिए आवश्यक नमूनों की संख्या अत्यधिक बड़ी है। यह कार्य यह उजागर करता है कि $\tanh$ की सुगमता और विश्लेषणात्मक प्रकृति, जिसे विभेदन (differentiability) के लिए फायदेमंद माना जाता है, परिमित-परिशुद्धता वातावरण में सीखने के लिए गंभीर चुनौतियाँ पेश करती है, विशेष रूप से निचली सीमाएँ सिद्ध करने के लिए आवश्यक स्थानीयकृत विशेषताओं (localized features) के निर्माण के संबंध में।

यह शोध पत्र एक सरलीकृत थ्योरम (थ्योरम 1) और स्पष्ट निर्भरता (जैसे मशीन परिशुद्धता $\epsilon_p$ , नेटवर्क चौड़ाई $B$ , गहराई $L$ , और गुणांक सीमा $c$ ) के साथ एक पूर्ण तकनीकी विवरण (थ्योरम 6) प्रदान करता है। इसमें एक संख्यात्मक सत्यापन उपकरण (numerical verification tool) भी शामिल है जो यह प्रदर्शित करता है कि मध्यम नेटवर्क आकार और यथार्थवादी मशीन परिशुद्धता के लिए, यूनिफॉर्म रिकवरी के लिए आवश्यक सैंपल साइज खगोलीय रूप से बड़ा हो जाता है, जिससे लर्निंग कार्य कम्प्यूटेशनल रूप से असंभव हो जाता है।