🤖 machine learning

Do Neural Networks Really Beat the Curse of Dimensionality? A Bit-Complexity View

यह शोध पत्र तर्क देता है कि जब सन्निकटन दक्षता (approximation efficiency) का मूल्यांकन पैरामीटर गणना के बजाय कम्प्यूटेशनल बिट जटिलता (computational bit complexity) के माध्यम से किया जाता है, तो कोई भी विधि मेट्रिक एंट्रॉपी द्वारा निर्धारित अंतर्निहित सीमाओं से मौलिक रूप से ऊपर नहीं निकल पाती है, जो यह प्रकट करता है कि कथित न्यूरल नेटवर्क लाभ अक्सर स्थापत्य श्रेष्ठता के बजाय फलन वर्ग (function class) की जटिलता में अंतर से उत्पन्न होते हैं, और पारंपरिक "आयामीता के अभिशाप" (curse of dimensionality) को एक अधिक मौलिक "बिट जटिलता के अभिशाप" (curse of bit complexity) के रूप में पुनर्गठित करता है।

मूल लेखक: Tong Mao, Jinchao Xu

प्रकाशित 2026-08-04

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tong Mao, Jinchao Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल, उच्च-आयामी (high-dimensional) वस्तु का वर्णन करने की कोशिश कर रहे हैं—जैसे कि एक घूमती हुई आकाशगंगा या एक बहु-परत वाला केक—अपने एक ऐसे मित्र को जो केवल सरल, सपाट चित्रों को ही समझ सकता है। कंप्यूटर विज्ञान और गणित की दुनिया में, इसे "उच्च-आयामी सन्निकटन समस्या" (high-dimensional approximation problem) के रूप में जाना जाता है। दशकों से, वैज्ञानिक एक कुख्यात दुश्मन से लड़ रहे हैं जिसे "आयामों का अभिशाप" (curse of dimensionality) कहा जाता है। यह नाम डरावना लग सकता है, लेकिन विचार सरल है: जैसे-जैसे किसी समस्या में चरों (variables) या आयामों (dimensions) की संख्या बढ़ती है, उसे सटीक रूप से वर्णित करने के लिए आवश्यक सूचना की मात्रा विस्फोट की तरह बढ़ती जाती है। यह एक 100-आयामी वस्तु का चित्र बनाने की कोशिश करने जैसा है; ब्रश के स्ट्रोक की संख्या इतनी तेजी से बढ़ती है कि काम पूरा करना असंभव सा लगता है।

लंबे समय तक, यह मापने का मानक तरीका कि एक कंप्यूटर इन समस्याओं को कितनी अच्छी तरह हल करता है, "पैरामीटर्स" (parameters) को गिनना था। पैरामीटर्स को एक मशीन के नॉब्स, डायल और सेटिंग्स के रूप में सोचें। यदि कोई विधि समान परिणाम प्राप्त करने के लिए कम नॉब्स का उपयोग करती है, तो उसे अधिक कुशल माना जाता है। हाल ही में, न्यूरल नेटवर्क (AI सिस्टम जो इमेज रिकग्निशन और लैंग्वेज मॉडल जैसी चीजों को संचालित करते हैं) को इसलिए सराहा गया है क्योंकि वे इस अभिशाप को तोड़ते हुए प्रतीत होते हैं। वे बढ़ते आयामों के साथ कम नॉब्स का उपयोग करके उच्च-आयामी समस्याओं को हल करते दिखते हैं, जिससे कई लोगों को विश्वास हो गया कि उन्होंने विज्ञान की सबसे जटिल समस्याओं को खोलने के लिए एक जादुई कुंजी ढूंढ ली है।

हालाँकि, एक पेच है जिसे अक्सर उत्साह में अनदेखा कर दिया जाता है। वास्तविक दुनिया में, कंप्यूटर संख्याओं को अनंत सटीकता के साथ संग्रहीत नहीं करते हैं; वे उन्हें 0 और 1 की स्ट्रिंग्स, या "बिट्स" (bits) के रूप में संग्रहीत करते हैं। उस मशीन के हर नॉब को स्टोर करने और गणना करने के लिए बिट्स की एक विशिष्ट संख्या में एनकोड करने की आवश्यकता होती है। यह शोध पत्र एक मौलिक प्रश्न पूछता है: यदि हम केवल नॉब्स को गिनना बंद कर दें और उन नॉब्स को स्टोर करने के लिए आवश्यक वास्तविक बिट्स की जानकारी को गिनना शुरू कर दें, तो क्या न्यूरल नेटवर्क अभी भी जादू की तरह दिखेंगे? लेखक, टोंग माओ और जिंचाओ जू, इस प्रश्न की गहराई में जाने के लिए "मेट्रिक एंट्रॉपी" (metric entropy) की एक अवधारणा का उपयोग करते हैं (जो अनिवार्य रूप से किसी आकार या फलन को वर्णित करने के लिए आवश्यक सूचना की न्यूनतम मात्रा को मापता है) यह देखने के लिए कि क्या न्यूरल नेटवर्क वास्तव में इस अभिशाप को हराते हैं या वे केवल लागत को दूसरे तरीके से छिपा रहे हैं।

द ग्रेट बिट-काउंटिंग हाइस्ट (The Great Bit-Counting Heist)

इस शोध पत्र के लेखकों, टोंग माओ और जिंचाओ जू ने, एक जासूस की टोपी पहनकर एक नए दृष्टिकोण से "आयामों के अभिशाप" को देखने का निर्णय लिया। केवल यह गिनने के बजाय कि एक विधि कितने पैरामीटर्स (नॉब्स) का उपयोग करती है, उन्होंने पूछा: "उन नॉब्स को स्टोर करने और एक अच्छा उत्तर प्राप्त करने के लिए वास्तव में कितने बिट्स मेमोरी की आवश्यकता है?"

उनके अन्वेषण को समझने के लिए, कल्पना कीजिए कि आप एक रोबोट को एक चिकनी, लुढ़कती हुई पहाड़ी का वर्णन करने की कोशिश कर रहे हैं।

पुराना तरीका (पैरामीटर्स गिनना): आप कह सकते हैं, "मुझे इस पहाड़ी का वर्णन करने के लिए 100 बिंदुओं की आवश्यकता है।" यदि आप एक नई विधि, जैसे कि न्यूरल नेटवर्क पर स्विच करते हैं और कहते हैं, "मुझे केवल 10 बिंदुओं की आवश्यकता है," तो आपको लगता है कि आपने जीत हासिल कर ली है। आपने अभिशाप को हरा दिया है!
नया तरीका (बिट्स गिनना): लेकिन रुकिए। क्या होगा यदि वे 10 बिंदु अविश्वसनीय रूप से संवेदनशील हैं? क्या होगा यदि पहाड़ी के आकार को सटीक रूप से वर्णित करने के लिए, प्रत्येक बिंदु को अत्यधिक सटीकता के साथ स्टोर करने की आवश्यकता है—जैसे कि प्रत्येक बिंदु के लिए 1,000 बिट्स की आवश्यकता हो? अचानक, आप सूचना की 10 इकाइयों का उपयोग नहीं कर रहे हैं; आप 10,000 इकाइयों का उपयोग कर रहे हैं। इस बीच, पुराने तरीके ने 100 बिंदुओं का उपयोग किया, लेकिन प्रत्येक को केवल 10 बिट्स की आवश्यकता थी। अंत में, "पुराने" तरीके ने वास्तव में कुल मिलाकर कम बिट्स का उपयोग किया।

शोध पत्र का तर्क है कि लंबे समय तक, हम "पैरामीटर काउंट" से मूर्ख बनते रहे हैं। हमने देखा कि न्यूरल नेटवर्क कम नॉब्स का उपयोग कर रहे हैं और मान लिया कि वे अधिक कुशल हैं। लेकिन जब लेखकों ने बिट्स (गणना की वास्तविक मुद्रा) के संदर्भ में दक्षता को मापा, तो कहानी बदल गई।

"जादू" जो इतना भी जादुई नहीं है

शोधकर्ताओं ने दो मुख्य प्रकार के "जादू" को देखा जिनके लिए न्यूरल नेटवर्क प्रसिद्ध थे:

डायमेंशन-इंडिपेंडेंट रेट्स (Dimension-Independent Rates): कुछ अध्ययनों ने दावा किया कि न्यूरल नेटवर्क आयामों की संख्या बढ़ने के साथ प्रदर्शन खराब हुए बिना कुछ जटिल फलनों (functions) का सन्निकटन कर सकते हैं। ऐसा लगा जैसे उन्होंने समस्या के आकार को पूरी तरह से अनदेखा करने का तरीका खोज लिया है।
सुपरकन्वर्जेंस (Superconvergence): यह विचार है कि डीप न्यूरल नेटवर्क (कई परतों वाले नेटवर्क) पारंपरिक तरीकों जैसे कि पॉलिनॉमियल्स या फाइनाइट एलिमेंट्स की तुलना में बहुत तेज़ी से स्मूथ फलनों का सन्निकटन कर सकते हैं। ऐसा लग रहा था कि वे प्रतियोगिता से बहुत आगे निकल रहे हैं।

लेखकों के अन्वेषण से पता चला कि ये "सुपरपावर्स" काफी हद तक एक भ्रम हैं जो हमारे मापने के तरीके से पैदा हुआ है।

जब उन्होंने मेट्रिक एंट्रॉपी का विश्लेषण किया—जो कि उस फंक्शन क्लास की आंतरिक जटिलता को मापने का एक फैंसी शब्द है जिसका सन्निकटन किया जा रहा है—तो उन्होंने पाया कि जिन फलनों का न्यूरल नेटवर्क सन्निकटन करने में अच्छे हैं (जैसे कि "बैरोन स्पेस" में), वे वास्तव में उन फलनों की तुलना में सरल हैं जिनसे पारंपरिक तरीके संघर्ष करते हैं। यह इसलिए नहीं है कि न्यूरल नेटवर्क एक बेहतर कलाकार है; बल्कि यह इसलिए है कि जिस पेंटिंग की उसे नकल करने के लिए कहा गया है, वह उस पेंटिंग की तुलना में कम विस्तृत है जिसकी नकल करने की कोशिश पारंपरिक कलाकार कर रहा था। "डायमेंशन-इंडिपेंडेंट" गति इसलिए नहीं है क्योंकि नेटवर्क विशेष है; बल्कि इसलिए है क्योंकि लक्ष्य (target) शुरुआत से ही आसान था।

डीप नेटवर्क ट्रैप (The Deep Network Trap)

सबसे आश्चर्यजनक निष्कर्ष डीप न्यूरल नेटवर्क के बारे में है। ये वे नेटवर्क हैं जिनमें कई परतें होती हैं और जो बहुत चर्चा में रहे हैं। शोध पत्र दिखाता है कि जबकि डीप नेटवर्क वास्तव में पैरामीटर्स (नॉब्स) की संख्या के आधार पर तेज़ त्रुटि दर (error rate) प्राप्त कर सकते हैं, इस गति के साथ एक छिपा हुआ टैक्स (tax) आता है।

क्योंकि डीप नेटवर्क इतने जटिल और संवेदनशील होते हैं, उनके अंदर की संख्याएँ (वेट्स और बायस) त्रुटियों से बचने के लिए बहुत उच्च सटीकता के साथ स्टोर की जानी चाहिए। लेखकों ने सिद्ध किया कि जैसे-जैसे नेटवर्क गहरा होता जाता है, इन पैरामीटर्स को स्टोर करने के लिए आवश्यक बिट्स की संख्या विस्फोटक रूप से बढ़ती है।

इसे ऐसे सोचिए: एक उथला (shallow) नेटवर्क एक मजबूत लकड़ी के पुल की तरह है। इसमें बहुत सारे तख्ते (पैरामीटर्स) लगते हैं, लेकिन प्रत्येक तख्ते को मापना और स्टोर करना आसान है। एक डीप नेटवर्क कांच के पुल की तरह है। यह कम तख्तों का उपयोग करता है, लेकिन प्रत्येक तख्ता इतना नाजुक और सटीक है कि आपको उसे मापने के लिए लेजर स्कैनर की आवश्यकता होती है। यदि आप एक मानक टेप माप (finite precision) के साथ कांच का पुल बनाने की कोशिश करते हैं, तो यह ढह जाता है।

शोध पत्र प्रदर्शित करता है कि जब आप उस कांच के पुल को बनाने के लिए आवश्यक कुल बिट्स को गिनते हैं, तो "दक्षता" गायब हो जाती है। डीप नेटवर्क को स्थिर रखने के लिए आवश्यक अतिरिक्त बिट्स, कम पैरामीटर्स होने के लाभ को खत्म कर देते हैं। वास्तव में, कई मानक समस्याओं के लिए, डीप नेटवर्क को पॉलीनोमियल्स या फाइनाइट एलिमेंट्स जैसे शास्त्रीय तरीकों की तुलना में उतने ही, या उससे भी अधिक बिट्स की आवश्यकता होती है।

फैसला: यह थोड़ा सा अभिशाप है

तो, क्या न्यूरल नेटवर्क आयामों के अभिशाप को हराते हैं? मौ और जू के अनुसार, उत्तर नहीं है, कम से कम उस तरह से नहीं जैसा हमने सोचा था।

"अभिशाप" वास्तव में आयामों की संख्या के बारे में नहीं है। यह बिट कॉम्प्लेक्सिटी (bit complexity) के बारे में है। किसी फलन का सन्निकटन कितनी अच्छी तरह किया जा सकता है, इसकी मौलिक सीमा इस बात से निर्धारित होती है कि उस फलन में वास्तव में कितनी सूचना (बिट्स) है। यह "मेट्रिक एंट्रॉपी" द्वारा शासित है।

यदि कोई फलन जटिल है, तो उसे वर्णित करने के लिए कई बिट्स की आवश्यकता होती है, चाहे आप कोई भी उपकरण उपयोग करें।
यदि कोई फलन सरल है, तो उसे कम बिट्स की आवश्यकता होती है।

न्यूरल नेटवर्क खेल के नियमों को नहीं बदलते; वे केवल स्कोर गिनने के तरीके को बदलते हैं। जब हम बिट्स के लेंस से खेल को देखते हैं, न कि पैरामीटर्स के, तो न्यूरल नेटवर्क की "श्रेष्ठता" अक्सर गायब हो जाती है। स्पष्ट लाभ, जैसे डायमेंशन-इंडिपेंडेंट रेट्स या सुपरकन्वर्जेंस, अक्सर इसलिए होते हैं क्योंकि न्यूरल नेटवर्क का परीक्षण उन फंक्शन क्लासेस पर किया जा रहा है जो स्वाभाविक रूप से कम जटिल (कम मेट्रिक एंट्रॉपी वाले) हैं, जिनका परीक्षण पारंपरिक तरीकों द्वारा किया जाता है।

यह क्यों महत्वपूर्ण है

यह शोध पत्र यह नहीं कहता कि न्यूरल नेटवर्क बेकार हैं। यह कहता है कि हमें उन्हें कैसे मूल्यांकित किया जाए, इस बारे में अधिक स्मार्ट होने की आवश्यकता है। वास्तविक दुनिया में, कंप्यूटरों की सीमित मेमोरी होती है। वे अनंत सटीकता के साथ स्टोर नहीं कर सकते। यदि कोई विधि कागज पर बहुत अच्छी दिखती है क्योंकि इसमें कम पैरामीटर्स हैं, लेकिन उन पैरामीटर्स को सटीक रूप से स्टोर करने के लिए भारी मात्रा में मेमोरी की आवश्यकता होती है, तो यह वास्तविक दुनिया के अनुप्रयोग के लिए सबसे अच्छा विकल्प नहीं हो सकता है।

लेखक सुझाव देते हैं कि "आयामों का अभिशाप" वास्तव में "बिट कॉम्प्लेक्सिटी का अभिशाप" है। वास्तविक सीमा यह नहीं है कि आपके पास कितने आयाम हैं, बल्कि यह है कि आपको समस्या का वर्णन करने के लिए कितने बिट्स की आवश्यकता है। नॉब्स को गिनने के बजाय बिट्स को गिनने पर ध्यान केंद्रित करके, हमें यह अधिक स्पष्ट और यथार्थवादी तस्वीर मिलती है कि ये शक्तिशाली उपकरण क्या कर सकते हैं और क्या नहीं। यह एक याद दिलाता है कि उच्च-आयामी गणित की दुनिया में, शैतान हमेशा विवरणों में होता है—और वे विवरण बिट्स में मापे जाते हैं।

तकनीकी सारांश: क्या न्यूरल नेटवर्क वास्तव में 'डायमेंशनलिटी के अभिशाप' (Curse of Dimensionality) को हराते हैं? एक बिट-जटिलता दृष्टिकोण

1. समस्या विवरण

उच्च-आयामी सन्निकटन (High-dimensional approximation) वैज्ञानिक गणना और मशीन लर्निंग में एक केंद्रीय चुनौती है, जो पारंपरिक रूप से "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) द्वारा बाधित होती है। शास्त्रीय सन्निकटन सिद्धांत (classical approximation theory) में, एक निर्धारित सटीकता प्राप्त करने के लिए आवश्यक स्वतंत्रता की डिग्री ( $N$ ) अक्सर आयाम ( $d$ ) के साथ तेजी से बढ़ती है। उदाहरण के लिए, सोबोलेव स्पेस (Sobolev spaces) $H^r([0,1]^d)$ में, शास्त्रीय विधियों (बहुपद, परिमित तत्व/finite elements) के लिए इष्टतम अभिसरण दर (optimal convergence rate) $O(N^{-r/d})$ के रूप में स्केल करती है, जहाँ घातांक $d$ बढ़ने के साथ बिगड़ जाता है।

हालिया साहित्य सुझाव देता है कि न्यूरल नेटवर्क (उथले और गहरे दोनों) इस अभिशाप को दूर कर सकते हैं, जो आयाम-स्वतंत्र दरें या "सुपरकन्वर्जेंस" (जैसे, गहरे ReLU नेटवर्क के लिए सोबोलेव स्पेस में $O(N^{-2r/d})$ प्राप्त करना) प्रदर्शित करते हैं। हालाँकि, ये परिणाम आमतौर पर मापदंडों (parameters) की संख्या ( $N$ ) के संदर्भ में मापे जाते हैं।

यह शोध पत्र एक महत्वपूर्ण अंतराल की पहचान करता है: व्यावहारिक गणना सीमित परिशुद्धता (finite precision) के तहत कार्य करती है। मापदंडों को एक निश्चित संख्या में बिट्स का उपयोग करके एनकोड किया जाना चाहिए। लेखक तर्क देते हैं कि दक्षता को केवल मापदंडों की संख्या के आधार पर मापना भ्रामक है क्योंकि यह उन बिट्स की अनदेखी करता है जो उन मापदंडों को पर्याप्त सटीकता के साथ प्रस्तुत करने के लिए आवश्यक हैं। केंद्रीय समस्या यह है कि क्या न्यूरल नेटवर्क वास्तव में शास्त्रीय विधियों पर कोई अंतर्निहित लाभ रखते हैं, इसका पुनर्मूल्यांकन कंप्यूटेशनल बिट जटिलता (computational bit complexity) और मेट्रिक एंट्रॉपी (metric entropy) के दृष्टिकोण से किया जाए।

2. कार्यप्रणाली

लेखक बाइनरी एनकोडिंग और मेट्रिक एंट्रॉपी पर आधारित एक एकीकृत सन्निकटन ढांचे को विकसित करते हैं।

2.1 मेट्रिक एंट्रॉपी और बिट-जटिलता

मुख्य सैद्धांतिक उपकरण मेट्रिक एंट्रॉपी (या डाइएडिक एंट्रॉपी नंबर) $\epsilon_m(K)_X$ है, जिसे एक बानच स्पेस (Banach space) $X$ में एक कॉम्पैक्ट सेट $K$ के लिए न्यूनतम त्रिज्या $\epsilon$ के रूप में परिभाषित किया गया है, जिससे $2^m$ बॉल्स (balls) द्वारा $K$ को कवर किया जा सके।

प्रपोजिशन 2 स्थापित करता है कि $\epsilon_m(K)_X$ , $m$ बिट्स के साथ प्राप्त की जा सकने वाली इष्टतम सन्निकटन त्रुटि के मात्रात्मक रूप से समतुल्य है। इस प्रकार, मेट्रिक एंट्रॉपी फलन वर्ग (function class) की अंतर्निहित सूचना सामग्री (बिट-जटिलता) को चित्रित करती है।
शोध पत्र मापदंड-आधारित दरों (parameters-based rates) और बिट-आधारित दरों (bit-based rates) के बीच अंतर करता है (जहाँ $N_b$ , कुल बिट्स की संख्या है)।

2.2 एनकोडिंग विश्लेषण

कार्यप्रणाली में यह विश्लेषण शामिल है कि शास्त्रीय और न्यूरल नेटवर्क सन्निकटन, सीमित-बिट प्रतिनिधित्व में कैसे परिवर्तित होते हैं:

मापदंड प्रतिनिधित्व (Parameter Representation): एक सन्निकटन विधि एक फलन $f$ को मापदंडों के एक सेट $\Theta \in \mathbb{R}^N$ में मैप करती है।
क्वांटाइजेशन (Quantization): प्रत्येक मापदंड को $\tau$ बिट्स के लिए क्वांटाइज़ किया जाता है, जिसके परिणामस्वरूप कुल बिट बजट $N_b = N\tau$ होता है।
स्थिरता विश्लेषण (Stability Analysis): लेखक पुनर्निर्माण मानचित्र (reconstruction map) $\tilde{S}_N$ के लिप्सचिट्ज़ स्थिरांक (Lipschitz constant/संवेदनशीलता) का विश्लेषण करते हैं। यदि पुनर्निर्माण मापदंडों के उतार-चढ़ाव (perturbations) के प्रति अत्यधिक संवेदनशील है, तो एक विशिष्ट त्रुटि सहनशीलता बनाए रखने के लिए अधिक $\tau$ (प्रति मापदंड अधिक बिट्स) की आवश्यकता होगी।
निम्न सीमाएँ (Lower Bounds): लेम्मा 2 का उपयोग करते हुए, शोध पत्र लक्षित फलन वर्ग की मेट्रिक एंट्रॉपी और सन्निकटन वर्ग की मेट्रिक एंट्रॉपी के बीच के अंतर के आधार पर सन्निकटन त्रुटियों के लिए निचली सीमाएं (lower bounds) प्राप्त करता है।

3. मुख्य योगदान और परिणाम

3.1 शास्त्रीय विधियाँ (बहुपद, FEM, स्पार्स ग्रिड)

शोध पत्र बिट-जटिलता ढांचे के तहत शास्त्रीय विधियों (बहुपद सन्निकटन, परिमित तत्व, स्पार्स ग्रिड) का विश्लेषण करता है।

परिणाम: सोबोलेव स्पेस $H^r$ के लिए शास्त्रीय विधियों का सन्निकटन करने वाला मापदंड-आधारित दर $O(N^{-r/d})$ है। जब इसे बिट-आधारित दरों में परिवर्तित किया जाता है, तो अभिसरण $O((N_b / \log N_b)^{-r/d})$ हो जाता है।
उप-इष्टतमता (Suboptimality): लेखक दिखाते हैं कि ये विधियाँ आम तौर पर फलन वर्गों की अंतर्निहित मेट्रिक एंट्रॉपी सीमाओं के सापेक्ष उप-इष्टतम (suboptimal) हैं। $H^r$ की मेट्रिक एंट्रॉपी $m^{-r/d}$ के रूप में घटती है, लेकिन शास्त्रीय विधियाँ अक्सर बिट बाधाओं पर विचार करने पर इस दर को प्राप्त करने में विफल रहती हैं, विशेष रूप से मापदंडों को एनकोड करने में होने वाले लॉगरिदमिक ओवरहेड के कारण।

3.2 न्यूरल नेटवर्क: उथले और गहरे

शोध पत्र बैरॉन स्पेस (Barron spaces) और सोबोलेव स्पेस पर न्यूरल नेटवर्क (ReLU और $\text{ReLU}^k$ ) के प्रदर्शन का पुनर्मूल्यांकन करता है।

बैरॉन स्पेस पर उथले नेटवर्क (Shallow Networks):
- उथले नेटवर्क बैरॉन स्पेस पर $O(N^{-1/2 - (2k+1)/2d})$ की मापदंड-आधारित दर प्राप्त करते हैं।
- बिट-जटिलता दृष्टिकोण: बिट एनकोडिंग को ध्यान में रखते हुए, दर बैरॉन स्पेस की मेट्रिक एंट्रॉपी के तुल्य बनी रहती है। "आयाम-स्वतंत्र" उपस्थिति का कारण बैरॉन स्पेस की कम मेट्रिक एंट्रॉनी है, न कि कोई वास्तुशिल्प श्रेष्ठता (architectural superiority)। लक्षित वर्ग स्वयं सोबोलेव स्पेस की तुलना में कम जटिल है।
गहरे नेटवर्क और सुपरकन्वर्जेंस (Deep Networks and Superconvergence):
- दिखाया गया है कि गहरे ReLU नेटवर्क सोबोलेव स्पेस में $O(N^{-2r/d})$ की "सुपरकन्वर्जेंस" दर प्राप्त कर सकते हैं, जो शास्त्रीय विधियों की तुलना में घातांक को दोगुना कर देती है।
- बिट-जटिलता दृष्टिकोण: लेखक प्रदर्शित करते हैं कि यह सुधार मापदंडों की गिनती का एक भ्रम (artifact) है। लेम्मा 1 सिद्ध करता है कि गहरे नेटवर्क के लिए पुनर्निर्माण मानचित्र मापदंडों के उतार-चढ़ाव के प्रति घातांकीय संवेदनशीलता (exponential sensitivity) प्रदर्शित करता है (लिप्सचिट्ज़ स्थिरांक $(n+1)(W+1)^{n+1}M^{n+1}$ के रूप में बढ़ता है)।
- समान सटीकता बनाए रखने के लिए, आवश्यक परिशुद्धता (प्रति मापदंड बिट्स) नेटवर्क के आकार के साथ बहुपद रूप से बढ़ती है। फलस्वरूप, गहरे नेटवर्क के लिए बिट-आधारित दर $O(N_b^{-2r/3d})$ (या स्थिरांकों के आधार पर समान) तक गिर जाती है, जो शास्त्रीय $O(N_b^{-r/d})$ दर से अधिक नहीं होती है। "सुपरकन्वर्जेंस" को स्थिर परिमित-परिशुद्धता प्रतिनिधित्व के लिए आवश्यक विशाल बिट लागत द्वारा संतुलित कर दिया जाता है।

3.3 निचली सीमाएँ और इष्टतमता

मेट्रिक एंट्रॉपी ढांचे का उपयोग करते हुए, शोध पत्र मौलिक निचली सीमाएं स्थापित करता है:

कोई भी विधि लक्षित फलन वर्ग की मेट्रिक एंट्रॉपी द्वारा निर्धारित सन्निकटन क्रम (approximation order) से मौलिक रूप से आगे नहीं बढ़ सकती।
न्यूरल नेटवर्क के कई स्पष्ट लाभ (आयाम स्वतंत्रता, सुपरकन्वर्जेंस) कम जटिलता वाले फलन वर्गों (जैसे, बैरॉन स्पेस) के विश्लेषण या स्थिरता के लिए बिट लागत की अनदेखी (गहरे नेटवर्क के मामले में) से उत्पन्न होते हैं।

4. महत्व और निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि "डायमेंशनलिटी का अभिशाप" उच्च-आयामी सन्निकटन का एक अंतर्निहित गुण नहीं है, बल्कि मेट्रिक एंट्रॉपी द्वारा नियंत्रित बिट जटिलता का अभिशाप है।

अभिशाप का पुनर्निर्धारण: मौलिक सीमा स्वयं आयाम $d$ नहीं है, बल्कि सन्निकटन किए जा रहे फलन वर्ग की मेट्रिक एंट्रॉपी है। यदि किसी फलन वर्ग की मेट्रिक एंट्रॉनी कम है (जैसे, बैरॉन स्पेस), तो इसे आयाम की परवाह किए बिना कुशलतापूर्वक सन्नुन्न किया जा सकता है।
न्यूरल नेटवर्क की सीमाएँ: न्यूरल नेटवर्क के पास कोई अंतर्निहित वास्तुशिल्प लाभ नहीं है जो उन्हें मेट्रिक एंट्रॉपी द्वारा निर्धारित सीमाओं को पार करने की अनुमति दे।
- विशिष्ट वर्गों (बैरॉन) पर उनकी सफलता उन वर्गों की कम जटिलता के कारण है।
- गहरे नेटवर्क में उनका "सुपरकन्वर्जेंस" मापदंड-गणना का एक भ्रम है जो परिमित-परिशुद्धता बाधाओं (बिट जटिलता) को लागू करने पर गायब हो जाता है।
व्यावहारिक निहितार्थ: व्यावहारिक, परिमित-परिशुद्धता गणना में, मापदंडों को प्रस्तुत करने की बिट लागत वास्तविक बाधा है। वे तरीके जो मापदंडों की संख्या में बेहतर दिखाई देते हैं, स्थिरता के कारण बिट जटिलता के मामले में निम्न हो सकते हैं।

लेखक का दावा है कि मेट्रिक एंट्रॉपी और बिट जटिलता पर आधारित एक एकीकृत दृष्टिकोण सन्निकटन विधियों के मूल्यांकन के लिए अधिक सटीक और यथार्थवादी बेंचमार्क प्रदान करता है, जो यह प्रकट करता है कि पारंपरिक शास्त्रीय विधियाँ और न्यूरल नेटवर्क दोनों ही समान मौलिक सूचना-सैद्धांतिक सीमाओं के अधीन हैं।