💻 computer science

Function approximation and nonparametric regression with binary and ternary ReLU networks

यह शोध पत्र प्रदर्शित करता है कि गहरे बाइनरी और स्पार्स टर्नरी ReLU नेटवर्क प्रभावी रूप से $\beta$ -Hölder फलनों का सन्निकटन कर सकते हैं और एक लॉगरिदमिक कारक तक, $\beta$ -स्मूथ रिग्रेशन के लिए मिनिमैक्स प्रेडिक्शन रेट प्राप्त कर सकते हैं।

मूल लेखक: Aleksandr Beknazaryan

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aleksandr Beknazaryan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को फोटो में बिल्ली को पहचानना या मौसम का पूर्वानुमान लगाना सिखाने की कोशिश कर रहे हैं। इसके लिए, रोबोट एक "न्यूरल नेटवर्क" का उपयोग करता है, जो मूल रूप से गणितीय स्विचों का एक विशाल, बहु-परतीय जाल है। इन स्विचों को सूचना प्रसारित करने वाले छोटे निर्णय-लेने वालों के रूप में समझें। वास्तविक दुनिया में, ये नेटवर्क अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन वे बहुत विशाल, बिजली के भूखे हैं, और अपनी सभी सेटिंग्स को स्टोर करने के लिए भारी मात्रा में मेमोरी की आवश्यकता होती है। यह उन्हें स्मार्टवॉच या ड्रोन जैसे छोटे उपकरणों पर चलाना कठिन बनाता है।

वैज्ञानिक इन नेटवर्कों को उनकी बुद्धिमत्ता खोए बिना छोटा करने की कोशिश कर रहे हैं। एक लोकप्रिय विचार यह है कि नेटवर्क की "सेटिंग्स" (जिन्हें वेट्स कहा जाता है) को बहुत सरल संख्याओं, जैसे कि केवल 0, 1, या -1 होने के लिए मजबूर करना। यह एक शेफ को यह बताने जैसा है कि, "आप पूरे मसालों के रैक के बजाय केवल नमक, काली मिर्च, या बिना किसी मसाले के ही काम कर सकते हैं।" बड़ा सवाल यह है: क्या एक शेफ इतने छोटे भंडार के साथ एक शानदार भोजन बना सकता है? यह शोध पत्र इसी प्रश्न की जांच करता है, विशेष रूप से यह देखते हुए कि ये "सरल-संख्या" वाले नेटवर्क जटिल, लहरदार वक्रों (गणितीय फलनों) की नकल करने और सटीक भविष्यवाणियां करने में कितने अच्छे हैं, भले ही डेटा अव्यवस्थित हो।

शोध पत्र का मुख्य विचार: छोटे उपकरण, बड़े काम

इस शोध पत्र के लेखक, अलेक्सांद्र बेकनाज़रियन ने यह साबित करने का लक्ष्य रखा कि आपको शानदार भोजन बनाने के लिए बहुत बड़े मसालों के रैक की आवश्यकता नहीं है। उन्होंने दिखाया कि गहरे न्यूरल नेटवर्क जो केवल सबसे सरल सामग्रियों—विशेष रूप से बाइनरी वेट्स (केवल +1 और -1) और टेनरी वेट्स (0, +1, और -1)—का उपयोग करते हैं, वे अभी भी जटिल पैटर्न सीखने का भारी काम कर सकते हैं।

एक जटिल फलन (जैसे कि बादल का आकार या उछलती हुई गेंद का पथ) को एक बहुत ही जटिल मूर्ति के रूप में सोचें। आमतौर पर, इसकी एक आदर्श प्रति बनाने के लिए, आपको लग सकता है कि आपको अनंत सटीकता वाले उपकरणों वाले टूलबॉक्स की आवश्यकता है। यह शोध पत्र तर्क देता है कि आप वास्तवं में एक "बाइनरी" या "टेनरी" टूलकिट का उपयोग करके एक लगभग पूर्ण प्रति बना सकते हैं, बशर्ते कि नेटवर्क गहरा हो (इसमें पर्याप्त परतें हों) और वह अपने कुछ सीमित उपकरणों का उपयोग करने में चतुर हो।

मुख्य निष्कर्ष

यह शोध पत्र दो मुख्य बातें सिद्ध करता है, जो इन चुस्त और फुर्तीले मशीनों के निर्माण के लिए एक ब्लूप्रिंट के रूप में कार्य करती हैं:

वे जटिल आकृतियों की नकल कर सकते हैं: लेखक ने प्रदर्शित किया कि इन सरल वेट्स वाले गहरे नेटवर्क "β-Hölder फलनों" (functions) का अनुमान लगा सकते हैं। सरल शब्दों में, इसका अर्थ है कि वे उच्च सटीकता के साथ चिकने, जटिल वक्रों की नकल कर सकते हैं। भले ही नेटवर्क केवल +1, -1, या 0 का उपयोग करने के लिए प्रतिबंधित हो, फिर भी यह लक्षित आकृति के बेहद करीब पहुंच सकता है, बशर्ते कि नेटवर्क पर्याप्त गहरा हो और कनेक्शनों की एक विशिष्ट संख्या का उपयोग करता हो।
वे सर्वश्रेष्ठ के समान भविष्यवाणी कर सकते हैं: शोध पत्र ने "नॉनपैरामीट्रिक रिग्रेशन" (nonparametric regression) को भी देखा, जो एक फैंसी तरीका है यह कहने का कि "डेटा के आधार पर किसी विशिष्ट फॉर्मूले को माने बिना एक मान की भविष्यवाणी करना।" लेखक ने दिखाया कि ये स्पार्स (sparse), टेनरी नेटवर्क (0, +1, -1 का उपयोग करने वाले) भविष्यवाणी के लिए "मिनिमैक्स रेट" (minimax rate) प्राप्त कर सकते हैं। यह एक कठिन शब्द है, लेकिन इसका सीधा सा अर्थ यह है कि वे इस प्रकार की समस्या के लिए सैद्धांतिक रूप से सर्वोत्तम संभव भविष्यवक्ता जितने अच्छे हैं, एक बहुत छोटे "लॉगैरिद्मिक फैक्टर" (एक बहुत छोटा दंड जो धीरे-धीरे बढ़ता है) को छोड़कर।

संक्षेप में, यह शोध पत्र सिद्ध करता है कि आप एक न्यूरल नेटवर्क को उसके बुनियादी ढांचे तक कम कर सकते हैं—इनकी सेटिंग्स के लिए केवल सबसे सरल संख्याओं का उपयोग करके—और फिर भी यह अपनी श्रेणी में शीर्ष प्रदर्शन करेगा।

उन्होंने यह कैसे किया (जादुई ट्रिक)

लेखक ने केवल अनुमान नहीं लगाया; उन्होंने एक गणितीय पुल बनाया। उन्होंने एक ज्ञात परिणाम से शुरुआत की: एक नेटवर्क जो संख्याओं के थोड़े बड़े सेट (0, ±0.5, ±1, ±2) का उपयोग करता था, वह पहले से ही यह काम कर सकता था। फिर, उन्होंने दिखाया कि उस नेटवर्क को केवल सबसे सरल संख्याओं का उपयोग करने वाले नेटवर्क में कैसे बदला जा सकता है।

कल्पना कीजिए कि आपके पास एक रेसिपी है जिसमें "आधा कप चीनी" और "दो कप मैदा" की आवश्यकता है। लेखक ने दिखाया कि उस रेसिपी को कैसे फिर से लिखा जाए ताकि इसमें केवल "एक कप" और "ऋण एक कप" (जो इन नेटवर्कों की दुनिया में, चीजों को रद्द करने वाले स्विच के रूप में कार्य करता है) का उपयोग हो। उन्होंने सिद्ध किया कि नेटवर्क में कुछ अतिरिक्त परतें जोड़कर (इसे गहरा बनाकर), आप केवल सरल संख्याओं का उपयोग करके उन फैंसी संख्याओं के प्रभाव का अनुकरण कर सकते हैं।

उन्होंने यह भी दिखाया कि टेनरी नेटवर्कों (0, +1, -1 का उपयोग करने वाले) के लिए, इस उच्च स्तर की सटीकता प्राप्त करने के लिए आवश्यक कनेक्शनों (वेट्स) की संख्या आश्चर्यजनक रूप से कम है। नेटवर्क "स्पार्स" (sparse) है, जिसका अर्थ है कि इसके अधिकांश कनेक्शन शून्य (बंद) हैं, जो और भी अधिक मेमोरी और ऊर्जा बचाता है।

निचोड़

शोध पत्र यह निष्कर्ष निकालता है कि ये बाइनरी और टेनरी नेटवर्क केवल सैद्धांतिक जिज्ञासाएं नहीं हैं; वे शक्तिशाली उपकरण हैं। वे जटिल फलनों का अनुमान लगा सकते हैं और परिणामों की भविष्यवाणी उतनी सटीकता के साथ कर सकते हैं जो सर्वश्रेष्ठ संभावित तरीकों का मुकाबला करती है, भले ही वे बहुत ही प्रतिबंधात्मक, सरल सामग्रियों से बने हों।

लेखक इस बात को लेकर बहुत आश्वस्त हैं क्योंकि उन्होंने एक गणितीय प्रमाण प्रदान किया है। उन्होंने केवल कंप्यूटर सिमुलेशन नहीं चलाया और यह नहीं कहा कि "यह काम करता हुआ दिखता है।" उन्होंने चरण-दर-चरण दिखाया कि ये नेटवर्क निश्चित सीमाओं के भीतर जरूर काम करेंगे। हालांकि शोध पत्र नोट करता है कि सटीकता एक छोटे लॉगैरिद्मिक दंड (सादगी के लिए एक छोटा मूल्य) के साथ आती है, परिणाम इस बात की पुष्टि करता है कि हम पारंपरिक, विशाल न्यूरल नेटवर्कों के भारी भार को संभालने में असमर्थ उपकरणों पर अत्यधिक कुशल, छोटे-फुटप्रिंट वाले AI मॉडल चला सकते हैं।

तकनीकी सारांश: बाइनरी और टेनरी ReLU नेटवर्क के साथ फलन सन्निकटन (Function Approximation) और नॉनपैरामीट्रिक रिग्रेशन

समस्या विवरण
डीप न्यूरल नेटवर्क (DNNs) वर्गीकरण, पैटर्न पहचान और भविष्यवाणी के लिए मानक उपकरण बन गए हैं। हालांकि, उच्च सटीकता प्राप्त करने के लिए अक्सर उन मॉडलों की आवश्यकता होती है जिनमें मापदंडों (parameters) की संख्या काफी अधिक होती है, जिससे उच्च कम्प्यूटेशनल लागत और मेमोरी संबंधी आवश्यकताएं उत्पन्न होती हैं। यह कम क्षमता वाले उपकरणों पर तैनाती के लिए चुनौतियां पेश करता है। इसे संबोधित करने के लिए, शोधकर्ताओं ने नेटवर्क वेट्स (weights) को विशिष्ट असतत सेटों (discrete sets), विशेष रूप से बाइनरी वेट्स $\{ \pm 1 \}$ और टेनरी वेट्स $\{ 0, \pm 1 \}$ तक सीमित करने के तरीकों का अन्वेषण किया है। जबकि ऐसे नेटवर्क मेमोरी में कमी और ऊर्जा दक्षता के लाभ प्रदान करते हैं, उनकी अभिव्यंजक शक्ति (expressive power) के संबंध में एक सैद्धांतिक अंतराल बना हुआ है: विशेष रूप से, क्या गहरे बाइनरी और टेनरी ReLU नेटवर्क जटिल स्मूथ फलनों (smooth functions) का सन्निकटन कर सकते हैं और वास्तविक-मान वाले अपने समकक्षों के समान नॉनपैरामीट्रिक रिग्रेशन में इष्टतम सांख्यिकीय दरें प्राप्त कर सकते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र प्रतिबंधित वेट सेटों वाले गहरे स्पार्स (sparse) ReLU नेटवर्क की सन्निकटन क्षमताओं की जांच करता है। लेखक $[-1, 1]$ अंतराल में और विशिष्ट सेट $\{0, \pm 1/2, \pm 1, 2\}$ में वेट्स वाले $\beta$ -होल्डर (Hölder) फलनों के सन्निकटन से संबंधित मौजूदा परिणामों पर आधारित कार्य करते हैं।

मुख्य पद्धतिगत योगदान $\{0, \pm 1/2, \pm 1, 2\}$ वेट्स वाले नेटवर्क को सख्ती से बाइनरी $\{ \pm 1 \}$ या टेनरी $\{ 0, \pm 1 \}$ वेट्स वाले नेटवर्क का उपयोग करके सिम्युलेट करने के लिए स्पष्ट मैपिंग का निर्माण करना है। यह निम्नलिखित माध्यम से प्राप्त किया जाता है:

वेट स्केलिंग और होमोजेनिटी (Homogeneity): ReLU एक्टिवेशन फंक्शन की पॉजिटिव होमोजेनिटी ( $\sigma(ax) = a\sigma(x)$ जहाँ $a > 0$ ) का लाभ उठाना ताकि स्केलिंग कारकों को नेटवर्क आर्किटेक्चर में समाहित किया जा सके।
लेयर एक्सपेंशन (Layer Expansion): विशिष्ट लीनियर कॉम्बिनेशन और स्केलिंग ऑपरेशन्स को दोहराने के लिए अतिरिक्त हिडन लेयर्स को पेश करना।
- $\{0, \pm 1/2, \pm 1, 2\}$ वेट्स को सिम्युलेट करने के लिए, लेखक टेनरी वेट्स $\{0, \pm 1\}$ (जो $1/2^{L+3}$ द्वारा स्केल किए गए हैं) का उपयोग करके 2 अतिरिक्त हिडन लेयर्स का उपयोग करते हुए एक नेटवर्क का निर्माण करते हैं। इसमें इनपुट कोاتर्डिनेट्स को दोहराना और लक्षित वेट्स को दर्शाने के लिए $\{0, \pm 1/2\}$ के लीनियर कॉम्बिनेशन का उपयोग करना शामिल है।
- टेनरी वेट्स $\{0, \pm 1/2\}$ को सिम्युलेट करने के लिए, लेखक 3 अतिरिक्त हिडेंडर लेयर्स का उपयोग करके बाइनरी वेट्स $\{ \pm 1 \}$ (जो $1/4^{L+6}$ द्वारा स्केल किए गए हैं) वाला एक नेटवर्क निर्मित करते हैं। इसमें आवश्यक मानों को पुनर्गठित करने के लिए $\pm 1/4$ वेट्स का उपयोग करके इनपुट्स के विशिष्ट लीनियर कॉम्बिनेशन की गणना करना शामिल है।
नॉनपैरामीट्रिक रिग्रेशन विश्लेषण: नॉनपैरामीट्रिक रिग्रेशन के एम्पिरिकल रिस्क मिनिमाइजेशन समस्या पर इन सन्निकटन परिणामों को लागू करना। लेखक $\{0, \pm 1\}$ वेट्स वाले गहरे स्पार्स टेनरी ReLU नेटवर्क का एक क्लास परिभाषित करते हैं और इस क्लास पर एम्पिरिकल रिस्क मिनिज़र के प्रेडिक्शन एरर का विश्लेषण करते हैं।

प्रमुख योगदान और परिणाम

फंक्शन एप्रोक्सिमेशन (थ्योरम 2.2):
यह शोध पत्र सिद्ध करता है कि $[0, 1]^d$ $[0, 1]^{d}$ पर किसी भी फलन $f_0$ $f_{0}$ जो होल्डर बॉल $C^\beta_d(K)$ $C_{d}^{β} (K)$ से संबंधित है, उसे निम्नलिखित द्वारा $\epsilon$ $ϵ$ -सन्निकट (approximate) किया जा सकता है:
- डीप स्पार्स टेनरी ReLU नेटवर्क: टेनरी वेट्स $\{0, \pm 1\}$ (जो $1/2^{L+3}$ के कारक द्वारा स्केल किए गए हैं) वाले नेटवर्क।
- डीप बाइनरी ReLU नेटवर्क: बाइनरी वेट्स $\{ \pm 1 \}$ (जो $1/4^{L+6}$ के कारक द्वारा स्केल किए गए हैं) वाले नेटवर्क।

इन नेटवर्कों की गहराई (depth) और चौड़ाई (width) उन नेटवर्कों के तुल्य है जिनके लिए $\{0, \pm 1/2, \pm 1, 2\}$ वेट्स की आवश्यकता होती है, जिसमें केवल चौड़ाई में एक स्थिरांक कारक (constant factor) की वृद्धि और गहराई में एक छोटा योगात्मक (additive) परिवर्तन होता है। सन्निकटन त्रुटि सीमा (approximation error bound) $O(N^{-\beta/d} + N^{-m})$ के क्रम की रहती है, जहाँ $N$ नेटवर्क के आकार और सैंपल कॉम्प्लेक्सिटी से संबंधित एक पैरामीटर है।

नॉनपैरामीट्रिक रिग्रेशन (थ्योरम 3.1):
लेखक शोर युक्त अवलोकनों $Y_i = f_0(X_i) + \epsilon_i$ से एक अज्ञात रिग्रेशन फंक्शन $f_0$ को रिकवर करने की समस्या पर इन सन्निकटन परिणामों को लागू करते हैं। वे एक हाइपोथीसिस स्पेस $\mathcal{F}_n$ को परिभाषित करते हैं जो $\{0, \pm 1\}$ वेट्स वाले गहरे स्पार्स टेनरी ReLU नेटवर्क से बना है।

मुख्य परिणाम यह स्थापित करता है कि $\mathcal{F}_n$ पर एम्पिरिकल रिस्क मिनिज़र $\hat{f}_n$ का प्रेडिक्शन एरर (मीन स्क्वेर्ड एरर) इस प्रकार संतुष्ट होता है:
$R(\hat{f}_n, f_0) \leq C n^{-\frac{2\beta}{2\beta+d}} \log^2 n$
जहाँ $n$ सैंपल साइज है, $\beta$ स्मूथनेस पैरामीटर है, और $d$ डायमेंशन है।

महत्व और दावे
यह शोध पत्र दावा करता है कि $\{0, \pm 1\}$ वेट्स वाले गहरे स्पार्स टेनरी ReLU नेटवर्क, एक लॉगरिदमिक फैक्टर तक, $\beta$ -स्मूथ रिग्रेशन फंक्शन्स के लिए मिनिमैक्स रेट ऑफ प्रेडिक्शन (minimax rate of prediction) प्राप्त करने के लिए सैद्धांतिक रूप से पर्याप्त हैं। यह प्रदर्शित करता है कि वेट्स को बाइनरी या टेनरी सेटों में अत्यधिक क्वांटाइज (quantize) करने से नॉनपैरामीट्रिक रिग्रेशन कार्यों के लिए मॉडल की सांख्यिकीय दक्षता मौलिक रूप से कम नहीं होती है, बशर्ते कि नेटवर्क की गहराई और स्पर्सिटी को उचित रूप से समायोजित किया जाए।

लेखक अपने कार्य पर जोर देते हैं कि यह $\{0, \pm 1/2, \pm 1, 2\}$ वेट्स वाले नेटवर्कों (संदर्भ [3] से) के पिछले निष्कर्षों का विस्तार करता है, यह दिखाकर कि इन सन्निकटनों को सख्ती से बाइनरी और टेनरी वेट्स के साथ साकार किया जा सकता है। परिणाम उच्च-सटीकता वाले रिग्रेशन कार्यों के लिए बाइनरी और टेनरी नेटवर्क्स के उपयोग के लिए एक सैद्धांतिक औचित्य प्रदान करते हैं, जो यह सुझाव देते हैं कि अनुकूलतम कन्वर्जेंस रेट्स से समझौता किए बिना इन नेटवर्क्स के कम्प्यूटेशनल और मेमोरी लाभों को प्राप्त किया जा सकता है।

शोध पत्र का मुख्य विचार: छोटे उपकरण, बड़े काम

मुख्य निष्कर्ष

उन्होंने यह कैसे किया (जादुई ट्रिक)

निचोड़

इसी तरह के और पेपर