🤖 machine learning

Scaling Laws and Tradeoffs in Recurrent Networks of Expressive Neurons

यह शोध पत्र ELM नेटवर्क का परिचय देता है, जो जटिल और अभिव्यंजक न्यूरॉन्स का उपयोग करने वाला एक आर्किटेक्चर है, जो यह प्रदर्शित करता है कि एक निश्चित पैरामीटर बजट के तहत, इष्टतम प्रदर्शन इकाइयों की संख्या, उनकी व्यक्तिगत जटिलता और कनेक्टिविटी के बीच एक गैर-तुच्छ (non-trivial) संतुलन से उत्पन्न होता है, जो सरल इकाइयों का उपयोग करने के मशीन लर्निंग के डिफ़ॉल्ट को चुनौती देता है।

मूल लेखक: Aaron Spieler, Georg Martius, Anna Levina

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aaron Spieler, Georg Martius, Anna Levina

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक आर्किटेक्ट हैं जिसे एक सुपर-स्मार्ट कंप्यूटर मस्तिष्क बनाने का काम सौंपा गया है, लेकिन आपके पास "निर्माण सामग्री" (पैरामीटर्स) की एक सख्त सीमा है। आपको यह तय करना होगा कि आप अपना बजट कैसे खर्च करेंगे।

द दशकों से, मशीन लर्निंग का मानक नियम रहा है: "बहुत सरल सैनिकों की एक विशाल सेना बनाएं।" इसे ऐसे सोचें जैसे आपने 10,000 लोगों को काम पर रखा है जो केवल एक सरल गणितीय ऑपरेशन (जैसे दो संख्याओं को जोड़ना) कर सकते हैं। विचार यह है कि यदि आपके पास पर्याप्त संख्या में वे हैं, तो वे कुछ भी हल कर सकते हैं।

हालाँकि, प्रकृति (हमारा वास्तविक मस्तिष्क) अलग तरह से काम करती है। एक एकल जैविक न्यूरॉन एक छोटे, परिष्कृत कारखाने की तरह होता है। इसमें अपनी आंतरिक मशीनरी, स्मृति और सूचना को संसाधित करने के जटिल तरीके होते हैं, इससे पहले कि वह संकेत भेजता है।

यह शोध पत्र एक साहसिक प्रश्न पूछता है: क्या होगा यदि हम सरल सैनिकों की सेना बनाना बंद कर दें और अत्यधिक कुशल, जटिल विशेषज्ञों की एक छोटी टीम बनाना शुरू कर दें?

प्रयोग: "ELM" न्यूरॉन

लेखकों ने एक नया प्रकार का कृत्रिम न्यूरॉन बनाया जिसे ELM (एक्सप्रेसिव लीकी मेमोरी) न्यूरॉन कहा जाता है।

सरल सैनिक: यह बहुत कम याद रख सकता है और बुनियादी गणित करता है।
ELM विशेषज्ञ: इसके पास कई मेमोरी बैंक, जटिल प्रसंस्करण चरण और शोर (noise) को फ़िल्टर करने की क्षमता के साथ अपना स्वयं का "कारखाना" है। यह एक ऐसे सैनिक की तरह है जो अपनी जेब में एक मिनी-कंप्यूटर, एक नोटबुक और एक फिल्टर लेकर चलता है।

उन्होंने ELM न्यूरॉन्स का उपयोग करके नेटवर्क बनाए और उन्हें दो बहुत अलग कार्यों पर परखा:

"जोड़ने" का कार्य (The "Adding" Task): बोले गए नंबरों को सुनना (जैसे फोन कॉल) और उन्हें जोड़ना। यह एक न्यूरोमॉर्फिक (मस्तिष्क जैसा) पहेली की तरह है।
"भाषा" का कार्य (The "Language" Task): एक विशाल टेक्स्ट फ़ाइल (जैसे विकिपीडिया) में अगले अक्षर की भविष्यवाणी करना। यह एक मानक भाषा मॉडल चुनौती है।

बड़ी खोज: "गोल्डिलॉक्स" ज़ोन (The "Goldilocks" Zone)

शोधकर्ताओं ने अपने बजट को खर्च करने के तीन तरीके आजमाए:

अधिक न्यूरॉन्स: अधिक सरल श्रमिकों को काम पर रखना।
अधिक जटिल न्यूरॉन्स: कम कार्यकर्ता, लेकिन उन्हें बेहतर उपकरण और प्रशिक्षण देना (अधिक आंतरिक जटिलता)।
अधिक कनेक्शन: यह सुनिश्चित करना कि कार्यकर्ता आपस में अधिक बार बात करें।

उन्होंने क्या पाया:

व्यक्तिगत रूप से, "अधिक होना बेहतर है": यदि आप एक समय में केवल एक चीज़ को देखते हैं, तो अधिक न्यूरॉन्स होने से मदद मिलती है। अधिक जटिल न्यूरॉन्स होने से मदद मिलती है। अधिक कनेक्शन होने से मदद मिलती है।
ट्रेड-ऑफ (ट्विस्ट): जब आपके पास एक निश्चित बजट होता है, तो आप उपरोक्त सभी चीज़ों को नहीं रख सकते। आपको चुनना होगा।
- यदि आप बहुत अधिक सरल श्रमिकों को काम पर रखते हैं, तो वे समस्या को कुशलतापूर्वक हल करने के लिए बहुत मूर्ख होते हैं।
1. यदि आप बहुत कम सुपर-जटिल विशेषज्ञों को काम पर रखते हैं, तो आपके पास सभी आवश्यक कार्यों को कवर करने के लिए पर्याप्त संख्या नहीं होती है।
- स्वीट स्पॉट (The Sweet Spot): एक सटीक, गैर-स्पष्ट संतुलन है। आपको मध्यम संख्या में मध्यम जटिल न्यूरॉन्स की आवश्यकता होती है। यह "अधिक हमेशा बेहतर है" नहीं है; यह "बिल्कुल सही" होने के बारे में है।

"बजट" का बदलाव

सबसे दिलचस्प हिस्सा यहाँ है: जैसे-जैसे आपका बजट बढ़ता है, "स्वीट स्पॉट" बदल जाता है।

एक छोटे बजट के साथ, आप सरल न्यूरॉन्स का उपयोग करने के लिए मजबूर होते हैं क्योंकि आप जटिल न्यूरॉन्स का खर्च नहीं उठा सकते।
जैसे-जैसे आपके पास अधिक पैसा (पैरामीटर्स) आता है, इष्टतम रणनीति बदल जाती है। आपको केवल अधिक लोग काम पर रखना बंद करना चाहिए और कम लोगों को काम पर रखना शुरू करना चाहिए जो बहुत अधिक स्मार्ट और जटिल हों।
शोध पत्र सुझाव देता है कि यदि आपके पास एक विशाल बजट है, तो सबसे अच्छा डिज़ाइन सरल इकाइयों की एक विशाल भीड़ नहीं है, बल्कि अत्यधिक परिष्कृत, जटिल इकाइयों की एक छोटी टीम है।

सिद्धांत: ऐसा क्यों होता है?

लेखकों ने एक गणितीय मॉडल बनाने के लिए सूचना सिद्धांत (Information Theory) की अवधारणा का उपयोग किया। उन्होंने न्यूरॉन्स की तुलना रेडियो चैनलों से की:

सरल न्यूरॉन: वे सस्ते रेडियो की तरह हैं। वे बनाने में सस्ते हैं (आप बहुत सारे रख सकते हैं), लेकिन वे शोर (static/noise) से भरे होते हैं। संदेश को स्पष्ट रूप से सुनने के लिए आपको बहुत से रेडियो की आवश्यकता होती है।
जटिल न्यूरॉन: वे उच्च श्रेणी के रेडियो की तरह हैं। वे महंगे हैं, लेकिन उनमें बहुत कम शोर है। वे अपने आप में संदेश को स्पष्ट रूप से सुनते हैं।
अतिरेक की समस्या (The Redundancy Problem): यदि आपके पास बहुत सारे सस्ते रेडियो हैं, तो वे सभी एक ही शोर सुनेंगे और एक ही गलतियाँ दोहराएंगे (Redundancy)। यदि आपके पास बहुत कम महंगे रेडियो हैं, तो हो सकता है कि आप संदेश के कुछ हिस्सों को मिस कर दें क्योंकि आपके पास पर्याप्त "कान" नहीं हैं।

गणित बताता है कि सर्वोत्तम प्रदर्शन तब आता है जब आप व्यक्तिगत स्पष्टता (जटिलता) और कानों की संख्या (गिनती) के बीच संतुलन बनाते हैं, ताकि आप कम से कम प्रयास के साथ सबसे अधिक जानकारी प्राप्त कर सकें।

निष्कर्ष

शोध पत्र यह निष्कर्ष निकालता है कि मशीन लर्निंग की लंबे समय से चली आ रही "सरल इकाइयों" का उपयोग करने की आदत सबसे अच्छा विकल्प नहीं हो सकती है, खासकर जब आप ट्रेड-ऑफ को करीब से देखते हैं।

प्रकृति ने लाखों वर्षों से जटिल, मल्टी-टास्किंग प्रोसेसर वाले न्यूरॉन्स विकसित किए हैं। यह शोध पत्र सुझाव देता है कि उस जटिलता (ELM न्यूरॉन्स का उपयोग करके) की नकल करके और "कितने" और "कितने स्मार्ट" के बीच सही संतुलन बनाकर, हम अधिक कुशल और शक्तिशाली AI बना सकते हैं, विशेष रूप से तब जब हम कंप्यूटिंग पावर द्वारा सीमित हों।

संक्षेप में: केवल साधारण लोगों की एक बड़ी सेना न बनाएं। विशेषज्ञों की एक स्मार्ट टीम बनाएं, और अपने बजट के लिए आकार और कौशल का सही मिश्रण खोजें।

तकनीकी सारांश: अभिव्यंजक न्यूरॉन्स के आवर्ती नेटवर्क में स्केलिंग लॉ और ट्रेडऑफ्स

समस्या विवरण

कॉर्टिकल न्यूरॉन्स जटिल, मल्टी-टाइमस्केल प्रोसेसर होते हैं जो साधारण पॉइंट-वाइज नॉन-लिनैरिटी से परे नॉनलीन एकीकरण (nonlinear integration) करने में सक्षम होते हैं। इसके विपरीत, मुख्यधारा की मशीन लर्निंग (ML) मुख्य रूप से अत्यंत सरल इकाइयों (जैसे, मानक पर्सेप्ट्रॉन या LSTM) पर निर्भर करती है, जो शुरुआती न्यूरल नेटवर्क सिद्धांत से विरासत में मिली एक डिफ़ॉल्ट विशेषता है। जबकि कम्प्यूटेशनल न्यूरोसाइंस ने समृद्ध आंतरिक गतिकी और संरचित डेंड्रिटिक एकीकरण को शामिल करने के लिए सिंगल-न्यूरॉन मॉडल को परिष्कृत किया है, और ML ने नेटवर्क को चौड़ा करके और परतों को स्टैक करके प्रदर्शन को बढ़ाया है, ये दोनों क्षेत्र काफी हद तक अलग-अलग अक्षों (axes) पर विकसित हुए हैं।

केंद्रीय मानदण्ड संबंधी प्रश्न यह है: एक निश्चित पैरामीटर बजट $P$ को इकाइयों की संख्या $N$ , प्रति-इकाई प्रभावी जटिलता $k_e$ , और प्रति-इकाई कनेक्टिविटी $k_c$ के बीच कैसे अनुकूलित रूप से आवंटित किया जाना चाहिए? वर्तमान ML स्केलिंग लॉ मॉडल के आकार, डेटा और कंप्यूट पर ध्यान केंद्रित करते हैं, लेकिन प्रति-इकाई जटिलता के साथ स्केलिंग अभी भी काफी हद तक अनछुआ है। लेखक यह तर्क देते हैं कि यह धारणा कि सरल इकाइयाँ एक स्पष्ट रूप से इष्टतम डिफ़ॉल्ट हैं, त्रुटिपूर्ण हो सकती है जब यूनिट काउंट, यूनिट कॉम्प्लेक्सिटी और कनेक्टिविटी के बीच ट्रेडऑफ सतह की जांच की जाती है।

कार्यप्रणाली

ELM नेटवर्क आर्किटेक्चर

इस ट्रेडऑफ की जांच करने के लिए, लेखक ELM नेटवर्क पेश करते हैं, जो एक्सप्रेसिव लीकी मेमोरी (ELM) न्यूरॉन्स से बना एक आवर्ती (recurrent) आर्किटेक्चर है। यह डिज़ाइन $N$ , $k_e$ , और $k_c$ को स्वतंत्र रूप से ट्यून करने की अनुमति देता है जबकि कई ऑर्डर्स ऑफ मैग्नीट्यूड में स्थिर प्रशिक्षण बनाए रखता है।

ELM न्यूरॉन: एक आवर्ती सेल जिसमें निम्नलिखित विशेषताएं हैं:
- संरचित सिनैप्टिक एकीकरण (Structured Synaptic Integration): इनपुट को भारित (weighted) किया जाता है, शाखाओं में समूहबद्ध किया जाता है, और जोड़ा जाता है।
- नॉनलीन आंतरिक गणना: ब्रांच एक्टिवेशन और डीकेड मेमोरी स्टेट्स एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) से गुजरते हैं।
- मल्टी-टाइमस्केल मेमोरी: सीखने योग्य टाइमस्केल्स के साथ मेमोरी यूनिट्स का लीकी इंटीग्रेशन।
- टेम्पोरल हाई-पास फ़िल्टरिंग: लीनियर मेमोरी रीडआउट के एक्सपोनेंशियल मूविंग एवरेज (EMA) को ReLU एक्टिवेशन से पहले घटाया जाता है, जो प्रशिक्षण को स्थिर करता है और धीमी दोलनों (oscillations) को फ़िल्टर करता है।
नेटवर्क: ELM न्यूरॉन्स की एक विस्तृत आवर्ती हिडन लेयर से बना है, जिसके बाद एक सरल फीड-फॉरवर्ड रीडआउट लेयर और एक लीनियर आउटपुट प्रोजेक्शन है।
बजट परिभाषा: कुल पैरामीटर बजट को $P = N(k_e + k_c)$ के रूप में परिभाषित किया गया है, जहाँ $k_e$ आंतरिक न्यूरॉन पैरामीटर्स (MLP वेट्स, रीडआउट वेट्स) को दर्शाता है और $k_c$ कनेक्शन पैरामीटर्स (सिनैप्टिक वेट्स) को दर्शाता है।

प्रयोगात्मक सेटअप

लेखकों ने मॉडल का मूल्यांकन दो गुणात्मक रूप से भिन्न बेंचमार्क पर किया:

SHD-Adding: एक न्यूरोमॉर्फिक बेंचमार्क जिसमें स्पैटियो-टेम्पोरल स्पाइक पैटर्न के रूप में एनकोडेड बोले गए अंकों का योग शामिल है।
Enwik8: विकिपीडिया के पहले $10^8$ बाइट्स का उपयोग करके एक कैरेक्टर-लेवल लैंग्वेज मॉडलिंग कार्य।
लेखकों ने तीन ऑर्डर्स ऑफ मैग्नीट्यूड में पैरामीटर्स के माध्यम से $N$ , $k_e$ (मेमोरी यूनिट्स $d_m$ और MLP डेप्थ/विड्थ के माध्यम से), और कनेक्टिविटी ( $k_c$ ) को स्वैप (sweep) करते हुए प्रयोग किए।

सैद्धांतिक ढांचा

इन प्रयोगात्मक ट्रेडऑफ्स को समझाने के लिए, लेखक एक क्लोज्ड-फॉर्म इन्फॉर्मेशन-थ्योरेटिक मॉडल प्रस्तावित करते हैं जो न्यूरल लेयर को शोर वाले चैनलों के संग्रह के रूप में मानता है।

प्रभावी प्रतिनिधित्व सूचना ( $I_{rep}$ ): कार्य-प्रासंगिक सिग्नल और शोर वाली लेयर आउटपुट के बीच म्यूचुअल इंफॉर्मेशन के रूप में परिभाषित है।
मुख्य धारणाएं:
1. गॉसियन सिग्नल और शोर।
2. पावर-लॉ सिग्नल कोवेरिएंस स्पेक्ट्रम ( $\lambda_i \propto i^{-\beta}$ ), जहाँ $\beta$ न्यूरॉन्स के बीच रेडंडेंसी (redundancy) को कैप्चर करता है।
3. प्रति-न्यूरॉन शोर $k_e$ के साथ पावर-लॉ के रूप में घटता है जब तक कि वह एक फ्लोर पर संतृप्त (saturate) नहीं हो जाता ( $\sigma_n^2 \propto \max((\gamma k_e)^{-\alpha}, q_\infty)$ ), जहाँ $\alpha$ स्पैटियो-टेम्पोरल इंटीग्रेशन एक्सप्रेसिविटी को कैप्चर करता है।
4. $P$ के बीच वितरित निश्चित बजट।
परिणामित सूत्र:
$I_{rep}(k_e) = \frac{1}{2} \sum_{i=1}^{P/(k_e+k_c)} \log_2 \left( 1 + s(k_e) i^{-\beta} \right)$
जहाँ $s(k_e)$ सिग्नल-टू-नॉइज़ रेशियो (SNR) पर निर्भर करता है।

मुख्य परिणाम

1. मोनोटोनिक स्केलिंग बनाम गैर-तुच्छ ट्रेडऑफ्स (Non-Trivial Tradeoffs)

व्यक्तिगत अक्ष (Individual Axes): जब $N$ , $k_e$ , या कनेक्टिविटी ( $k_c$ ) को व्यक्तिगत रूप से स्केल किया जाता है, तो प्रदर्शन निरंतर (monotonically) सुधरता है।
निश्चित बजट ट्रेडऑफ: एक निश्चित पैरामीटर बजट के तहत, $N$ $N$ और $k_e$ $k_{e}$ के बीच एक स्पष्ट, गैर-तुच्छ इष्टतम (optimum) उभरता है।
- बहुत कम न्यूरॉन्स या बहुत सरल न्यूरॉन्स वाले नेटवर्क खराब प्रदर्शन करते हैं।
- इष्टतम बिंदु तीक्ष्ण (sharp) है, विशेष रूप से बाइनरी स्पाइकिंग सरोगेट्स का उपयोग करते समय।
बजट शिफ्ट: जैसे-जैसे कुल बजट $P$ बढ़ता है, इष्टतम कॉन्फ़िगरेशन अधिक न्यूरॉन्स और अधिक जटिल न्यूरॉन्स दोनों की ओर शिफ्ट होता है (उदाहरण के लिए, जब बजट चार गुना हो जाता है, तो $N=512, d_m=15$ से $N=1024, d_m=25$ की ओर शिफ्ट होना)।

2. कनेक्टिविटी और रिकरेंस (Recurrence)

कनेक्टिविटी: सिनैप्स की संख्या ( $d_s$ ) बढ़ाने से प्रदर्शन में सुधार होता है। एक बार पर्याप्त फीडफॉरवर्ड कनेक्शन होने के बाद, अतिरिक्त प्रदर्शन लाभ लगभग पूरी तरह से रिकरेंट कनेक्शन द्वारा संचालित होते हैं।
रिकरेंस अंश (Recurrence Fraction): बड़े नेटवर्क उच्च रिकरेंट कनेक्शन अंश ( $\rho_{rec}$ ) को प्राथमिकता देते हैं।
जटिलता बनाम कनेक्टिविटी: न्यूरॉन जटिलता और कनेक्टिविटी के बीच पैरामीटर्स को विभाजित करने से $N_{rec}$ कनेक्शन के आसपास एक इष्टतम प्राप्त होता है।

3. सैद्धांतिक सत्यापन

इन्फॉर्मेशन-थ्योरेटिक मॉडल प्रयोगात्मक स्केलिंग आकृतियों को गुणात्मक रूप से पुनरुत्पादित करता है, जिसमें इष्टतम का स्थान और बजट के साथ उसका बदलाव शामिल है।
पैरामीटर व्याख्यात्मकता (Interpretability):
- $\alpha$ (शोर क्षय घातांक) स्पैटियो-टेम्पोरल इंटीग्रेशन सेटिंग्स (जैसे, $l_{mlp}$ , $\tau_{max}$ ) के साथ सह-संबंधित है। सिंगल-न्यूरॉन बेंचमार्क पर प्रयोगात्मक माप $k_e$ के साथ एरर में पावर-लॉ रिडक्शन की पुष्टि करते हैं।
- $\beta$ (स्पेक्ट्रल डिके एक्सपोनेंट) कनेक्टिविटी के साथ सह-संबंधित है। कम कनेक्टिविटी $\beta$ को बढ़ाती है (उच्च रेडंडेंसी), जिससे इष्टतम बड़े न्यूरॉन्स की ओर शिफ्ट हो जाता है।
सात एब्लेशन प्रयोगों में डेटा के टू-द-थ्योरी फिट के लिए किया गया जॉइंट फिट $r=0.98$ का पियर्सन सहसंबंध प्राप्त करता है, और फिट किए गए पैरामीटर्स स्वतंत्र मापों से मेल खाते हैं।

4. स्केलिंग रेसिपी

एक स्ट्रक्चर्ड हाइपरपैरामीटर सर्च ने एक सरल स्केलिंग रेसिपी की पहचान की जो दोनों डेटासेट पर प्रयोगात्मक पारेटो फ्रंटियर (Pareto frontier) को ट्रैक करती है:

$d_m \sim \sqrt{N_{rec}}$
$d_{mlp} = 2d_m$
$d_{tree} = 2d_{mlp}$
$d_{branch} = d_{tree}$
यह रेसिपी प्रति-न्यूरॉन कनेक्टिविटी को आक्रामक रूप से स्केल करती है, जो $\beta$ के सैद्धांतिक महत्व के अनुरूप है।

महत्व और दावे

यह पेपर जटिल स्पैटियो-टेम्पोरल इंटीग्रेटर्स पर कॉर्टेक्स की निर्भरता पर एक मानदण्ड संबंधी लेंस (normative lens) प्रदान करने का दावा करता है। यह प्रदर्शित करके कि बजट बाधाओं के तहत सरल-यूनिट डिफ़ॉल्ट स्पष्ट रूप से इष्टतम नहीं हैं, यह कार्य सुझाव देता है कि:

जटिल प्रति-इकाई मशीनरी रिकरेंट कंप्यूटेशन के लिए एक बजट-कुशल डिज़ाइन विकल्प है।
यूनिट काउंट और यूनिट कॉम्प्लेक्सिटी के बीच का ट्रेडऑफ मौलिक सूचना-सैद्धांतिक सिद्धांतों द्वारा शासित है: प्रति-न्यूरॉन सिग्नल-टू-नॉइज़ सैचुरेशन और न्यूरॉन्स के बीच रेडंडेंसी।
ML में "सरल-यूनिट" डिफ़ॉल्ट उप-इष्टतम (suboptimal) हो सकता है यदि पूर्ण ट्रेडऑफ सतह की जांच की जाए।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं: फ्रेमवर्क विशिष्ट नेटवर्क टोपोलॉजी और ऑप्टिमाइज़ेशन डायनेमिक्स को एब्सट्रैक्ट करता है; धारणाएं (जैसे पावर-लॉ स्पेक्ट्रा) अनुमानतः लागू होती हैं; और बजट प्रॉक्सी के रूप में पैरामीटर काउंट का उपयोग सीधे मेटाबॉलिक लागत को कैप्चर नहीं करता है, जो प्रत्यक्ष जैविक व्याख्यात्मकता को सीमित करता है। फिर भी, यह कार्य अभिव्यंजक न्यूरॉन्स में स्केलिंग का अध्ययन करने के लिए एक मजबूत मॉडल सिस्टम स्थापित करता है और आर्किटेक्चरल ट्रेडऑफ्स को समझने के लिए एक संक्षिप्त सैद्धांतिक ढांचा प्रदान करता है।