🤖 machine learning

Dynamic Nested Hierarchies: Pioneering Self-Evolution in Machine Learning Architectures for Lifelong Intelligence

यह शोध पत्र डायनेमिक नेस्टेड हायरार्कियाँ (dynamic nested hierarchies) प्रस्तुत करता है, जो एक नवीन मशीन लर्निंग फ्रेमवर्क है जो स्व-विकसित आर्किटेक्चर को अपने अनुकूलन संरचनाओं और अपडेट आवृत्तियों को स्वायत्त रूप से समायोजित करने में सक्षम बनाता है, जिससे गैर-स्थिर वातावरणों में सुदृढ़ आजीवन शिक्षण (lifelong learning) और अनुकूलन क्षमता प्राप्त करने के लिए कठोर मॉडलों की सीमाओं को दूर किया जा सके।

मूल लेखक: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akbar Anbar Jafari, Cagri Ozcinar, Gholamreza Anbarjafari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को सीखना सिखाने की कोशिश कर रहे हैं। आज के अधिकांश रोबोट उन छात्रों की तरह हैं जिन्होंने एक विशिष्ट पाठ्यपुस्तक को पूरी तरह से रट लिया है, लेकिन जब शिक्षक किसी दूसरे अध्याय से प्रश्न पूछता है या दुनिया उनके चारों ओर बदल जाती है, तो वे सुन्न पड़ जाते हैं। उनके पास एक "कठोर" मस्तिष्क संरचना है जो आसानी से अनुकूलित नहीं हो सकती।

यह शोध पत्र मशीन लर्निंग मॉडल बनाने का एक नया तरीका पेश करता है जिसे डायनेमिक नेस्टेड हाइरार्कीज़ (Dynamic Nested Hierarchies - DNH) कहा जाता है। इसे एक ऐसे रोबोट के दिमाग की तरह समझें जो सीखने के दौरान खुद को भौतिक रूप से विकसित, छोटा और पुनर्गठित कर सकता है, ठीक वैसे ही जैसे हमारे नए अनुभवों के साथ मानव मस्तिष्क बदलता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इस शोध पत्र के मुख्य विचारों का विवरण दिया गया है:

1. समस्या: "एन्टेरोग्रेड एमनेशिया" (Anterograde Amnesia) वाला रोबोट

वर्तमान AI मॉडल एक ऐसी लाइब्रेरी की तरह हैं जिसमें अलमारियों की संख्या निश्चित है। यदि आप लाइब्रेरी बनने के बाद उसमें नई किताबें (नया ज्ञान) जोड़ने की कोशिश करते हैं, तो या तो आपको पुरानी किताबें फेंकनी पड़ती हैं (जो आप जानते थे उसे भूल जाना) या लाइब्रेरी इतनी अस्त-व्यस्त हो जाती है कि कुछ भी ढूँढना मुश्किल हो जाता है।

शोध पत्र का शब्द: "एन्टेरोग्रेड एमनेशिया" (Anterograde amnesia)।
उपमा: कल्पना कीजिए कि एक छात्र गणित की परीक्षा के लिए पढ़ता है, पास होता है, और फिर उन्नत कैलकुलस (advanced calculus) सीखने की कोशिश में बुनियादी जोड़-घटाव करना तुरंत भूल जाता है। वह नया सीखने के साथ पुराना ज्ञान बनाए नहीं रख पाता।

2. समाधान: एक मस्तिष्क जो बढ़ता और सिकुड़ता है

लेखक डायनेमिक नेस्टेड हाइरार्कीज़ (DNH) का प्रस्ताव देते हैं। एक निश्चित लाइब्रेरी के बजाय, एक ऐसी लेगो (Lego) संरचना की कल्पना करें जो अपना आकार बदल सकती है।

नेस्टेड स्तर (Nested Levels): सीखने को रूसी नेस्टिंग डॉल्स (Russian nesting dolls) के एक सेट के रूप में सोचें। बाहरी गुड़िया बड़े, धीमे परिवर्तनों को संभालती है (जैसे किसी भाषा का सामान्य विचार), जबकि भीतरी गुड़िया तेज़, विशिष्ट विवरणों को संभालती है (जैसे कोई नया स्लैंग शब्द)।
"डायनेमिक" भाग: पुराने मॉडलों में, गुड़ियों की संख्या निश्चित थी। DNH में, मॉडल कठिन होने पर एक नई गुड़िया जोड़ सकता है, या यदि उसकी आवश्यकता न हो तो एक गुड़िया हटा सकता है। यह यह भी बदल सकता है कि प्रत्येक गुड़िया कितनी तेज़ी से घूमती है (अपडेट फ्रीक्वेंसी)।

3. यह कैसे काम करता है: "स्व-विकसित" तंत्र (Self-Evolving Mechanism)

शोध पत्र तीन मुख्य तरीकों का वर्णन करता है जिनसे यह मॉडल विकसित होता है, जो मानव मस्तिष्क के कार्य करने के तरीके (न्यूरोप्लास्टिसिटी) से प्रेरित है:

स्तर जोड़ना (बढ़ना): यदि मॉडल नए डेटा से भ्रमित या आश्चर्यचकित होता है, तो यह जटिलता को संभालने के लिए "सोचने" का एक नया स्तर स्वचालित रूप से जोड़ लेता है।
- उपमा: यदि आप एक परिचित सड़क पर गाड़ी चला रहे हैं और अचानक एक बड़े निर्माण कार्य (construction zone) में पहुँच जाते हैं, तो आप केवल तेज़ नहीं चलाते; आप एक नक्शा निकालते हैं, एक दोस्त को फोन करते हैं, और शायद दिशा-निर्देश पूछने के लिए रुकते भी हैं। आप अपनी प्रक्रिया में नए "उपकरण" जोड़ते हैं।
प्रूनिंग (काँटना/छँटाई): यदि मॉडल का कोई हिस्सा उपयोग में नहीं आ रहा है या भ्रम पैदा कर रहा है, तो मॉडल कुशलता बनाए रखने के लिए उसे काट देता है।
- उपमा: एक माली की तरह जो पेड़ की स्वस्थ नई पत्तियाँ उगाने के लिए अपनी ऊर्जा केंद्रित करने हेतु मृत शाखाओं को काट देता है।
फ्रीक्वेंसी मॉड्यूलेशन (गति बदलना): मॉडल के कुछ हिस्से बहुत तेज़ी से अपडेट होते हैं (अचानक परिवर्तनों के लिए), जबकि अन्य स्थिर तथ्यों (stable facts) के लिए धीरे-धीरे अपडेट होते हैं। मॉडल तय करता है कि डेटा के आधार पर उसे किस गति का उपयोग करना चाहिए।
- उपमा: जब आप एक तेज़ आवाज़ सुनते हैं, तो आपका मस्तिष्क तुरंत प्रतिक्रिया करता है (तेज़ फ्रीक्वेंसी)। जब आप एक शांत किताब पढ़ रहे होते हैं, तो आपका मस्तिष्क धीरे-धीरे प्रोसेस करता है (धीमी फ्रीक्वेंसी)। DNH इसे स्वचालित रूप से करता है।

4. शोध पत्र क्या सिद्ध करने का दावा करता है

लेखकों ने केवल इसे बनाया ही नहीं है; उन्होंने गणितीय रूप से सिद्ध किया है कि यह पुराने तरीके से बेहतर क्यों है।

अभिसरण (Convergence): उन्होंने गणितीय रूप से सिद्ध किया कि भले ही डेटा लगातार बदलता रहे (जैसे कि एक बदलता हुआ परिदृश्य), यह मॉडल बिना अटके या पागल हुए एक अच्छा समाधान खोज लेगा।
अभिव्यक्ति क्षमता (Expressivity): उन्होंने दिखाया कि क्योंकि मॉडल अपनी गहराई (depth) बदल सकता है, इसलिए यह एक निश्चित आकार वाले मॉडल की तुलना में अधिक जटिल चीजों को समझ सकता है।
कम भूलना (Less Forgetting): उन परीक्षणों में जहाँ मॉडल को एक के बाद एक विभिन्न कार्यों को सीखना था, DNH ने मानक मॉडलों की तुलना में बहुत कम चीज़ें भूलीं। इसने नए कार्यों को सीखते समय "पुराने" कार्यों को याद रखा।

5. परिणाम: "DNH-HOPE" मॉडल

शोधकर्ताओं ने इसका एक विशिष्ट संस्करण बनाया जिसे DNH-HOPE कहा जाता है और इसकी अन्य प्रसिद्ध AI मॉडलों के साथ तुलना की।

भाषा (Language): यह वाक्य में अगले शब्द की भविष्यवाणी करने में बेहतर था, विशेष रूप से बहुत लंबी कहानियों (128,000 शब्दों तक) में।
तर्क (Reasoning): यह सामान्य ज्ञान वाले प्रश्नों के उत्तर देने में बेहतर था (जैसे कि "कौन सा भारी है: एक पंख या एक ईंट?")।
निरंतर सीखना (Continual Learning): जब इसे क्रमवार 10 अलग-अलग कार्य सीखने के लिए मजबूर किया गया, तो इसने प्रतिस्पर्धा की तुलना में अपने पहले के कार्यों की स्मृति को बहुत बेहतर तरीके से बनाए रखा।

सारांश

संक्षेप में, यह शोध पत्र AI के लिए एक नए आर्किटेक्चर का प्रस्ताव करता है जो "स्थिर मूर्ति" बनना बंद करता है और एक "जीवित जीव" की तरह कार्य करना शुरू करता है। यह भ्रमित होने पर अपने नए हिस्से बना सकता है, उन हिस्सों को काट सकता है जिनकी उसे आवश्यकता नहीं है, और स्थिति के आधार पर अपनी सीखने की प्रक्रिया को तेज़ या धीमा कर सकता है। परिणाम एक ऐसा AI है जो कल सीखी गई चीज़ों को भूले बिना अपने जीवन में निरंतर सीख सकता है।

तकनीकी सारांश: आजीवन बुद्धिमत्ता के लिए गतिशील नेस्टेड पदानुक्रम (Dynamic Nested Hierarchies)

1. समस्या विवरण

समकालीन मशीन लर्निंग मॉडल, जिनमें लार्ज लैंग्वेज मॉडल्स (LLMs) शामिल हैं, स्थिर और निश्चित-वितरण वाले कार्यों में उत्कृष्ट हैं, लेकिन गैर-स्थिर (non-stationary) वातावरण में संघर्ष करते हैं। उनकी कठोर संरचनाएं कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) और बिना पुनः प्रशिक्षण के नए ज्ञान को निरंतर प्राप्त करने की अक्षमता की ओर ले जाती हैं, जिसे लेखक एन्टेरोग्रेड एमनेशिया (anterograde amnesia) के समान बताते हैं।

नेस्टेड लर्निंग (NL) [4] प्रतिमान, जिसने पहले मॉडलों को उच्च-स्तरीय इन-कॉन्टेक्स्ट लर्निंग को सक्षम करने के लिए निश्चित अपडेट आवृत्तियों के साथ बहु-स्तरीय अनुकूलन समस्याओं में विभाजित किया था, वह अपने स्थिर पदानुक्रम (static hierarchy) द्वारा सीमित है। स्तरों की निश्चित संख्या और अपडेट आवृत्तियाँ NL मॉडलों को विकसित होते डेटा वितरण या गतिशील संदर्भ प्रवाह के अनुकूल होने से रोकती हैं। मौजूदा गतिशील दृष्टिकोण (जैसे, EvoNet, Growing Neural Networks) अक्सर स्वायत्त पदानुक्रम विकास के लिए एक एकीकृत ढांचे की कमी रखते हैं, जिससे अस्थिर संदर्भों को संभालने में अक्षमता आती है।

2. कार्यप्रणाली: डायनेमिक नेस्टेड हायरार्कीज़ (DNH)

यह शोध पत्र डायनेमिक नेस्टेड हायरार्कीज़ (DNH) प्रस्तावित करता है, जो NL प्रतिमान का एक विस्तार है जो मॉडलों को प्रशिक्षण और अनुमान (inference) के दौरान अपने आर्किटेक्चर को स्वायत्त रूप से समायोजित करने में सक्षम बनाता है। DNH मॉडल आर्किटेक्चर को एक समय-परिवर्तित निर्देशित अचक्रीय ग्राफ (Directed Acyclic Graph - DAG), $G_t = (V_t, E_t)$ के रूप में मानता है, जहाँ स्तरों की संख्या ( $L_t$ ), नेस्टिंग संरचना, और अपडेट आवृत्तियाँ ( $f^{(\ell)}_t$ ) मेटा-लर्निंग के माध्यम से अनुकूलित होने वाले गतिशील चर हैं।

मुख्य तंत्र

DNH न्यूरोप्लास्टिसिटी (neuroplasticity) से प्रेरित तीन प्राथमिक तंत्रों के माध्यम से स्व-विकास की सुविधा प्रदान करता है:

स्तर जोड़ना (Level Addition): जब मेटा-लॉस थ्रेशोल्ड $\tau$ से अधिक हो जाता है (जो अपर्याप्त अभिव्यक्तता का संकेत देता है), तो एक नया मेमोरी मॉड्यूल $M^{(L_t+1)}_{t+1}$ सम्मिलित किया जाता है। इसके मापदंडों को हेब्बियन-समान (Hebbian-like) नियमों के माध्यम से इनिशियलाइज़ किया जाता है ताकि उन सहसंबंधों को पकड़ा जा सके जिन्हें निश्चित पदानुक्रम छोड़ देता है।
स्तर छंटनी (Level Pruning): रेडंडेंट (अनावश्यक) स्तरों को हटा दिया जाता है यदि उनका ग्रेडिएंट फ्लो में योगदान न्यूनतम है (ग्रेडिएंट नॉर्म द्वारा मापा गया), जो ओवरफिटिंग को रोकता है और कम्प्यूटेशनल सुगमता बनाए रखता है।
आवृत्ति मॉड्यूलेशन (Frequency Modulation): प्रत्येक स्तर की अपडेट आवृत्ति लोकल सरप्राइज सिग्नल (LSS) के आधार पर अनुकूलित होती है। अस्थिर संदर्भों को संसाधित करने वाले स्तर अपनी अपडेट आवृत्ति बढ़ाते हैं, जबकि स्थिर स्तर इसे कम करते हैं, जो मस्तिष्क तरंग अनुकूलन (जैसे, डेल्टा से गामा आवृत्तियों) की नकल करते हैं।

गणितीय सूत्रीकरण

प्रणाली एक मेटा-ऑप्टिमाइज़ेशन प्रक्रिया द्वारा संचालित होती है:
$G_{t+1} = \arg \min_G \mathcal{L}_{meta}(G; G_t, x_t, \Delta_t)$
जहाँ $\mathcal{L}_{meta}$ में कार्य हानि (task loss), संरचनात्मक परिवर्तन दंड (structural change penalties), और वितरण बदलाव का परिमाणीकरण (कुलबैक-लीब्लर डाइवर्जेंस के माध्यम से) शामिल है। अपडेट आवृत्तियाँ मोमेंटम-आधारित ग्रेडिएंट नियम का पालन करती हैं, जिससे सिस्टम वितरण परिवर्तनों ( $\Delta_t$ ) के प्रति गतिशील रूप से प्रतिक्रिया करने में सक्षम होता है।

लेखक सेल्फ-मॉडिफाइंग मेमोरी (SMM) मॉड्यूल और इवॉल्वेबल एडम (EAdam) ऑप्टिमाइज़र पेश करते हैं, जहाँ हाइपरपैरामीटर्स (जैसे मोमेंटम गुणांक) स्वयं मेटा-ग्रेडिएंट्स के माध्यम से विकसित होते हैं, जिससे मॉडल अपनी स्वयं की अनुकूलन रणनीतियों को परिष्कृत करने में सक्षम होता है।

3. प्रमुख योगदान

आर्किटेक्चरल नवाचार: DNH को एक समय-परिवर्तित DAG के रूप में परिभाषित करना जो अपने गहराई और अपडेट आवृत्तियों को स्वायत्त रूप से विकसित करता है, जो स्थिर नेस्टेड लर्निंग की सीमाओं से परे जाता है।
सैद्धांतिक गारंटी:
- अभिसरण (Convergence): सिद्ध किया गया कि DNH गैर-स्थिर वातावरण में एक स्टेशनरी पॉइंट पर अभिसरित होता है जिसका अपेक्षित ग्रेडिएंट नॉर्म $O(1/T + \delta^2)$ है, जो स्थिर NL की संभावित विचलन (divergence) में सुधार करता है।
- अभिव्यक्तता (Expressivity): प्रदर्शित किया गया कि DNH उन फंक्शन क्लासेस को अनुमानित कर सकता है जिनमें परिवर्तनशील कम्प्यूटेशनल गहराई की आवश्यकता होती है, जिसमें अनुमान त्रुटियां $\epsilon \le O(1/L_t) + \gamma\delta$ द्वारा सीमित हैं।
- रिग्रेट बाउंड्स (Regret Bounds): संरचनात्मक विकास के लिए $O(\sqrt{T}(\delta + \sqrt{d_{max}L_{max}}))$ का सबलीनियर रिग्रेट बाउंड स्थापित किया गया, जो शिफ्टिंग रिजीम में स्थिर मॉडलों के लीनियर रिग्रेट के विपरीत है।
अनुभवजन्य सत्यापन (Empirical Validation): भाषा मॉडलिंग, निरंतर शिक्षण (continual learning), और लंबे संदर्भ तर्क (long-context reasoning) कार्यों पर व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम

लेखकों ने DNH-HOPE (एक DNH कार्यान्वयन जो HOPE मॉड्यूल का विस्तार है) का मूल्यांकन स्टैटिक HOPE, ट्रांसफॉर्मर, RetNet, DeltaNet, और Titans सहित बेसलाइन्स के विरुद्ध किया।

भाषा मॉडलिंग और तर्क: WikiText-103 और LAMBADA पर, DNH-HOPE ने सभी बेसलाइन्स की तुलना में कम परप्लेक्सिटी (PPL) प्राप्त की। 1.3B पैरामीटर मॉडल के लिए, PPL गिरकर 14.92 हो गया (Titans के 15.60 और HOPE के 20.53 के मुकाबले)। कॉमनसेंस रीजनिंग (PIQA, HellaSwag आदि में औसत) में, DNH-HOPE ने 57.84% सटीकता प्राप्त की, जो HOPE (52.26%) और Titans (56.82%) से बेहतर है।
निरंतर शिक्षण (Continual Learning): Permuted MNIST और Split CIFAR-100 पर, DNH-HOPE ने बेहतर औसत सटीकता (AA) और कम बैकवर्ड ट्रांसफर (BWT) (जो कम विस्मृति का संकेत देता है) प्रदर्शित किया। Split CIFAR-100 के लिए, AA 71.6% तक पहुँच गया और BWT -11.1 रहा, जबकि HOPE का AA 68.4% और BWT -15.3 था।
लॉन्ग-कॉन्टेक्स्ट रीजनिंग: RULER बेंचमार्क (128K टोकन तक) पर, DNH-HOPE ने विस्तारित संदर्भ लंबाई (64K+) पर उच्च सटीकता बनाए रखी, जो HOPE से 5–10% बेहतर प्रदर्शन करती है। यह निश्चित विंडो सीमाओं के बिना संदर्भ प्रवाह को गतिशील रूप से संपीड़ित करने की इसकी क्षमता की पुष्टि करता है।
एब्लेशन अध्ययन (Ablation Studies): डायनेमिक स्तरों को हटाने से निरंतर शिक्षण की सटीकता में 2.8% की कमी आई, और फ्रीक्वेंसी मॉड्यूलेशन को हटाने से PPL में 1.2 की वृद्धि हुई, जो दोनों तंत्रों की आवश्यकता को प्रमाणित करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि DNH अनुकूली, सामान्य-उद्देश्य वाली बुद्धिमत्ता की दिशा में एक मौलिक प्रगति का प्रतिनिधित्व करता है। मॉडलों को पूर्व-निर्धारित बाधाओं के बिना अपने अनुकूलन स्तरों और आवृत्तियों को स्वयं विकसित करने में सक्षम बनाकर, DNH वर्तमान मॉडलों के "एन्टेरोग्रेड एमनेशिया" को संबोधित करता है, जिससे वास्तविक आजीवन शिक्षण (lifelong learning) की सुविधा मिलती है।

इसका महत्व निम्नलिखित में निहित है:

गैर-स्थिरता का समाधान: वितरण बदलावों ( $\Delta_t$ ) के अनुकूल होने के लिए एक गणितीय रूप से कठोर ढांचा प्रदान करना, जबकि अभिसरण (convergence) बनाए रखना।
न्यूरोप्लास्टिसिटी-प्रेरित AI: जैविक शिक्षण तंत्रों (सिनैप्टिक कंसोलिडेशन, प्रूनिंग) और मशीन लर्निंग आर्किटेक्चर के बीच के अंतर को पाटना।
स्केलेबिलिटी: सैद्धांतिक सीमाएं बताती हैं कि यह ढांचा फाउंडेशन मॉडल्स के लिए स्केलेबल है, जो जटिल, दीर्घकालिक तर्क कार्यों (जैसे, ओपन-एंडेड संवाद, प्रमेय सिद्ध करना) को संभालने का मार्ग प्रदान करता है जहाँ स्थिर संदर्भ खिड़कियाँ विफल हो जाती हैं।

लेखक DNH को केवल एक क्रमिक सुधार के रूप में नहीं, बल्कि वर्तमान डीप लर्निंग प्रतिमानों की कठोरता को दूर करने के लिए एक आवश्यक विकास के रूप में देखते हैं, जो ऐसे सिस्टम को सक्षम बनाता है जो गतिशील, वास्तविक दुनिया के वातावरण की मांगों को पूरा करने के लिए खुद को स्वायत्त रूप से पुनर्गठित कर सकते हैं।