🔬 condensed matter

Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia

यह शोध पत्र प्रूनिंग (pruning) के तहत पूर्णतः-जुड़े (fully-connected) न्यूरल नेटवर्क में सीखने के तीन विशिष्ट चरणों की पहचान करता है—एयूमेंटिया (eumentia), डिमेंशिया (dementia), और एमेंटिया (amentia)—जो पावर-लॉ लॉस स्केलिंग (power-law loss scaling) और एक बेरेज़िंस्की-कोस्टरलिट्ज़-थौलेस जैसी संक्रमण (Berezinskii-Kosterlitz-Thouless-like transition) द्वारा अभिलक्षित हैं, जिससे न्यूरल नेटवर्क के व्यवहार को समझने के लिए एक सांख्यिकीय यांत्रिकी ढांचा स्थापित होता है।

मूल लेखक: Haining Pan, Nakul Aggarwal, J. H. Pixley

प्रकाशित 2026-03-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Haining Pan, Nakul Aggarwal, J. H. Pixley

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बेहद उत्साही छात्र है जो एक बड़ी परीक्षा की तैयारी कर रहा है। इस छात्र के पास लाखों मस्तिष्क कोशिकाएं (न्यूरॉन्स) हैं और वह इतना अधिक तैयार है कि यदि वह अपनी पढ़ाई का आधा हिस्सा भूल भी जाए, तो भी वह परीक्षा पास कर सकता है। आधुनिक AI इसी तरह काम करता है: यह "ओवर-पैरामीटराइज्ड" (over-parameterized) है, जिसका अर्थ है कि इसमें ज़रूरत से कहीं ज़्यादा हिस्से हैं।

इस छात्र को तेज़ और सस्ता बनाने के लिए, हम एक तकनीक का उपयोग करते हैं जिसे प्रूनिंग (pruning) कहा जाता है। हम "बेकार" हिस्सों को हटाने की कोशिश करते हैं। लेकिन हम कितना काट सकते हैं इससे पहले कि छात्र काम करना पूरी तरह बंद कर दे? क्या छात्र केवल थोड़ा धीमा हो जाएगा, या वह अचानक सब कुछ भूल जाएगा?

भौतिकविदों की एक टीम ने इस AI छात्र को एक भौतिक प्रणाली (जैसे पानी का बर्फ में जमना) की तरह मानकर यह देखने का निर्णय लिया कि क्या चीज़ों को काटने से कोई अचानक "फेज़ ट्रांज़िशन" (phase transitions) होता है। उन्होंने AI के लिए तीन अलग-अलग "मानसिक अवस्थाओं" की खोज की, और उन्हें मानवीय संज्ञानात्मक स्थितियों के नाम दिए: यूमेंटिया (Eumentia), डिमेंशिया (Dementia), और एमेंटिया (Amentia)।

यहाँ उनके निष्कर्षों का सरल उपमाओं के साथ विवरण दिया गया है:

1. मन की तीन अवस्थाएँ

शोधकर्ताओं ने AI का परीक्षण करने के लिए न्यूरॉन्स को बेतरतीब ढंग से बंद किया (एक प्रक्रिया जिसे ड्रॉपआउट (Dropout) कहा जाता है) दो अलग-अलग समय पर:

प्रशिक्षण (Training) के दौरान: पढ़ाई करते समय न्यूरॉन्स को बंद करना।
परीक्षण (Testing) के दौरान: परीक्षा देते समय न्यूरॉन्स को बंद करना।

यह देखते हुए कि कितने न्यूरॉन्स को बंद किया गया, उन्होंने AI की तीन अलग-अलग अवस्थाएँ पाईं:

🧠 यूमेंटिया (Eumentia - स्वस्थ मस्तिष्क)

यह क्या है: AI स्वस्थ, बुद्धिमान और पूरी तरह से सीख रहा है।
उपमा: कल्पना कीजिए कि एक छात्र कुछ विकर्षणों (distractions) के साथ पढ़ाई कर रहा है। भले ही वे कभी-कभी विचलित हो जाते हैं, फिर भी वे सामग्री को अच्छी तरह से सीखते हैं। यदि आप उन्हें अधिक किताबें (अधिक डेटा) देते हैं, तो वे और भी स्मार्ट हो जाते हैं।
विज्ञान: इस चरण में, आप AI को जितना अधिक डेटा खिलाते हैं, यह उतना ही बेहतर होता जाता है। "लॉस" (गलती मापने का एक पैमाना) कम हो जाता है। यह वह "गोल्डिलॉक्स" ज़ोन है जहाँ नेटवर्क मजबूत है और प्रभावी ढंग से सीखता है।

🧠 डिमेंशिया (Dementia - विस्मृति वाला मस्तिष्क)

यह क्या है: AI ने कड़ी मेहनत की और सामग्री सीख ली, लेकिन जैसे ही आप परीक्षा शुरू करते हैं, आप उसके न्यूरॉन्स को बेतरतीब ढंग से बंद कर देते हैं। वह भ्रमित हो जाता है और जैसे-जैसे आप उसे अधिक डेटा देते हैं, वह अधिक गलतियाँ करने लगता है।
उपमा: कल्पना कीजिए कि एक छात्र ने पाठ्यपुस्तक को पूरी तरह से याद कर लिया है। लेकिन, परीक्षा से ठीक पहले, आप उन्हें बेतरतीब ढंग से आँखों पर पट्टी बांधना और कान बंद करना शुरू कर देते हैं। वे उत्तर जानते हैं, लेकिन वे उन तक पहुँच नहीं पाते। अजीब बात यह है कि आप जितने अधिक प्रश्न पूछते हैं, वे उतना ही अधिक भूलते जाते हैं, क्योंकि बेतरतीब "आँखों की पट्टी" उनकी याद करने की प्रक्रिया को भ्रमित कर देती है।
विज्ञान: यहाँ, AI को अच्छी तरह से प्रशिक्षित किया गया है, लेकिन "इवैल्यूएशन ड्रॉपआउट" (परीक्षण के दौरान न्यूरॉन्स को बंद करना) बहुत अधिक है। AI सामान्यीकरण (generalize) करने में विफल रहता है। आप इसे जितना अधिक डेटा देते हैं, इसकी त्रुटि दर उतनी ही खराब होती जाती है। यह एक ऐसे मस्तिष्क की तरह है जिसने सीखा तो है, लेकिन याद करने की क्षमता खो दी है।

🧠 एमेंटिया (Amentia - खाली स्लेट/शून्य अवस्था)

यह क्या है: AI ने शुरू में कुछ भी नहीं सीखा।
उपमा: कल्पना कीजिए कि एक छात्र पढ़ाई के दौरान इतना विचलित था (सीखते समय बहुत अधिक न्यूरॉन्स बंद थे) कि उसने जानकारी को वास्तव में आत्मसात ही नहीं किया। चाहे आप उन्हें कितनी भी किताबें दें, वे खाली ही रहेंगे। वे सीख नहीं सकते क्योंकि प्रशिक्षण के दौरान "शोर" (noise) बहुत तेज़ था।
विज्ञान: ट्रेनिंग ड्रॉपआउट इतना अधिक है कि नेटवर्क कोई उपयोगी संबंध नहीं बना पाता है। डेटा प्रदान करने के बावजूद त्रुटि दर स्थिर और उच्च रहती है।

2. "जादुई" संक्रमण (The BKT Transition)

सबसे रोमांचक हिस्सा यह है कि स्वस्थ मस्तिष्क (Eumentia) और विस्मृति वाले मस्तिष्क (Dementia) के बीच क्या होता है।

भौतिकी में, जब पानी बर्फ बनता है, तो यह एक विशिष्ट तापमान पर होता है। यह एक स्पष्ट रेखा है। शोधकर्ताओं ने पाया कि AI भी इसी तरह व्यवहार करता है। जैसे-जैसे उन्होंने परीक्षण के दौरान "आँखों पर पट्टी बांधने" (ड्रॉपआउट रेट) को बढ़ाया, AI केवल धीरे-धीरे खराब नहीं हुआ। वह एक क्रिटिकल टिपिंग पॉइंट (महत्वपूर्ण मोड़) पर पहुँचा।

उपमा: एक पुल के बारे में सोचिए। आप उस पर भार (डेटा) डाल सकते हैं, और वह ठीक से टिका रहता है। लेकिन एक बार जब आप एक विशिष्ट भार सीमा को पार कर लेते हैं, तो पुल केवल झुकता नहीं है; वह टूट जाता है।
भौतिकी: उन्होंने पाया कि यह संक्रमण एक विशिष्ट प्रकार की भौतिक घटना जैसा दिखता है जिसे बेरेज़िंस्की-कोस्टरलिट्ज़-थौलेस (Berezinskii-Kosterlitz-Thouless - BKT) ट्रांज़िशन कहा जाता है। यह आमतौर पर 2D सामग्रियों (जैसे सुपरकंडक्टर्स) में देखा जाता है जहाँ छोटे भंवर (vortices) अचानक अलग हो जाते हैं।
AI के लिए इसका अर्थ: यह सुझाव देता है कि नेटवर्क की "बुद्धिमत्ता" एक नाजुक, सामूहिक अवस्था है। जब तक आप रेखा के ऊपर हैं, न्यूरॉन्स एक समन्वित नृत्य में मिलकर काम करते हैं। एक बार जब आप रेखा पार कर लेते हैं, तो वह समन्वय तुरंत टूट जाता है, और नेटवर्क बिखर जाता है।

3. यह क्यों महत्वपूर्ण है

यह अध्ययन एक बड़ी बात है क्योंकि यह AI को केवल कोड के रूप में नहीं, बल्कि एक भौतिक प्रणाली के रूप में देखता है जो ऊष्मागतिकी (thermodynamics) के समान नियमों द्वारा संचालित है।

यह "ओवर-पैरामीटराइजेशन" की व्याख्या करता है: हम विशाल AI मॉडल क्यों बनाते हैं? क्योंकि अतिरिक्त न्यूरॉन्स होने से "स्वस्थ मस्तिष्क" चरण अधिक विस्तृत और स्थिर होता है। यह AI को त्रुटियों के खिलाफ एक बफर देता है।
यह सुरक्षित रूप से प्रूनिंग करने में मदद करता है: यदि हम पैसा और ऊर्जा बचाने के लिए AI मॉडल को छोटा करना चाहते हैं, तो हमें पता होना चाहिए कि "टिपिंग पॉइंट" कहाँ है। यदि हम बहुत अधिक काट देते हैं, तो हमें केवल एक धीमा मॉडल नहीं मिलेगा; हमें एक ऐसा मॉडल मिलेगा जो सब कुछ भूल जाता है (Dementia) या जिसने कभी सीखा ही नहीं (Amentia)।
यह जीव विज्ञान से जुड़ता है: इनके नाम (Eumentia, Dementia, Amentia) इस बात की ओर इशारा करते हैं कि जैविक मस्तिष्क कैसे काम करते हैं। ठीक वैसे ही जैसे हमारे मस्तिष्क को कार्य करने के लिए कनेक्शन के एक निश्चित घनत्व की आवश्यकता होती है, AI नेटवर्क को भी इंटेलिजेंस बनाए रखने के लिए न्यूरॉन्स के एक "क्रिटिकल मास" की आवश्यकता होती है।

सारांश

यह शोध पत्र बताता है कि AI नेटवर्क के तीन मूड होते हैं: सीखना, भूलना, और न जानना। सीखने और भूलने के बीच एक स्पष्ट, भौतिकी जैसी रेखा होती है। यदि आप बहुत अधिक कनेक्शन काट देते हैं, तो AI केवल थोड़ा "कम बुद्धिमान" नहीं होता; यह एक विनाशकारी चरण परिवर्तन (phase change) से गुजरता है जहाँ इसकी सीखने या याद रखने की क्षमता पूरी तरह से ढह जाती है। इस रेखा को समझना हमें गलती से सिस्टम को तोड़े बिना छोटे, सस्ते और स्मार्ट AI बनाने में मदद करता है।

यहाँ पान, अग्रवाल और पिक्सेली के शोध पत्र "Pruning-induced phases in fully-connected neural networks: the eumentia, the dementia, and the amentia" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

आधुनिक न्यूरल नेटवर्क अत्यधिक ओवरपैरामीटराइज्ड (overparameterized) होते हैं, जिनमें प्रशिक्षण डेटा को फिट करने के लिए आवश्यक मापदंडों से कहीं अधिक पैरामीटर होते हैं। जबकि प्रूनिंग (अनावश्यक न्यूरॉन्स या कनेक्शनों को हटाना) संपीड़न (compression) के लिए एक मानक तकनीक है, इस प्रक्रिया की मौलिक भौतिकी अभी भी कम समझ में आती है। विशेष रूप से, यह स्पष्ट नहीं है कि क्या प्रूनिंग तीव्र चरण संक्रमण (sharp phase transitions) उत्पन्न करती है या सुचारू क्रॉसओवर (smooth crossovers), और यदि तीव्र संक्रमण मौजूद हैं, तो वे किस यूनिवर्सलिटी क्लास (universality class) से संबंधित हैं।

वर्तमान प्रूनिंग विधियाँ (जैसे, मैग्नीट्यूड-आधारित प्रूनिंग) अक्सर नियतात्मक (deterministic) होती हैं और सीखे गए भार (learned weights) से जुड़ी होती हैं, जिससे प्रूनिंग के प्रभाव को अलग करना कठिन हो जाता है। लेखक इस समस्या को हल करने के लिए प्रूनिंग दर को एक ट्यूनेबल कंट्रोल पैरामीटर के रूप में उपयोग करते हैं ताकि न्यूरल नेटवर्क के चरण आरेख (phase diagram) को मैप किया जा सके, और सांख्यिकीय यांत्रिकी (statistical mechanics) के दृष्टिकोण से नेटवर्क की सीखने और सामान्यीकरण (generalization) की क्षमता को देखा जा सके।

2. कार्यप्रणाली (Methodology)

लेखक MNIST डेटासेट पर प्रशिक्षित पूर्णतः-जुड़े न्यूरल नेटवर्क (FCNNs) की जांच करते हैं।

आर्किटेक्चर: विभिन्न गहराई ( $L=2$ से $5 $) और चौड़ाई ($ n_h=50 $से$ 200$) वाले FCNNs, ReLU एक्टिवेशन फंक्शन का उपयोग करते हुए।
कंट्रोल पैरामीटर्स: मानक मैग्नीट्यूड प्रूनिंग के बजाय, लेखक एक स्टोकेस्टिक प्रूनिंग तंत्र के रूप में न्यूरॉन ड्रॉपआउट (Neuron Dropout) का उपयोग करते हैं। महत्वपूर्ण रूप से, वे दो दरों को स्वतंत्र रूप से बदलते हैं:
1. प्रशिक्षण ड्रॉपआउट दर ( $p_{train}$ ): प्रशिक्षण चरण के दौरान नेटवर्क की सीखने की क्षमता को नियंत्रित करता है।
2. मूल्यांकन ड्रॉपआउट दर ( $p_{eval}$ ): परीक्षण चरण के दौरान न्यूरॉन्स को हटाने को नियंत्रित करता है ताकि सीखे गए अवस्था (learned state) की मजबूती की जांच की जा सके।
मेट्रिक्स:
- क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ): प्राथमिक नैदानिक मीट्रिक, जिसका विश्लेषण प्रशिक्षण डेटासेट के आकार ( $N$ ) के सापेक्ष किया जाता है।
- वर्गीकरण सटीकता (Classification Accuracy - $A$ ): एक माध्यमिक मीट्रिक के रूप में उपयोग किया जाता है।
स्केलिंग विश्लेषण (Scaling Analysis): विश्लेषण का मुख्य भाग डेटासेट के आकार $N$ के संबंध में टेस्ट क्रॉस-एन्ट्रॉपी लॉस के पावर-लॉ स्केलिंग का अध्ययन करना है:
$\langle L_{CE} \rangle \sim N^{\alpha_{CE}}$
घातांक $\alpha_{CE}$ चरणों को अलग करने के लिए ऑर्डर पैरामीटर के रूप में कार्य करता है।

3. मुख्य योगदान (Key Contributions)

तीन विशिष्ट चरणों की पहचान: लेखक $\alpha_{CE}$ $α_{C E}$ के चिह्न के आधार पर तीन चरणों को परिभाषित करते हैं, जो क्लिनिकल न्यूरोसाइंस से प्रेरित उपमाएँ लेते हैं:
- Eumentia (स्वस्थ): $\alpha_{CE} < 0$ । नेटवर्क प्रभावी ढंग से सीखता है और सामान्यीकरण करता है; जैसे-जैसे डेटासेट का आकार बढ़ता है, लॉस कम होता जाता है। यह सांख्यिकीय यांत्रिकी में क्वासी-लॉन्ग-रेंज ऑर्डर (QLRO) के अनुरूप है।
- Dementia (संज्ञानात्मक गिरावट): $\alpha_{CE} > 0$ । नेटवर्क सफलतापूर्वक प्रशिक्षित होता है लेकिन मूल्यांकन के दौरान न्यूरॉन्स को हटाने पर सामान्यीकरण करने में विफल रहता है। विरोधाभासी रूप से, डेटासेट का आकार बढ़ाने से लॉस बढ़ जाता है, जो दर्शाता है कि नेटवर्क प्रूनिंग के कारण "भ्रमित" है।
- Amentia (विकासात्मक विफलता): $\alpha_{CE} \approx 0$ । उच्च प्रशिक्षण ड्रॉपआउट नेटवर्क को सीखने से पूरी तरह रोकता है; लॉस डेटासेट के आकार के प्रति असंवेदनशील होता है।
फेज डायग्राम मैपिंग: लेखक $(p_{train}, p_{eval})$ प्लेन में चरण सीमाओं को मैप करते हैं, जो दिखाते हैं कि संक्रमण तीव्र और विभिन्न नेटवर्क आर्किटेक्चर में सुदृढ़ (robust) हैं।
यूनिवर्सलिटी क्लास की पहचान: Eumentia और Dementia चरणों के बीच के संक्रमण को Berezinskii-Kosterlitz-Thouless (BKT)-समान संक्रमण के रूप में पहचाना गया है।
- मानक दूसरे क्रम के संक्रमणों के विपरीत जहाँ सहसंबंध लंबाई (correlation length) बीजगणितीय रूप से विलग होती है ( $\xi \sim |p-p_c|^{-\nu}$ ), लेखक एक स्ट्रेच्ड एक्सपोनेंशियल डाइवर्जेंस (stretched exponential divergence) के प्रमाण पाते हैं:
  $\xi \sim \exp\left( \frac{a}{|p - p_c|^\sigma} \right)$
- फाइनाइट-साइज़ स्केलिंग विश्लेषण एक $\sigma \approx 0.8 - 1.0$ का क्रिटिकल एक्सपोनेंट प्रदान करता है, जो मानक BKT मान $\sigma = 0.5$ से भिन्न है लेकिन एक सामान्यीकृत QLRO परिदृश्य के अनुरूप है।

4. मुख्य परिणाम (Key Results)

पावर-लॉ स्केलिंग: सभी चरणों में क्रॉस-एन्ट्रॉपी लॉस डेटासेट के आकार के साथ एक सख्त पावर लॉ का पालन करता है, लेकिन घातांक का चिह्न चरण को निर्धारित करता है।
क्रिटिकल व्यवहार:
- Eumentia और Dementia के बीच संक्रमण बिंदु पर, विभिन्न डेटासेट आकारों $N$ के लिए डेटा एक विशिष्ट क्रिटिकल इवैल्यूएशन ड्रॉपआउट दर ( $p_{eval, c}$ ) पर क्रॉस करता है।
- BKT एंसेट (पेपर के समीकरण 6 में) का उपयोग करके फाइनाइट-साइज़ स्केलिंग कोलैप्स सफलतापूर्वक डेटा को कोलैप्स करता है, जो संक्रमण की प्रकृति की पुष्टि करता है।
- फिट की गुणवत्ता ( $\chi^2_\nu$ ) BKT-समान स्ट्रेच्ड एक्सपोनेंशियल फॉर्म के लिए न्यूनतम है, जबकि एक पारंपरिक बीजगणितीय फिट के लिए अत्यंत बड़े सहसंबंध लंबाई एक्सपोनेंट ( $\nu \gtrsim 8$ ) की आवश्यकता होती है, जो प्रभावी रूप से BKT व्याख्या का समर्थन करता है (क्योंकि $\nu \to \infty$ BKT सीमा के अनुरूप है)।
मजबूती (Robustness): तीन-चरण वाली संरचना विभिन्न नेटवर्क चौड़ाई ( $n_h$ ) और गहराई ( $L$ ) में बनी रहती है। हालांकि सटीक सीमा स्थान बदल जाते हैं, चरणों का अस्तित्व और संक्रमण की BKT-समान प्रकृति सामान्य (generic) बनी रहती है।
सटीकता बनाम लॉस: जबकि Dementia चरण में सटीकता तेजी से गिरती है, क्रॉस-एन्ट्रॉपी लॉस अधिक संवेदनशील प्रोब प्रदान करता है, जो सटीकता के रैंडम गेसिंग स्तर तक पहुँचने से पहले ही "संज्ञानात्मक गिरावट" (डेटा के साथ बढ़ता हुआ लॉस) को प्रकट कर देता है।

5. महत्व (Significance)

डीप लर्निंग की सांख्यिकीय यांत्रिकी: यह कार्य एक ऐसा ठोस परिवेश प्रदान करता है जहाँ न्यूरल नेटवर्क के व्यवहार को सांख्यिकीय यांत्रिकी की अवधारणाओं (चरण, ऑर्डर पैरामीटर, क्रिटिकल एक्सपोनेंट और यूनिवर्सलिटी क्लास) का उपयोग करके कठोरता से समझा जा सकता है।
लॉटरी टिकट हाइपोथेसिस से परे: जहाँ लॉटरी टिकट हाइपोथेसिस यह सुझाव देती है कि प्रूनिंग एक "विजेता टिकट" को प्रकट करती है, यह पेपर यह वर्णन करता है कि जब नेटवर्क को अपनी क्षमता बनाए रखने से आगे धकेला जाता है, तो क्या चरण संक्रमण (phase transitions) होते हैं, जो ओवरपैरामीट्राइजेशन और प्रूनिंग सीमाओं की अधिक मौलिक भौतिक समझ प्रदान करता है।
जैविक उपमा (Biological Analogy): शब्दावली (Eumentia, Dementia, Amentia) और निष्कर्ष जैविक मस्तिष्क में सिनैप्टिक प्रूनिंग के साथ एक सम्मोहक समानता दर्शाते हैं, जो यह सुझाव देते हैं कि कृत्रिम नेटवर्क और जैविक तंत्रों में सीखने, भूलने और विकासात्मक विफलता को नियंत्रित करने वाले तंत्रों में सार्वभौमिक सिद्धांत साझा हो सकते हैं।
पद्धतिगत नवाचार: प्रशिक्षण और मूल्यांकन ड्रॉपआउट को अलग करके, लेखक भार-निर्भर प्रूनिंग रणनीतियों के भ्रामक कारकों के बिना नेटवर्क स्थिरता और चरण संक्रमणों का अध्ययन करने के लिए एक स्वच्छ प्रयोगात्मक प्रोटोकॉल प्रदान करते हैं।

निष्कर्षतः, यह पेपर स्थापित करता है कि न्यूरल नेटवर्क में प्रूनिंग केवल प्रदर्शन का क्रमिक क्षरण नहीं है, बल्कि इसमें तीव्र, सार्वभौमिक चरण संक्रमण शामिल हैं, और सीखने से भूलने की ओर संक्रमण एक BKT-समान यूनिवर्सलिटी क्लास का पालन करता है जो क्वैसी-लॉन्ग-रेंज ऑर्डर द्वारा विशेषता है।