🧬 biology

Quantifying information stored in synaptic connections rather than in firing activities of neural networks

यह शोध पत्र एक सैद्धांतिक ढांचा प्रस्तुत करता है जो तंत्रिका फायरिंग गतिविधियों के बजाय सिनैप्टिक कनेक्शन वितरण में संग्रहीत सूचना को परिमाणित करता है, जिससे पारस्परिक सूचना (mutual information) के विश्लेषणात्मक सन्निकटन प्राप्त होते हैं जो सिनैप्स के बीच सहक्रियात्मक अंतःक्रियाओं और सीखने एवं स्मृति में कनेक्टिविटी और जनसंख्या गतिविधि के बीच द्वैत को प्रकट करते हैं।

मूल लेखक: Xinhao Fan, Shreesh P Mysore

प्रकाशित 2026-04-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xinhao Fan, Shreesh P Mysore

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र की व्याख्या दी गई है।

मुख्य विचार: पुस्तकालय बनाम लाइब्रेरियन (The Library vs. The Librarian)

एक विशाल पुस्तकालय की कल्पना करें। लंबे समय से, मस्तिष्क (और कंप्यूटर मस्तिष्क) कैसे काम करते हैं, इसका अध्ययन करने वाले वैज्ञानिकों ने लाइब्रेरियन पर ध्यान केंद्रित किया है। उन्होंने देखा कि लाइब्रेरियन कैसे चिल्लाता है, फुसफुसाता है या इधर-उधर घूमता है (यह न्यूरॉन्स के "फायर होने" या संकेत भेजने जैसा है)। उन्होंने यह निष्कर्ष निकाला कि लाइब्रेरियन की हरकतें हमें बताती हैं कि पुस्तकालय इस समय क्या कर रहा है।

लेकिन यह शोध पत्र एक अलग सवाल पूछता है: अलमारियों पर रखी किताबों का क्या?

लेखकों का तर्क है कि असली "स्मृति" (memory) लाइब्रेरियन के चिल्लाने में नहीं है; बल्कि यह किताबों की व्यवस्था (सिनैप्टिक कनेक्शन) में है। यदि आप किताबों को पुनर्व्यवस्थित करते हैं, तो आप पुस्तकालय के "ज्ञान" को बदल देते हैं, भले ही उस समय कोई उन्हें पढ़ न रहा हो।

अब तक, हमारे पास एक सटीक गणितीय उपकरण नहीं था जिससे हम यह माप सकें कि किताबों की उस व्यवस्था में वास्तव में कितनी जानकारी संग्रहीत है। यह शोध पत्र उसी उपकरण का निर्माण करता है।

प्रयोग: "हेब्बियन" नेटवर्क (The "Hebbian" Network)

अपने विचार का परीक्षण करने के लिए, लेखकों ने मस्तिष्क का एक सरल मॉडल बनाया जिसे हेब्बियन नेटवर्क कहा जाता है।

उपमा: हजारों बिंदुओं (न्यूरॉन्स) को जोड़ने वाले धागों के एक विशाल जाल की कल्पना करें।
नियम: जब दो बिंदु एक ही समय में सक्रिय होते हैं, तो उनके बीच का धागा या तो कस जाता है या ढीला हो जाता है। यह "हेब्बियन" नियम है: "जो कोशिकाएं एक साथ फायर होती हैं, वे एक साथ जुड़ती हैं" (Cells that fire together, wire together)।
डेटा: उन्होंने कल्पना की कि पुस्तकालय को अलग-अलग "कहानियां" (डेटा पैटर्न) मिल रही हैं। प्रत्येक कहानी धागों की कसावट को थोड़ा बदल देती है।

लक्ष्य यह गणना करना था: यदि हम इन धागों की कसावट को देखें, तो हम मूल कहानी का कितना हिस्सा वापस प्राप्त कर सकते हैं?

मुख्य निष्कर्ष

1. "भीड़भाड़ वाला कमरा" प्रभाव (डिस्ट्रीब्यूटेड कोडिंग)

निष्कर्ष: जैसे-जैसे आप पुस्तकालय में अधिक से अधिक कहानियाँ जोड़ते जाते हैं, किसी भी एक अकेले धागे में किसी विशिष्ट कहानी के बारे में जानकारी की मात्रा कम होती जाती है।
उपमा: कल्पना करें कि आप एक भीड़ भरे कमरे में अपने एक विशिष्ट मित्र का चेहरा याद करने की कोशिश कर रहे हैं।

यदि कमरे में केवल 2 लोग हैं, तो आप आसानी से कह सकते हैं, "यह धागा आपके चेहरे से जुड़ा है।"
यदि 100 लोग हैं, तो वही धागा अब एक उलझे हुए ढेर का हिस्सा बन जाता है जो बहुत से लोगों से जुड़ा है। यह अब केवल एक व्यक्ति की स्पष्ट तस्वीर नहीं रख सकता।
सीख: मस्तिष्क "एक धागा, एक स्मृति" प्रणाली का उपयोग नहीं करता है। इसके बजाय, हर एक धागा हर स्मृति का एक छोटा, धुंधला हिस्सा रखता है। जानकारी पूरे नेटवर्क में वितरित (distributed) होती है।

2. समूह की शक्ति (सिनर्जी/Synergy)

निष्कर्ष: यह सबसे आश्चर्यजनक हिस्सा है। यदि आप धागों के एक समूह को एक साथ देखते हैं, तो वे आपको उनके व्यक्तिगत हिस्सों के योग से कहीं अधिक बताते हैं।
उपमा: कल्पना करें कि लोगों का एक समूह किसी फिल्म का वर्णन करने की कोशिश कर रहा है।

व्यक्ति A कहता है, "यह अंधेरा था।"
व्यक्ति B कहता है, "यह शोर भरा था।"
यदि आप बस उन्हें जोड़ देते हैं, तो आपको मिलता है "अंधेरा और शोर वाला।"
लेकिन यदि आप उन्हें एक साथ सुनते हैं, तो आपको एहसास होता है कि वे एक हॉरर फिल्म का वर्णन कर रहे हैं। वह संयोजन एक नया अर्थ बनाता है जो अकेले किसी भी व्यक्ति के पास नहीं था।
सीख: सिनैप्स एक टीम के रूप में काम करते हैं। "सिनर्जी" का अर्थ है कि पूरा नेटवर्क अपने व्यक्तिगत तारों के योग से अधिक स्मार्ट है। लेखकों ने पाया कि यह टीम वर्क प्रभाव कनेक्शन के बड़े समूहों (उनके सिमुलेशन में 20 तक) को देखने पर भी सच साबित होता है।

3. हम कितना स्टोर कर सकते हैं?

निष्कर्ष: यह शोध पत्र गणना करता है कि एक नेटवर्क अपने आकार के आधार पर कितनी "कहानियां" (यादें) स्टोर कर सकता है।
उपमा: यदि आप अपने पुस्तकालय का आकार दोगुना करते हैं (अधिक अलमारियां जोड़ते हैं), तो आप केवल दोगुनी किताबें ही स्टोर नहीं कर पाते। क्योंकि किताबें आपस में क्रिया करती हैं और जगह साझा करती हैं, आप वास्तव में दोगुने से अधिक स्टोर कर सकते हैं।

गणित दिखाता है कि यदि आप नेटवर्क को बड़ा बनाते हैं, तो भंडारण क्षमता नेटवर्क के आकार की तुलना में थोड़ा तेज़ गति से बढ़ती है।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह एक नया दृष्टिकोण है: यह वैज्ञानिकों को स्मृति को केवल "गतिविधि" (firing) के बजाय संरचना (तारों) के आधार पर मापने का एक तरीका देता है।
यह केवल "एक तार" नहीं है: यह सिद्ध करता है कि आप किसी स्मृति को समझने के लिए केवल एक कनेक्शन को नहीं देख सकते। आपको उसके समूह (ensemble) को देखना होगा।
यह "सिनर्जी" की व्याख्या करता है: यह एक गणितीय प्रमाण प्रदान करता है कि कनेक्शन के समूह मिलकर ऐसी जानकारी बनाते हैं जो किसी भी एकल कनेक्शन में मौजूद नहीं होती।

उन्होंने क्या दावा नहीं किया

यह एक सैद्धांतिक गणितीय अध्ययन है।

उन्होंने वास्तविक मानव मस्तिष्क या रोगियों पर इसका परीक्षण नहीं किया।
उन्होंने यह दावा नहीं किया कि इससे आज ही अल्जाइमर का इलाज हो जाएगा या बेहतर AI रोबोट बन जाएगा।
उन्होंने यह नहीं कहा कि यह हर प्रकार के मस्तिष्क नेटवर्क पर लागू होता है (उन्होंने एक विशिष्ट, सरल मॉडल जिसे "डेंस हेब्बियन नेटवर्क" कहा जाता है, का उपयोग किया है)।

सारांश

मस्तिष्क को ऐसे न समझें जो केवल स्विच चालू होने पर संगीत बजाता है (firing), बल्कि इसे एक विशाल, जटिल मूर्ति की तरह समझें। मूर्ति का आकार (कनेक्शन) स्मृति को धारण करता है। इस शोध पत्र ने उस "रूलर" (मापक) का आविष्कार किया जिससे यह मापा जा सके कि उस मूर्ति के आकार में कितनी "कहानी" छिपी है, और यह खोजा कि वह मूर्ति हमारी सोच से कहीं अधिक सहयोगी और कुशल है।

यहाँ शोध पत्र "Quantifying information stored in synaptic connections rather than in firing activities of neural networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि सूचना सिद्धांत (Information Theory) का उपयोग लंबे समय से न्यूरॉन्स की फायरिंग गतिविधियों (जैविक और कृत्रिम दोनों) में एनकोडेड सूचना को मापने के लिए किया जाता रहा है, लेकिन सिनैप्टिक कनेक्शनों के वितरण (weights) में सीधे संग्रहीत सूचना के परिमाणीकरण के संबंध में एक महत्वपूर्ण सैद्धांतिक अंतराल मौजूद है।

वर्तमान सीमाएँ: मौजूदा दृष्टिकोण या तो ढीले ऊपरी स्तर (upper bounds) प्रदान करते हैं (जैसे मशीन लर्निंग में नॉइज़ इंजेक्शन के माध्यम से) या तंत्रिका फायरिंग पैटर्न के माध्यम से सिनैप्टिक कोडिंग का अप्रत्यक्ष रूप से अनुमान लगाते हैं (जैसे हॉपफील्ड नेटवर्क में कुल भंडारण क्षमता को सिनैप्स की संख्या से विभाजित करके)।
मुख्य चुनौती: न्यूरल फायरिंग के विपरीत, जिसका डेटा मैपिंग स्पष्ट होता है, सिनैप्टिक वेट्स लर्निंग प्रक्रिया से अप्रत्यक्ष रूप से उत्पन्न होते हैं। यह डेटा पैटर्न और वेट डिस्ट्रीब्यूशन के बीच 'म्युचुअल इंफॉर्मेशन' (Mutual Information - MI) के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्राप्त करना गणितीय रूप से जटिल बना देता है।
लक्ष्य: एक ऐसा सैद्धांतिक ढांचा विकसित करना जो डेटा पैटर्न और सिनैप्टिक कनेक्शनों के एंसेम्बल (ensembles) के बीच शैनन म्युचुअल इंफॉर्मेशन (Shannon MI) को विश्लेषणात्मक रूप से परिमापित कर सके, जिससे "फायरिंग गतिविधि" के दृष्टिकोण से हटकर "कनेक्टिविटी" के दृष्टिकोण पर ध्यान केंद्रित किया जा सके।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचे का प्रस्ताव करते हैं जो डेंसली कनेक्टेड हेब्बियन नेटवर्क (densely connected Hebbian networks) पर आधारित है, जो ऑटोएसोसिएटिव मेमोरी कार्यों को निष्पादित करते हैं।

मॉडल सेटअप:
- डेटा: $N$ स्वतंत्र, $d$ -आयामी डेटा पैटर्न $\{x_1, ..., x_N\}$ को मल्टीवेरिएट लॉग-नॉर्मल डिस्ट्रीब्यूशन के रूप में मॉडल किया गया है। यह विकल्प जैविक न्यूरोनल आबादी में देखे जाने वाले 'हेवी-टेल्ड स्टैटिस्टिक्स' को दर्शाता है।
- नेटवर्क: एक पूर्णतः कनेक्टेड (fully connected) नेटवर्क जहाँ सिनैप्टिक वेट्स $w_{ij}$ हेब्बियन लर्निंग नियम द्वारा निर्धारित होते हैं:
  $w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$
- उद्देश्य: सिनैप्टिक वेट्स $w$ के सेट और एक विशिष्ट डेटा पैटर्न $x_l$ के बीच म्युचुअल इंफॉर्मेशन $MI(w; x_l)$ की गणना करना।
विश्लेषणात्मक व्युत्पत्ति (Analytical Derivation):
- अनुमान (Approximation): चूंकि लॉग-नॉर्मल वेरिएबल्स का योग एक क्लोज्ड-फॉर्म डिस्ट्रीब्यूशन नहीं रखता है, इसलिए लेखक फेंटन-विलकिंसन अप्रोक्सिमेशन (Fenton-Wilkinson approximation) का उपयोग करते हैं। यह विधि स्वतंत्र लॉग-नॉर्मल वेरिएबल्स के योग को पहले दो मोमेंट्स (मीन और वेरिएंस) को मैच करके एक एकल लॉग-नॉर्मल वेरिएबल के रूप में अनुमानित करती है।
- एकल कनेक्शन: वे प्रायिकता वितरण $p(w_{ij})$ और कंडीशनल डिस्ट्रीब्यूशन $p(w_{ij}|x_l)$ (जो पैटर्न $l$ को छोड़कर शेष योग का एक शिफ्टेड वर्जन है) को व्युत्पन्न करते हैं।
- एंसेम्बल (Ensembles): इस ढांचे को एकल कनेक्शन से जोड़ों (pairs) और मनमाने $n$ -टुपल्स (n-tuples) तक विस्तारित किया गया है। वेट्स के लॉग के जॉइंट डिस्ट्रीब्यूशन को मल्टीवेरिएट गौसियन के रूप में अनुमानित किया गया है।
- सूत्र: लेखक निम्नलिखित के लिए क्लोज्ड-फॉर्म एनालिटिकल एक्सप्रेशन व्युत्पन्न करते हैं:
  1. एकल कनेक्शन ( $MI(w_{ij}; x_l)$ )।
  2. कनेक्शन के जोड़े ( $MI((w_{ij}, w_{mn}); x_l)$ )।
  3. $n$ आकार के मनमाने एंसेबल ( $MI(w; x_l)$ )।
- मुख्य अंतर्दृष्टि: MI पूरी तरह से विशिष्ट सिनैप्टिक एंसेबल में शामिल डेटा पैटर्न के सांख्यिकीय मापदंडों (मीन और कोवेरिएंस) पर निर्भर करता है, जिससे परिणाम कुल नेटवर्क आकार के संबंध में कॉन्टेक्स्ट-इनवेरिएंट (context-invariant) हो जाता है।

3. मुख्य योगदान (Key Contributions)

सिनैप्टिक सूचना के लिए प्रथम विश्लेषणात्मक ढांचा: यह शोध पत्र डेटा और सिनैप्टिक वेट एंसेबल के बीच शैनन म्युचुअल इंफॉर्मेशन के लिए पहले क्लोज्ड-फॉर्म एनालिटिकल अप्रोक्सिमेशन प्रदान करता है, जिससे न्यूरल डायनेमिक्स को सिम्युलेट करने की आवश्यकता समाप्त हो जाती है।
डिस्ट्रीब्यूटेड कोडिंग का सत्यापन: इसके परिणाम गणितीय रूप से पुष्टि करते हैं कि सूचना नेटवर्क में वितरित होती है; जैसे-जैसे संग्रहीत पैटर्न की संख्या बढ़ती है, किसी भी एकल कनेक्शन में संग्रहीत सूचना कम होती जाती है।
सिनर्जी (Synergy) की खोज: यह ढांचा प्रकट करता है कि सिनैप्टिक कनेक्शन सिनर्जिस्टिक इंटरैक्शन प्रदर्शित करते हैं। सिनैप्स के एक एंसेबल द्वारा एनकोडेड सूचना, व्यक्तिगत सिनैप्स द्वारा एनकोडेड सूचना के योग से अधिक होती है ( $E[MI_{ensemble}] > n \times E[MI_{single}]$ )।
नए कैपेसिटी स्केलिंग लॉ: नेटवर्क आकार, एंसेबल आकार और संग्रहीत पैटर्न के बीच संबंध का विश्लेषण करके, लेखक पारंपरिक हॉपफील्ड नेटवर्क सीमाओं से भिन्न हेब्बियन नेटवर्क क्षमता के लिए एक नया स्केलिंग लॉ व्युत्पन्न करते हैं।

4. मुख्य परिणाम (Key Results)

लेखकों ने विभिन्न कोवेरिएंस स्ट्रक्चर (एक्सचेंजेबल, स्टोकेस्टिक और रैंडम) के साथ तीन प्रकार के सिमुलेशन के माध्यम से अपने सिद्धांत को सत्यापित किया।

डेटा पैटर्न की संख्या ( $N$ ) का प्रभाव:
- एक विशिष्ट पैटर्न के बारे में एक एकल कनेक्शन (या एंसेबल) द्वारा एनकोडेड सूचना, संग्रहीत पैटर्न की कुल संख्या ( $N$ ) बढ़ने के साथ घटती है।
- स्केलिंग: $MI \sim N^{-1.0 \text{ to } -1.2}$ । यह पुष्टि करता है कि नए पैटर्न मौजूदा कनेक्शनों की सूचना क्षमता को कम (dilute) कर देते हैं, जो डिस्ट्रीब्यूटेड कोडिंग के सिद्धांत का समर्थन करता है।
एंसेबल आकार ( $n$ ) का प्रभाव:
- $n$ कनेक्शनों के एंसेबल द्वारा एनकोडेड कुल सूचना, $n$ के बढ़ने के साथ बढ़ती है।
- स्केलिंग: $MI \sim n^{1.1}$ ।
- सिनर्जी: महत्वपूर्ण रूप से, प्रति कनेक्शन औसत सूचना ($MI/n$) एंसेबल का आकार बढ़ने के साथ बढ़ती है। यह इंगित करता है कि कनेक्शन मिलकर सिनर्जिस्टिक रूप से कार्य करते हैं; संपूर्ण अपने भागों के योग से बड़ा है। यह सिनर्जी कम से कम 20वें क्रम के इंटरैक्शन तक देखी गई थी।
नेटवर्क कैपेसिटी स्केलिंग:
- एंसेबल आकार $n$ को नेटवर्क डायमेंशन $d$ (जहाँ $n \approx d^2/2$ ) से जोड़कर और प्रति पैटर्न घटक के लिए रैखिक सूचना आवश्यकताओं को मानते हुए, लेखकों ने नेटवर्क आकार $d$ के सापेक्ष कुल स्टोरेज क्षमता $P$ (पैटर्न की संख्या) व्युत्पन्न की:
  $P \sim d^{1.2}$
- यह दर्शाता है कि घने हेब्बियन नेटवर्क के लिए सुपरलीनियर (superlinear) स्टोरेज क्षमता होती है, जो हॉपफील्ड नेटवर्क के लिए अक्सर उद्धृत लीनियर ( $P \sim d$ ) या सबलीनियर ( $P \sim 0.14d$ ) सीमाओं से अधिक है। लेखक तर्क देते हैं कि यह स्टोरेज क्षमता (ऊपरी सीमा) का प्रतिनिधित्व करता है, जबकि रिट्रीवल क्षमता रीडआउट चरण के दौरान सूचना की हानि के कारण कम होती है।

5. महत्व और निहितार्थ (Significance and Implications)

सैद्धांतिक बदलाव: यह अध्ययन न्यूरल कोडिंग का विश्लेषण "स्पाइक्स" के बजाय "वेट्स" के माध्यम से करने की ओर विस्थापन करता है, जो इस बात पर एक पूरक दृष्टिकोण प्रदान करता है कि लर्निंग और मेमोरी भौतिक रूप से कैसे स्थापित होते हैं।
जैविक प्रासंगिकता: निष्कर्ष इस जैविक सिद्धांत का समर्थन करते हैं कि मेमोरी केवल विशिष्ट "ग्रैंडमदर सेल्स" या सिनैप्स तक सीमित नहीं है, बल्कि यह न्यूरल एंसेबल्स में वितरित और सिनर्जिस्टिक है।
मशीन लर्निंग अनुप्रयोग:
- प्रूनिंग (Pruning): यह सुझाव देता है कि केवल एक एकल वेट की अलग-थकी सूचना सामग्री के आधार पर न्यूरल नेटवर्क को प्रून करना भ्रामक हो सकता है, क्योंकि वेट का योगदान संदर्भ-निर्भर और सिनर्जिस्टिक होता है।
- व्याख्यात्मकता (Interpretability): यह ढांचा विशिष्ट सर्किट मोटिफ्स में सूचना भंडारण को मापने के लिए एक उपकरण प्रदान करता है, जो संभावित रूप से "ब्लैक बॉक्स" डीप लर्निंग मॉडल्स को अधिक व्याख्या योग्य बना सकता है।
- आर्किटेक्चर डिज़ाइन: यह संकेत देता है कि कनेक्शनों की संरचनात्मक व्यवस्था (motifs) सूचना भंडारण दक्षता में महत्वपूर्ण भूमिका निभाती है।
मजबूती (Robustness): लेखक प्रदर्शित करते हैं कि उनके निष्कर्ष (डिस्ट्रीब्यूटेड कोडिंग, सिनर्जी, कैपेसिटी स्केलिंग) फेंटन-विलकिंसन विधि द्वारा पेश किए गए अनुमान त्रुटियों के बावजूद मजबूत हैं, क्योंकि वे सटीक संख्यात्मक मानों के बजाय गुणात्मक रुझानों पर निर्भर करते हैं।

संक्षेप में, यह शोध पत्र सिनैप्टिक कनेक्टिविटी में सूचना भंडारण को समझने के लिए एक कठोर गणितीय आधार स्थापित करता है, जो यह प्रकट करता है कि न्यूरल नेटवर्क केवल फायरिंग रेट के लेंस से समझे जाने वाले स्तर की तुलना में सिनर्जिस्टिक, डिस्ट्रीब्यूटेड इंटरैक्शन के माध्यम से अधिक कुशलता से सूचना संग्रहीत करते हैं।