Energy Minima Are Not Enough: A Free-Energy Design Condition for Encoding Shortest Path in Stochastic Spiking Networks

तकनीकी सारांश: ऊर्जा न्यूनतम (Energy Minima) पर्याप्त नहीं हैं: स्टोकेस्टिक स्पाइकिंग नेटवर्क में शॉर्टेस्ट पाथ को एनकोड करने के लिए एक फ्री-एनर्जी डिज़ाइन स्थिति

समस्या विवरण
यह शोध पत्र स्टोकेस्टिक स्पाइकिंग न्यूरल नेटवर्क (SSNNs) के डिज़ाइन को संबोधित करता है जो कॉम्बिनेटरियल ऑप्टिमाइज़ेशन समस्याओं, विशेष रूप से वेटेड शॉर्टेस्ट पाथ (weighted shortest path) समस्या को हल करने के लिए बोल्ट्ज़मैन स्टेशनरी डिस्ट्रीब्यूशन को स्वीकार करते हैं। जबकि पिछले कार्यों ने यह स्थापित किया था कि ऐसे नेटवर्क को इस तरह डिज़ाइन किया जा सकता है कि समाधान एक ऊर्जा फलन (energy function) के न्यूनतम के रूप में हो, यह शोध पत्र तर्क देता है कि केवल सही कॉन्फ़िगरेशन को ऊर्जा न्यूनतम सुनिश्चित करना पर्याप्त नहीं है। शॉर्टेस्ट पाथ को सही ढंग से एनकोड करने के लिए दो विशिष्ट स्थितियों की आवश्यकता होती है:

1. ऑर्डरिंग (Ordering): ऊर्जा फलन को सभी वैध पथ कॉन्फ़िगरेशनों के बीच शॉर्टेस्ट पाथ को न्यूनतम के रूप में रैंक करना चाहिए।
2. डिस्क्रिमिनेशन (Discrimination): पाथ सेक्टर में पर्याप्त कुल प्रोबेबिलिटी मास होना चाहिए ताकि उन "स्कैटर" (scatter) कॉन्फ़िगरेशन (विभक्त एज सेट्स) के एंट्रोपिक लाभ को पार किया जा सके जो पाथ की गतिविधि स्तर की नकल तो करते हैं लेकिन निरंतरता (continuity) का अभाव रखते हैं।

शोध पत्र प्रदर्शित करता है कि मानक डिज़ाइन पैरामीटर अक्सर डिस्क्रिमिनेशन स्थिति को संतुष्ट करने में विफल रहते हैं और एक विशिष्ट संरचनात्मक संवर्धन (टर्मिनल ड्राइव) की आवश्यकता होती है ताकि उन प्रतिस्पर्धी कॉन्फ़िगरेशनों को बाहर किया जा सके जो शॉर्टेस्ट पाथ की तुलना में ऊर्जात्मक रूप से सस्ते हैं।

कार्यप्रणाली
लेखक एक विशिष्ट निर्माण का विश्लेषण करता है जहाँ एक वेटेड ग्राफ को विनर-टेक-ऑल (WTA) क्लस्टर्स के नेटवर्क में संकलित किया जाता है। प्रत्येक क्लस्टर एक वर्टेक्स के बजाय एक ट्रावर्सल (traversal) का प्रतिनिधित्व करता है। नेटवर्क तीन कपलिंग क्लास का उपयोग करता है:

• $\alpha$ (निरंतरता/Continuity): एक क्लस्टर के विपरीत स्लॉट्स में सक्रिय न्यूरॉन्स के जोड़े को पुरस्कृत करता है (जो एक पथ के प्रवेश और निकास का प्रतिनिधित्व करता है)। इसका भार घटनाशील एज वेट के योग पर निर्भर करता है।
• $\beta$ (संगति/Consistency): दो क्लस्टर्स के बीच इस बात पर सहमति को पुरस्कृत करता है कि एक एज को पार किया गया है।
• $\gamma$ (निषेध/Inhibition): स्लॉट्स के भीतर WTA बाधाओं को लागू करता है।

विश्लेषण निम्नलिखित चरणों में आगे बढ़ता है:

1. सटीक गणना (Exact Enumeration): पाथ कॉन्फ़िगरेशन के ऊर्जा के लिए क्लोज्ड-फॉर्म एक्सप्रेशन व्युत्पन्न करना और उन्हें संकलित नेटवर्क के विरुद्ध सत्यापित करना।
2. कॉम्बिनेटरियल विश्लेषण: एक पाथ कॉन्फ़िगरेशन और उन "स्कैटर" कॉन्फ़िगरेशन (मैचिंग्स) के बीच ऊर्जा अंतर की गणना करना, जिनमें समान गतिविधि काउंट और $\beta$-पेयर काउंट है लेकिन शून्य $\alpha$-पेयर हैं।
3. फ्री-एनर्जी तर्क: पाथ कॉन्फ़िगरेशन और स्कैटर फैमिली के लॉग-मल्टीप्लिसिटी (एंट्रॉपी) के विरुद्ध ऊर्जा मार्जिन (निरंतरता स्केल $c$ द्वारा संचालित) की तुलना करना।
4. संवर्धन (Augmentation): सोर्स और टारगेट को ज़ीरो-वेट एडजेस द्वारा जोड़ने के लिए दो सहायक वर्टेक्स ($S$ और $T$) पेश करना, ताकि यह सुनिश्चित हो सके कि पथ में प्रत्येक वर्टेक्स एक ट्रावर्सल के रूप में माना जाए, जिससे ऊर्जा कुल पथ भार के आनुपातिक हो जाए।
5. सिमुलेशन: स्केलिंग को सत्यापित करने और मेमोरी बॉटलनेक्स से बचने के लिए एक $O(|E|)$ सिम्युलेटर को लागू करना।

प्रमुख योगदान

1. दो डिज़ाइन स्थितियाँ: शोध पत्र पहचानता है कि एक एकल स्थिति (ऑर्डरिंग) अपर्याप्त है।

   • ऑर्डरिंग स्थिति ($\lambda = 0$): लेंथ-बायस गुणांक $\lambda \equiv 2b_k + D + c$ को शून्य होना चाहिए। यह सुनिश्चित करता है कि एक पथ की ऊर्जा केवल उसके कुल भार पर निर्भर करती है, न कि उसके हॉप काउंट पर। इसके लिए एक विशिष्ट बायस सेटिंग की आवश्यकता है: $b_k = -(D + c)/2$।
   • डिस्क्रिमिनेशन स्थिति: निरंतरता स्केल $c$ इतना बड़ा होना चाहिए कि ऊर्जा मार्जिन $c(L+1)\bar{\alpha}$, स्कैटर माइक्रोस्टेट्स और पाथ माइक्रोस्टेट्स के लॉग-अनुपात से अधिक हो।

2. टर्मिनल ड्राइव की संरचनात्मक भूमिका: शोध पत्र स्थापित करता है कि टर्मिनल न्यूरॉन्स ($S$ और $T$) पर एडिटीव ड्राइव केवल एक कार्यान्वयन विवरण नहीं है, बल्कि एक संरचनात्मक आवश्यकता है। बिना इस ड्राइव के, "ऑल-साइलेंट" (all-silent) कॉन्फ़िगरेशन (ऊर्जा 0) या विलगित चक्र (disjoint cycle) कॉन्फ़िगरेशन (जो एक अतिरिक्त निरंतरता जोड़ी धारण करते हैं) शॉर्टेस्ट पाथ की तुलना में कम ऊर्जा वाले हो सकते हैं। ड्राइव उन्हें सुलभ एनसेंबल (accessible ensemble) से बाहर करता है, जिससे शॉर्टेस्ट पाथ ऊर्जा फलन के वैश्विक न्यूनतम के बजाय सुलभ एनसेंबल के न्यूनतम के रूप में कार्य करता है।

3. डिस्क्रिमिनेशन थ्रेशोल्ड सार्वभौमिक नहीं है: चार ग्राफ परिवारों (स्पार्स, डेंस, ग्रिड, टेरेन) में 1,027 इंस्टेंस के ओवर एन्यूमरेशन के माध्यम से, लेखक दिखाता है कि आवश्यक निरंतरता स्केल $c$ गहराई या एक निश्चित स्थिरांक का सरल फलन नहीं है।

   • आवश्यक $c$, प्रतिस्पर्धियों के लॉग-मल्टीप्लिसिटी और ऊर्जा मार्जिन का एक अनुपात है।
   • कस्टमरी ऑपरेटिंग पॉइंट ($c=4$) पर, केवल 13.4% इंस्टेंस डिस्क्रिमिनेशन स्थिति को पूरा करते हैं; लैटिस परिवार में, 0% इसे पार करते हैं; स्पेशियली एम्बेडेड टेरेन परिवार में, 35.1% इसे पार करते हैं।
   • शोध पत्र एक ट्रांसफ़रेबल लॉ (इक्वेशन 27) प्रदान करता है जिसका उपयोग गहराई, एज काउंट और औसत एज वेट के आधार पर किसी दिए गए इंस्टेंस के लिए $c$ का अनुमान लगाने के लिए किया जा सकता है।

4. पिछले व्युत्पत्तियों का सुधार: शोध पत्र मूल निर्माण में विशिष्ट गणना त्रुटियों (जैसे सक्रिय न्यूरॉन काउंट, $\alpha$ और $\beta$ पेयर काउंट) को ठीक करता है और स्पष्ट करता है कि पूर्व में प्रकाशित बायस कंडीशन ($b_k = -(D/4 + 1)$) तब तक $\lambda=0$ नहीं देती जब तक कि $D=2$ न हो।

5. $O(|E|)$ फॉर्मूलेशन: लेखक मेम्ब्रेन पोटेंशियल अपडेट के एक डीकंपोज़िशन को प्रस्तुत करता है जो कम्प्यूटेशनल कॉम्प्लेक्सिटी को $O(N d^2)$ से घटाकर $O(|E|)$ कर देता है, जिससे 3.6 मिलियन न्यूरॉन्स तक के नेटवर्क पर सिमुलेशन संभव हो पाता है।

परिणाम

• मानक मापदंडों की विफलता: मानक ऑपरेटिंग पॉइंट ($c=4, B=2w_{max}$) पर, अधिकांश इंस्टेंस डिस्क्रिमिनेशन स्थिति में विफल रहते हैं। नेटवर्क का स्टेशनरी डिस्ट्रीब्यूशन शॉर्टेस्ट पाथ के बजाय स्कैटर कॉन्फ़िगरेशन या विलगित चक्रों द्वारा डोमिनेट होता है।
• "हिडन" कॉम्पिटिटर: विश्लेषण से विलगित चक्रों (प्लस एक पाथ घटक) वाले कॉन्फ़िगरेशन का एक सेक्टर प्रकट होता है जो शॉर्टेस्ट पाथ की तुलना में ऊर्जात्मक रूप से सस्ता है क्योंकि उनके पास एक अतिरिक्त निरंतरता जोड़ी ($\alpha$-पेयर) है। कोई भी $c$ इन्हें दबा नहीं सकता; इन्हें केवल टर्मिनल ड्राइव द्वारा बाहर किया जाता है।
• ट्रेड-ऑफ: वेट नॉर्मलाइजेशन बाउंड $B$ को बढ़ाने से डिस्क्रिमिनेशन में सुधार होता है लेकिन ऑर्डरिंग स्थिति ($\lambda$) के लिए आवश्यक टॉलरेंस को कड़ा कर देता है, जिससे निरंतरता स्केल, बायस प्रिसिजन और वेट नॉर्मलाइजेशन के बीच एक त्रि-मार्गी ट्रेड-ऑफ बनता है।
• सैंपलिंग बाधा: डायरेक्ट सैंपलिंग द्वारा डिस्क्रिमिनेशन स्थिति की पुष्टि करना संरचनात्मक रूप से बाधित है। पाथ सेक्टर नेटवर्क की रेस्टिंग स्टेट ($O(N)$) की तुलना में बहुत कम एक्टिविटी लेवल ($2L$) पर मौजूद है, जिससे बिना इम्पोर्टेंस सैंपलिंग के पाथ सेक्टर तक पहुँचने की प्रोबेबिलिटी नगण्य हो जाती है।

महत्व और दावे
शोध पत्र दावा करता है कि यदि स्टोकेस्टिक स्पाइकिंग नेटवर्क को ऊर्जा न्यूनीकरण के माध्यम से शॉर्टेस्ट पाथ समस्याओं को हल करना है, तो डिज़ाइन को दो स्वतंत्र स्थितियों को संतुष्ट करना चाहिए: एक पथों को भार द्वारा ऑर्डर करने के लिए और दूसरा पथों को उच्च-एंट्रॉपी स्कैटर कॉन्फ़िगरेशन के विरुद्ध डिस्क्रिमिनेट करने के लिए।

महत्वपूर्ण रूप से, शोध पत्र यह स्थापित करता है कि ऊर्जा न्यूनतम पर्याप्त नहीं हैं। भले ही शॉर्टेस्ट पाथ पाथ सेक्टर का न्यूनतम हो (जिसके लिए $\lambda=0$ की आवश्यकता होती है), यह ऊर्जा फलन का वैश्विक न्यूनतम नहीं है क्योंकि ऑल-साइलेंट कॉन्फ़िगरेशन की ऊर्जा शून्य है। इसके अलावा, शोध पत्र दिखाता है कि विलगित चक्र कॉन्फ़िगरेशन शॉर्टेस्ट पाथ की तुलना में सस्ते हो सकते हैं; इन्हें केवल टर्मिनल ड्राइव द्वारा बाहर किया जाता है, जो ऊर्जा फलन के बाहर कार्य करता है। अतः, शॉर्टेस्ट पाथ केवल तभी सुलभ एनसेंबल का न्यूनतम होता है जब ड्राइव सक्रिय हो।

लेखक का निष्कर्ष है कि निर्माण की शुद्धता तीन घटकों पर निर्भर करती है जिन्हें अक्सर केवल बुककीपिंग माना जाता है: सहायक वर्टेक्स, टर्मिनल बायस और एडिटीव ड्राइव। इनके बिना, नेटवर्क शॉर्टेस्ट पाथ को एनकोड करने में विफल रहता है। शोध पत्र यह दावा नहीं करता है कि नेटवर्क मानक डायनेमिक्स के तहत व्यवहार में समाधान तक सफलतापूर्वक पहुँचता है; बल्कि, यह उन सटीक सैद्धांतिक स्थितियों को स्थापित करता है जो समाधान को सुलभ एनसेंबल के न्यूनतम के रूप में बनाने के लिए आवश्यक हैं और यह उजागर करता है कि मानक पैरामीटर विकल्प ($c=4$) आमतौर पर डिस्क्रिमिनेशन थ्रेशोल्ड को पूरा करने में विफल रहते हैं, जिससे समाधान स्टेशनरी डिस्ट्रीब्यूशन में अप्राप्य रह जाता है।