Columnar-Embedder: A Biologically Inspired Cortical Architecture for Binary Sparse Distributed Graph Representations

इस शोध द्वारा संबोधित चुनौती को समझने के लिए, सबसे पहले यह समझना आवश्यक है कि कंप्यूटर वर्तमान में जटिल नेटवर्कों (networks) का अर्थ निकालने का प्रयास कैसे करते हैं। डिजिटल दुनिया में, संबंधों को अक्सर ग्राफ के रूप में दर्शाया जाता है, जहाँ नोड्स (nodes) नामक बिंदु रेखाओं द्वारा जुड़े होते हैं जिन्हें एडजेस (edges) कहा जाता है। ये संरचनाएं सोशल मीडिया कनेक्शन और साइटेशन नेटवर्क से लेकर एक नई दवा में आणविक बंधों (molecular bonds) तक सब कुछ प्रदर्शित करती हैं। समस्या यह है कि ये नेटवर्क भौतिक दुनिया के सीधे, ग्रिड जैसे नियमों का पालन नहीं करते हैं जिसमें हम चलते हैं; वे मुड़े हुए और अनियमित होते हैं, जिससे मानक कंप्यूटर एल्गोरिदम के लिए उनके भीतर पैटर्न खोजना कठिन हो जाता है। इसे हल करने के लिए, वैज्ञानिकों ने इन अव्यवस्थित नेटवर्कों को संख्याओं की साफ सूचियों में अनुवादित करने की विधियाँ विकसित की हैं, जिन्हें एम्बेडिंग्स (embeddings) कहा जाता है। ये सूचियाँ कंप्यूटरों को नेटवर्क के विभिन्न हिस्सों की तुलना करने, लुप्त कनेक्शनों की भविष्यवाणी करने या वस्तुओं को श्रेणियों में वर्गीकृत करने की अनुमति देती हैं। हालाँकि, आज की सबसे सफल विधियाँ विशाल, ऊर्जा-खपत वाली गणनाओं पर निर्भर करती हैं जिन्हें पूरे नेटवर्क को एक साथ देखने और परीक्षण एवं त्रुटि की एक धीमी, पुनरावृत्ति प्रक्रिया के माध्यम से अपनी आंतरिक सेटिंग्स को समायोजित करने की आवश्यकता होती है। यह दृष्टिकोण अच्छा काम करता है लेकिन यह महंगा है और जब नेटवर्क बदलता है या पूरे सिस्टम को फिर से प्रशिक्षित किए बिना नए आइटम जोड़े जाते हैं, तो संघर्ष करता है।

पोर्टलैंड स्टेट यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक अलग मार्ग प्रस्तावित किया है, जो एक मानक कंप्यूटर प्रोग्राम के बजाय इस तरह दिखता है जैसे मानव मस्तिष्क सूचना को संसाधित करता है। उन्होंने 'कॉलमनर-एम्बेडर' (Columnar-Embedder) नामक एक प्रणाली बनाई है, जो स्तनधारी कॉर्टेक्स (mammalian cortex) की नकल करती है, जो मस्तिष्क का बाहरी हिस्सा है और संवेदी इनपुट को संसाधित करने के लिए जिम्मेदार है। भारी, वैश्विक गणनाओं के बजाय, उनकी प्रणाली डेटा के प्रवाहों को देखकर सीखती है, ठीक वैसे ही जैसे मस्तिष्क दृश्यों और ध्वनियों के निरंतर प्रवाह से सीखता है। शोधकर्ताओं ने इस आर्किटेक्चर को नेटवर्क में प्रत्येक नोड के लिए एक संक्षिप्त, बाइनरी कोड बनाने के लिए डिज़ाइन किया है। इस कोड में, जानकारी दशमलव संख्याओं की एक लंबी सूची के रूप में नहीं, बल्कि सक्रिय और निष्क्रिय स्विचों के एक विरल पैटर्न (sparse pattern) के रूप में संग्रहीत की जाती है। इसका मतलब यह है कि किसी भी दिए गए डेटा के लिए, सिस्टम के घटकों का केवल एक बहुत छोटा हिस्सा ही एक समय में सक्रिय होता है, ठीक वैसे ही जैसे जब आप किसी चेहरे को पहचानते हैं तो मस्तिष्क के न्यूरॉन्स का केवल एक छोटा प्रतिशत ही सक्रिय होता है। यह जैविक प्रेरणा सिस्टम को निरंतर सीखने, पुराने सबक भूले बिना नए डेटा के अनुकूल होने और उन त्रुटियों का विरोध करने की अनुमति देती है जो पारंपरिक तरीकों को भ्रमित कर सकती हैं।

इस कार्य का मूल कंप्यूटर को यह सिखाने का एक नया तरीका है कि उसे बिना किसी शिक्षक के सुधार के, ग्राफ को कैसे समझा जाए। शोधकर्ताओं ने सिस्टम को नेटवर्क के माध्यम से लिए गए यादृच्छिक पथों (random paths) को खिलाया, जिसे 'रैंडम वॉक' (random walks) नामक तकनीक कहा जाता है, जो एक शहर की खोज करने वाले स्काउट की तरह कार्य करती है ताकि यह समझ सके कि कौन से मोहल्ले एक-दूसरे के करीब हैं। जैसे ही सिस्टम ने इन पथों का अवलोकन किया, इसने एक स्थानीय शिक्षण नियम का उपयोग किया जो इस बात से प्रेरित था कि जैविक न्यूरॉन्स कैसे अपने कनेक्शनों को मजबूत करते हैं जब वे एक साथ फायर (fire) करते हैं। बीसीएम (BCM) नियम के रूप में ज्ञात इस नियम ने सिस्टम को यह समायोजित करने की अनुमति दी कि दो नोड्स एक ही संदर्भ में कितनी बार एक साथ दिखाई देते हैं। महत्वपूर्ण रूप से, यह सीखना स्थानीय स्तर पर हुआ, जिसका अर्थ है कि सिस्टम के प्रत्येक भाग को केवल अपने निकटतम पड़ोसियों और वर्तमान डेटा स्ट्रीम के बारे में जानने की आवश्यकता थी, न कि पूरे नेटवर्क के बारे में। सिस्टम ने एक तंत्र का भी उपयोग किया जिससे यह सुनिश्चित हो सके कि विभिन्न नोड्स, भले ही वे बहुत समान दिखते हों, अद्वितीय कोड विकसित करें। यह एक प्रतिस्पर्धी प्रक्रिया के माध्यम से प्राप्त किया गया था जहाँ एक छोटे समूह के भीतर न्यूरॉन्स एक विशिष्ट इनपुट का प्रतिनिधित्व करने के लिए प्रतिस्पर्धा करते थे, जिससे यह सुनिश्चित होता था कि अंतिम कोड विशिष्ट और उपयोगी बना रहे।

जब शोधकर्ताओं ने इस नए आर्किटेक्चर का परीक्षण किया, तो उन्होंने पाया कि यह आश्चर्यजनक दक्षता के साथ जटिल कार्यों को करने में सक्षम है। उन्होंने सिस्टम को वैज्ञानिक साइटेशन और उत्पाद अनुशंसाओं सहित कई मानक डेटासेट्स पर लागू किया, और इसे दो कठिन कार्य करने के लिए कहा: एक नोड की श्रेणी की पहचान करना और यह भविष्यवाणी करना कि क्या दो नोड्स के बीच संबंध मौजूद है। इन परीक्षणों में, कॉलमनर-एम्बेडर ने सबसे उन्नत, ऊर्जा-खपत वाली विधियों के साथ प्रतिस्पर्धी परिणाम दिए। इसने नोड्स को वर्गीकृत करने और लिंक की भविष्यवाणी करने में उच्च सटीकता प्राप्त की, जो उन प्रणालियों के प्रदर्शन से मेल खाती है जो भारी मात्रा में डेटा और जटिल गणितीय अनुकूलन पर निर्भर करती हैं। जो परिणाम विशेष रूप से उल्लेखनीय था वह यह था कि सिस्टम ने बिना किसी लेबल वाले डेटा के, बिना पूरे ग्राफ को एक साथ देखे, और बिना उस धीमी, वैश्विक समायोजन प्रक्रिया के, जो आधुनिक डीप लर्निंग की विशेषता है, इस स्तर की सटीकता प्राप्त की। सिस्टम ने शुद्ध रूप से नेटवर्क की संरचना से सीखकर, एक ऐसा प्रतिनिधित्व बनाया जो मजबूत और पोर्टेबल दोनों था।

शोधकर्ताओं ने यह भी पाया कि उनके जैविक रूप से प्रेरित दृष्टिकोण ने त्रुटियों और परिवर्तनों को संभालने के तरीके में अद्वितीय लाभ प्रदान किए। जब उन्होंने बिट्स को बदलकर या शोर (noise) पेश करके डेटा को जानबूझकर दूषित किया, तो सिस्टम का प्रदर्शन पारंपरिक तरीकों की तुलना में बहुत धीरे-धीरे कम हुआ। यह लचीलापन विरल कोड (sparse code) की प्रकृति से आता है; क्योंकि जानकारी कई घटकों में फैली हुई है, कुछ हिस्सों को खोने से पूरे अर्थ का विनाश नहीं होता है। इसके अलावा, सिस्टम ने बिना किसी डिजाइन या सेटिंग परिवर्तन के बहुत बड़े नेटवर्क तक स्केल करने की क्षमता दिखाई। दस हजार नोड्स वाले ग्राफ पर परीक्षण किए जाने पर, सिस्टम ने उच्च प्रदर्शन और विभिन्न प्रकार के नोड्स के बीच अंतर करने की अपनी क्षमता बनाए रखी। यह सुझाव देता है कि सिस्टम के आंतरिक तंत्र, जो मस्तिष्क के होमियोस्टैटिक संतुलन (homeostatic balance) की नकल करते हैं, इसे डेटा के आकार और जटिलता के अनुकूल होने की अनुमति देते हैं। सिस्टम ने केवल पैटर्न पहचानना ही नहीं सीखा; इसने उन्हें इस तरह से व्यवस्थित करना सीखा जो नेटवर्क की अंतर्निहित संरचना को सुरक्षित रखता है, भले ही नेटवर्क बढ़ता रहे।

इस कार्य की एक महत्वपूर्ण खोज यह है कि आर्किटेक्चर 'इंडक्टिव' (inductive) होने के लिए डिज़ाइन किया गया है, जिसका अर्थ है कि यह सैद्धांतिक रूप से पूरे मॉडल को फिर से प्रशिक्षित किए बिना नए, अनदेखे नोड्स के लिए प्रतिनिधित्व उत्पन्न कर सकता है। हालांकि पेपर पुष्टि करता है कि आर्किटेक्चर एक प्रतिस्पर्धी और लचीला प्रतिनिधित्व बनाता है जो इस इंडक्टिव क्षमता में सक्षम है, यह अनदेखे नोड्स के लाइव स्ट्रीम पर स्पष्ट 'जीरो-शॉट जनरलाइजेशन' परिणाम प्रस्तुत नहीं करता है। इसके बजाय, शोधकर्ताओं ने दिखाया कि सिस्टम बिना किसी आर्किटेक्चरल बदलाव या हाइपरपैरामीटर ट्यूनिंग के बड़े ग्राफ और विभिन्न डेटा प्रकारों तक स्केल करता है, जो बताता है कि अंतर्निहित शिक्षण तंत्र इसके ढांचे के भीतर नए डेटा को संभालने के लिए पर्याप्त मजबूत है। यह क्षमता एक ऐसे भविष्य की ओर संकेत करती है जहाँ ग्राफ लर्निंग सिस्टम वास्तविक समय में संचालित हो सकते हैं, जैसे-जैसे नेटवर्क बदलते हैं, उनके अनुकूल हो सकते हैं। शोधकर्ताओं ने प्रदर्शित किया कि उनका दृष्टिकोण बिना मूल नियमों को बदले, विभिन्न प्रकार के ग्राफ, जैसे कि स्पार्स साइटेशन नेटवर्क से लेकर घने उत्पाद अनुशंसा ग्राफ तक, को संभाल सकता है। यह बहुमुखी प्रतिभा बताती है कि उन्होंने जिन सिद्धांतों को खोजा है वे मौलिक हैं कि जटिल संबंधपरक डेटा को कैसे समझा जा सकता है, न कि यह किसी एक प्रकार के डेटासेट के लिए विशिष्ट एक चाल है। बिना पर्यवेक्षण (supervision), बिना वैश्विक समन्वय और पिछले पाठों को भूलने के जोखिम के सीखने की सिस्टम की क्षमता, वर्तमान अत्याधुनिक अवस्था (state of the art) के लिए एक सम्मोहक विकल्प प्रदान करती है।

अध्ययन ने बाइनरी, विरल प्रतिनिधित्व (sparse representation) की दक्षता पर भी प्रकाश डाला। एक ऐसे कोड का उपयोग करके जहाँ एक समय में केवल एक छोटा संख्या में बिट्स सक्रिय होते हैं, सिस्टम को अन्य विधियों द्वारा उपयोग किए जाने वाले सघन, निरंतर संख्याओं की तुलना में सूचना को संग्रहीत करने और संसाधित करने के लिए काफी कम मेमोरी और ऊर्जा की आवश्यकता होती है। यह दक्षता केवल एक सैद्धांतिक लाभ नहीं है; शोधकर्ताओं ने दिखाया कि बड़े नेटवर्क के लिए, मेमोरी की बचत पर्याप्त हो सकती है, जिससे सिस्टम को छोटे, तेज़ कंप्यूटर कैश में फिट होने की अनुमति मिलती है। यह दृष्टिकोण उन अनुप्रयोगों के लिए विशेष रूप से आकर्षक बनाता है जहाँ संसाधन सीमित हैं या जहाँ गति महत्वपूर्ण है। सिस्टम का डिज़ाइन, जो स्थानीय इंटरैक्शन और सरल नियमों पर निर्भर करता है, इसे मस्तिष्क की नकल करने के लिए डिज़ाइन किए गए विशेष हार्डवेयर पर कार्यान्वयन के लिए भी उपयुक्त बनाता है, जो भविष्य में और भी अधिक ऊर्जा बचत की ओर ले जा सकता है।

अंत में, यह कार्य एक प्रमाण (proof of concept) प्रस्तुत करता है कि एक जैविक रूप से प्रेरित आर्किटेक्चर सबसे परिष्कृत गणितीय मॉडलों के बराबर प्रदर्शन के स्तर के साथ कठिन ग्राफ समस्याओं को हल कर सकता है। यह इस धारणा को चुनौती देता है कि जटिल पैटर्न पहचान के लिए भारी, केंद्रीकृत गणना की आवश्यकता होती है। इसके बजाय, यह दिखाता है कि स्थानीय शिक्षण, प्रतिस्पर्धा और विरल कोडिंग पर निर्मित एक प्रणाली नेटवर्क की समृद्ध, सटीक समझ बना सकती है। शोधकर्ताओं ने यह दावा नहीं किया कि उन्होंने ग्राफ लर्निंग की हर समस्या को हल कर लिया है, न ही उन्होंने यह सुझाव दिया कि उनका सिस्टम हर परिदृश्य में पूर्ण है। उन्होंने नोट किया कि सिस्टम इंजीनियरों द्वारा किए गए विशिष्ट हमलों के प्रति या अत्यंत विरल डेटा वाली स्थितियों में संवेदनशील हो सकता है। हालाँकि, परिणाम स्पष्ट रूप से दिखाते हैं कि एक अलग मार्ग संभव है, जो उन लाखों वर्षों के विकास से प्रेरित है जिसने स्तनधारी मस्तिष्क को आकार दिया है। कॉर्टिकल आर्किटेक्चर के सिद्धांतों को मशीन लर्निंग फ्रेमवर्क में अनुवादित करके, शोधकर्ताओं ने ऐसे सिस्टम बनाने के लिए एक नया मार्ग खोला है जो न केवल शक्तिशाली हैं बल्कि कुशल, मजबूत और बदलती दुनिया में निरंतर सीखने में सक्षम भी हैं।