LEED: Local Embedding Evolution Distance for over-smoothing estimation and virtual node selection in GNN

कल्पना कीजिए कि आप अपने दोस्तों के एक समूह को एक रहस्य सुलझाने का तरीका सिखाने की कोशिश कर रहे हैं, जिसमें उन्हें एक-दूसरे को फुसफुसाकर संकेत देने होते हैं। यह अनिवार्य रूप से वही है जो ग्राफ न्यूरल नेटवर्क (GNNs) करते हैं। कंप्यूटर विज्ञान की दुनिया में, एक "ग्राफ" केवल कनेक्शनों का एक मानचित्र है—जैसे कि एक सोशल नेटवर्क जहाँ लोग बिंदु (dots) हैं और मित्रता रेखाएँ (lines) हैं। GNNs स्मार्ट प्रोग्राम हैं जो इन रेखाओं के माध्यम से जानकारी पास करके, परत दर परत (layer by layer), पूरी तस्वीर को समझने के लिए सीखते हैं।

हालाँकि, इस फुसफुसाहट वाले खेल में दो पेचीदा खामियां हैं। पहली है, "ओवर-स्मूथिंग" (over-smoothing)। यदि आप एक बड़े घेरे में बहुत अधिक बार कोई रहस्य फुसफुसाते हैं, तो अंततः हर कोई बिल्कुल एक ही बात सुन लेता है, और अनूठे विवरण धुंधले हो जाते हैं जब तक कि कोई यह नहीं बता पाता कि किसने क्या कहा था। दूसरी है, "ओवर-क्वैशिंग" (over-squashing)। कल्पना कीजिए कि आप एक विशाल, जटिल कहानी को एक छोटे, संकीर्ण गलियारे में दबाने की कोशिश कर रहे हैं ताकि उसे दूसरी ओर पहुँचाया जा सके; जानकारी कुचली, विकृत या पूरी तरह से खो जाती है क्योंकि रास्ता बहुत भीड़भाड़ वाला या बहुत लंबा होता है। वैज्ञानिक वर्षों से इन खामियों को ठीक करने की कोशिश कर रहे हैं, अक्सर "वर्चुअल नोड्स" (virtual nodes) जोड़कर—काल्पनिक सुपर-फ्रेंड्स जो दूर के हिस्सों को जोड़ने के लिए तुरंत संपर्क बना सकते हैं ताकि प्रक्रिया तेज हो सके। लेकिन बड़ा सवाल हमेशा यह रहा है: किन दोस्तों को ये महाशक्तियाँ मिलनी चाहिए? आमतौर पर, शोधकर्ता बस अनुमान लगाते थे या विभिन्न नियमों को आजमाते थे यह देखने के लिए कि क्या काम करता है।

यह शोध पत्र एक नया, चतुर उपकरण पेश करता है जिसे LEED (लोकल एम्बेडिंग इवोल्यूशन डिस्टेंस) कहा जाता है ताकि इस अनुमान लगाने वाले खेल को हल किया जा सके। LEED को एक अत्यंत संवेदनशील माइक्रोफ़ोन के रूप में समझें जो यह सुनता है कि समूह के माध्यम से संदेश यात्रा करते समय प्रत्येक व्यक्तिगत मित्र की "आवाज़" (डेटा का प्रतिनिधित्व) वास्तव में कैसे बदलती है। पूरे समूह को यह देखने के बजाय कि क्या हर कोई एक जैसा सुनाई दे रहा है, LEED हर एक व्यक्ति पर ध्यान केंद्रित करता है ताकि यह देखा जा सके कि कौन शोर में खो रहा है या कौन बाधा (bottleneck) में फँसा हुआ है। लेखकों ने पाया कि इन "क्रिटिकल नोड्स" (critical nodes) को चुनने के लिए LEED का उपयोग करने से, वे बिना अनजाने में स्मूथिंग की समस्या पैदा किए, स्क्वैशिंग की समस्या को ठीक कर सकते हैं। उनके छह अलग-अलग डेटासेट्स पर किए गए प्रयोगों ने दिखाया कि यह नया तरीका कंप्यूटर को पुराने अनुमान लगाने वाले खेलों की तुलना में बेहतर और तेज़ी से सीखने में मदद करता है, जिससे यह सिद्ध होता है कि बातचीत के विवरणों को करीब से सुनना ही पूरे सिस्टम को ठीक करने की कुंजी है।

फुसफुसाते नेटवर्क की कहानी

आइए इन डिजिटल नेटवर्क के जादू में गहराई से उतरें। आप एक ग्राफ न्यूरल नेटवर्क को "टेलीफोन" के एक विशाल खेल की तरह मान सकते हैं, लेकिन इसमें किसी बेतुके गीत के बजाय, खिलाड़ी एक अणु (molecule), एक उद्धरण (citation), या एक सामाजिक संबंध के बारे में जटिल डेटा पास कर रहे हैं। एक मानक खेल में, यदि आप बहुत अधिक लोगों के माध्यम से एक संदेश पास करते हैं, तो वह बिगड़ जाता है। एक GNN में, यदि आप बहुत अधिक परतों (layers) के माध्यम से जानकारी पास करते हैं, तो प्रत्येक नोड (बिंदुओं) की अनूठी विशेषताएं आपस में मिल जाती हैं और वे सभी एक जैसे दिखने लगते हैं। यह ओवर-स्मूथिंग है। यह वैसा ही है जैसे यदि आपकी कक्षा में हर कोई बिल्कुल एक जैसा यूनिफॉर्म पहनने लगे और एक ही जुमला बोलने लगे; तब आप अपने सबसे अच्छे दोस्त और एक अजनबी के बीच अंतर नहीं कर पाएंगे।

फिर इसके विपरीत समस्या है: ओवर-क्वैशिंग। यह तब होता है जब एक संदेश को एक विशाल ग्राफ के एक तरफ से दूसरी ओर जाना होता है, लेकिन रास्ता संकीर्ण होता है। कल्पना कीजिए कि आप एक 50 पन्नों का पत्र एक छोटे से मेल स्लॉट के माध्यम से भेजने की कोशिश कर रहे हैं जो केवल एक पोस्टकार्ड समा सकता है। जानकारी को ठसाठस भरा, कुचला और विकृत कर दिया जाता है। ग्राफ के संदर्भ में, यह "बॉटलनेक्स" (bottlenecks) पर होता है—ऐसी जगहें जहाँ एक एकल नोड या कुछ किनारों (edges) को नेटवर्क के दूर के हिस्सों से बहुत अधिक ट्रैफ़िक ले जाना पड़ता है।

इन समस्याओं को ठीक करने के लिए, वैज्ञानिकों ने वर्चुअल नोड्स जोड़ने का प्रयास किया है। इन्हें "सुपर-कनेक्टर्स" या "टेलीपोर्टर" के रूप में सोचें। यदि आप एक जादुई मित्र जोड़ते हैं जो सभी से जुड़ा हुआ है, तो संदेश को मूल समूह के लंबे, घुमावदार रास्ते से नहीं गुजरना पड़ता है; यह सीधे टेलीपोर्टर पर कूद सकता है और गंतव्य तक पहुँच सकता है। यह दूरी को कम करके स्क्वैशिंग की समस्या को ठीक करता है। लेकिन यहाँ एक पेंच है: यदि आप गलत व्यक्ति को टेलीपोर्टर के रूप में चुनते हैं, या यदि आप बहुत अधिक जोड़ते हैं, तो आप अनजाने में "ओवर-स्मूथिंग" की समस्या को और खराब कर सकते हैं। आप सबको बहुत जल्दी एक जैसा बना सकते हैं।

लंबे समय तक, शोधकर्ता इन विशेष नोड्स को पुराने नियमों का उपयोग करके चुनते थे, जैसे "किसके सबसे अधिक मित्र हैं?" (डिग्री) या "कौन सबसे छोटे रास्तों पर सबसे अधिक है?" (बिटवीननेस)। वे इन विभिन्न नियमों को आजमाते थे, प्रयोग चलाते थे और देखते थे कि किस नियम ने सबसे अच्छा स्कोर दिया। यह एक विशाल कीचेन में से हर चाबी को यह जाने बिना आज़माने जैसा था कि वास्तव में कौन सी चाबी ताले में फिट बैठती है।

LEED: जासूसी आवर्धक लेंस

इस शोध पत्र के लेखकों, किलियन क्रेसेंट और पेड्रो बी. वेलोसो ने अनुमान लगाना बंद करने का निर्णय लिया। उन्होंने एक नया मीट्रिक बनाया जिसे LEED (लोकल एम्बेडिंग इवोल्यूशन डिस्टेंस) कहा जाता है। पूरे ग्राफ को यह देखने के बजाय कि चीजें धुंधली हो रही हैं या नहीं, LEED प्रत्येक नोड के लिए एक आवर्धक लेंस (magnifying glass) की तरह कार्य करता है। यह ट्रैक करता है कि नेटवर्क की प्रत्येक परत के माध्यम से गुजरते समय एक नोड का "एम्बेडिंग" (उसका आंतरिक प्रतिनिधित्व) वास्तव में कैसे विकसित होता है।

यहाँ चतुराई भरा हिस्सा है: LEED केवल एक नोड और उसके पड़ोसियों के बीच की दूरी को नहीं मापता; यह एक ऐसे रूपांतरण के बाद न्यूनतम दूरी को मापता है जो उस प्रक्रिया की नकल करता है जिससे नेटवर्क सूचना को संसाधित करता है। यह यह जाँचने जैसा है कि क्या एक छात्र का उत्तर उसके पड़ोसी के उत्तर के बहुत समान होता जा रहा है, लेकिन विशेष रूप से सबसे करीबी मिलान को देखता है कि क्या वे एक-दूसरे की नकल करना शुरू कर रहे हैं।

ऐसा करके, LEED एक साथ दो चीजें पहचान सकता है:

1. कौन खो रहा है? (वे नोड्स जो अन्य सभी के बहुत समान हो रहे हैं, जो ओवर-स्मूथिंग का संकेत देते हैं)।
2. बॉटलनेक कौन है? (वे नोड्स जो सूचना पास करने के लिए संघर्ष कर रहे हैं, जो ओवर-क्वैशिंग का संकेत देते हैं)।

शोध पत्र तर्क देता है कि ये दोनों समस्याएँ वास्तव में एक ही सिक्के के दो पहलू हैं। आप एक को बिना दूसरे के बारे में सोचे ठीक नहीं कर सकते। यदि आप स्क्वैशिंग को ठीक करने के लिए बहुत अधिक कनेक्शन जोड़ते हैं, तो आप सब कुछ बहुत तेज़ी से स्मूथ कर सकते हैं। LEED यह पहचानने में मदद करता है कि कौन से "क्रिटिकल नोड्स" हैं—वे विशिष्ट लोग जिन्हें वर्चुअल नोड्स बनने की आवश्यकता है ताकि समूह की विशिष्टता को बनाए रखते हुए प्रवाह को सुधारा जा सके।

प्रयोग: नई रणनीति का परीक्षण

यह देखने के लिए कि क्या उनका नया जासूसी उपकरण वास्तव में काम कर रहा है, लेखकों ने प्रयोगों की एक श्रृंखला चलाई। उन्होंने छह अलग-अलग डेटासेट्स (जैसे रासायनिक संरचनाओं और जैविक डेटा के संग्रह MUTAG, ENZYMES और PROTEINS) को लिया और अपने तरीके का मौजूदा तरीकों के विरुद्ध परीक्षण किया।

उन्होंने अपने दृष्टिकोण (जो क्रिटिकल नोड्स चुनने के लिए LEED का उपयोग करता है) की तुलना दो लोकप्रिय मौजूदा विधियों से की:

• LVN (लोकल वर्चुअल नोड्स): एक विधि जो ग्राफ में वर्चुअल नोड्स के छोटे समूहों को जोड़ती है।
• PANDA: एक विधि जो अधिक जानकारी रखने के लिए कुछ नोड्स के आकार का विस्तार करती है।

पुराने समय में, इन विधियों को "सेंट्रैलिटी" (centrality) के विभिन्न नियमों (जैसे डिग्री, पेज रैंक, बिटवीननेस) को आज़माना पड़ता था ताकि यह देखा जा सके कि कौन सा सबसे अच्छा काम करता है। यह एक परीक्षण और त्रुटि (trial-and-error) की प्रक्रिया थी। लेखकों ने उन सभी पुराने नियमों को केवल LEED से बदल दिया।

परिणाम उत्साहजनक थे। उनके परीक्षणों में, LVN-LEED संयोजन ने डेटासेट्स में सबसे अच्छा औसत प्रदर्शन किया। उदाहरण के लिए, MUTAG डेटासेट पर, मानक GCN (बुनियादी मॉडल) ने लगभग 74.75% की सटीकता प्राप्त की, जबकि LVN-LEED मॉडल ने 83.33% तक पहुँच बनाई। ENZYMES पर, सुधार और भी स्पष्ट था, जो 29.08% से बढ़कर 31.09% (और कुछ विशिष्ट परीक्षणों में और भी अधिक) हो गया।

लेखकों ने नोट किया कि जबकि पुराने तरीके कभी-कभी अच्छी तरह से काम करते थे, उन्हें बहुत अधिक ट्यूनिंग की आवश्यकता होती थी। दूसरी ओर, LEED बिना दर्जनों नियमों का परीक्षण किए लगातार अच्छा काम करता है। इसने सुझाव दिया कि डेटा के स्थानीय विकास (local evolution) पर ध्यान केंद्रित करके, वे सही नोड्स को खोज सकते हैं जो नेटवर्क को बेहतर तरीके से "साँस लेने" में मदद करते हैं।

शोध पत्र क्या कहता है (और क्या नहीं कहता)

यह समझना महत्वपूर्ण है कि यह शोध पत्र वास्तव में क्या सिद्ध करता है। लेखक दिखाते हैं कि LEED पुराने वैश्विक ऊर्जा मापों (जैसे डिरिचलेट ऊर्जा) की तुलना में एक अधिक सूचनात्मक नैदानिक उपकरण (diagnostic tool) है क्योंकि यह स्थानीय विवरण देख सकता है। वे यह भी प्रदर्शित करते हैं कि नोड्स चुनने के लिए LEED का उपयोग करने से उनके विशिष्ट प्रयोगों में रैंडम चयन या मानक सेंट्रैलिटी मापों की तुलना में बेहतर प्रदर्शन होता है।

हालाँकि, शोध पत्र इस बात का दावा करने में सावधानी बरतता है कि यह हर समस्या के लिए एक जादुई समाधान है। वे स्पष्ट रूप से कहते हैं कि उनके परिणाम विशिष्ट डेटासेट्स पर सिमुलेशन और प्रयोगों पर आधारित हैं। उन्होंने पाया कि कुछ डेटासेट्स जिनमें स्पष्ट नोड विशेषताएं नहीं थीं (जैसे COLLAB), उनमें सुधार उतना नाटकीय नहीं था, और PANDA फ्रेमवर्क के एक मामले में, प्रदर्शन थोड़ा गिर गया, हालांकि यह महत्वपूर्ण नहीं था। यह सुझाव देता है कि जबकि LEED एक शक्तिशाली नया उपकरण है, इसे आपके द्वारा देखे जा रहे डेटा के प्रकार के आधार पर बदलने की आवश्यकता हो सकती है।

लेखक यह भी बताते हैं कि उन्होंने एक विशिष्ट प्रकार के नेटवर्क आर्किटेक्चर (GCN) पर ध्यान केंद्रित किया है और अभी भी बहुत कुछ तलाशना बाकी है। वे सुझाव देते हैं कि भविष्य के कार्य यह देख सकते हैं कि LEED अन्य प्रकार के नेटवर्क के साथ कैसे काम करता है या इसका उपयोग ग्राफ को फिर से जोड़ने के और भी स्मार्ट तरीके डिजाइन करने के लिए कैसे किया जा सकता है। वे यह दावा नहीं करते कि उन्होंने ओवर-स्मूथिंग की समस्या को हमेशा के लिए हल कर दिया है; बल्कि, उन्होंने इसे देखने के लिए एक नया, तेज़ लेंस और इसे ठीक करने का एक बेहतर तरीका प्रदान किया है।

मुख्य निष्कर्ष

अंत में, यह शोध पत्र बेहतर ढंग से सुनने के बारे में है। वर्षों से, वैज्ञानिक ग्राफ न्यूरल नेटवर्क के "टेलीफोन" खेल को यह अनुमान लगाकर ठीक करने की कोशिश कर रहे थे कि किन दोस्तों को महाशक्तियाँ चाहिए। इस शोध पत्र के लेखकों ने एक नया उपकरण, LEED बनाया, जो हर एक फुसफुसाहट को सुनता है ताकि यह देखा जा सके कि संदेश कहाँ खो रहा है या कहाँ हर कोई एक जैसा सुनाई देने लगा है। इन "वर्चुअल नोड्स" को चुनने के लिए इस उपकरण का उपयोग करके, उन्होंने दिखाया कि नेटवर्क तेज़ी से और अधिक सटीक रूप से सीख सकता है। यह एक याद दिलाता है कि कभी-कभी, किसी बड़ी समस्या को ठीक करने के लिए, आपको एक बड़े हथौड़े की आवश्यकता नहीं होती; आपको बस विवरणों को देखने के एक बेहतर तरीके की आवश्यकता होती।