🤖 machine learning

Towards Stable, Globally Expressive Graph Representations with Laplacian Eigenvectors

यह शोध पत्र लाप्लासियन आइजनवेक्टर्स (Laplacian eigenvectors) पर आधारित स्थिर और वैश्विक रूप से अभिव्यंजक ग्राफ निरूपण उत्पन्न करने के लिए सीखने योग्य $O(p)$ -इनवेरिएंट निरूपणों और संख्यात्मक रूप से निकट आइजनवैल्यूज़ के सुचारू प्रबंधन का उपयोग करके ग्राफ न्यूरल नेटवर्क को बढ़ाने के लिए एक नवीन विधि प्रस्तावित करता है।

मूल लेखक: Junru Zhou, Cai Zhou, Xiyuan Wang, Pan Li, Muhan Zhang

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junru Zhou, Cai Zhou, Xiyuan Wang, Pan Li, Muhan Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को एक जटिल शहर (एक "ग्राफ") की आकृति और संरचना को समझना सिखाने की कोशिश कर रहे हैं, जो चौराहों (नोड्स) और सड़कों (एजेस) से बना है। कंप्यूटर एक टूल का उपयोग करता है जिसे ग्राफ न्यूरल नेटवर्क (GNN) कहा जाता है।

हालाँकि, मानक GNN के दो बड़े अंधे बिंदु (blind spots) हैं:

स्थानीय अंधापन (Local Blindness): वे दो ऐसे चौराहों के बीच अंतर नहीं कर पाते जो अपने तत्काल पड़ोस से बिल्कुल एक जैसे दिखते हैं, भले ही बाकी शहर पूरी तरह से अलग हो।
वैश्विक अंधापन (Global Blindness): उन्हें यह समझने में कठिनाई होती है कि शहर के दो दूर स्थित हिस्से एक-दूसरे से कैसे संबंधित हैं क्योंकि वे एक बार में केवल एक सड़क को देखते हैं।

इसे ठीक करने के लिए, शोधकर्ता अक्सर कंप्यूटर को शहर के कंपनों (vibrations) का एक "मानचित्र" देते हैं। गणितीय शब्दों में, ये लैपलेसियन आइजनवेक्टर्स (Laplacian Eigenvectors) हैं। इन आइजनवेक्टर्स को आप शहर की अनूठी "कंपन पैटर्न" या "फिंगरप्रिंट" के रूप में समझ सकते हैं। वे कंप्यूटर को बताते हैं कि एक नोड बड़े परिदृश्य में कहाँ स्थित है और वह पूरे सिस्टम से कैसे जुड़ता है।

समस्या: "कांपता हुआ मानचित्र" (The Shaky Map)

एक पेच है: ये कंपन मानचित्र बहुत पेचीदा होते हैं। यदि आप शहर को घुमाते हैं या मानचित्र को पलट देते हैं, तो संख्याएँ बदल जाती हैं, भले ही शहर वही हो। यदि कंप्यूटर इन घुमावों से भ्रमित होता है, तो वह गलत चीजें सीख लेता है।

इससे भी बुरा यह है कि ये मानचित्र अस्थिर (unstable) हैं। कल्पना कीजिए कि एक छोटा सा भूकंप (डेटा में एक छोटा सा बदलाव) एक उच्च-आवृत्ति वाले कंपन पैटर्न को अचानक कई छोटे, अलग पैटर्न में तोड़ देता है। यदि कंप्यूटर को "बड़े पैटर्न" और "छोटे पैटर्न" को पूरी तरह से अलग चीजों के रूप में पहचानने के लिए प्रशिक्षित किया गया था, तो एक छोटा सा भूकंप कंप्यूटर को घबरा सकता है और उसे पूरी तरह से गलत उत्तर दे सकता है। पिछले तरीकों ने इन पैटर्न को कठोर, अलग ब्लॉकों के रूप में मानकर इसे ठीक करने की कोशिश की, लेकिन इसने सिस्टम को नाजुक और छोटे बदलावों के प्रति संवेदनशील बना दिया।

समाधान: एक लचीला, सुचारू दृष्टिकोण (A Flexible, Smooth Approach)

इस शोध पत्र के लेखक एक नया तरीका प्रस्तावित करते हैं, जिसे वे OGE-Aug कहते हैं। वे दो मुख्य विचारों का उपयोग करते हैं:

1. "यूनिवर्सल ट्रांसलेटर" (वैनिला OGE-Aug)
सबसे पहले, वे एक सुपर-स्मार्ट अनुवादक की कल्पना करते हैं जो किसी भी समूह के कंपन पैटर्न (चाहे वे कितने भी हों) को देख सकता है और उनका वर्णन इस तरह से कर सकता है कि उन्हें इस बात से फर्क न पड़े कि मानचित्र को घुमाया गया है या पलटा गया है। वे सिद्ध करते हैं कि यदि आप इस अनुवादक का उपयोग करते हैं, तो कंप्यूटर सैद्धांतिक रूप से किसी भी ग्राफ को पूरी तरह से समझ सकता है। यह एक ऐसे शब्दकोश की तरह है जो हर संभव शहर के लेआउट का वर्णन कर सकता है बिना किसी परिप्रेक्ष्य (perspective) से भ्रमित हुए।

2. "सॉफ्ट फिल्टर" (OGE-Aug)
हालाँकि, वह सुपर-स्मार्ट अनुवादक अभी भी थोड़ा अस्थिर है जब शहर थोड़ा कंपन करता है। इसलिए, लेखक एक स्मूथिंग फ़िल्टर (smoothing filter) जोड़ते हैं।

पुराना तरीका (Hard Split): कल्पना कीजिए कि आप कंचों (marbles) के एक डिब्बे को उनके आकार के आधार पर छाँट रहे हैं। यदि आपके पास 5.0mm का कंचा है, तो आप उसे "5mm" वाले डिब्बे में रखते हैं। यदि एक सूक्ष्म कंपन उसे 5.01mm बना देता है, तो आपको अचानक उसे "5.1mm" वाले डिब्बे में ले जाना पड़ता है। यह "हार्ड स्प्लिट" अराजकता पैदा करता है।
नया तरीका (Soft Mask): हार्ड डिब्बों के बजाय, कल्पना कीजिए कि कंचों पर एक नरम, धुंधला जेल (gel) लगा हुआ है। एक 5.0mm का कंचा मुख्य रूप से "5mm" क्षेत्र में है, लेकिन वह "5.1mm" क्षेत्र में भी थोड़ा ओवरलैप करता है। यदि वह 5.01mm तक कंपन करता है, तो वह बस जेल के भीतर थोड़ा सा खिसक जाता है। वह डिब्बे नहीं बदलता।

लेखक विभिन्न कंपन पैटर्न को मिलाने के लिए एक गणितीय "सॉफ्ट मास्क" (एक स्मूथिंग फंक्शन) का उपयोग करते हैं। यह सुनिश्चित करता है कि यदि ग्राफ थोड़ा बदलता है, तो कंप्यूटर की समझ सुचारू रूप से बदलेगी, अचानक नहीं।

उन्होंने क्या पाया

उन्होंने वास्तविक दुनिया के डेटा पर इस नए तरीके का परीक्षण किया, जिसमें शामिल हैं:

अणु (Molecules): रासायनिक गुणों की भविष्यवाणी करना (जैसे कि एक दवा का अणु कैसे व्यवहार करता है)।
लंबी दूरी की अंतःक्रियाएं (Long-range interactions): एक नेटवर्क के दूर के हिस्सों के बीच कनेक्शन को समझना।

परिणाम:

बेहतर सटीकता: उनके तरीके ने मानक परीक्षणों पर लगभग सभी मौजूदा तरीकों को पछाड़ दिया।
वैश्विक समझ: यह विशेष रूप से "ग्लोबल" गुणों को सीखने में अच्छा था—ऐसी चीजें जो पूरी संरचना पर निर्भर करती हैं, जैसे कि एक अणु की कुल ऊर्जा—बजाय केवल स्थानीय विवरणों के।
स्थिरता: जब डेटा थोड़ा शोरयुक्त (noisy) था या बदल गया, तो उनके तरीके ने शांत और सटीक रहकर काम किया, जबकि पुराने तरीके अक्सर विफल हो जाते थे।

सारांश में

यह शोध पत्र कंप्यूटर को जटिल नेटवर्क का एक "स्थिर, वैश्विक मानचित्र" देने का एक तरीका पेश करता है। अपने मानचित्र के कंपनों को संभालने के लिए एक लचीले, "सॉफ्ट" गणितीय फिल्टर का उपयोग करके, उन्होंने एक ऐसा सिस्टम बनाया जो जटिल संरचनाओं को समझने में अविश्वसनीय रूप से शक्तिशाली है और वास्तविक दुनिया के शोर के बिना टूटने के बजाय मजबूत भी है।

तकनीकी सारांश: लैपलेसियन आइगेनवेक्टर्स के साथ स्थिर, वैश्विक रूप से अभिव्यंजक ग्राफ प्रतिनिधित्व की ओर

समस्या विवरण

ग्राफ न्यूरल नेटवर्क (GNNs), विशेष रूप से मैसेज पासिंग न्यूरल नेटवर्क (MPNNs), दो प्राथमिक सीमाओं का सामना करते हैं:

सीमित स्थानीय अभिव्यक्तकता (Limited Local Expressivity): MPNNs अक्सर गैर-आइसोमॉर्फिक ग्राफ या समान पड़ोस वाले संरचनात्मक रूप से भिन्न नोड्स के बीच अंतर करने में विफल रहते हैं, जो कि 1-वेइसफाइलर-लेमन (1-WL) परीक्षण द्वारा सीमित है।
वैश्विक गुणों को पकड़ने में अक्षमता: MPNNs कई मैसेज-पासिंग चरणों के कारण होने वाले "ओवरस्क्वैशिंग" (oversquashing) के कारण लंबी दूरी की अंतःक्रियाओं (long-range interactions) को सीखने में संघर्ष करते हैं।

एक आशाजनक दृष्टिकोण इन मुद्दों को संबोधित करने के लिए नोड फीचर्स को लैपलेसियन आइगेनवेक्टर्स (Laplacian eigenvectors) के साथ संवर्धित करना है, जो समृद्ध स्थानीय संरचनात्मक जानकारी और वैश्विक स्थितिगत निर्देशांक प्रदान करते हैं। हालांकि, इन आइगेनवेक्टर्स का उपयोग करने से दो महत्वपूर्ण बाधाएं उत्पन्न होती हैं:

ऑर्थोगोनल समूह अपरिवर्तनीयता (Orthogonal Group Invariance): लैपलेसियन मैट्रिक्स का आइजनडिकंपोजिशन अद्वितीय नहीं होता है। एक ही आइगेनवैल्यू के अनुरूप $\mu_j$ आयाम के eigenspace के लिए, आइगेनवेक्टर्स का कोई भी ऑर्थोगोनल ट्रांसफॉर्मेशन ( $O(p)$ ) समान रूप से वैध अपघटन प्रदान करता है। एक GNN को आइसोमॉर्फिक ग्राफों के लिए समान आउटपुट देना चाहिए, चाहे उन eigenspaces के लिए चुना गया आधार (basis) कुछ भी हो।
स्थिरता (Stability): नेटवर्क का आउटपुट स्थिर रहना चाहिए जब इनपुट ग्राफ छोटे परिवर्तनों (perturbations) से गुजरता है। वे दृष्टिकोण जो eigenspaces को अलग-अलग मानते हैं (जैसे, विभिन्न आयामों के लिए अलग-अलग एनकोडर का उपयोग करना), अस्थिर होते हैं क्योंकि छोटे परिवर्तन उच्च-आयामी eigenspaces को निम्न-आयामी eigenspaces में विभाजित कर सकते हैं, जिससे लागू किए गए एनकोडर में अचानक बदलाव आता है।

पिछले कार्यों ने इनहेरेंट इनवेरियंस को हल करने के लिए आइगेनवेक्टर्स के आंतरिक उत्पाद (inner products) (जैसे, $VV^T$ ) या अंतर के नॉर्म्स (norms of differences) का उपयोग करने का प्रयास किया है, लेकिन ये विधियाँ अक्सर समृद्ध संरचनात्मक जानकारी को त्याग देती हैं या स्थिरता सुनिश्चित करने में विफल रहती हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र लैपलेसियन आइगेनवेक्टर्स का उपयोग करके स्थिर, वैश्विक रूप से अभिव्यंजक ग्राफ प्रतिनिधित्व उत्पन्न करने के लिए एक फ्रेमवर्क प्रस्तावित करता है। यह दृष्टिकोण दो चरणों में विकसित किया गया है:

1. वैनिला OGE-Aug (Vanilla Orthogonal Group Equivariant Augmentation)

लेखक पहले सार्वभौमिक ग्राफ प्रतिनिधित्व (universal graph representation) प्राप्त करने के लिए एक सैद्धांतिक रूप से आदर्श विधि प्रस्तावित करते हैं।

तंत्र (Mechanism): प्रत्येक $\mu_j$ आयाम के eigenspace के लिए, जो $\lambda_j$ आइगेनवैल्यू के अनुरूप है, विधि एक विशिष्ट $O(\mu_j)$ -इनवेरिएंट यूनिवर्सल रिप्रेजेंटेशन फंक्शन, जिसे $f_{\mu_j}$ कहा जाता है, लागू करती है। ये फंक्शन शक्तिशाली इनवेरिएंट पॉइंट क्लाउड नेटवर्क (जैसे, टेंसर फील्ड नेटवर्क) पर आधारित हैं।
निर्माण (Construction): संवर्धित नोड फीचर्स को मूल नोड फीचर्स को प्रोसेस्ड आइगेनवेक्टर्स, आइगेनवैल्यूज और मल्टीप्लिसिटीज के एक सेट प्रतिनिधित्व के साथ जोड़कर बनाया जाता है।
सैद्धांतिक परिणाम: लेखक सिद्ध करते हैं कि यदि अंतर्निहित पॉइंट क्लाउड नेटवर्क सार्वभौमिक हैं, तो परिणामी GNN आर्किटेक्चर ग्राफों के लिए एक सार्वभौमिक प्रतिनिधित्व (किसी भी गैर-आइसोमॉर्फिक ग्राफ के बीच अंतर करने में सक्षम) होगा, बशर्ते कि स्थिरता बाधा को अस्थायी रूप से अनदेखा किया जाए।
सीमा: यह "हार्ड स्प्लिट" दृष्टिकोण, जहाँ विभिन्न eigenspace आयामों के लिए अलग-अलग एनकोडर का उपयोग किया जाता है, अस्थिर है। ग्राफ में छोटे परिवर्तन आइगेनवैल्यू की मल्टीप्लिसिटी को बदल सकते हैं, जिससे मॉडल अलग-अलग एनकोडर ( $f_{\mu}$ से $f_{\mu'}$ ) के बीच स्विच कर सकता है, जिसके परिणामस्वरूप असंतत (discontinuous) आउटपुट परिवर्तन होता है।

2. OGE-Aug (Smooth Orthogonal Group Equivariant Augmentation)

Vanilla OGE-Aug की अस्थिरता को दूर करने के लिए, लेखक एक सुचारू संस्करण, OGE-Aug प्रस्तावित करते हैं।

तंत्र: प्रत्येक eigenspace के लिए अलग-अलग एनकोडर का उपयोग करने के बजाय, OGE-Aug सभी आइगेनवेक्टर्स को प्रोसेस करने के लिए एक एकल $O(n)$ -इनवेरिएंट यूनिवर्सल रिप्रेजेंटेशन फंक्शन $f$ का उपयोग करता है।
सॉफ्ट मास्किंग (Soft Masking): यह सुनिश्चित करने के लिए कि विभिन्न eigenspaces के आइगेनवेक्टर्स को उचित रूप से प्रोसेस किया जाए, विधि एक निरंतर स्मूथिंग फंक्शन $\rho$ $ρ$ का उपयोग करती है। एक लक्षित आइगेनवैल्यू $\lambda_j$ $λ_{j}$ के लिए, अन्य सभी आइगेनवैल्यूज $\lambda_k$ $λ_{k}$ के आइगेनवेक्टर्स को $\rho(|\lambda_k - \lambda_j|)$ $ρ (∣ λ_{k} - λ_{j} ∣)$ द्वारा भारित (weighted) किया जाता है।
- $\rho(0) = 1$ और $x \to \infty$ होने पर $\rho(x) \to 0$ ।
- यह एक "सॉफ्ट" मास्क बनाता है जहाँ एक ही eigenspace के आइगेनवेक्टर्स पूरी तरह से शामिल होते हैं, जबकि दूर के eigenspaces के आइगेनवेक्टर्स को कम (attenuate) कर दिया जाता है।
स्थिरता: लेखक सैद्धांतिक रूप से सिद्ध करते हैं कि OGE-Aug स्थिर है। हार्ड स्प्लिट से बचकर और एक सिंगल एनकोडर के साथ स्मूथ वेटिंग का उपयोग करके, आउटपुट लैपलेसियन मैट्रिक्स में होने वाले परिवर्तनों के सापेक्ष निरंतर रूप से बदलता है।
कार्यान्वयन: व्यवहार में, लेखक $f$ को एक कार्टेशियन टेंसर-आधारित पॉइंट क्लाउड नेटवर्क (द्वितीय-क्रम के टेंसर तक) का उपयोग करके लागू करते हैं, न कि एक सैद्धांतिक रूप से सार्वभौमिक लेकिन गणनात्मक रूप से अव्यवहार्य नेटवर्क का।

मुख्य योगदान

सैद्धांतिक सार्वभौमिकता (Theoretical Universality): यह शोध पत्र स्थापित करता है कि लैपलेसियन आइगेनवेक्टर्स, जब $O(p)$ -इनवेरिएंट यूनिवर्सल पॉइंट क्लाउड नेटवर्क द्वारा प्रोसेस किए जाते हैं, तो सार्वभौमिक ग्राफ प्रतिनिधित्व की ओर ले जा सकते हैं। यह आइगेनवेक्टर-आधारित विधियों की प्रतिनिधित्व सीमा (स्थिरता को अनदेखा करते हुए) का उत्तर देता है।
स्थिर संवर्धन फ्रेमवर्क (Stable Augmentation Framework): लेखक OGE-Aug प्रस्तावित करते हैं, जो एक नया तरीका है जो अधिकतम सैद्धांतिक अभिव्यक्तकता के लिए स्थिरता का व्यापार करता है। यह आइगेनवैल्यू के विभाजन (splitting) को संभालने के लिए एक एकल $O(n)$ -इनवेरिएंट एनकोडर और स्मूथ मास्किंग का उपयोग करता है, जिससे संख्यात्मक रूप से निकट आइगेनवैल्यूज के प्रति मजबूती सुनिश्चित होती है।
अनुभवजन्य प्रदर्शन (Empirical Performance): व्यापक प्रयोग विभिन्न बेंचमार्क (QM9, ZINC12k, PCQM-Contact, CLUSTER, PATTERN, ogbg-molhiv) पर OGE-Aug की प्रतिस्पर्धी या स्टेट-ऑफ-द-आर्ट प्रदर्शन क्षमता को प्रदर्शित करते हैं।
वैश्विक गुण सीखना (Global Property Learning): परिणाम संकेत देते हैं कि विधि विशेष रूप से ग्राफ के वैश्विक गुणों (जैसे, अणुओं के मैक्रोस्कोपिक थर्मोडायनामिक गुण) को सीखने में प्रभावी है, जो लंबी दूरी की अंतःक्रियाओं के मॉडलिंग के लिए आवश्यक कार्यों में सबग्राफ-आधारित विधियों और अन्य आइगेनवेक्टर-संवर्धित GNNs को पीछे छोड़ देती है।

प्रयोगात्मक परिणाम

शोध पत्र कई डेटासेट्स पर OGE-Aug का मूल्यांकन करता है:

QM9 (आणविक गुण): OGE-Aug 12 लक्ष्यों में प्रतिस्पर्धी MAE प्राप्त करता है। विशेष रूप से, यह $U_0, U, H, G$ (थर्मोडायनामिक गुण) जैसे लक्ष्यों पर बेहतर प्रदर्शन करता है, जो लंबी दूरी की अंतःक्रियाओं पर निर्भर करते हैं, और MPNN, NGNN, और PST जैसी विधियों से बेहतर प्रदर्शन करता है।
ZINC12k (घुलनशीलता प्रतिगमन): एक सरल GINE बैकबोन के साथ मिलकर, OGE-Aug सभी बेसलाइन, जिनमें उन्नत ग्राफ ट्रांसफॉर्मर (GraphGPS, Specformer) और अन्य आइगेनवेक्टर-संवर्धित विधियाँ (SignNet, BasisNet) शामिल हैं, को पछाड़ देता है।
PCQM-Contact (लॉन्ग-रेंज लिंक रैंकिंग): GPS आर्किटेक्चर के साथ मिलकर, OGE-Aug सभी बेसलाइन में उच्चतम Mean Reciprocal Rank (MRR) प्राप्त करता है, जो लंबी दूरी की अंतःक्रियाओं को पकड़ने की इसकी क्षमता की पुष्टि करता है।
OOD बेंचमार्क (DrugOOD): OGE-Aug मजबूत आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रदर्शन प्रदर्शित करता है, विशेष रूप से "Assay" डोमेन में, जो BasisNet और अन्य पोजीशनल एनकोडिंग विधियों से बेहतर है। यह इस दावे का समर्थन करता है कि सैद्धांतिक स्थिरता व्यावहारिक मजबूती में अनुवादित होती है।
एब्लेशन अध्ययन (Ablation Studies): प्रयोग पुष्टि करते हैं कि OGE-Aug को अस्थिर Vanilla OGE-Aug से बदलने से प्रदर्शन में महत्वपूर्ण गिरावट आती है, जो स्थिरता के लिए स्मूथिंग फंक्शन $\rho$ की आवश्यकता को प्रमाणित करता है।

महत्व और दावे

शोध पत्र का दावा है कि इसका प्राथमिक महत्व लैपलेसियन आइगेनवेक्टर-आधारित GNNs में अभिव्यक्तकता (expressivity) और स्थिरता (stability) के बीच के अंतर को पाटने में निहित है।

जबकि पिछले कार्यों ने या तो स्थिरता के लिए अभिव्यक्तकता का त्याग किया (आंतरिक उत्पादों का उपयोग करके) या स्थिरता के लिए अभिव्यक्तकता को अनदेखा किया (नाइव आइगेनवेक्टर उपयोग), OGE-Aug एक ऐसा तरीका प्रदान करता है जो सिद्ध रूप से स्थिर और अत्यधिक अभिव्यंजक दोनों है।
लेखक इस बात पर जोर देते हैं कि स्मूथ मास्किंग की तकनीक, जो आइगेनस्पेस विभाजन को संभालने के लिए उपयोग की जाती है, एक सामान्य दृष्टिकोण है जिसे आइगेनवैल्यू और आइगेनवेक्टर से जुड़े अन्य मशीन लर्निंग डोमेन में लागू किया जा सकता है।
यह कार्य दर्शाता है कि वैश्विक ग्राफ गुणों को, कंप्यूटेशनल रूप से महंगे हायर-ऑर्डर GNNs या सबग्राफ गणना पर निर्भर हुए बिना, लैपलेसियन आइगेनवेक्टर्स द्वारा प्रदान किए गए वैश्विक निर्देशांकों का स्थिर रूप से लाभ उठाकर प्रभावी ढंग से सीखा जा सकता है।