तकनीकी सारांश: स्ट्रक्चरल इंटरेक्शन ग्राफ्स पर न्यूरल मैसेज पासिंग - फुली-इंडक्टिव ग्राफ न्यूरल नेटवर्क्स के लिए
1. समस्या विवरण (Problem Statement)
ग्राफ फाउंडेशन मॉडल्स (GFMs) के विकास में एक केंद्रीय बाधा है: इनपुट विषमता (input heterogeneity)। प्राकृतिक भाषा के विपरीत, जहाँ एक साझा टोकन वोकैबुलरी मॉडल को किसी भी टेक्स्ट को एनकोड करने की अनुमति देती है, ग्राफ्स अद्वितीय नोड-फीचर स्पेस के साथ आते हैं जो डाइमेंशनैलिटी, कोऑर्डिनेट सेमेंटिक्स और लेबल सेट्स में भिन्न होते हैं। फलस्वरूप, एक ग्राफ पर प्रशिक्षित मॉडल सामान्यतः दूसरे ग्राफ को "पढ़" नहीं पाता है।
मौजूदा दृष्टिकोण इस चुनौती के कुछ हिस्सों को संबोधित करते हैं लेकिन उन्हें एकीकृत करने में विफल रहते हैं:
- नोड क्लासिफिकेशन GFMs: GraphAny जैसे तरीके मनमाने फीचर और लेबल स्पेस को संभालते हैं, लेकिन वे केवल नोड क्लासिफिकेशन के लिए डिज़ाइन किए गए हैं, जिनमें लिंक प्रेडिक्शन या रिलेशनल रीजनिंग के लिए तंत्र का अभाव है।
- नॉलेज ग्राफ फाउंडेशन मॉडल्स (KGFMs): ULTRA जैसे मॉडल डिस्क्रीट रिलेशन टाइप्स पर एक "रिलेशन ग्राफ" बनाकर नॉलेज ग्राफ्स पर ज़ीरो-शॉट ट्रांसफर प्राप्त करते हैं। हालाँकि, यह दृष्टिकोण मौलिक रूप से डिस्क्रीट है; यह संबंधों के एक परिमित (finite) वोकैबुलरी को मानता है और इसमें निरंतर (continuous) नोड या एज फीचर्स के लिए तंत्र का अभाव है।
मुख्य चुनौती एक फुली-इंडक्टिव (fully-inductive) ग्राफ मॉडल डिजाइन करना है जो तीन अक्षों पर एक साथ सामान्यीकरण (generalize) कर सके: अनदेखे ग्राफ स्ट्रक्चर, अनदेखे फीचर स्पेस (मनमानी डाइमेंशनैलिटी और सेमेंटिक्स), और अनदेखे लेबल स्पेस।
2. कार्यप्रणाली: सिगिल फ्रेमवर्क (The Sigil Framework)
लेखक Sigil (स्ट्रक्चरल इंटरेक्शन ग्राफ्स फॉर इंडक्टिव लर्निंग) प्रस्तावित करते हैं, जो किसी भी एट्रिब्यूटेड ग्राफ को एक एकीकृत, निश्चित-आयामी (fixed-dimensional) रिप्रेजेंटेशन स्पेस में मैप करता है। मुख्य नवाचार स्ट्रक्चरल इंटरेक्शन ग्राफ (SIG) है।
2.1 स्ट्रक्चरल इंटरेक्शन ग्राफ (SIG) का निर्माण
एक इनपुट ग्राफ G=(V,E) जिसमें नोड फीचर्स X∈Rn×d हैं, दिए जाने पर, Sigil ग्राफ को नोड डोमेन से फीचर डाइमेंशन डोमेन में "लिफ्ट" करता है।
- मल्टी-ऑर्डर प्रोपेगेशन: फीचर्स को नॉन-पैरामीटराइज्ड प्रोपेगेशन का उपयोग करके बढ़ते हुए नेबरहुड ऑर्डर्स k (0 से K तक) पर प्रसारित किया जाता है: X(k)=AkX।
- इंटरेक्शन ऑपरेटर्स: प्रत्येक ऑर्डर k के लिए, एक इंटरेक्शन ऑपरेटर g (जैसे घटाव या एलिमेंट-वाइज मल्टीप्लिकेशन) एज फीचर्स बनाने के लिए आसन्न नोड्स के फीचर्स पर लागू किया जाता है।
- रोल एग्रीगेशन: इन एज फीचर्स को रोल (डायरेक्टेड ग्राफ के लिए हेड/टेल) के आधार पर वापस नोड्स पर एग्रीगेट किया जाता है, जो समरी मैट्रिसेस Xˉh(k) और Xˉt(k) बनाता है। ये मैट्रिसेस इस बात का वर्णन करते हैं कि फीचर वैल्यूज स्थानीय नेबरहुड्स में कैसे स्थापित होती हैं।
- ग्राम मैट्रिक्स निर्माण: इन समरी वेक्टर्स के बीच संरेखण (alignment) को ग्राम मैट्रिसेस (इनर प्रोडक्ट्स) की गणना करके कैप्चर किया जाता है: Aˉ(k)=(Xˉ(k))⊤Xˉ(k)।
- द SIG: परिणामी मैट्रिसेस Aˉ(k) एक स्ट्रक्चरल इंटरेक्शन ग्राफ Gstruct बनाते हैं। इस ग्राफ में:
- नोड्स इनपुट फीचर डाइमेंशंस [d] हैं।
- एजेस भारित (weighted) और टाइप किए गए हैं, जो यह दर्शाते हैं कि विभिन्न कनेक्टिविटी ऑर्डर्स में फीचर जोड़ों का संरेखण कैसे होता है।
- डायरेक्टेड ग्राफ के लिए, निर्माण प्रक्रिया प्रति ऑर्डर चार स्लाइस (हेड-हेड, टेल-टेल, हेड-टेल, टेल-हेड) उत्पन्न करती है, जो दिशात्मक इंटरैक्शन को कैप्चर करती है।
2.2 रिलेशनल मैसेज पासिंग के माध्यम से रिप्रेजेंटेशन सीखना
एक बार SIG के निर्माण के बाद, एक रिलेशनल मैसेज पासिंग नेटवर्क (RMPNN) इस पर कार्य करता है:
- एम्बेडिंग: RMPNN प्रत्येक फीचर डाइमेंशन f∈[d] को एक निश्चित आकार के हिडन स्पेस dh में एम्बेड करता है।
- ट्रांसफॉर्मेशन: सीखे गए फीचर एम्बेडिंग्स Θ(T)∈Rd×dh का उपयोग किसी भी ग्राफ के मूल नोड फीचर्स को एक एकीकृत रिप्रेजेंटेशन में बदलने के लिए किया जाता है: H=XΘ(T)।
- इंडक्टिव प्रॉपर्टी: क्योंकि RMPNN के पैरामीटर्स केवल फिक्स्ड हिडन विड्थ dh पर कार्य करते हैं और कभी भी इनपुट डाइमेंशन d पर नहीं, इसलिए एक एकल प्रशिक्षित Sigil मॉडल किसी भी डाइमेंशनैलिटी वाले ग्राफ को प्रोसेस कर सकता है।
2.3 डाउनस्ट्रीम टास्क
- लिंक प्रेडिक्शन: एकीकृत नोड रिप्रेजेंटेशन को ज़ीरो-शॉट इन्फरेंस करने के लिए एक्सप्रेसिव लिंक प्रेडिक्शन GNNs (जैसे NBFNet) में फीड किया जाता है।
- नोड क्लासिफिकेशन: ये एकीकृत रिप्रेजेंटेशन लेबल प्रेडिक्ट करने के लिए एक डाउनस्ट्रीम डिकोडर (जैसे एक लाइटवेट MLP या क्लोज्ड-फॉर्म एनालिटिकल सॉल्यूशन) के इनपुट के रूप में कार्य करते हैं।
3. मुख्य योगदान और सैद्धांतिक गुण
3.1 KGFMs का सख्त सामान्यीकरण (Strict Generalization)
पेपर सिद्ध करता है कि Sigil मौजूदा नॉलेज ग्राफ फाउंडेशन मॉडल्स (जैसे ULTRA) का एक सख्त सामान्यीकरण है।
- थ्योरम 1: जब इनपुट फीचर्स डिस्क्रीट रिलेशंस के वन-हॉट इंडिकेटर्स होते हैं, तो SIG निर्माण सटीक रूप से KGFMs द्वारा उपयोग किए जाने वाले रिलेशन ग्राफ को रिकवर करता है।
- विस्तार: KGFMs के विपरीत, Sigil निरंतर फीचर्स को स्वीकार करता है। ग्राम मैट्रिसेस डिस्क्रीट को-अकरेंस काउंट्स के बजाय निरंतर फीचर-अलाइनमेंट मैट्रिसेस बन जाते हैं। इसके अतिरिक्त, Sigil का मल्टी-ऑर्डर प्रोपेगेशन फीचर्स के बीच उच्च-क्रम (higher-order) इंटरैक्शन को एनकोड करता है जिसे KGFMs (जो सिंगल-हॉप मोटिफ्स तक सीमित हैं) मिस कर देते हैं।
3.2 सिमेट्री और इक्विवेरिएंस (Symmetry and Equivariance)
Sigil उन सिमेट्रीज़ को संतुष्ट करता है जो फुली-इंडक्टिव सामान्यीकरण के लिए आवश्यक हैं:
- नोड परम्यूटेशन इक्विवेरिएंस: आउटपुट नोड रिप्रेजेंटेशन इनपुट नोड्स के परम्यूटेशन के प्रति इक्विवेरिएंट होते हैं।
- फीचर परम्यूटेशन इनवेरिएंस: यूनिफाइड रिप्रेजेंटेशन इनपुट फीचर डाइमेंशंस के ऑर्डर या पहचान के प्रति इनवेरिएंट है। यह मॉडल को उन ग्राफ्स को पढ़ने की अनुमति देता है जिन्हें उसने पहले कभी नहीं देखा है।
- लेबल परम्यूटेशन इक्विवेरिएंस: एक इक्विवेरिएंट डिकोडर के साथ जुड़ने पर, मॉडल लेबल परम्यूटेशन का सम्मान करता है।
4. प्रायोगिक परिणाम
लेखक एक एकल मॉडल का उपयोग करके तीन रेजिम्स में Sigil का मूल्यांकन करते हैं, जिसे Cora डेटासेट (लिंक प्रेडिक्शन और नोड क्लासिफिकेशन के लिए) या नॉलेज ग्राफ्स के मिश्रण पर प्री-ट्रेन किया गया है।
4.1 लिंक प्रेडिक्शन (निरंतर फीचर्स)
11 बेंचमार्क्स (7 एट्रिब्यूटेड, 4 नॉन-एट्रिब्यूटेड) पर मूल्यांकन किया गया।
- एट्रिब्यूटेड ग्राफ्स: Sigil-lp हर डेटासेट पर सबसे मजबूत फुली-इंडक्टिव मेथड है, जो UniLP और TFMLinker जैसे बेसलाइन्स को पछाड़ता है। विशेष रूप से, यह CiteSeer और AmazonPhotos जैसे डेटासेट्स पर UniLP को काफी पीछे छोड़ देता है, जो दर्शाता है कि SIG के माध्यम से फीचर स्पेस का लाभ उठाना उन्हें त्यागने से बेहतर है।
- नॉन-एट्रिब्यूटेड ग्राफ्स: Sigil-lp प्रतिस्पर्धी बना रहता है, फुली-इंडक्टिव तरीकों में दूसरे स्थान पर रहता है और उच्च स्थिरता दिखाता है।
- दक्षता (Efficiency): Sigil-lp इन्फरेंस मिनटों में पूरा करता है, जबकि UniLP जैसे इन-कॉन्टेक्स्ट बेसलाइन्स 24 घंटे से अधिक का समय लेते हैं।
4.2 नॉलेज ग्राफ रीजनिंग
अनदेखे एंटिटीज और रिलेशंस वाले ULTRA बेंचमार्क पर मूल्यांकन किया गया।
- पुनरुत्पादन (Reproduction): Sigil(0) (ऑर्डर 0 SIG) प्री-ट्रेनिंग ग्राफ्स पर ULTRA के प्रदर्शन को मामूली अंतर के साथ पुनरुत्पादित करता है (जैसे प्री-ट्रेनिंग ग्राफ्स पर MRR को सटीक रूप से मैच करना)।
- अभिव्यक्ति (Expressivity): उच्च-क्रम के SIGs (Sigil(1), Sigil(2)) विभिन्न डेटासेट्स के आधार पर परिवर्तनशील प्रदर्शन दिखाते हैं, जो सुझाव देते हैं कि हालांकि उच्च-क्रम इंटरैक्शन अभिव्यक्ति जोड़ते हैं, वे सभी कार्यों में प्रदर्शन में समान रूप से सुधार नहीं करते हैं।
4.3 नोड क्लासिफिकेशन
अलग-अलग फीचर डाइमेंशन और क्लास काउंट के साथ 26 बेंचमार्क्स पर मूल्यांकन किया गया।
- प्रदर्शन: Sigil-nc प्रतिस्पर्धी है, 26 में से 10 डेटासेट्स पर सर्वश्रेष्ठ या दूसरे सर्वश्रेष्ठ स्थान पर है। यह RGVT और TAG जैसे स्पेशलाइज्ड मॉडल्स से थोड़ा पीछे है (जो विशिष्ट कार्यों के लिए अनुकूलित हैं), लेकिन GraphAny और TS-MEAN से बेहतर प्रदर्शन करता है।
- विश्लेषण: लेखक इस प्रदर्शन अंतराल को "यूनिफिकेशन की लागत" (cost of unification) के रूप में देखते हैं: मनमाने फीचर स्पेस को एक निश्चित डाइमेंशन dh में कंप्रेस करने से मूल कोऑर्डिनेट्स डिकोडर के लिए अप्राप्य हो जाते हैं, जिसके लिए अधिक सुपरविजन की आवश्यकता होती है। हालाँकि, परिणाम पुष्टि करते हैं कि SIGs पर सीखना नोड क्लासिफिकेशन फाउंडेशन मॉडल्स के लिए एक वैध दृष्टिकोण है।
5. महत्व और दावे
लेखक दावा करते हैं कि Sigil ग्राफ फाउंडेशन मॉडल डिज़ाइन के कई पहले से अलग समझे जाने वाले रेजिम्स को एकीकृत करता है:
- एकीकरण (Unification): यह नोड-क्लासिफिकेशन GFMs (मनमाने फीचर्स को संभालने वाले) और KGFMs (रिलेशनल रीजनिंग को संभालने वाले) के बीच के अंतर को पाटता है, और दोनों के लिए एक ही तंत्र प्रदान करता है।
- ट्रांसफ़रेबिलिटी (Transferability): यह प्रदर्शित करता है कि एक एकल मॉडल, जो एक ग्राफ पर प्रशिक्षित है, पूरी तरह से अलग फीचर स्पेस और स्ट्रक्चर वाले ग्राफ्स पर मजबूत ज़ीरो-शॉट प्रदर्शन दे सकता है।
- सामान्यीकरण (Generalization): रिलेशन ग्राफ को स्ट्रक्चरल इंटरेक्शन ग्राफ के डिस्क्रीट इंस्टेंस के रूप में औपचारिक रूप देकर, यह कार्य निरंतर इनपुट स्पेस के लिए रिलेशनल रीजनिंग को विस्तारित करने के लिए एक सैद्धांतिक आधार प्रदान करता है।
लेखक निष्कर्ष निकालते हैं कि ट्रांसफ़रेबिलिटी, रिलेशनल रीजनिंग और एज-लेवल टास्क, अलग-अलग डिज़ाइनों के बजाय, एक ही तंत्र (SIG निर्माण और मैसेज पासिंग) से उत्पन्न हो सकते हैं। भविष्य के कार्य के रूप में SIGs पर सीखने के लिए आर्किटेक्चर को रिफाइन करने और उनकी अभिव्यंजक शक्ति का अध्ययन करने का सुझाव दिया गया है।