🤖 machine learning

Graph Neural Network leveraging Higher-order Class Label Connectivity for Heterophilous Graphs

यह शोध पत्र लेबल कॉन्टेक्स्ट क्लासिफायर (LCC) का प्रस्ताव करता है, जो एक नवीन विधि है जो निर्देशित हेटरोफिलस ग्राफ्स में चार प्रकार के वॉक्स (walks) के माध्यम से उच्च-क्रम की क्लास लेबल कनेक्टिविटी को कैप्चर करती है, जिसे मौजूदा GNNs के साथ अनुकूल रूप से एकीकृत किया जा सकता है ताकि अत्याधुनिक नोड वर्गीकरण विधियों से काफी बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Takuto Takahashi, Itsuki Nakayama, Takahiro Mitani, Ryosuke Kikuchi, Yuya Sasaki, Makoto Onizuka

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Takuto Takahashi, Itsuki Nakayama, Takahiro Mitani, Ryosuke Kikuchi, Yuya Sasaki, Makoto Onizuka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।

बड़ी समस्या: "मेरे जैसा" पूर्वाग्रह (The "Like-Me" Bias)

कल्पना कीजिए कि आप केवल किसी के दोस्तों को देखकर उनके पद (job title) का अनुमान लगाने की कोशिश कर रहे हैं।

एक "होमोफिलस" (Homophilous) दुनिया में (जहाँ समान काम वाले लोग साथ रहते हैं): यदि आप देखते हैं कि एक व्यक्ति अन्य डॉक्टरों से घिरा हुआ है, तो आप सुरक्षित रूप से अनुमान लगा सकते हैं कि वह एक डॉक्टर है। वर्तमान AI (ग्राफ न्यूरल नेटवर्क या GNN) इसी तरह काम करता है। यह मानता है कि "एक ही तरह के पंख वाले पक्षी एक साथ उड़ते हैं।"
एक "हेटरोफिलस" (Heterophilous) दुनिया में (जहाँ विपरीत आकर्षण होता है): यहीं पर वास्तविक जीवन जटिल हो जाता है। एक विश्वविद्यालय की वेबसाइट के बारे में सोचें। एक छात्र (Student) एक प्रोफेसर (Professor) से जुड़ा है, जो एक विभाग (Department) से जुड़ा है, जो एक कोर्स (Course) से जुड़ा है।
- यदि आप केवल एक छात्र के तत्काल मित्रों को देखते हैं, तो आप प्रोफेसर देखते हैं।
- यदि आप प्रोफेसरों के मित्रों को देखते हैं, तो आप छात्र और विभाग देखते हैं।
- वर्तमान AI यहाँ भ्रमित हो जाता है। वह एक छात्र को प्रोफेसरों से घिरा हुआ देखता है और सोचता है, "शायद यह छात्र एक प्रोफेसर है?" क्योंकि वह केवल तत्काल पड़ोस को देखता है। वह इस बात के बड़े चित्र (bigger picture) को समझने में विफल रहता है कि ये विभिन्न भूमिकाएँ एक श्रृंखला में कैसे जुड़ती हैं।

समाधान: "लेबल कॉन्टेक्स्ट क्लासिफायर" (LCC)

लेखक LCC नामक एक नया उपकरण प्रस्तावित करते हैं। केवल यह देखने के बजाय कि कौन किसके बगल में खड़ा है, LCC इस बात पर ध्यान देता है कि कई चरणों में लेबल कैसे आपस में जुड़ते हैं, यानी उस कहानी को देखता है।

LCC को एक ऐसे जासूस के रूप में सोचें जो केवल यह नहीं पूछता कि, "आपका पड़ोसी कौन है?" बल्कि यह पूछता है कि, "आपके पड़ोसी ने किससे बात की, और उसने किससे बात की?"

ऐसा करने के लिए, Lca चार विशिष्ट "चलने" की रणनीतियों (जिन्हें Label Walks कहा जाता है) का उपयोग करता है ताकि नेटवर्क के माध्यम से रास्तों का पता लगाया जा सके:

फॉरवर्ड वॉक (Forward Walk): तीरों के प्रवाह के साथ चलना। (जैसे: छात्र $\to$ प्रोफेसर $\to$ विभाग)।
बैकवर्ड वॉक (Backward Walk): प्रवाह के विपरीत चलना। (जैसे: विभाग $\leftarrow$ प्रोफेसर $\leftarrow$ छात्र)।
सिबलिंग वॉक (Sibling Walk): एक पैरेंट (parent) के पास जाना और फिर एक कजिन (cousin) के पास नीचे आना। (जैसे: छात्र $\to$ प्रोफेसर $\to$ अन्य छात्र)। यह उन लोगों को खोजने में मदद करता है जो एक ही बॉस साझा करते हैं।
गार्जियन वॉक (Guardian Walk): सिबलिंग वॉक का उल्टा। (जैसे: विभाग $\leftarrow$ प्रोफेसर $\leftarrow$ अन्य विभाग)। यह उन समूहों को खोजने में मदद करता है जो एक ही अधीनस्थ (subordinate) साझा करते हैं।

यह कैसे काम करता है ("Word2Vec" की उपमा)

पेपर में word2vec (एक प्रसिद्ध AI जो शब्दों के आसपास के शब्दों को देखकर शब्दों को सीखता है) से प्रेरित एक विचार का उल्लेख किया गया है।

पुराना तरीका: AI नोड के कच्चे डेटा के आधार पर एक लेबल का अनुमान लगाने की कोशिश करता है।
LCC का तरीका: AI लेबलों के अनुक्रम (sequence) को एक वाक्य की तरह मानता है (जैसे "छात्र $\to$ प्रोफेसर $\to$ विभाग")। यह सीखता है कि "छात्र" अक्सर "प्रोफेसर" के संदर्भ में आता है, और "प्रोफेसर" "विभाग" के संदर्भ में आता है।
इन चलने वाले रास्तों को "एम्बेडिंग्स" (embeddings - संदर्भ का गणितीय सारांश) में बदलकर, AI उच्च-क्रम कनेक्टिविटी (higher-order connectivity) का एक मानचित्र बनाता है। यह समझता है कि भले ही एक छात्र सीधे विभाग से जुड़ा न हो, लेकिन वह एक प्रोफेसर के माध्यम से अप्रत्यक्ष रूप से जुड़ा हुआ है।

टीम-अप: LCC + GNN

लेखकों ने महसूस किया कि LCC "बड़े चित्र" को देखने में बहुत अच्छा है, लेकिन पारंपरिक GNN अभी भी नोड के अपने "बारीक विवरणों" को देखने में अच्छे हैं।

इसलिए, उन्होंने एक टीम-अप रणनीति (Team-Up Strategy) बनाई:

वे पारंपरिक GNN और नए LCC को अलग-अलग प्रशिक्षित करते हैं।
वे एक "स्मार्ट रेफरी" (वैलिडेशन डेटा पर आधारित) का उपयोग यह तय करने के लिए करते हैं कि प्रत्येक टीम के सदस्य पर कितना भरोसा किया जाए।
- यदि GNN किसी विशिष्ट डेटासेट पर बेहतर काम कर रहा है, तो रेफरी उसे अधिक महत्व देता है।
- यदि LCC बेहतर कर रहा है, तो उसे अधिक बोलने का अधिकार मिलता है।
वे अंतिम उत्तर प्राप्त करने के लिए दोनों भविष्यवाणियों को मिला देते हैं।

महत्वपूर्ण रूप से, इसके लिए पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है। यह दो विशेषज्ञों को काम पर रखने, उनसे उनकी राय पूछने और फिर हाल ही में कौन अधिक सटीक रहा है, इसके आधार पर उनके उत्तरों का औसत निकालने जैसा है।

उन्होंने क्या पाया

टीम ने वास्तविक दुनिया के डेटासेट्स जैसे विश्वविद्यालय वेब पेजों (Texas, Cornell, Wisconsin) और विकिपीडिया नेटवर्क (Roman Empire, Chameleon) पर परीक्षण किया।

परिणाम: लगभग हर मामले में, टीम-अप (GNF + LCC) अकेले किसी भी विधि के उपयोग की तुलना में अधिक सटीक था।
"जादू": LCC वाला हिस्सा विशेष रूप से उन गलतियों को सुधारने में अच्छा था जो पारंपरिक GNNs ने "हेटरोफिलस" ग्राफ (जहाँ विपरीत चीजें जुड़ती हैं) में की थीं।
वॉक की लंबाई (Walk Length): उन्होंने पाया कि आगे देखना (लंबे वॉक लेना) आमतौर पर मददगार होता है, लेकिन "सर्वश्रेष्ठ" वॉक की लंबाई विशिष्ट डेटासेट पर निर्भर करती है।

सारांश

पेपर का तर्क है कि वर्तमान AI बहुत अधिक "मेरा पड़ोसी कौन है?" पर केंद्रित है और वास्तविक दुनिया के नेटवर्क में संबंधों की जटिल श्रृंखलाओं को मिस कर देता है। एक नए उपकरण (LCC) को जोड़कर जो यह समझने के लिए चार प्रकार के चलने वाले रास्तों का पीछा करता है कि विभिन्न लेबल कैसे जुड़ते हैं, और फिर इसे चतुराई से मौजूदा AI के साथ मिलाकर, उन्होंने जटिल, वास्तविक दुनिया के ग्राफ में नोड्स को वर्गीकृत करने में बेहतर सटीकता प्राप्त की।

तकनीकी सारांश: उच्च-क्रम क्लास लेबल कनेक्टिविटी (Higher-order Class Label Connectivity) का लाभ उठाने वाला ग्राफ न्यूरल नेटवर्क

समस्या विवरण

होमोफिलस (homophilous) ग्राफ में ग्राफ न्यूरल नेटवर्क (GNNs) में नोड वर्गीकरण ने उच्च सटीकता प्राप्त की है, जहाँ समान क्लास लेबल वाले नोड्स आपस में जुड़े होते हैं। हालाँकि, हेटरोफिलस (heterophilous) ग्राफ में प्रदर्शन काफी गिर जाता है, जहाँ अलग-अलग क्लास लेबल वाले नोड्स के जुड़ने की संभावना अधिक होती है।

लेखक वर्तमान GNNs (जिनमें GCN, GAT और H2GCN एवं LINKX जैसे उन्नत हेटरोफिलस मॉडल शामिल हैं) में एक विशिष्ट सीमा की पहचान करते हैं: वे नोड वर्गीकरण समस्या को एम्बेडिंग स्पेस से क्लास लेबल स्पेस के एक सरल मैपिंग में बदल देते है। इसके परिणामस्वरूप, ये मॉडल उच्च-क्रम क्लास लेबल कनेक्टिविटी (higher-order class label connectivity) को पकड़ने में विफल रहते हैं—जो कि निर्देशित किनारों (directed edges) के माध्यम से कई हॉप्स (hops) तक फैली क्लास लेबल के बीच संरचनात्मक संबंध है। जबकि कुछ विधियाँ 1st-order कनेक्टिविटी को पकड़ने के लिए क्लास कम्पैटिबिलिटी मैट्रिक्स का उपयोग करती हैं, वे जटिल, मल्टी-हॉप लेबल इंटरैक्शन को ध्यान में नहीं रखती हैं जो वास्तविक दुनिया के निर्देशित ग्राफों (जैसे, टेक्सस डेटासेट, जहाँ "Student" नोड्स "Department" नोड्स से जुड़ते हैं, जो बदले में "Staff" नोड्स से जुड़ते हैं) में अक्सर देखे जाते हैं।

कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण एक नवीन क्लासिफायर, लेबल कॉन्टेक्स्ट क्लासिफायर (LCC), और इसे मौजूदा GNNs के साथ एकीकृत करने के लिए एक फ्रेमवर्क पेश करता है।

1. लेबल कॉन्टेक्स्ट क्लासिफायर (LCC)

LCC को ग्राफ वॉक (graph walks) के साथ क्लास लेबल के अनुक्रमों को संदर्भ (context) के रूप में उपयोग करके उच्च-क्रम क्लास लेबल कनेक्टिविटी को कैप्चर करने के लिए डिज़ाइन किया गया है, जो word2vec Skip-gram मॉडल से प्रेरित है। इस प्रक्रिया में तीन मुख्य चरण शामिल हैं:

लेबल वॉक निष्कर्षण (Label Walk Extraction): एक लक्षित नोड (target node) से, चार अलग-अलग प्रकार के लेबल वॉक निकाले जाते हैं। एक लेबल वॉक क्लास लेबल का एक अनुक्रम है जहाँ नोड्स को उनके लेबल से बदल दिया जाता है। यदि कोई नोड प्रशिक्षण सेट में नहीं है, तो एक 'नल लेबल' (null label) का उपयोग किया जाता है।
- फॉरवर्ड वॉक (Forward Walk): किनारों की दिशा का पालन करते हुए एक डेप्थ-फ फर्स्ट सर्च (Target $\to$ Child $\to$ Grandchild)।
- बैकवर्ड वॉक (Backward Walk): किनारों की विपरीत दिशा का पालन करते हुए एक डेप्थ-फ फर्स्ट सर्च (Target $\to$ Parent $\to$ Grandparent)।
- सिबलिंग वॉक (Sibling Walk): एक पैरेंट नोड तक पीछे की ओर जाता है और फिर उसके अन्य बच्चों की ओर आगे बढ़ता है (Target $\to$ Parent $\to$ Sibling)। यह उन नोड्स के बीच कनेक्टिविटी को कैप्चर करता है जिनका एक साझा पैरेंट होता है।
- गार्जियन वॉक (Guardian Walk): एक चाइल्ड नोड तक आगे की ओर जाता है और फिर उसके अन्य पैरेंट्स की ओर पीछे की ओर जाता है (Target $\to$ Child $\to$ Co-parent)। यह उन नोड्स के बीच कनेक्टिविटी को कैप्चर करता है जिनका एक साझा चाइल्ड होता है।
लेबल कॉन्टेक्ट एम्बेडिंग जनरेशन (Label Context Embedding Generation): निकाले गए वॉक का उपयोग करके, मॉडल ऐसे एम्बेडिंग सीखता है जो "लेबल कॉन्टेक्स्ट" का प्रतिनिधित्व करते हैं। एक सरल दो-परत वाला मल्टी-लेयर पर्सेप्ट्रॉन (MLP) प्रशिक्षित किया जाता है ताकि लक्षित नोड के लेबल को इनपुट के रूप में दिए जाने पर कॉन्टेक्स्ट लेबल (वॉक में अगले लेबल) की भविष्यवाणी की जा सके। हिडन लेयर लेबल कॉन्टेक्स्ट एम्बेडिंग्स ( $Z$ ) उत्पन्न करती है।
क्लासिफायर ट्रेनिंग (Classifier Training): अंतिम LCC क्लासिफायर एक MLP है जिसे मूल नोड फीचर्स और चार वॉक प्रकारों से प्राप्त लेबल कॉन्टेक्स एम्बेडिंग्स के संयोजन (concatenation) पर प्रशिक्षित किया जाता है।

2. GNNs के साथ एकीकरण

GNNs (जो फीचर और स्थानीय संरचनात्मक जानकारी को कैप्चर करते हैं) और LCC (जो उच्च-क्रम लेबल कनेक्टिविटी को कैप्चर करता है) दोनों की शक्तियों का लाभ उठाने के लिए, लेखक एक अनुकूली एकीकरण योजना (adaptive integration scheme) प्रस्तावित करते हैं:

स्वतंत्र प्रशिक्षण (Independent Training): GNN और LCC दोनों को प्रशिक्षण सेट पर स्वतंत्र रूप से प्रशिक्षित किया जाता है।
अनुकूली वेटिंग (Adaptive Weighting): प्रत्येक मॉडल का महत्व वैलिडेशन लॉस (validation loss) का उपयोग करके निर्धारित किया जाता है। वेट्स ( $w_{LCC}$ और $w_{GNN}$ ) को एक टेम्परेचर पैरामीटर ( $T$ ) द्वारा समायोजित, रेसिप्रोकल ऑफ वैलिडेशन लॉस के रूप में गणना किया जाता है।
एन्सेम्बल प्रेडिक्शन (Ensemble Prediction): अंतिम भविष्यवाणी GNN और LCC के आउटपुट का एक भारित औसत (weighted average) है। इस एकीकरण के लिए किसी अतिरिक्त मॉडल प्रशिक्षण की आवश्यकता नहीं होती है, केवल वैलिडेशन प्रदर्शन के आधार पर वेट्स की गणना की आवश्यकता होती है।

मुख्य योगदान (Key Contributions)

LCC का प्रस्ताव: एक नवीन क्लासिफायर जो चार दिशा-जागरूक लेबल वॉक (Forward, Backward, Sibling, Guardian) के माध्यम से उच्च-क्रम क्लास लेबल कनेक्टिविटी को कैप्चर करके नोड लेबल का अनुमान लगाता है।
अनुकूली एकीकरण फ्रेमवर्क: किसी भी मौजूदा GNN के साथ LCC को एडैप्टिवली संयोजित करने का एक तरीका, जो बिना किसी अतिरिक्त प्रशिक्षण लागत के वैलिडेशन लॉस के आधार पर महत्व के भार (importance weights) को सीखता है।
अनुभवजन्य सत्यापन (Empirical Validation): हेटरोफिलस निर्देशित ग्राफों पर स्टैंडअलोन GNNs, MLPs और अकेले LCC की तुलना में अपने मेथड के एकीकरण के माध्यम से उच्चतम नोड वर्गीकरण सटीकता प्रदर्शित करने वाले प्रयोगात्मक परिणाम।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सात हेटरोफिलस निर्देशित ग्राफ डेटासेट पर अपने मेथड का मूल्यांकन किया: Cornell, Texas, Wisconsin, Chameleon, Squirrel, Roman-Empire, और Amazon-Ratings।

प्रदर्शन सुधार: एकीकृत मॉडल (जैसे, H2GCN+LCC, LINKX+LCC, GloGNN+LCC) ने स्टैंडअलोन GNNs, MLPs और LCC की तुलना में सभी डेटासेट्स पर उच्चतम नोड वर्गीकरण सटीकता प्राप्त की।
पूरकता (Complementarity): परिणाम संकेत देते हैं कि LCC और GNNs अलग-अलग ग्राफ गुणों को कैप्चर करते हैं। अधिकांश मामलों में, एकीकरण ने व्यक्तिगत घटकों की तुलना में सटीकता में सुधार किया।
वॉक प्रकार की प्रभावशीलता: LCC ने वैनिला MLP (जो केवल नोड फीचर्स का उपयोग करता है) की तुलना में काफी बेहतर प्रदर्शन किया, जो पुष्टि करता है कि लेबल कॉन्टेक्स्ट एम्बेडिंग्स क्लास लेबल कनेक्टिविटी को प्रभावी ढंग से कैप्चर करते हैं। विशेष रूप से, Chameleon, Squirrel, Roman-Empire और Amazon-Ratings जैसे डेटासेट्स पर सटीकता में वृद्धि 10% से अधिक रही।
वॉक प्रकार का महत्व: विशिष्ट वॉक प्रकारों का महत्व डेटासेट के अनुसार भिन्न था। उदाहरण के लिए, Guardian walks Chameleon, Squirrel और Amazon-Ratings के लिए सबसे महत्वपूर्ण थे, जबकि Sibling walks Roman-Empire के लिए सबसे प्रभावी थे।
वॉक की लंबाई (Walk Length): फॉरवर्ड/बैकवर्ड वॉक के लिए वॉक की लंबाई बढ़ाने या 2-हॉप वॉक (sibling/guardian) का उपयोग करने से आम तौर पर प्रदर्शन में सुधार हुआ, जो उच्च-क्रम कनेक्टिविटी को कैप्चर करने की आवश्यकता को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि हेटरोफिलस सेटिंग्स में वर्तमान GNNs की प्राथमिक कमजोरी निर्देशित ग्राफों में कई हॉप्स के माध्यम से क्लास लेबल कैसे जुड़ते हैं, इसे मॉडल करने में उनकी असमर्थता है। इन उच्च-क्रम संबंधों को लेबल वॉक के माध्यम से स्पष्ट रूप से मॉडल करके, LCC फीचर-आधारित GNNs के लिए एक पूरक सिग्नल प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनके दृष्टिकोण के लिए मौजूदा GNNs में जटिल आर्किटेक्चरल बदलावों की आवश्यकता नहीं है; बल्कि, यह एक मॉड्यूलर क्लासिफायर प्रदान करता है जिसे हेटरोफिलस निर्देशित ग्राफों में प्रदर्शन को बढ़ाने के लिए किसी भी GNN के साथ अनुकूल रूप से जोड़ा जा सकता है। परिणाम बताते हैं कि केवल नोड फीचर्स या तत्काल पड़ोसियों के बजाय, क्लास लेबल के बीच संरचनात्मक जानकारी का लाभ उठाना सटीक वर्गीकरण के लिए महत्वपूर्ण है। यह कार्य JSPS KAKENHI और JST ASPIRE अनुदानों द्वारा समर्थित है।