🤖 machine learning

Informative Graph Structure Learning

यह शोध पत्र InGSL को प्रस्तुत करता है, जो एक नवीन प्लग-इन मॉड्यूल है जो किनारा निर्माण (edge construction) में समानता और विविधता को संतुलित करने के लिए एक पारस्परिक-सूचना-निर्देशित रणनीति को शामिल करके ग्राफ संरचना शिक्षण (Graph Structure Learning) को बढ़ाता है, जिससे किनारों की संख्या और संबंधित कम्प्यूटेशनल ओवरहेड को महत्वपूर्ण रूप से कम करते हुए मॉडल के प्रदर्शन में सुधार होता है।

मूल लेखक: Shen Han, Zhiyao Zhou, Jiawei Chen, Sheng Zhou, Canghong Jin, Hai Lin, Da Zhong Li, Bingde Hu, Can Wang

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shen Han, Zhiyao Zhou, Jiawei Chen, Sheng Zhou, Canghong Jin, Hai Lin, Da Zhong Li, Bingde Hu, Can Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: "शोर भरी पार्टी" की समस्या

कल्पना कीजिए कि आप लोगों (नोड्स) और उनके दोस्तों (किनारों/कनेक्शन) से बात करके एक विशाल, जटिल शहर (डेटा) के बारे में सीखने की कोशिश कर रहे हैं। वास्तविक दुनिया में, इस शहर का नक्शा बहुत अव्यवस्थित होता है। कुछ कनेक्शन नकली (शोर) होते हैं, और कुछ महत्वपूर्ण सड़कें गायब होती हैं।

इसे ठीक करने के लिए, कंप्यूटर वैज्ञानिक ग्राफ स्ट्रक्चर लर्निंग (GSL) नामक टूल का उपयोग करते हैं। GSL को एक "मैप मेकर" (नक्शा बनाने वाला) के रूप में सोचें जो शहर की सड़कों को फिर से बनाने की कोशिश करता है ताकि नक्शा अधिक सटीक हो सके। यह देखता है कि दो लोग एक-दूसरे के कितने समान हैं (उनके बोलने या व्यवहार के आधार पर) और यदि वे अच्छे दोस्त लगते हैं, तो उनके बीच एक नया रास्ता बना देता है।

समस्या:
पेपर का तर्क है कि वर्तमान मैप मेकर्स बहुत लालची हैं। वे हर उस व्यक्ति को जोड़ने की कोशिश करते हैं जो उनके थोड़े से भी समान है।

उपमा: कल्पना कीजिए कि आप एक पार्टी में हैं। वर्तमान तरीका आपको निर्देश देता है कि आप अपना परिचय उस हर व्यक्ति से कराएं जो आपके समान संगीत पसंद करता है। यदि 100 लोग जैज़ (Jazz) पसंद करते हैं, तो आप उन सभी 100 से बात करने की कोशिश करते हैं।
परिणाम: आप एक विशाल, भीड़भाड़ वाले कमरे (बहुत अधिक किनारे/edges) के साथ अंत करते हैं। आप थक जाते हैं (कंप्यूटेशनल लागत बढ़ जाती है), आपकी मेमोरी भर जाती है (स्टोरेज बढ़ जाता है), और क्योंकि हर कोई जैज़ के बारे में बिल्कुल एक ही बात कह रहा है, इसलिए आप कुछ भी नया नहीं सीख रहे हैं। आप बस एक ही कहानी को 100 बार दोहराते हुए सुन रहे हैं।

समाधान: "क्यूरेटेड गेस्ट लिस्ट" (InGSL)

लेखक InGSL (इन्फॉर्मेटिव ग्राफ स्ट्रक्चर लर्निंग) नामक एक नई विधि प्रस्तावित करते हैं। केवल समानता के आधार पर लोगों को जोड़ने के बजाय, InGSL एक स्मार्ट पार्टी प्लानर की तरह काम करता है जो समानता के साथ-साथ विविधता (Diversity) को भी महत्व देता है।

यह कैसे काम करता है:

समानता अभी भी महत्वपूर्ण है: आप अभी भी उन लोगों से बात करना चाहते हैं जो जैज़ पसंद करते हैं।
लेकिन विविधता जोड़ें: यदि आप 10 जैज़ प्रशंसकों से बात करते हैं, और वे सभी आपको बिल्कुल एक ही कहानी सुनाते हैं, तो यह समय की बर्बादी है। InGSL पूछता है: "इन जैज़ प्रशंसकों में से किसके पास एक अद्वितीय दृष्टिकोण या बताने के लिए एक अलग कहानी है?"
"म्युचुअल इंफॉर्मेशन" का गुप्त मंत्र: पेपर इस गणितीय अवधारणा का उपयोग करता है जिसे "म्युचुअल इंफॉर्मेशन" कहा जाता है। इसे एक "सरप्राइज मीटर" (आश्चर्य मीटर) के रूप में सोचें।
- यदि एक नया दोस्त आपको वह बताता है जो आप पहले से जानते हैं, तो सरप्राइज मीटर कम होता है (Redundant/पुनरावृत्ति)।
- यदि एक नया दोस्त आपको कुछ ऐसा बताता है जो आप नहीं जानते थे, भले ही वे भी जैज़ पसंद करते हों, तो सरप्राइज मीटर उच्च होता है (Informative/सूचनात्मक)।

InGSL दोस्तों का एक छोटा, सघन नेटवर्क बनाता है। यह उन लोगों को रखता है जो आपके समान हैं, लेकिन उन्हें बाहर कर देता है जो केवल वही दोहराते हैं जो दूसरों ने कहा है।

मुख्य निष्कर्ष (जो पेपर वास्तव में कहता है)

लेखकों ने छह अलग-अलग डेटासेट्स (जैसे Cora, Citeseer, और Pubmed) पर छह अलग-अलग मौजूदा मैप मेकर्स (GSL विधियों) के विरुद्ध इस "क्यूरेटेड गेस्ट लिस्ट" दृष्टिकोण का परीक्षण किया। यहाँ उन्हें क्या मिला:

छोटा होना बेहतर है: वे कनेक्शनों (किनारों) की संख्या को 30% से 50% (और कभी-कभी इससे भी अधिक) तक कम करने में सक्षम थे, जबकि बेहतर परिणाम प्राप्त करना जारी रखा।
बेहतर सटीकता: कम कनेक्शनों के बावजूद, कंप्यूटर मॉडल (GNNs) अधिक सटीक रूप से कार्य कर रहे थे। अनावश्यक जानकारी के "इको चैंबर" (गूँजने वाले कमरे) को हटाकर, मॉडल वास्तव में उपयोगी संकेतों पर ध्यान केंद्रित कर सके।
यह एक "प्लग-इन" है: आपको इसे उपयोग करने के लिए पूरी कार को फिर से बनाने की आवश्यकता नहीं है। InGSL एक छोटा मॉड्यूल है जिसे मौजूदा सिस्टम को स्मार्ट और लीन (Lean) बनाने के लिए इसमें प्लग किया जा सकता है।
शोर के प्रति अधिक मजबूत: जब डेटा अव्यवस्थित था (जैसे रैंडम नकली कनेक्शन जोड़ना या वास्तविक कनेक्शन छिपाना), तो InGSL विधि पुराने तरीकों की तुलना में बेहतर प्रदर्शन करती रही। यह अधिक मजबूत (Robust) थी क्योंकि यह अत्यधिक और नाजुक रेडंडेंट कनेक्शन के जाल पर निर्भर नहीं थी।

जादू के पीछे का "क्यों"

पेपर समझाता है कि पुराना तरीका क्यों विफल हुआ:

पुराना तरीका: "उन सभी से जुड़ें जो समान हैं।" -> परिणाम: क्लोन (एक जैसे दिखने वाले लोगों) की भीड़। कंप्यूटर दोहराव से अभिभूत हो जाता है।
नया तरीका (InGSL): "समान लोगों से जुड़ें, लेकिन सुनिश्चित करें कि वे अलग जानकारी लेकर आएं।" -> परिणाम: एक विविध, उच्च गुणवत्ता वाली बातचीत। कंप्यूटर कम लोगों से अधिक सीखता है।

सारांश

पुराने तरीके को एक लाइब्रेरी पढ़ने की कोशिश के रूप में सोचें जहाँ आप उन सभी किताबों को पढ़ने की कोशिश करते हैं जिनके कवर पर "इतिहास" शब्द है, भले ही उनमें से 90% बिल्कुल एक जैसी बात कहती हों। इसमें बहुत समय लगता है और आप थक जाते हैं।

InGSL एक ऐसे लाइब्रेरियन को काम पर रखने जैसा है जो "इतिहास" की किताबें पढ़ता है, आपकी रुचियों के समान किताबों को चुनता है, लेकिन फिर केवल उन विशिष्ट अध्यायों को आपको सौंपता है जो आपको कुछ नया और अद्वितीय बताते हैं। आप आधे समय में लाइब्रेरी खत्म कर देते हैं, लेकिन वास्तव में आप अधिक जानते हैं।

पेपर यह सिद्ध करता है कि केवल इस बात पर ध्यान देने के बजाय कि हम किसे जोड़ते हैं (समानता), बल्कि इस बात पर ध्यान देकर कि हम किस जानकारी को रखते हैं (विविधता), हम भारी मात्रा में डेटा कनेक्शनों की आवश्यकता के बिना स्मार्ट, तेज़ और अधिक कुशल AI मॉडल बना सकते हैं।

तकनीकी सारांश: इन्फॉर्मेटिव ग्राफ स्ट्रक्चर लर्निंग (InGSL)

1. समस्या विवरण

ग्राफ न्यूरल नेटवर्क (GNNs) काफी हद तक अंतर्निहित ग्राफ-संरचित डेटा की गुणवत्ता पर निर्भर करते हैं। हालाँकि, वास्तविक दुनिया के ग्राफ अक्सर शोर (noise) और अपूर्ण कनेक्शनों से ग्रस्त होते हैं। जबकि ग्राफ स्ट्रक्चर लर्निंग (GSL) एक ऐसी तकनीक के रूप में उभरा है जो एडैप्टिव रूप से नोड कनेक्शन को अनुकूलित करता है, वर्तमान विधियाँ एक महत्वपूर्ण सीमा प्रदर्शित करती हैं: उनकी प्रभावशीलता अक्सर किनारों (edges) की संख्या में भारी विस्तार पर निर्भर करती है।

मौजूदा एम्बेडिंग-आधारित GSL विधियाँ मुख्य रूप से नोड एम्बेडिंग समानता के आधार पर किनारे बनाती हैं, जो नोड्स को उनके सबसे समान साथियों से जोड़ती हैं। यह दृष्टिकोण पर्याप्त संरचनात्मक अतिरेक (structural redundancy) पेश करता है। जैसा कि पेपर के विश्लेषण में प्रदर्शित किया गया है, अत्यधिक समान पड़ोसियों का चयन करने से चयनित सेट के बीच उच्च आपसी समानता होती है, जिससे डाउनस्ट्रीम GNNs रेडंडेंट जानकारी को एकत्रित (aggregate) करते हैं। फलस्वरूप, सार्थक प्रदर्शन लाभ प्राप्त करने के लिए, इन विधियों को अक्सर किनारों की संख्या को एक क्रम के परिमाण (order of magnitude) तक बढ़ाने की आवश्यकता होती है (उदाहरण के लिए, मूल आकार से 20x से 36x अधिक)। यह "एज-स्केल विस्फोट" (edge-scale explosion) महत्वपूर्ण भंडारण मांग और कम्प्यूटेशनल अक्षमता का कारण बनता है, जो व्यावहारिक अनुप्रयोग में बाधा डालता है। संबोधित किया जाने वाला मुख्य शोध प्रश्न है: हम एक सूचनात्मक लेकिन संक्षिप्त ग्राफ संरचना कैसे बना सकते हैं जो सीमित संख्या में किनारे जोड़ते हुए डाउनस्ट्रीम कार्यों को बेहतर बनाती है?

2. कार्यप्रणाली: InGSL

लेखक इन्फॉर्मेटिव ग्राफ स्ट्रक्चर लर्निंग (InGSL) का प्रस्ताव करते हैं, जो एक नई रणनीति है जो शुद्ध समानता से आगे बढ़कर किनारे निर्माण के दौरान समानता (similarity) और सूचनात्मक विविधता (informational diversity) दोनों पर संयुक्त रूप से विचार करती है। InGSL को एक हल्के, मॉडल-अज्ञेय (model-agnostic) प्लग-इन मॉड्यूल के रूप में डिज़ाइन किया गया है जिसे मौजूदा एम्बेडिंग-आधारित GSL फ्रेमवर्क में सहजता से एकीकृत किया जा सकता है।

मुख्य तंत्र

InGSL निम्नलिखित चरणों के माध्यम से मानक GSL विधियों की पड़ोसी-चयन प्रक्रिया को संशोधित करता है:

उम्मीदवार पीढ़ी (Candidate Generation): विधि पहले कवरेज सुनिश्चित करने के लिए एक एडजेसेंसी मैट्रिक्स $S$ (जिसमें आमतौर पर कई पड़ोसी होते हैं) का उपयोग करके पारंपरिक GSL पाइपलाइन का पालन करते हुए उम्मीदवार पड़ोसियों का एक सेट उत्पन्न करती है।
विविधता-जागरूक चयन (Diversity-Aware Selection): केवल शीर्ष- $K$ सबसे समान पड़ोसियों को बनाए रखने के बजाय, InGSL एक सीखने योग्य विविधता स्कोर $w_{ij}$ का उपयोग करके एडजेसेंसी मैट्रिक्स $\tilde{S}$ को परिष्कृत करता है:
$\tilde{S}_{ij} = \psi(S_{ij} \cdot w_{ij})$
यहाँ, $S_{ij}$ मूल समानता स्कोर है, और $w_{ij}$ एक सीखने योग्य भार (weight) है जो लक्ष्य नोड के सापेक्ष पड़ोसी $v_j$ की विविधता का प्रतिनिधित्व करता है। फलन $\psi(\cdot)$ चयन और सामान्यीकरण (normalization) करता है, जो $\epsilon$ थ्रेसहोल्ड से नीचे के किनारों को फ़िल्टर करता है।
सीखने योग्य विविधता स्कोर: विविधता स्कोर $w_{ij}$ मैन्युअल रूप से परिभाषित नहीं है, बल्कि इसे एक सहायक GNN एनकोडर द्वारा उत्पन्न नोड एम्बेडिंग्स $E_i$ और $E_j$ के माध्यम से एक सीखने योग्य फलन $f(E_i, E_j)$ द्वारा गणना की जाती है। लेखक अनुभवजन्य रूप से पाते हैं कि युग्मवार रेडंडेंसी (pairwise redundancy) को पकड़ने के लिए एक बाइलीनियर फलन (bilinear function) सर्वोत्तम परिणाम देता है।
पारस्परिक सूचना उद्देश्य (Mutual Information Objective): यह सुनिश्चित करने के लिए कि परिष्कृत, संक्षिप्त ग्राफ मूल उम्मीदवार सेट की सूचनात्मक समृद्धि को बनाए रखता है, InGSL एक पारस्परिक-सूचना-आधारित उद्देश्य ( $\mathcal{L}_{MI}$ ) पेश करता है। लक्ष्य कॉम्पैक्ट ग्राफ ( $\tilde{Z}$ ) और मूल निर्मित ग्राफ ( $Z$ ) से सीखे गए नोड रिप्रजेंटेशन के बीच पारस्परिक सूचना को अधिकतम करना है:
$\mathcal{L}_{MI} = -\hat{I}(\tilde{Z}; Z)$
यह उद्देश्य $w_{ij}$ के सीखने का मार्गदर्शन करता है ताकि ऐसे पड़ोसियों का चयन किया जा सके जो न केवल समान हैं बल्कि विविध, गैर-रेडंडेंट जानकारी भी रखते हैं। कुल प्रशिक्षण उद्देश्य बेस GSL लॉस और म्यूचुअल इंफॉर्मेशन टर्म को जोड़ता है:
$\mathcal{L} = \mathcal{L}_{GSL} + \beta \mathcal{L}_{MI}$

3. प्रमुख योगदान

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

रेडंडेंसी की पहचान: लेखक प्रकट करते हैं कि हालिया GSL विधियों की प्रभावशीलता विशुद्ध रूप से समानता-आधारित पड़ोसी चयन के कारण बड़ी संख्या में अतिरिक्त किनारे जोड़ने पर निर्भर करती है, जो रेडंडेंट किनारे और सूचनात्मक संकेतों को कम (dilute) करती है।
InGSL फ्रेमवर्क: वे InGSL का प्रस्ताव करते हैं, जो एक रणनीति है जो पारस्परिक सूचना अनुमान के आधार पर समान और विविध दोनों प्रकार के पड़ोसियों का चयन करती है। यह सूचनात्मक समृद्धि को संरक्षित करते हुए रेडंडेंसी को कम करती है।
अनुभवजन्य सत्यापन: छह बेंचमार्क डेटासेट्स पर व्यापक प्रयोग यह प्रदर्शित करते हैं कि InGSL मौजूदा GSL विधियों के प्रदर्शन में उल्लेखनीय सुधार करता है, जबकि केवल सीमित संख्या में किनारे पेश करता है (30% से 50% किनारे कम करके उच्च सटीकता प्राप्त करता है)।

4. प्रयोगात्मक परिणाम

लेखकों ने छह प्रतिनिधि GSL बेसलाइन्स (GRCN, IDGL, SUBLIME, RWGSL, UnGSL, PROSE) को छह डेटासेट्स (Cora, Citeseer, Pubmed, Ogbn-arxiv, BlogCatalog, Roman-empire) पर InGSL को एकीकृत करके इसका मूल्यांकन किया।

किनारा कमी के साथ प्रदर्शन: InGSL ने समानता-आधारित चयन वाले बेस GSL मॉडल्स की तुलना में लगातार उच्च नोड वर्गीकरण सटीकता प्राप्त की, भले ही किनारों की संख्या को 30% और 50% तक कम कर दिया गया हो। कई मामलों में (जैसे, Citeseer पर GRCN+InGSL), किनारे कमी के स्तर को और बढ़ाने से प्रदर्शन में सुधार हुआ, जो अत्यधिक रेडंडेंट किनारों को हटाने का सुझाव देता है।
बेसलाइन्स के साथ तुलना: InGSL ने अन्य एज रिडक्शन रणनीतियों, जिसमें समानता-आधारित चयन, रैंडम पड़ोसी चयन और ग्राफ स्पर्सिफिकेशन मॉड्यूल AdaGLT शामिल हैं, को पछाड़ दिया। विशेष रूप रूप से, InGSL काफी कम किनारों का उपयोग करते हुए इष्टतम किनारों वाले वैनिला GSL मॉडल्स के प्रदर्शन को भी पार कर सकता है।
सामान्यीकरण क्षमता (Generalizability): सीखा गया ग्राफ स्ट्रक्चर विभिन्न GNN बैकबोन (GPRGNN, APPNP) में अच्छी तरह से सामान्य हुआ, जो मूल सीखे गए स्ट्रक्चर्स की तुलना में लगातार बेहतर प्रदर्शन करते हुए FLOPs को 34% तक कम करता है।
मजबूती (Robustness): InGSL ने रैंडम स्ट्रक्चरल नॉइज़ (एज एडिशन/डिलीशन) और फीचर नॉइज़ दोनों के खिलाफ बढ़ी हुई मजबूती प्रदर्शित की। इसके अलावा, इसने ग्राफ टोपोलॉजी हमलों (MetaAttack) के प्रति उत्कृष्ट प्रतिरोध दिखाया, जहाँ व्यवधान दर बढ़ने के साथ प्रदर्शन अंतराल बढ़ता गया।
एब्लेशन अध्ययन: विविधता स्कोर ( $w_{ij}$ ) या म्यूचुअल इंफॉर्मेशन टर्म ( $\mathcal{L}_{MI}$ ) को हटाने से प्रदर्शन में गिरावट आई, जो दोनों घटकों की आवश्यकता की पुष्टि करता है। यह दिखाया गया कि $f(\cdot)$ के लिए बाइलीनियर फलन MLPs की तुलना में अधिक प्रभावी था।

5. महत्व और दावे

पेपर का दावा है कि InGSL मौजूदा GSL दृष्टिकोणों में एक महत्वपूर्ण ट्रेड-ऑफ को संबोधित करता है: एज एक्सपेंशन के कारण होने वाले प्रदर्शन लाभ और कम्प्यूटेशनल/स्टोरेज ओवरहेड के बीच का तनाव। शुद्ध समानता-आधारित प्रतिमान से हटकर सूचनात्मक विविधता को शामिल करने वाले प्रतिमान की ओर शिफ्ट होकर, InGSL कॉम्पैक्ट और सूचनात्मक ग्राफ संरचनाओं के निर्माण को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि InGSL एक प्लग-इन मॉड्यूल है जिसके लिए मौजूदा फ्रेमवर्क में न्यूनतम संशोधन की आवश्यकता होती है और यह नगण्य कम्प्यूटेशनल ओवरहेड पेश करता है। इसका महत्व इसकी क्षमता में निहित है:

रेडंडेंसी को समाप्त करना: अत्यधिक समान पड़ोसियों से रेडंडेंट जानकारी के एकत्रीकरण को रोकना।
दक्षता बढ़ाना: डाउनस्ट्रीम टास्क के प्रदर्शन को त्याग बिना, और अक्सर उसे बेहतर बनाए रखते हुए, स्टोरेज और कम्प्यूटेशनल लागत को काफी कम करना।
मजबूती में सुधार: विविध, सूचनात्मक संकेतों को संरक्षित करके शोर और प्रतिकूल हमलों (adversarial attacks) के खिलाफ अधिक स्थिर रिप्रजेंटेशन प्रदान करना।

पेपर निष्कर्ष निकालता है कि भविष्य के कार्य को अप्रासंगिक किनारों की सटीक पहचान के लिए अधिक प्रभावी रणनीतियों की खोज पर ध्यान केंद्रित करना चाहिए, लेकिन वर्तमान में, InGSL कुशल ग्राफ संरचनाओं को सीखने के लिए एक मजबूत समाधान प्रदान करता है।