🤖 machine learning

Gate the Filter, Not the Message: Node-Channel Mixtures for Pre-Propagation GNNs

यह शोधपत्र FilterMoE प्रस्तुत करता है, जो एक स्केलेबल प्री-प्रोपैगेशन GNN है जो एक 3D गेटिंग टेंसर के साथ मिश्रण-ऑफ़-एक्सपर्ट्स (mixture-of-experts) आर्किटेक्चर का उपयोग करके मौजूदा विधियों में सुधार करता है ताकि नोड्स और फीचर चैनल्स दोनों में फिल्टर गुणांकों (filter coefficients) को संयुक्त रूप से अनुकूलित किया जा सके, जिससे विविध बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Zichao Yue, Zhiru Zhang

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zichao Yue, Zhiru Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों (ग्राफ के नोड्स) को एक समस्या हल करना सिखाने की कोशिश कर रहे हैं। ग्राफ न्यूरल नेटवर्क (GNN) की दुनिया में, इसे करने का सामान्य तरीका यह है कि छात्र लगातार अपने पड़ोसियों से बात करें, नोट्स साझा करें और हर बार जब शिक्षक कोई प्रश्न पूछे तो अपनी समझ को अपडेट करें। यह एक अराजक कक्षा की तरह है जहाँ हर कोई सुनने के लिए चिल्ला रहा है, जो बहुत बड़ी क्लास होने पर बहुत धीमा और अव्यवस्थित हो जाता है।

प्री-प्रोपैगेशन GNNs (PP-GNNs) इस कक्षा को चलाने का एक स्मार्ट तरीका है। कक्षा के दौरान छात्रों को आपस में बात करने देने के बजाय, शिक्षक कक्षा शुरू होने से पहले ही सारा "पड़ोस वाली बातचीत" (neighbor chatting) कर लेते हैं। वे "स्टडी गाइड्स" (डेंस फीचर्स) का एक सेट तैयार करते हैं जिनमें पहले से ही पड़ोस का सारा सार समाहित होता है। वास्तविक पाठ के दौरान, शिक्षक बस इन गाइड्स को देखते हैं और एक मानक, तेज़ विधि का उपयोग करके छात्रों को पढ़ाते हैं। यह प्रक्रिया को अविश्वसनीय रूप से स्केलेबल बनाता है।

हालाँकि, एक पहेली है। कुछ विचारकों ने सोचा कि इन स्टडी गाइड्स को मिलाने के लिए एक सुपर-कॉम्प्लेक्स, फैंसी तरीके (जैसे कि एक "हॉप-अटेंशन" सिस्टम) का उपयोग करना हमेशा एक साधारण, सीधे तरीके (जैसे कि एक बेसिक "MLP" या मल्टी-लेयर परसेप्ट्रॉन) से बेहतर होगा। लेकिन डेटा ने कुछ अजीब दिखाया: कभी-कभी सरल तरीका फैंसी तरीके के समान ही अच्छा काम करता था, या उससे भी बेहतर।

समस्या: एक ही आकार सबके लिए सही नहीं होता (One Size Doesn't Fit All)

लेखकों ने महसूस किया कि मुद्दा मिश्रण करने के तरीके की जटिलता के बारे में नहीं था। मुद्दा यह था कि स्टडी गाइड को कस्टमाइज़ करने की अनुमति किसे दी गई थी।

सरल विधियाँ (जैसे SIGN): वे हर छात्र के साथ एक जैसा व्यवहार करती हैं लेकिन प्रत्येक विषय (फीचर चैनल) को अपना अनूठा फ़िल्टर रखने की अनुमति देती हैं। एक लाइब्रेरी की कल्पना करें जहाँ हर किताब (विषय) का कवर अलग रंग का है, लेकिन हर छात्र को बिल्कुल एक जैसी रीडिंग लिस्ट मिलती है।
फैंसी विधियाँ (जैसे HOGA): वे हर छात्र को अद्वितीय मानती हैं लेकिन सभी विषयों को एक ही फ़िल्टर साझा करने के लिए मजबूर करती हैं। एक ऐसी लाइब्रेरी की कल्पना करें जहाँ हर छात्र को एक व्यक्तिगत रीडिंग लिस्ट मिलती है, लेकिन उस लिस्ट में मौजूद हर किताब को बिल्कुल एक ही तरीके से पढ़ा जाना चाहिए।

पेपर का तर्क है कि सबसे अच्छा दृष्टिकोण दोनों का मिश्रण है: प्रत्येक छात्र को अपनी व्यक्तिगत रीडिंग लिस्ट की आवश्यकता है, और उस लिस्ट में मौजूद प्रत्येक विषय के पास अपना अनूठा फ़िल्टर होना चाहिए।

समाधान: FilterMoE (द "एक्सपर्ट" लाइब्रेरी)

इस समस्या को हल करने के लिए, लेखकों ने FilterMoE बनाया। इसे एक ऐसी लाइब्रेरी के रूप में सोचें जिसमें विशेषज्ञों (Experts) की एक छोटी, कुलीन टीम है।

विशेषज्ञ (The Experts): हर छात्र-विषय संयोजन के लिए एक अनूठी किताब लिखने की कोशिश करने के बजाय (जो असंभव होगा), लाइब्रेरी में पूर्व-लिखित "स्पेक्ट्रल फिल्टर्स" (चेबिशेव फिल्टर्स) का एक छोटा बैंक है। ये सूचना के प्रवाह के लिए बहुमुखी, उच्च-गुणवत्ता वाले टेम्पलेट्स की तरह हैं।
गेटिंग टेंसर (The Smart Librarian): यही जादुई हिस्सा है। जब एक छात्र (नोड) को एक विशिष्ट विषय (चैनल) सीखने की आवश्यकता होती है, तो एक 3D "गेटिंग टेंसर" एक सुपर-स्मार्ट लाइब्रेरियन की तरह कार्य करता है। वह छात्र और विषय को देखता है और पूछता है: "इस विशिष्ट छात्र द्वारा इस विशिष्ट विषय को पढ़ने के लिए हमारे 5 या 10 विशेषज्ञ टेम्पलेट्स में से कौन सा सबसे उपयुक्त है?"
मिश्रण (The Mix): लाइब्रेरियन केवल एक को चुनता नहीं है; वे विशेषज्ञों का एक कस्टम मिश्रण बनाते हैं। इसका मतलब है कि गणित पढ़ रहा छात्र 'A' को विशेषज्ञ 1 और विशेषज्ञ 3 का मिश्रण मिल सकता है, जबकि गणित पढ़ रहा छात्र 'B' को विशेषज्ञ 2 और विशेषज्ञ 4 का मिश्रण मिल सकता है।

यह प्रणाली मॉडल को अत्यधिक अनुकूलन योग्य (विशिष्ट छात्र और विषय के अनुरूप) बनाती है, बिना हर जोड़ी के लिए एक नया फ़िल्टर बनाए। यह "प्री-प्रोपैगेशन" की गति का लाभ बनाए रखती है क्योंकि ग्राफ डिफ्यूजन का भारी काम पहले ही किया जा चुका होता है, और विशेषज्ञों का "रूटिंग" केवल एक तेज़, डेंस गणना है।

परिणाम: यह क्यों मायने रखता है

लेखकों ने 11 अलग-अलग डेटासेट्स पर इस "FilterMoE" सिस्टम का परीक्षण किया, जिसमें छोटे सोशल नेटवर्क से लेकर लाखों नोड्स वाले विशाल ग्राफ (जैसे अमेज़न उत्पादों या अकादमिक पेपर का पूरा कैटलॉग) शामिल हैं।

विजेता: FilterMoE ने 11 में से 9 डेटासेट्स पर मौजूदा सर्वोत्तम विधियों को पछाड़ दिया।
बड़े ग्राफ: यह तीनों विशाल, बड़े पैमाने के बेंचमार्क पर स्पष्ट विजेता था, जिसने पिछले सर्वश्रेष्ठ तरीकों की तुलना में स्कोर में महत्वपूर्ण सुधार किया।
निष्कर्ष: यह पेपर साबित करता है कि आपको हर नए डेटासेट के लिए अलग "मिक्सिंग रणनीति" को मैन्युअल रूप से चुनने की आवश्यकता नहीं है। इसके बजाय, आप इस "मिश्रण विशेषज्ञों" (Mixture of Experts) के दृष्टिकोण का उपयोग कर सकते हैं, जो स्वचालित रूप से छात्र-विशिष्ट और विषय-विशिष्ट फ़िल्टरिंग के सही संतुलन को सीख लेता है।

संक्षेप में, पेपर कहता है: "यह अनुमान लगाना बंद करें कि कौन सा जटिल फ़िल्टर उपयोग करना है। इसके बजाय, अपने मॉडल को विशेषज्ञ फ़िल्टर्स की एक छोटी टीम और एक स्मार्ट राउटर दें जो जानता है कि हर छात्र और हर विषय के लिए किस विशेषज्ञ को बुलाना है।" यह ग्राफ लर्निंग को तेज़, अधिक सटीक और स्केल करने में बहुत आसान बनाता है।

तकनीकी सारांश: संदेश को नहीं, बल्कि फ़िल्टर को गेट करें (Gate the Filter, Not the Message)

समस्या विवरण

प्री-प्रोपैगेशन ग्राफ न्यूरल नेटवर्क (PP-GNNs), मानक मैसेज-पासिंग GNNs (MP-GNNs) की स्केलेबिलिटी सीमाओं को ग्राफ-निर्भर गणना को ट्रेनिंग लूप से अलग करके हल करते हैं। PP-GNNs में, ग्राफ प्रोपगेशन को एक प्रीप्रोसेसिंग स्टेप के रूप में एक बार किया जाता है ताकि सघन (dense) नोड फीचर्स (hops) उत्पन्न किए जा सकें, और मॉडल केवल इन्हीं फीचर्स पर प्रशिक्षित होता है। जबकि यह दृष्टिकोण विशाल ग्राफों पर प्रशिक्षण को कई गुना तेज बनाता है, एक निरंतर पहेली बनी हुई है: अधिक जटिल फीचर एग्रीगेटर्स (aggregators) विश्वसनीय रूप से सरल एग्रीगेटर्स से बेहतर प्रदर्शन नहीं करते हैं।

अनुभवजन्य अवलोकन (Empirical observations) दर्शाते हैं कि सरल MLP-आधारित एग्रीगेटर्स (जैसे, SIGN) विभिन्न बेंचमार्क पर परिष्कृत हॉप-अटेंशन तंत्र (जैसे, HOGA) के प्रदर्शन के बराबर या उससे बेहतर होते हैं। मौजूदा स्पष्टीकरण जो कच्चे आर्किटेक्चरल क्षमता (architectural capacity) पर ध्यान केंद्रित करते हैं, वे इसका कारण बताने में विफल रहते हैं। यह शोध पत्र यह तर्क देता है कि सीमा एग्रीगेटर की जटिलता में नहीं है, बल्कि इस बात में है कि प्रीकंप्यूटेड डिफ्यूजन बेसिस के भीतर फ़िल्टर गुणांक (filter coefficients) नोड्स और फीचर चैनल्स के बीच कैसे साझा किए जाते हैं।

MLP-आधारित आर्किटेक्चर ऐसे फ़िल्टर सीखते हैं जो चैनल-निर्भर होते हैं लेकिन काफी हद तक नोड्स के बीच साझा किए जाते हैं।
हॉप-अटेंशन आर्किटेक्चर ऐसे मिश्रण (mixtures) सीखते हैं जो नोड-निर्भर होते हैं लेकिन काफी हद तक चैनल्स के बीच साझा किए जाते हैं।
दोनों में से कोई भी दृष्टिकोण संयुक्त नोड-और-चैनल-अनुकूलनशील फ़िल्टरिंग (joint node- and channel-adaptive filtering) को पूरी तरह से साकार नहीं करता है, जो एक ऐसा क्षेत्र है जिसे मानक PP-GNN डिज़ाइन अनछुआ छोड़ देते हैं।

कार्यप्रणाली: FilterMoE

लेखक FilterMoE का प्रस्ताव करते हैं, जो एक मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) PP-GNN है जो संयुक्त नोड-और-चैनल-अनुकूलनशील फ़िल्टरिंग पेश करता है, जबकि प्री-प्रोपैगेशन कम्प्यूटेशनल अनुबंध (कोई स्पार्स मैसेज पासिंग नहीं) का सख्ती से पालन करता है।

मुख्य आर्किटेक्चर

प्रीप्रोसेसिंग (ऑफलाइन):
- एक चेबीशेव डिफ्यूजन बेसिस (Chebyshev diffusion basis) को एक बार निर्मित किया जाता है: $B_k = T_k(\tilde{L})X$ जहाँ $k=0, \dots, K$ , $\tilde{L}$ एक रीस्केल्ड ग्राफ लैपलेसियन है और $T_k$ चेबीशेव बहुपद (polynomials) हैं।
- स्पेक्ट्रल रिस्पॉन्स का विश्लेषण करने के लिए एक स्टोकेस्टिक लैंकोस क्वाड्रैचर (SLQ) का उपयोग किया जाता है।
एक्सपर्ट बैंक (Expert Bank):
- प्रत्येक नोड-चैनल युग्म के लिए स्वतंत्र बहुपद गुणांकों की भविष्यवाणी करने के बजाय (जो कम्प्यूटेशनल रूप से अत्यधिक महंगा और इंडक्टिव-बायस कमजोर है), FilterMoE $M$ चेबीशेव फ़िल्टर विशेषज्ञों का एक छोटा बैंक सीखता है।
- प्रत्येक विशेषज्ञ $m$ को चेबीशेव गुणांकों के एक सेट $\alpha_m$ द्वारा परिभाषित किया जाता है, जो एक विशिष्ट स्पेक्ट्रल रिस्पॉन्स $g_m(\lambda)$ का प्रतिनिधित्व करता है।
संयुक्त नोड-चैनल रूटिंग (Joint Node-Channel Routing):
- एक 3D गेटिंग टेंसर $G \in \mathbb{R}^{N \times M \times F}$ विशेषज्ञों को रूट करता है। $G_{i,m,f}$ नोड $i$ और फीचर चैनल $f$ के लिए विशेषज्ञ $m$ के भार को निर्धारित करता है।
- यह प्रत्येक नोड-चैनल युग्म को एक अद्वितीय प्रभावी फ़िल्टर $\beta_{i,f} = \sum_m G_{i,m,f} \alpha_m$ प्रदान करता है, जबकि यह सुनिश्चित करता है कि सभी फ़िल्टर साझा विशेषज्ञ बैंक के मिश्रण हों।
रूटर वेरिएंट्स (Router Variants):
- डायरेक्ट जॉइंट MLP: नोड डिस्क्रिप्टर्स को सीधे पूर्ण $M \times F$ लॉजिट ग्रिड पर मैप करता है।
- रिस्पॉन्स-अवेयर टू-स्टेज रूटर: विशेषज्ञों के स्पेक्ट्रल रिस्पॉन्स स्केच को 'कीज़' (keys) के रूप में उपयोग करता है। यह पहले विशेषज्ञों पर एक नोड-स्तरीय प्रायर (prior) की गणना करता है और फिर इसे चैनल-स्तरीय रेसिडुअल्स के साथ परिष्कृत करता है। यह स्पष्ट रूप से विशेषज्ञों के ग्राफ-जागरूक स्पेक्ट्रल आकारों पर रूटिंग को कंडिशन करता है।
ट्रेनिंग ऑब्जेक्टिव:
- प्राथमिक लॉस सुपरवाइज्ड टास्क लॉस है।
- सहायक रेगुलाइजेशन (Auxiliary Regularization):
  - डाइवर्सिटी लॉस: विशेषज्ञों के बीच स्पेक्ट्रल-रिस्पॉन्स स्पेस (SLQ ग्रिड का उपयोग करके) में विशिष्ट स्पेक्ट्रल रिस्पॉन्स को प्रोत्साहित करता है ताकि कोलैप्स को रोका जा सके।
  - स्मूथनेस लॉस: स्थिर फ़िल्टर सुनिश्चित करने के लिए उच्च-डिग्री चेबीशेव गुणांकों को दंडित करता है।
  - MoE बैलेंसिंग: समान विशेषज्ञ उपयोग सुनिश्चित करने के लिए मानक इम्पोर्टेंस और लोड बैलेंसिंग लॉस।

मुख्य योगदान

ग्राफ-फ़िल्टर परिप्रेक्ष्य विश्लेषण: यह पेपर PP-GNN प्रदर्शन को केवल एग्रीगेटर क्षमता के रूप में नहीं, बल्कि इस रूप में देखता है कि फ़िल्टर गुणांक कैसे साझा किए जाते हैं। यह पहचानता है कि मौजूदा विधियाँ या तो नोड-साझा/चैनल-अनुकूलनशील हैं या चैनल-साझा/नोड-अनुकूलनशील हैं, जिससे संयुक्त अनुकूलनशील शासन (joint adaptive regime) छूट जाता है।
FilterMoE आर्किटेक्चर: एक नवीन PP-GNN जो 3D गेटिंग टेंसर के माध्यम से साझा चेबीशेव विशेषज्ञों के मिश्रण का उपयोग करके संयुक्त नोड-और-चैनल-अनुकूलनशील फ़िल्टरिंग लागू करता है।
मैनुअल ट्यूनिंग का मजबूत विकल्प: FilterMoE एक सीखा हुआ, मजबूत डिफ़ॉल्ट तंत्र के रूप में कार्य करता है जो विभिन्न डेटासेट्स के लिए विशिष्ट हॉप एग्रीगेटर्स (MLP बनाम अटेंशन बनाम फ्यूजन) को मैन्युअल रूप से चुनने की आवश्यकता को समाप्त करता है।
व्यापक मूल्यांकन: 11 बेंचमार्क (होमोफिलिक, हेटरोफिलिक और बड़े पैमाने के ग्राफ) पर व्यापक प्रयोग इस दृष्टिकोण की प्रभावकारिता को सिद्ध करते हैं।

प्रयोगात्मक परिणाम

FilterMoE का मूल्यांकन 11 डेटासेट्स पर किया गया, जिसमें चार होमोफिलिक, चार हेटरोफिलिक और तीन बड़े पैमाने के ग्राफ (Pokec, OGBN-Products, OGBN-Papers100M) शामिल थे।

कुल प्रदर्शन: FilterMoE ने 11 में से 9 डेटासेट्स पर सबसे मजबूत PP-GNN बेसलाइन्स (SIGN, HOGA, GAMLP) को पछाड़ दिया, जिससे औसत टेस्ट स्कोर में 1.53 अंक का सुधार हुआ।
बड़े पैमाने के ग्राफ: FilterMoE तीनों बड़े पैमाने के बेंचमार्क पर प्रथम स्थान पर रहा, जिसने सर्वश्रेष्ठ PP-GNN बेसलाइन से क्रमशः +1.76 (Pokec), +0.93 (OGBN-Products), और +0.71 (OGBN-Papers100M) का सुधार दिखाया।
MP-GNNs के साथ तुलना: बड़े ग्राफों पर, FilterMoE ने सभी मूल्यांकित MP-GNN बेसलाइन्स को पछाड़ दिया, जबकि प्री-प्रोपैगेशन ट्रेनिंग दक्षता को बनाए रखा। छोटे ग्राफों पर, यह विशेष अनुकूलित (adaptive) MP-GNNs (जैसे, AGDN वेरिएंट्स) के साथ प्रतिस्पर्धी रहा, लेकिन उसने उन्हें समान रूप से प्रभावित नहीं किया, जो दर्शाता है कि इसकी प्राथमिक शक्ति PP-GNN क्षेत्र में है।
एब्लेशन स्टडीज (Ablation Studies):
- रूटिंग: संयुक्त नोड-चैनल रूटिंग ने लगातार सिंगल-एक्सिस (केवल नोड या केवल चैनल) वेरिएंट्स से बेहतर प्रदर्शन किया।
- ऑपरेटर: प्रदर्शन में सुधार केवल चेबीशेव ऑपरेटर के कारण नहीं था; बेसलाइन्स में ऑपरेटर को चेबीशेव से बदलने से उनमें सुधार हुआ लेकिन वे FilterMoE के अंतर को पाट नहीं सके।
- रेगुलाइजेशन: स्पेक्ट्रल स्मूथनेस लॉस सबसे महत्वपूर्ण रेगुलराइज़र था, जबकि डाइवर्सिटी और MoE बैलेंसिंग लॉस ने छोटे, डेटासेट-निर्भर लाभ प्रदान किए।

महत्व और दावे

यह पेपर दावा करता है कि मौजूदा PP-GNNs की मुख्य सीमा जटिल एग्रीगेटर्स की कमी नहीं है, बल्कि एक संरचित तंत्र की कमी है जो स्केलेबिलिटी बनाए रखते हुए संयुक्त नोड-और-चैनल-अनुकूलनशील ग्राफ फ़िल्टर सीख सके।

FilterMoE संयुक्त नोड-चैनल फ़िल्टर रूटिंग को विभिन्न डेटासेट के लिए विशिष्ट हॉप-एग्रीगेटर चयन के एक मजबूत विकल्प के रूप में स्थापित करता है। स्पेक्ट्रल रिस्पॉन्स (सीखे गए एक्सपर्ट्स) को रूटिंग मैकेनिज्म (नोड-चैनल गेटिंग) से अलग करके, मॉडल पड़ोसी विस्फोट (neighbor-explosion) की समस्या या प्रति-इपोक मैसेज पासिंग के कम्प्यूटेशनल ओवरहेड को फिर से पेश किए बिना उच्च अभिव्यक्ति (expressivity) प्राप्त करता है। परिणाम बताते हैं कि बड़े पैमाने के नोड वर्गीकरण के लिए, एक साझा फ़िल्टर बैंक पर सीखा हुआ, अनुकूलित रूटिंग रणनीति, प्रत्येक डेटासेट के लिए मैन्युअल रूप से डिज़ाइन या ट्यून किए गए विशिष्ट एग्रीगेशन हेड्स की तुलना में बेहतर है।

लेखक अपने दायरे के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि वर्तमान कार्य नोड वर्गीकरण के लिए निश्चित, होमोजेनियस ग्राफों पर केंद्रित है। लिंक प्रेडिक्शन, ग्राफ-लेवल टास्क, हेटेरोजेनियस ग्राफ और डायनेमिक ग्राफ्स के लिए विस्तार को वर्तमान क्षमताओं के बजाय भविष्य के कार्य के रूप में पहचाना गया है।