💻 computer science

SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

SpectralMLP एक नवीन हाइपरग्राफ न्यूरल नेटवर्क फ्रेमवर्क पेश करता है जो पारंपरिक एग्रीगेशन को सीखने योग्य जैकोबी बहुपद आधारों (learnable Jacobi polynomial bases) का उपयोग करने वाले एक कुशल, संदेश-प्रेषण-मुक्त (message-passing-free) ड्यूल-फ्रीक्वेंसी स्पेक्ट्रल फ़िल्टरिंग तंत्र से बदल देता है, जो अधिकांश मौजूदा विधियों की तुलना में कम पैरामीटर संख्या बनाए रखते हुए कई बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करता है।

मूल लेखक: Rong Qian, Yu Cheng, Hongbo Zhao

प्रकाशित 2026-07-31

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rong Qian, Yu Cheng, Hongbo Zhao

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, अराजक पार्टी को समझने की कोशिश कर रहे हैं जहाँ लोग केवल अपने पड़ोसियों से ही नहीं, बल्कि एक साथ पूरे समूहों से बात कर रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे "हाइपरग्राफ" (hypergraph) कहा जाता है। एक सामान्य मानचित्र के विपरीत जहाँ रेखाएँ केवल दो बिंदुओं को जोड़ती हैं, एक हाइपरग्राफ "सुपर-कनेक्शन" (जिसे हाइपरएज कहा जाता है) का उपयोग करता है जो एक ही समय में लोगों की पूरी भीड़ को आपस में जोड़ सकता है। इसी तरह हम वास्तविक जीवन को मॉडल करते हैं: जैसे एक ग्रुप चैट, एक पारिवारिक वंशावली, या एक प्रोजेक्ट पर काम करने वाले वैज्ञानिकों की एक टीम।

इन अव्यवस्थित समूहों को समझने के लिए, कंप्यूटर "न्यूरल नेटवर्क" नामक चीज़ का उपयोग करते हैं। लंबे समय तक, कंप्यूटर को सिखाने का मानक तरीका "मैसेज पासिंग" (संदेश पारित करना) रहा है। कल्पना कीजिए कि टेलीफोन के खेल (game of telephone) जैसा है जहाँ हर व्यक्ति जो जानता है उसे अपने पड़ोसियों को फुसफुसाकर बताता है, जो फिर अपने स्वयं के पड़ोसियों को फुसफुसाते हैं, और इसी तरह आगे बढ़ता है। यह काम करता है, लेकिन यह धीमा है, बड़े समूहों के साथ बहुत अव्यवस्थित हो जाता है, और कभी-कभी संदेश इतना हल्का हो जाता है कि वह अर्थ खो देता है। एक अधिक स्मार्ट, सैद्धांतिक विचार "स्पेक्ट्रल फ़िल्टरिंग" (spectral filtering) है। संदेश भेजने के बजाय, कल्पना कीजिए कि पूरे कमरे में अचानक एक विशिष्ट गाना बजने लगता है। कंप्यूटर पड़ोसियों की बात नहीं सुनता; यह बस डेटा की विभिन्न "आवृत्तियों" (frequencies) (जैसे बास या ट्रेबल) के वॉल्यूम को समायोजित करता है ताकि जो महत्वपूर्ण है उसे उभारा जा सके और जो अनावश्यक है उसे शांत किया जा सके। बड़ा सवाल यह है कि क्या हम इस शोर भरे "फुसफुसाने के खेल" को पूरी तरह से छोड़कर केवल "संगीत" का उपयोग करके समस्याओं को हल कर सकते हैं?

यहाँ SpectralMLP आता है, जो रोंग क्वियन, यू चेंग और होंगबो झाओ द्वारा प्रस्तावित एक नई विधि है, जो कहती है, "हाँ, हम ऐसा कर सकते हैं।"

पुराने तरीके के साथ समस्या

इन समूह नेटवर्कों के लिए अधिकांश मौजूदा कंप्यूटर मॉडल उसी "फुसफुसाने के खेल" (एकत्रीकरण/aggregation) पर निर्भर करते हैं। वे पूरे चित्र को बनाने के लिए पड़ोसियों से जानकारी एकत्र करने की कोशिश करते हैं। लेकिन इसके तीन बड़े सिरदर्द हैं:

यह धीमा हो जाता है: जैसे-जैसे समूह विशाल होता जाता है, फुसफुसाने में बहुत समय लगता है।
यह अव्यवस्थित हो जाता है: यदि समूह बहुत बड़ा है, तो संदेश दब जाता है और खो जाता है।
यह अजीब डेटा पर विफल हो जाता है: कभी-कभी, समूहों के पीछे का गणित इतना अजीब होता है (एक समस्या जिसे लेखक "स्पेक्ट्रल डिजनरेशन" कहते हैं), कि फुसफुसाने का खेल काम करना बंद कर देता है, जिससे कंप्यूटर भ्रमित हो जाता है।

लेखकों का तर्क है कि हमें फुसफुसाने की आवश्यकता ही नहीं है। चूंकि गणितीय रूप से, "पड़ोसियों को सुनना" और "संगीत को समायोजित करना" वास्तव में एक ही सिक्के के दो पहलू हैं, इसलिए उन्होंने विशेष रूप से संगीत के दृष्टिकोण को आज़माने का निर्णय लिया। वे देखना चाहते थे कि क्या एक मॉडल केवल आवृत्तियों (frequencies) को फ़िल्टर करके सीख सकता है, बिना एक भी संदेश पारित किए।

समाधान: एक डुअल-ट्यूनर रेडियो

टीम ने SpectralMLP नामक एक फ्रेमवर्क बनाया है। इसे एक सुपर-स्मार्ट रेडियो के रूप में सोचें जिसे पार्टी को समझने के लिए किसी से बात करने की आवश्यकता नहीं है; यह बस सही आवृत्तियों को ट्यून करता है।

इनका मुख्य आविष्कार एक विशेष मॉड्यूल है जिसे Adaptive Dual-Frequency Spectral Filter (ADF-SF) कहा जाता है। यह सरल भाषा में कैसे काम करता है:

दो चैनल: केवल एक वॉल्यूम नॉब के बजाय, इस रेडियो में दो अलग-अलग चैनल हैं। एक चैनल "लो फ्रीक्वेंसी" (कम आवृत्ति - वे स्मूथ, भारी बास वाले स्वर जो समान लोगों के समूहों को आपस में घुलने-मिलने में मदद करते हैं) के लिए ट्यून किया गया है। दूसरा चैनल "हाई फ्रीक्वेंसी" (उच्च आवृत्ति - वे तीखे, ट्रेबल वाले स्वर जो विभिन्न समूहों को एक-दूसरे से अलग करने में मदद करते हैं) के लिए ट्यून किया गया है।
स्मार्ट मिक्सर: जादू एक "गेट" में होता है जो एक डीजे (DJ) की तरह काम करता है। यह डेटा को देखता है और तय करता है, "हे, इस विशिष्ट समूह के लिए, हमें अधिक बास की आवश्यकता है," या "इस अन्य समूह के लिए, हमें अधिक ट्रेबल की आवश्यकता है।" यह काम को बखूबी करने के लिए दोनों चैनलों को आपस में मिला देता है।
कोई फुसफुसाहट नहीं: महत्वपूर्ण रूप से, इस पूरी प्रक्रिया में नोड्स के बीच संदेश भेजना शामिल नहीं है। यह केवल आवृत्तियों को समायोजित करने के लिए कुछ तेज़ गणित (स्पार्स मैट्रिक्स को गुणा करना) करता है। यह पुराने तरीकों के धीमे और अव्यवस्थित चरणों को छोड़ देता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नए "रेडियो" का परीक्षण 10 अलग-अलग डेटासेट्स पर किया (जानवरों के चिड़ियाघर जैसे छोटे समूहों से लेकर अकादमिक शोध पत्रों के डेटाबेस जैसे विशाल नेटवर्क तक) और इसकी तुलना 9 अन्य शीर्ष विधियों से की।

परिणामों ने क्या दिखाया:

यह अक्सर जीतता है: SpectralMLP 10 में से 7 डेटासेट्स पर पहले या दूसरे स्थान पर रहा।
यह कठिन समस्याओं में काम आता है: सबसे बड़ी जीत Congress नामक डेटासेट पर हुई। इस विशिष्ट मामले में, डेटा इतना अजीब था कि मानक विधियाँ संघर्ष कर रही थीं। पुराने "फुसफुसाने" वाले तरीके प्रदर्शन में गिर गए, लेकिन SpectralMLP ऊंचाइयों पर पहुँच गया, बेसलाइन को 27.9% के भारी अंतर से पछाड़ दिया। यह साबित करता है कि उनका डुअल-फ्रीक्वेंसी दृष्टिकोण कठिन डेटा के समय जीवन रक्षक साबित होता है।
यह कुशल है: यह नया तरीका लीन (lean) भी है। इसने पुराने, भारी तरीकों की तुलना में बुनियादी मॉडल में केवल लगभग 2.4% अधिक "मस्तिष्क शक्ति" (पैरामीटर्स) जोड़ी। वास्तव में, यह उन अधिकांश जटिल मैसेज-पासिंग मॉडलों की तुलना में कम कुल पैरामीटर्स का उपयोग करता है जिन्हें इसने हराया है।
यह लचीला है: "डीजे गेट" ने स्वचालित रूप से लो और हाई फ्रीक्वेंसी के बीच स्विच करना सीखा। कुछ डेटासेट्स पर, इसने महसूस किया कि इसे केवल बास की आवश्यकता है; अन्य पर, इसे ट्रेबल की आवश्यकता थी। यही अनुकूलन क्षमता कारण है कि यह विभिन्न प्रकार की समस्याओं में इतना अच्छा काम करता है।

निष्कर्ष

यह पेपर सुझाव देता है कि अब हमें जटिल समूहों को समझने के लिए उस जटिल, धीमे "फुसफुसाने के खेल" की आवश्यकता नहीं है। केवल एक स्मार्ट, डुअल-चैनल फ़िल्टर के साथ सही आवृत्तियों को ट्यून करके, कंप्यूटर हाइपरग्राफ को तेज़, कम मेमोरी और कठिन स्थितियों में बेहतर सटीकता के साथ समझ सकते हैं।

हालांकि लेखक नोट करते हैं कि उनकी विधि अभी भी एक बुनियादी "बैकबोन" (एक मानक न्यूरल नेटवर्क) पर निर्भर करती है और अभी भी कुछ गणितीय रहस्य हैं कि इसे पहले सरलीकरण के बिना सीधे कच्चे समूह संरचना पर कैसे लागू किया जाए, लेकिन परिणाम मजबूत हैं। उन्होंने दिखाया है कि हाइपरग्राफ लर्निंग के लिए, कभी-कभी सबसे अच्छा तरीका यह है कि सुनने के लिए बोलना बंद कर दें और बस फ़िल्टर करना शुरू कर दें।

तकनीकी सारांश: SpectralMLP

समस्या विवरण
वर्तमान हाइपरग्राफ न्यूरल नेटवर्क (HGNNs) मुख्य रूप से नोड रिप्रजेंटेशन को समृद्ध करने के लिए एकत्रीकरण तंत्र (aggregation mechanisms)—जैसे कि स्थानीय संदेश पासिंग (local message passing), वैश्विक ध्यान (global attention), या स्पेक्ट्रल प्रोजेक्शन—पर निर्भर करते हैं। ये दृष्टिकोण महत्वपूर्ण व्यावहारिक सीमाओं का सामना करते हैं: स्थानीय संदेश पासिंग ओवर-स्क्वैशिंग (over-squashing) और शोर संवेदनशीलता (noise sensitivity) से ग्रस्त है; वैश्विक ध्यान $O(N^2)$ जटिलता का सामना करता है, जो स्केलेबिलिटी को सीमित करता है; और सटीक स्पेक्ट्रल विधियों के लिए $O(N^3)$ आइजनडीकंपोजिशन (eigendecomposition) की आवश्यकता होती है, जो उन्हें बड़े ग्राफों के लिए अव्यवहारिक बना देता है। इसके अलावा, मौजूदा स्पेक्ट्रल विधियां अक्सर "स्पेक्ट्रल डिजनरेशन" (spectral degeneration) को संबोधित करने में विफल रहती हैं, जो एक ऐसी घटना है जहाँ लैपलेसियन आइजनवैल्यू (Laplacian eigenvalues) बहुत करीब क्लस्टर हो जाते हैं (उदाहरण के लिए, $\lambda_{max} - \lambda_{min} < 10^{-4}$ ), जिससे मानक फिल्टर स्थिर प्रतिक्रियाओं (constant responses) में ढल जाते हैं और फ्रीक्वेंसी भेदभाव खो देते हैं। इसके अतिरिक्त, एक एकल स्पेक्ट्रल रिस्पॉन्स एक साथ उन लो-फ्रीक्वेंसी सिग्नल्स को कैप्चर नहीं कर सकता जो होमोफिलिक ग्राफ्स के लिए फायदेमंद हैं और उन हाई-फ्रीक्वेंसी सिग्नल्स को जो हेटरोफिलिक या मल्टी-क्लास कार्यों के लिए आवश्यक हैं।

कार्यप्रणाली (Methodology)
लेखक SpectralMLP का प्रस्ताव करते हैं, जो एक मैसेज-पासिंग-मुक्त फ्रेमवर्क है जो सीखने योग्य जैकोबी बहुपद आधारों (learnable Jacobi polynomial bases) का उपयोग करके एकत्रीकरण के स्थान पर डुअल-फ्रीक्वेंसी स्पेक्ट्रल फिल्टरिंग को प्रतिस्थापित करता है। यह फ्रेमवर्क तीन प्राथमिक घटकों से बना है:

MLP बैकबोन: एक MLP इनपुट फीचर्स को बिना किसी ग्राफ ऑपरेशन के हिडन रिप्रजेंटेशन में बदल देता है, जो तुलना के लिए एक निष्पक्ष बेसलाइन के रूप में कार्य करता है।
एडेप्टिव डुअल-फ्रीक्वेंसी स्पेक्ट्रल फिल्टर (ADF-SF): यह मुख्य नवाचार है। एक एकल फिल्टर के बजाय, ADF-SF हिडन रिप्रजेंटेशन को दो स्वतंत्र रूप से पैरामीटराइज्ड शाखाओं में विभाजित करता है:
- लो-फ्रीक्वेंसी ब्रांच: $(\alpha_l, \beta_l)$ पैरामीटर्स और $\theta_{low}$ गुणांकों के साथ एक सीखने योग्य जैकोबी बहुपद आधार द्वारा संचालित।
- हाई-फ्रीक्वेंसी ब्रांच: $(\alpha_h, \beta_h)$ पैरामीटर्स और $\theta_{high}$ गुणांकों के साथ एक अलग सीखने योग्य जैकोबी आधार द्वारा संचालित।
- एडेप्टिव गेटिंग: एक सीखा गया गेट ( $g = \sigma(W_g[h_{low}; h_{high}] + b_g)$ ) प्रति-नोड इन शाखाओं को गतिशील रूप से फ्यूज करता है, जिससे मॉडल को होमोफिलिक और हेटरोफिलिक सिग्नल्स के बीच एडेप्टिव रूप से संतुलन बनाने की अनुमति मिलती है।
- रेसिड्यूअल कनेक्शन: फिल्टर किए गए आउटपुट को एक सीखने योग्य स्केल $\beta_{res}$ के माध्यम से मूल सिग्नल के साथ जोड़ा जाता है ताकि स्थिरता और सिग्नल संरक्षण सुनिश्चित किया जा सके।
कार्यान्वयन विवरण (Implementation Details): यह विधि तीन-टर्म रिकरेंस संबंधों (three-term recurrence relations) का उपयोग करके सीधे स्पार्स नॉर्मलाइज्ड लैपलेसियन (क्लिक एक्सपेंशन के माध्यम से प्राप्त) पर कार्य करती है। यह पूरी तरह से आइजनडीकंपोजिशन से बचता है, जिससे प्रति-लेयर जटिलता घटकर $O(K \cdot \text{nnz} \cdot H)$ हो जाती है, जहाँ $K$ बहुपद क्रम (polynomial order) है और $\text{nnz}$ लैपलेसियन के नॉन-जीरो तत्वों की संख्या है।

प्रशिक्षण उद्देश्य क्रॉस-एन्ट्रॉपी लॉस को एक स्ट्रक्चर-अवेयर स्मूथनेस रेगुलराइज़र के साथ जोड़ता है जो एक ही हाइपरएज के भीतर नोड्स के बीच बड़े यूक्लिडियन दूरियों को दंडित करता है, जिसे सैंपलिंग के माध्यम से कुशलतापूर्वक गणना किया जाता है।

प्रमुख योगदान

मैसेज-पासिंग-फ्री फ्रेमवर्क: SpectralMLP यह प्रदर्शित करता है कि सीखने योग्य एकत्रीकरण ऑपरेटरों के बिना, केवल स्पेक्ट्रल फिल्टरिंग ही हाइपरग्राफ नोड वर्गीकरण के लिए पर्याप्त है।
लर्नेबल जैकोबी बेसेस: यह पेपर हाइपरग्राफ के लिए पहले लर्न करने योग्य जैकोबी बहुपद फिल्टरिंग के अनुप्रयोग को पेश करता है। $(\alpha, \beta)$ पैरामीटर्स को सीखने योग्य बनाकर, मॉडल प्रत्येक डेटासेट के विशिष्ट स्पेक्ट्रल वितरण के अनुकूल होने के लिए बहुपद आधार को अनुकूलित करता है, जिससे प्रत्येक फिल्टर में केवल दो पैरामीटर जुड़ते हैं।
डुअल-फ्रीक्वेंसी आर्किटेक्चर: यह फ्रेमवर्क लो- और हाई-फ्रीक्वेंसी प्रोसेसिंग को अलग करके हाइपरग्राफ की विविध स्पेक्ट्रल विशेषताओं को स्पष्ट रूप से संबोधित करता है। यह डिज़ाइन मॉडल को होमोफिली और हेटरोफिली दोनों को संभालने की अनुमति देता है, और महत्वपूर्ण रूप से, उस स्पेक्ट्रल डिजनरेशन को कम करता है जहाँ मानक फिल्टर विफल हो जाते हैं।
कंप्यूटेशनल दक्षता: यह विधि आइजनडीकंपोजिशन और नेबरहुड एक्सपेंशन की आवश्यकता को समाप्त करती है, और केवल स्पार्स मैट्रिक्स-वेक्टर उत्पादों पर निर्भर करती है।

प्रायोगिक परिणाम
लेखकों ने 9 बेसलाइन्स (मैसेज-पासिंग HGNNs, ट्रांसफार्मर-आधारित मॉडल, और MLP-आधारित विधियों सहित) के विरुद्ध 10 हाइपरग्राफ नोड क्लासिफिकेशन डेटासेट्स (101 से 41,302 नोड्स तक) पर SpectralMLP का मूल्यांकन किया।

प्रदर्शन: SpectralMLP 10 में से 7 डेटासेट्स पर पहले या दूसरे स्थान पर रहा।
- स्पेक्ट्रल डिजनरेशन: Congress डेटासेट पर, जो गंभीर स्पेक्ट्रल डिजनरेशन ( $\lambda_{max} - \lambda_{min} < 10^{-4}$ ) द्वारा चिह्नित है, SpectralMLP ने 95.88% सटीकता प्राप्त की, जो MLP बेसलाइन (70.47%) और अन्य स्टेट-ऑफ-द-आर्ट विधियों से काफी बेहतर है। यह यूनिफॉर्म सेटिंग्स के तहत MLP बेसलाइन पर +27.9% की वृद्धि को दर्शाता है।
- मल्टी-क्लास टास्क: ModelNet40 (40 क्लासेस) पर, SpectralMLP ने 98.08% प्राप्त किया, जो सभी बेसलाइन्स से आगे निकल गया।
- मजबूती (Robustness): डुअल-फ्रीक्वेंसी मोड एक मजबूत "जीरो-कॉन्फ़िगरेशन" डिफॉल्ट के रूप में कार्य करता है, जो सभी डेटासेट्स में सर्वश्रेष्ठ सिंगल-ब्रांच वेरिएंट के 1% के भीतर प्रदर्शन करता है।
पैरामीटर दक्षता: SpectralMLP ने MLP बैकबोन पर औसतन लगभग 2.4% अतिरिक्त पैरामीटर जोड़े। इसकी कुल पैरामीटर संख्या अधिकांश मैसेज-पासिंग बेसलाइन्स (जैसे, AllSet, HyperGT, SheafHyperGCN) की तुलना में कम थी, जो पुष्टि करती है कि स्पेक्ट्रल फिल्टरिंग सीखने योग्य एकत्रीकरण का एक पैरामीटर-एफिशिएंट विकल्प है।

महत्व और दावे
यह पेपर दावा करता है कि SpectralMLP यह सिद्ध करके हाइपरग्राफ लर्निंग के लिए एक नया प्रतिमान (paradigm) स्थापित करता है कि फिल्टरिंग, रिप्रजेंटेशनल पावर में एकत्रीकरण के समान है लेकिन व्यावहारिक दक्षता में श्रेष्ठ है। लेखक तर्क देते हैं कि एकत्रीकरण को दरकिनार करके, फ्रेमवर्क ओवर-स्क्वैशिंग, $O(N^2)$ अटेंशन कॉस्ट और $O(N^3)$ आइजनडीकंपोजिशन से बचता है। डुअल-फ्रीक्वेंसी डिज़ाइन को मानक स्पेक्ट्रल फिल्टर की "वन-साइज़-फिट्स-ऑल" सीमा के समाधान के रूप में प्रस्तुत किया गया है, जो मॉडल को विविध कार्यों के लिए इष्टतम फ्रीक्वेंसी बैलेंस को स्वचालित रूप से खोजने में सक्षम बनाता है। Congress डेटासेट पर परिणाम विशेष रूप से मौजूदा स्पेक्ट्रल विधियों के डिजनरेट होने वाले परिदृश्यों में प्रदर्शन को पुनः प्राप्त करने की पद्धति की क्षमता को उजागर करते हैं।

सीमाएं और भविष्य का कार्य
लेखक नोट करते हैं कि वर्तमान MLP बैकबोन प्रदर्शन की ऊपरी सीमा निर्धारित करता है और सुझाव देते हैं कि उच्च-क्षमता वाले रेसिड्यूअल कनेक्शन या अटेंशन-ऑगमेंटेड MLPs परिणामों को और बेहतर बना सकते हैं। भविष्य की दिशाओं में हाइपरग्रेडिएंट ऑप्टिमाइज़ेशन के माध्यम से एडेप्टिव बहुपद क्रम ( $K$ ) विकसित करना और ऐसे स्पेक्ट्रल फिल्टर डिजाइन करना शामिल है जो क्लिक एक्सपेंशन के बजाय सीधे हाइपरग्राफ इनसिडेंस स्ट्रक्चर पर कार्य करते हैं।

पुराने तरीके के साथ समस्या

समाधान: एक डुअल-ट्यूनर रेडियो

उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर