🤖 machine learning

Gauge-Equivariant Graph Networks via Self-Interference Cancellation

यह शोध पत्र GESC को प्रस्तुत करता है, जो एक गेज-इक्विवेरिएंट ग्राफ नेटवर्क है जो योगात्मक एकत्रीकरण (additive aggregation) को प्रोजेक्शन-आधारित सेल्फ-इंटरफेरेंस कैंसलेशन मैकेनिज्म से बदलकर हेटरोफिली और ओवरस्मूथिंग की समस्या का समाधान करता है, जो अनावश्यक लो-फ्रीक्वेंसी घटकों को दबाता है और नकारात्मक रूप से संरेखित पड़ोसियों को नियंत्रित करता है।

मूल लेखक: Yoonhyuk Choi, Jiho Choi, Jiwoo Kang

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yoonhyuk Choi, Jiho Choi, Jiwoo Kang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में हो रही एक जटिल बातचीत को समझने की कोशिश कर रहे हैं। आप कुछ नया सीखने के लिए अपने दोस्तों (अपने पड़ोसियों) को सुनना चाहते हैं, लेकिन एक समस्या है: आपको अपनी ही आवाज़ का गूँज (echo) बार-बार सुनाई दे रहा है।

ग्राफ न्यूरल नेटवर्क्स (GNNs) की दुनिया में—जो सोशल मीडिया या साइटेशन ग्राफ जैसे नेटवर्क से सीखने के लिए डिज़ाइन किए गए AI मॉडल हैं—यह "गूँज" एक बड़ी समस्या है। मानक मॉडल अपने पड़ोसियों से जानकारी को औसत (average) करके सीखने की कोशिश करते हैं। लेकिन यदि वे बस उन संकेतों को जोड़ते रहते हैं, तो उनकी अपनी पिछली जानकारी और भी तेज़ होती जाती है, जिससे दूसरों के अनूठे विवरण दब जाते हैं। इसे ओवरस्मूथिंग (oversmoothing) कहा जाता है, और यह AI को यह भूलने पर मजबूर कर देता है कि प्रत्येक व्यक्ति (या नोड) को क्या खास बनाता है।

यह पेपर GESC (गेज-इक्विवेरिएंट ग्राफ नेटवर्क विद सेल्फ-इंटरफेरेंस कैंसिलेशन) नामक एक नया मॉडल पेश करता है। इसे एक स्मार्ट नॉइज़-कैंसलिंग हेडसेट की तरह समझें जो केवल शोर को ही नहीं रोकता, बल्कि विशेष रूप से "स्वयं की गूँज" को रद्द करता है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. समस्या: "इको चैंबर" (The Echo Chamber)

कल्पना कीजिए कि आप एक ऐसे कमरे में हैं जहाँ हर कोई चिल्ला रहा है। यदि आप सुनने के लिए बस और ज़ोर से चिल्लाते हैं, तो आप एक फीडबैक लूप बना देते हैं। पारंपरिक AI मॉडलों में, जब एक नोड (नेटवर्क में एक व्यक्ति) अपने पड़ोसियों को देखता है, तो वह अनजाने में खुद का एक संस्करण भी उस मिश्रण में शामिल कर लेता है।

परिणाम: बातचीत के कुछ दौरों के बाद, हर कोई बिल्कुल एक जैसा सुनाई देने लगता है। AI यह बताने की क्षमता खो देता है कि कौन कौन है। यह "हेटरोफिलस" (heterophilous) ग्राफ्स में विशेष रूप से बुरा है (ऐसे नेटवर्क जहाँ पड़ोसी अक्सर एक-दूसरे से अलग होते हैं, जैसे कि एक राजनीतिक बहस जहाँ दोस्त असहमत हो सकते हैं)।

2. समाधान: "सेल्फ-इंटरफेरेंस कैंसलेशन" (SIC)

लेखकों ने महसूस किया कि यह गूँज केवल शोर नहीं है; यह एक विशिष्ट प्रकार का "सेल्फ-पैरेलल" संकेत है।

उपमा: कल्पना कीजिए कि आप अपने दोस्त की कहानी सुनने की कोशिश कर रहे हैं, लेकिन आप अपने स्वयं के आंतरिक विचारों को भी वही शब्द दोहराते हुए सुन रहे हैं।
समाधान: GESC एक गणितीय "छलनी" (जिसे रैंक-1 प्रोजेक्शन कहा जाता है) का उपयोग करता है ताकि उस हिस्से की पहचान की जा सके जो बिल्कुल आपकी तरह सुनाई देता है। फिर, यह दोस्त को सुनने से पहले ही उस हिस्से को हटा देता है।
लाभ: "स्वयं की गूँज" को जल्दी से हटाकर, मॉडल भ्रमित हुए बिना पड़ोसियों के अनूठे, अलग और कभी-कभी विरोधाभासी संकेतों को सुन सकता है। यह "ओवरस्मूथिंग" की समस्या को रोकता है।

3. "फेज़" और "गेज" (द कंपास)

जहाँ पड़ोसी विपरीत विचार (नकारात्मक संकेत) रख सकते हैं, उन जटिल नेटवर्क्स को संभालने के लिए, यह मॉडल कॉम्प्लेक्स नंबर्स (वे संख्याएँ जिनमें एक वास्तविक भाग और एक काल्पनिक भाग होता है) का उपयोग करता है।

उपमा: साधारण AI को एक साधारण वॉल्यूम नॉब (तेज़ या धीमा) का उपयोग करने के रूप में सोचें। GESC एक कम्पास (दिशा-सूचक) का उपयोग करता है।
यह कैसे काम करता है: नोड्स के बीच प्रत्येक संबंध का एक "फेज़" (कम्पास पर एक दिशा) होता है। यदि दो पड़ोसी संरेखित (aligned) हैं, तो वे एक ही दिशा में इशारा करते हैं। यदि वे संघर्ष में हैं, तो वे विपरीत दिशाओं में इशारा करते हैं।
"गेज" वाला हिस्सा: कल्पना कीजिए कि आप एक शहर में नेविगेट कर रहे हैं। यदि आप अपने मानचित्र को 90 डिग्री घुमाते हैं, तो सड़कें वैसी ही रहती हैं; केवल आपका दृष्टिकोण बदला है। GESC को इस तरह डिज़ाइन किया गया है कि आप अपने आंतरिक "मानचित्र" (फेज़) को कैसे भी घुमा लें, अंतिम निर्णय सुसंगत रहता है। यह इसे अविश्वसनीय रूप से स्थिर और मजबूत बनाता है, भले ही डेटा अव्यवस्थित हो।

4. "साइन-अवेयर गेट" (द बाउंसर)

कभी-कभी, किसी पड़ोसी का संदेश इतना अलग (या "आउट ऑफ फेज़") होता है कि उसे सीधे सुनना हानिकारक हो सकता है।

उपमा: कल्पना कीजिए कि एक क्लब में एक बाउंसर है। यदि कोई कमरे के माहौल के विपरीत चिल्ला रहा है, तो बाउंसर उसे केवल बाहर नहीं निकालता; वह उस विशिष्ट आवाज़ की आवाज़ को धीरे से कम कर देता है ताकि वह पार्टी में खलल न डाले, लेकिन उसे पूरी तरह से चुप भी नहीं करता।
समाधान: GESC एक "गेट" का उपयोग करता है जो संरेखण (alignment) की जाँच करता है। यदि कोई पड़ोसी मददगार दिशा में इशारा कर रहा है, तो गेट खुल जाता है। यदि वे विनाशकारी दिशा में इशारा कर रहे हैं, तो गेट उनकी आवाज़ को धीमा कर देता है। यह मॉडल को उन्हें पूरी तरह से चुप किए बिना, उनसे सीखना सीखने की अनुमति देता है।

यह क्यों मायने रखता है?

पेपर का दावा है कि इन तीन ट्रिक्स को जोड़कर—स्वयं की गूँज को रद्द करना, दिशा के लिए कम्पास का उपयोग करना, और वॉल्यूम को नियंत्रित करना—GESC:

कठिन ग्राफ्स पर बेहतर काम करता है: यह उन नेटवर्क्स पर अच्छा प्रदर्शन करता है जहाँ पड़ोसी बहुत अलग होते हैं (हेटरोफिली), एक ऐसी जगह जहाँ पुराने मॉडल आमतौर पर विफल हो जाते हैं।
अधिक गहरा जा सकता है: क्योंकि यह "गूँज" को बढ़ने से रोकता है, आप AI की अधिक परतें (layers) जोड़ सकते हैं (इसे "डीपर" बना सकते हैं) बिना यह याद रखे कि प्रत्येक नोड को क्या विशिष्ट बनाता है।
स्थिर रहता है: यह शोर या डेटा में रैंडम बदलावों से भ्रमित नहीं होता है।

संक्षेप में, GESC एक AI को शोर-रद्द करने वाले हेडफ़ोन देने जैसा है जो विशेष रूप से उसकी अपनी आवाज़ को फ़िल्टर करते हैं, जिससे वह दुनिया की वास्तविक, जटिल और कभी-कभी विरोधाभासी आवाजों को सुनने में सक्षम होता है।

तकनीकी सारांश: स्व-हस्तक्षेप निवारण के माध्यम से गेज-इक्विवेरिएंट ग्राफ नेटवर्क (GESC)

समस्या विवरण
ग्राफ न्यूरल नेटवर्क (GNNs) ने होमोफिलस (homophilous) ग्राफ्स पर अत्याधुनिक प्रदर्शन हासिल किया है, लेकिन वे अक्सर हेटरोफिली (heterophily) के तहत संघर्ष करते हैं। यह विफलता योगात्मक संदेश पासिंग (additive message passing) पर निर्भरता के कारण होती है, जो अंतर्निहित रूप से सममित, गैर-ऋणात्मक इंटरैक्शन की धारणा रखता है। वास्तविक दुनिया की प्रणालियों में, जो परिवहन (transport), प्रसार (diffusion), या तरंग प्रसार (wave propagation) द्वारा संचालित होती हैं, इंटरैक्शन अक्सर हस्तक्षेप करने वाले, दिशात्मक, या दोलनी व्यवहार प्रदर्शित करते हैं। मानक एकत्रीकरण (aggregation) अनियंत्रित रूप से रेडंडेंट लो-फ्रीक्वेंसी घटकों को बढ़ाता है और एंटी-सिमेट्रिक संरचनाओं को दबा देता है। इससे "स्व-सुदृढ़" (self-reinforcing) सिग्नल उत्पन्न होते हैं जहाँ बार-बार संदेश पासिंग होने से पूर्वाग्रह जमा हो जाते हैं, जिससे ओवर-स्मूथिंग (प्रतिनिधित्व समरूपीकरण) होता है और हेटरोफिलस ग्राफ्स पर प्रदर्शन गिर जाता है। मौजूदा दृष्टिकोण, जैसे कि साइन्ड मैसेजिंग या स्पेक्ट्रल फ़िल्टरिंग, अक्सर इंटरैक्शन की फेज संरचना या विनाशकारी हस्तक्षेप (destructive interference) के तंत्र को स्पष्ट रूप से मॉडल करने में विफल रहते हैं, और इसके बजाय स्केलर रीवेटिंग पर निर्भर करते हैं जो दोलनी या साइन्ड व्यवहारों को पूरी तरह से कैप्चर नहीं कर सकता।

कार्यप्रणाली: GESC
लेखक गेज-इक्विवेरिएंट ग्राफ नेटवर्क विद सेल्फ-इंटरफेरेंस कैंसिलेशन (GESC) का प्रस्ताव करते हैं, जो योगात्मक एकत्रीकरण को वेव-इंटरफेरेंस तंत्र द्वारा प्रतिस्थापित करता है। मुख्य नवाचार नोड्स को कॉम्प्लेक्स एम्बेडिंग्स के रूप में और किनारों (edges) को सीखने योग्य $U(1)$ फेज कनेक्शन के साथ मॉडल करना है, जो गेज-इक्विवेरिएंट ट्रांसपोर्ट सुनिश्चित करता है।

कार्यप्रणाली में तीन प्राथमिक घटक शामिल हैं:

स्व-हस्तक्षेप निवारण (Self-Interference Cancellation - SIC):
अटेंशन लागू करने से पहले, GESC रेडंडेंट लो-फ्रीक्वेंसी घटकों से उत्पन्न होने वाले स्व-हस्तक्षेप को स्पष्ट रूप से मॉडल और रद्द करता है। यह एक टिखोनोव-रेगुलराइज्ड रैंक-1 प्रोजेक्शन ऑपरेटर, $\Pi_\epsilon(h_i)$ , का उपयोग करता है, जो पड़ोसी के संदेश के उस घटक की पहचान करता है जो लक्ष्य नोड की वर्तमान स्थिति के समानांतर है। इस स्व-समानांतर घटक को संदेश से घटा दिया जाता है:
$r^{(m)}_{j \to i} = \tilde{h}^{(m)}_{j \to i} - \eta_{sic} \cdot \Pi_\epsilon(h^{(t)}_i) \tilde{h}^{(m)}_{j \to i}$
जहाँ $\tilde{h}$ ट्रांसपोर्टेड सोर्स फीचर को दर्शाता है। यह एक नोड-वाइज नॉच फ़िल्टर के रूप में कार्य करता है, जो ओवर-स्मूथिंग में योगदान देने वाले स्व-संरेखित दिशाओं को कम करता है जबकि ऑर्थोगोनल सिग्नल्स को सुरक्षित रखता है।
गेज ट्रांसपोर्ट के साथ साइन-अवेयर गेटिंग (Sign-Aware Gating):
नेगेटिवली अलाइन्ड पड़ोसियों को उपयोगी हाई-फ्रीक्वेंसी जानकारी को अत्यधिक दबाए बिना संभालने के लिए, GESC एक साइन-अवेयर गेट पेश करता है। यह गेट टारगेट और रेसिड्यूल के कॉम्प्लेक्स इनर प्रोडक्ट से प्राप्त गेज-इनवेरिएंट अलाइनमेंट स्कोर के आधार पर SIC-रेसिड्यूल को मॉड्युलेट करता है। गेट, रेसिड्यूल (इंटरफेरेंस-कैंसल्ड) संदेश और ओरिजिनल ट्रांसपोर्टेड संदेश के बीच सॉफ्ट इंटरपोलेशन करता है, जिससे कंस्ट्रक्टिव और डिस्ट्रक्टिव इंटरफेरेंस के बीच संतुलन बनता है।
गेज-इक्विवेरेंट मैसेज पासिंग (Gauge-Equivariant Message Passing):
फ्रेमवर्क कॉम्प्लेक्स-वैल्यूड एम्बेडिंग्स और यूनिट-मैग्निट्यूड फेज फैक्टर्स ( $U_{ji} = e^{i\theta_{ji}}$ ) के साथ किनारों के ट्रांसपोर्ट का उपयोग करता है। यह स्थानीय $U(1)$ गेज ट्रांसफॉर्मेशन (नोड एम्बेडिंग्स के स्थानीय रीफेजिंग) के प्रति मॉडल को इक्विवेरेंट बनाता है। फलस्वरूप, स्केलर अलाइनमेंट स्कोर और गेटिंग निर्णय किसी भी मनमाने स्थानीय फेज शिफ्ट के तहत इनवेरिएंट रहते हैं, जो साइन और ओरिएंटेशन परिवर्तनों के विरुद्ध मजबूती प्रदान करते हैं।

एकत्रीकरण प्रक्रिया मैग्नीट्यूड-रोबस्ट नॉन-लीनियरिटीज (modReLU) और हाइब्रिड अटेंशन लॉजिट्स को जोड़ती है जो मैग्नीट्यूड और कॉम्प्लेक्स अलाइनमेंट के नॉर्मलाइज्ड रियल पार्ट दोनों को वेट करती है।

मुख्य योगदान
पेपर तीन विशिष्ट योगदान देता है:

स्व-हस्तक्षेप निवारण (SIC): एक सिद्धांत-आधारित, प्रोजेक्शन-आधारित तंत्र जो अटेंशन से पहले रेडंडेंट स्व-अलाइन्ड घटकों को हटा देता है, जिससे कंस्ट्रक्टिव एक्यूमुलेशन बायस को कम किया जाता है जो ओवर-स्मूथिंग की ओर ले जाता है।
साइन-अवेयर गेटिंग: एक तंत्र जो कॉम्प्लेक्स फेज अलाइनमेंट का लाभ उठाकर पड़ोसी संदेशों को मॉड्युलेट करता है, जिससे स्पष्ट दिशा लेबल पर निर्भर किए बिना पॉजिटिव और नेगेटिव कोरिलेशन का सम्मान करते हुए स्थिर प्रोपेगेशन संभव होता है।
सैद्धांतिक और अनुभवजन्य सत्यापन: लेखक सैद्धांतिक प्रमाण प्रदान करते हैं जो प्रदर्शित करते हैं कि GESC गेज और परम्यूटेशन इक्विवेरिएंस बनाए रखता है, लिप्सचिट्ज़ निरंतरता बाउंड्स (स्व-अलाइन्ड दिशाओं के साथ टाइटन) को संतुष्ट करता है, और स्पेक्ट्रल कोलैप्स को कम करता है। अनुभवजन्य रूप से, मॉडल को विविध बेंचमार्क पर अत्याधुनिक बेसलाइन्स से बेहतर प्रदर्शन करते हुए दिखाया गया है।

प्रायोगिक परिणाम
लेखकों ने नौ बेंचमार्क डेटासेट्स पर GESC का मूल्यांकन किया, जिसमें क्लासिकल होमोफिलस ग्राफ्स (Cora, Citeseer, Pubmed) और चुनौतीपूर्ण हेटरोफिलस ग्राफ्स (Actor, Chameleon, Squirrel, Cornell, Texas, Wisconsin) शामिल हैं।

प्रदर्शन: GESC ने नौ में से सात डेटासेट्स पर उच्चतम सटीकता प्राप्त की और शेष दो पर शीर्ष तीन में स्थान प्राप्त किया। इसने क्लासिकल मॉडल्स (GCN, GAT), हेटरोफिली-अवेयर आर्किटेक्चर (H2GRN, FAGCN), और हालिया स्पेक्ट्रल/साइन्ड मेथड्स (MagNet, DirGNN) की तुलना में निरंतर सुधार प्रदर्शित किया।
एब्लेशन स्टडीज: SIC, रेसिड्यूल गेटिंग मैकेनिज्म, या गेज-इक्विवेरेंट ट्रांसपोर्ट को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट (3.8% तक) आई, जो पुष्टि करता है कि प्रत्येक घटक हस्तक्षेप को संभालने और फेज कंसिस्टेंसी बनाए रखने के लिए महत्वपूर्ण है।
डेप्थ रोबस्टनेस: 12 परतों तक स्टैक किए गए प्रयोगों ने दिखाया कि जबकि मानक GCNs और GATs गंभीर ओवर-स्मूथिंग और सटीकता गिरावट से जूझते हैं, GESC स्थिर प्रदर्शन बनाए रखता है, जो गहरे आर्किटेक्चर में डिस्क्रिमिनेटिव जानकारी को संरक्षित करने की इसकी क्षमता को प्रमाणित करता है।
सेंसिटिविटी: मॉडल हाइपरपैरामीटर वेरिएशंस, विशेष रूप से इंटरफेरेंस कैंसिलेशन रेट ( $\eta_{sic}$ ) और कंसिस्टेंसी रेगुलराइज़र ( $\lambda_{JS}$ ), के प्रति मजबूती प्रदर्शित करता है, जो सटीक ट्यूनिंग की आवश्यकता के बिना उच्च सटीकता बनाए रखता है।

महत्व और दावे
पेपर दावा करता है कि GESC मेसेज पासिंग का एक एकीकृत, इंटरफेरेंस-अवेयर दृष्टिकोण प्रदान करता है। एडिटिव एग्रीगेशन से वेव-इंटरफेरेंस पैराडाइम की ओर शिफ्ट होकर, मॉडल मौजूदा GNNs की मौलिक सीमा को संबोधित करता है: डिस्ट्रक्टिव इंटरफेरेंस और फेज स्ट्रक्चर को दर्शाने में अक्षमता।

सैद्धांतिक अंतर्दृष्टि: यह कार्य स्थापित करता है कि मौजूदा गेज-आधारित GNNs में इंटरफेरेंस हैंडलिंग का अभाव ओवर-स्मूथिंग का एक प्राथमिक चालक है। GESC एक ज्यामितीय समाधान प्रदान करता है जो लो-फ्रीक्वेंसी डोमिनेंस को दबाता है और स्पेक्ट्रल कोलैप्स को रोकता है।
व्यावहारिक प्रभाव: मॉडल होमोफिलस और हेटरोफिलस दोनों व्यवस्थाओं में सेमी-सुपरवाइज्ड नोड क्लासिफिकेशन के लिए एक मजबूत ढांचा प्रदान करता है, जो इंटरफेरेंस-अवेयर ग्राफ लर्निंग के लिए एक ज्यामितीय आधार प्रदान करता है।
सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि कॉम्प्लेक्स-वैल्यूड रिप्रेजेंटेशन पर निर्भरता कम्प्यूटेशनल लागत (हालांकि किनारों के रैखिक में) को बढ़ाती है, और सीखा गया $U(1)$ ट्रांसपोर्ट सीधे समृद्ध गेज ग्रुप्स तक विस्तारित नहीं होता है। अत्यंत शोर वाले ग्राफ्स पर प्रदर्शन अभी भी गिर सकता है।

संक्षेप में, GESC ग्राफ लर्निंग में गेज थ्योरी और वेव इंटरफेरेंस के सिद्धांतों को एकीकृत करके क्षेत्र को आगे बढ़ाता है, जो जटिल, गैर-होमोफिलस ग्राफ स्ट्रक्चर्स को संभालने के लिए ह्यूरिस्टिक रीवेटिंग स्कीम्स के स्थान पर एक सिद्धांत-आधारित विकल्प प्रदान करता है।

1. समस्या: "इको चैंबर" (The Echo Chamber)

2. समाधान: "सेल्फ-इंटरफेरेंस कैंसलेशन" (SIC)

3. "फेज़" और "गेज" (द कंपास)

4. "साइन-अवेयर गेट" (द बाउंसर)

यह क्यों मायने रखता है?

इसी तरह के और पेपर