🤖 machine learning

Why Self-Inconsistency Arises in GNN Explanations and How to Exploit It

यह शोधपत्र ग्राफ न्यूरल नेटवर्क स्पष्टीकरणों में आत्म-असंगति के कारणों की जांच करता है, एज संवेदनशीलता (edge sensitivity) को समझाने के लिए एक लेटेंट सिग्नल असाइनमेंट परिकल्पना प्रस्तावित करता है और एक प्रशिक्षण-मुक्त सेल्फ-डीनॉइजिंग रणनीति पेश करता है जो न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ स्पष्टीकरणों को प्रभावी ढंग से कैलिब्रेट करती है।

मूल लेखक: Wenxin Tai, Yaqian Liu, Ting Zhong, Fan Zhou

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenxin Tai, Yaqian Liu, Ting Zhong, Fan Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

समस्या: "भुलक्कड़" जासूस

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान जासूस है (एक Self-Interpretable Graph Neural Network, या SI-GNN) जो सुरागों के एक मानचित्र (ग्राफ) को देखकर अपराध सुलझाता है। जब जासूस कोई केस सुलझाता है, तो वह मानचित्र पर विशिष्ट सुरागों की ओर इशारा करता है और कहता है, "इन कारणों से मुझे लगता है कि संदिग्ध दोषी है।"

आमतौर पर, हम इस जासूस पर भरोसा करते हैं। लेकिन इस शोध पत्र के लेखकों ने एक अजीब सी गड़बड़ी खोजी है: जासूस अपने आप में ही असंगत (inconsistent) है।

यदि आप जासूस की सुरागों की सूची लें, उन विशिष्ट सुरागों को छोड़कर बाकी सब कुछ मिटा दें, और फिर से जासूस से केवल उस छोटी सूची का उपयोग करके केस सुलझाने के लिए कहें, तो वे अक्सर अपना मन बदल लेते हैं।

पहली बार: "मुझे यह सुलझाने के लिए सुराग A और सुराग B की आवश्यकता है।"
दूसरी बार (केवल A और B को देखते हुए): "वास्तव में, सुराग A अब महत्वपूर्ण नहीं है। मुझे सुराग C की आवश्यकता है।"

इस शोध पत्र में इसे "Self-Inconsistency" (स्व-असंगति) कहा गया है। यह एक ऐसे गवाह की तरह है जो हर बार आपसे अपनी बात दोहराने के लिए कहने पर अपनी कहानी बदल देता है, जिससे हमें संदेह होता है कि क्या उसकी मूल कहानी वास्तव में सच थी भी या नहीं।

ऐसा क्यों होता है? कमरे में मौजूद "शोर" (Noise)

लेखकों ने जांच की कि ऐसा क्यों होता है। उन्होंने इसके दो मुख्य कारण पाए:

संदर्भ का बदलाव (The Context Shift): जब आप मानचित्र से अन्य सभी सुरागों को हटा देते हैं, तो शेष बचे सुरागों का "वातावरण" बदल जाता है। जासूस के मस्तिष्क में (न्यूरल नेटवर्क में), सुरागों को उनके पड़ोसियों के आधार पर समझा जाता है। यदि आप उनके पड़ोसियों को हटा देते हैं, तो शेष सुरागों का अर्थ थोड़ा बदल जाता है। यह बदलाव जासूस को उनके महत्व के स्कोर का पुनर्मूल्यांकन करने के लिए प्रेरित करता है।
"सिग्नल" बनाम "शोर" का सिद्धांत (The "Signal" vs. "Noise" Theory): लेखक प्रस्तावित करते हैं कि कुछ सुरागों में एक मजबूत, आंतरिक "सिग्नल" (वे वास्तव में महत्वपूर्ण हैं) होता है, जबकि अन्य केवल "शोर" (वे केवल आसपास के संदर्भ के कारण महत्वपूर्ण दिखते हैं) होते हैं।
- स्थिर सुराग (Stable Clues): वास्तव में महत्वपूर्ण सुरागों में एक मजबूत आंतरिक सिग्नल होता है। वातावरण बदलने पर भी वे महत्वपूर्ण बने रहते हैं।
- अस्थिर सुराग (Unstable Clues): महत्वहीन सुराग गिरगिट की तरह होते; वे केवल इसलिए महत्वपूर्ण दिखते हैं क्योंकि वे अच्छी कंपनी में होते हैं। जब कंपनी बदल जाती है (ग्राफ को छोटा कर दिया जाता है), तो वे अपना महत्व खो देते हैं।

शोध पत्र सुझाव देता है कि स्पष्टीकरण के लिए निर्धारित "बजट" (कितने सुराग चुनने की अनुमति है) जासूस को कभी-कभी इन अस्थिर, शोर वाले सुरागों को केवल कोटा पूरा करने के लिए उठाने पर मजबूर करता है।

समाधान: "सेल्फ-डीनॉइजिंग" (SD)

लेखकों ने इसे ठीक करने के लिए एक सरल, मुफ्त उपकरण बनाया है जिसे Self-Denoising (SD) कहा जाता है। इसे एक "दूसरी राय" (second opinion) फिल्टर के रूप में समझें।

यह इस प्रकार काम करता है:

जासूस से एक बार पूछें: सुरागों की पहली सूची प्राप्त करें।
जासूस से दोबारा पूछें: उस सूची को वापस फीड करें और दूसरी सूची प्राप्त करें।
सूचियों की तुलना करें:
- यदि कोई सुराग दोनों सूचियों में महत्वपूर्ण के रूप में दिखाई देता है, तो वह संभवतः एक असली सिग्नल है। उसे रखें।
- यदि कोई सुराग पहली सूची में महत्वपूर्ण था लेकिन दूसरी सूची में गायब हो गया या बदल गया, तो वह संभवतः संदर्भ परिवर्तन के कारण उत्पन्न हुआ शोर है।
सुधार (The Fix): SD टूल उन अस्थिर सुरागों के महत्व के स्कोर को कम कर देता है। यह अनिवार्य रूप से कहता है, "यदि आप खुद से सहमत नहीं हो सकते, तो आप वास्तव में इतने महत्वपूर्ण नहीं हैं।"

परिणाम: स्वच्छ स्पष्टीकरण

पत्र ने विभिन्न प्रकार के AI जासूसों और विभिन्न डेटासेट्स (जैसे सिंथेटिक ग्राफ और वास्तविक दुनिया के रासायनिक अणु) पर इस पद्धति का परीक्षण किया।

बेहतर स्पष्टीकरण: Self-Denoising लागू करने के बाद, स्पष्टीकरण बहुत अधिक सटीक हो गए। वे "ग्राउंड ट्रुथ" (वास्तविक सही कारणों) से कहीं बेहतर मेल खाते थे।
अधिक संक्षिप्त: स्पष्टीकरण छोटे और कम अव्यवस्थित हो गए। टूल ने सफलतापूर्वक "शोर" वाले किनारों (edges) को हटा दिया, जिससे केवल स्पष्ट और स्थिर हिस्से ही बचे।
सस्ता और तेज़: सबसे अच्छी बात यह है कि इसके लिए AI को फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है। इसे बस डेटा पर एक अतिरिक्त त्वरित नज़र (forward pass) की आवश्यकता होती है। यह केवल लगभग 4-6% अतिरिक्त कंप्यूटिंग समय जोड़ता है, जो बहुत कम है।
दूसरों के साथ काम करता है: लेखकों ने यह भी पाया कि यह विधि अन्य मौजूदा तरीकों (जैसे "Explanation Ensemble") के साथ अच्छी तरह काम करती है, जो यह दर्शाता है कि यह उस प्रकार की त्रुटि को पकड़ती है जिसे अन्य उपकरण छोड़ देते हैं।

सारांश

संक्षेप में, शोध पत्र कहता है: "AI स्पष्ट करने वाले अक्सर खुद से झूठ बोलते हैं क्योंकि संदर्भ बदलने पर वे भ्रमित हो जाते हैं।"

लेखकों ने पता लगाया कि यह भ्रम इसलिए होता है क्योंकि कुछ सुराग केवल अपने परिवेश के कारण महत्वपूर्ण होते हैं, न कि इसलिए कि वे वास्तव में महत्वपूर्ण हैं। AI से खुद को दो बार समझाने के लिए कहकर और उन हिस्सों को फ़िल्टर करके जहाँ वह अपना मन बदल लेता है, उन्होंने एक सरल "डीनॉइजिंग" टूल बनाया है जो AI स्पष्टीकरणों को अधिक विश्वसनीय, सटीक और संक्षिप्त बनाता है, बिना AI को शून्य से फिर से बनाए बिना।

तकनीकी सारांश: GNN स्पष्टीकरणों में आत्म-असंगति (Self-Inconsistency) क्यों उत्पन्न होती है और इसका लाभ कैसे उठाया जाए

1. समस्या विवरण

स्व-व्याख्यात्मक ग्राफ न्यूरल नेटवर्क (SI-GNNs) भविष्यवाणी पाइपलाइन में सीधे स्पष्टीकरण निर्माण को एकीकृत करते हैं, जो सैद्धांतिक रूप से पोस्ट-हॉक (post-hoc) विधियों की तुलना में अधिक विश्वसनीय स्पष्टीकरण प्रदान करते हैं। हालाँकि, हाल के अवलोकनों से संकेत मिलता है कि SI-GNNs आत्म-असंगति (self-inconsistency) से ग्रस्त हैं: जब एक मॉडल को उसके अपने द्वारा उत्पन्न व्याख्यात्मक ग्राफ उपसमूह (explanatory graph subset) पर पुन: लागू किया जाता है, तो यह अक्सर एक अलग स्पष्टीकरण उत्पन्न करता है, या तो पहले से चयनित किनारों (edges) को हटा देता है या नए किनारों को जोड़ देता है। यह व्यवहार SI-GNNs की विश्वसनीयता और व्यावहारिक उपयोगिता को कम करता है। जबकि इस घटना का अस्तित्व प्रलेखित है, इसके पीछे के तंत्र (mechanism) को अभी तक पूरी तरह से समझा नहीं गया है, और बिना पुन: प्रशिक्षण (retraining) के इसे कम करने की प्रभावी रणनीतियाँ भी उपलब्ध नहीं हैं।

2. कार्यप्रणाली और सैद्धांतिक विश्लेषण

मूल कारण: संदर्भ विक्षोभ (Context Perturbation)
लेखक पुनः-व्याख्या-प्रेरित संदर्भ विक्षोभ (re-explanation-induced context perturbation) को स्कोर भिन्नता के प्रत्यक्ष कारण के रूप में पहचानते हैं। GNNs में, नोड प्रतिनिधित्व (node representations) मैसेज पासिंग के माध्यम से अपडेट किए जाते हैं। जब एक SI-GNN एक स्पष्टीकरण (एक मास्क किया गया सबग्राफ) उत्पन्न करता है और उसे स्वयं में वापस फीड करता है, तो एज-वाइज मास्किंग स्थानीय मैसेज-पासिंग संदर्भ को बदल देती है। चूंकि किनारों के महत्व के स्कोर इन नोड प्रतिनिधित्वों से प्राप्त होते हैं, इसलिए विक्षेपित संदर्भ स्वाभाविक रूप से दूसरे दौर (pass) में अलग स्कोर की ओर ले जाता है।

सुप्त संकेत असाइनमेंट परिकल्पना (Latent Signal Assignment Hypothesis)
यह समझाने के लिए कि केवल विशिष्ट किनारे (आमतौर पर कम महत्वपूर्ण वाले) ही अस्थिरता प्रदर्शित करते हैं जबकि ग्राउंड-ट्रुथ महत्वपूर्ण किनारे स्थिर रहते हैं, पेपर एक सुप्त संकेत असाइनमेंट परिकल्पना प्रस्तावित करता है। लेखक किनारों को तीन विलगित (disjoint) सेटों में विभाजित करते हैं:

$E_p$ (सकारात्मक-संकेत किनारे): अंतर्निहित, संदर्भ-अपरिवर्तनीय विशेषताओं के आधार पर उच्च स्कोर दिए गए किनारे। ये दौरों के दौरान स्थिर रहते हैं।
$E_n$ (नकारात्मक-संकेत किनारे): अंतर्निहित विशेषताओं के आधार पर कम स्कोर दिए गए किनारे। ये भी स्थिर रहते हैं।
$E_c$ (संदर्भ-संचालित किनारे): वे किनारे जिनके स्कोर मुख्य रूप से स्थानीय मैसेज-पासिंग संदर्भ द्वारा निर्धारित होते हैं। ये पुनः-व्याख्या द्वारा उत्पन्न विक्षोभ के प्रति अत्यधिक संवेदनशील होते हैं।

लेखक तर्क देते हैं कि संक्षिप्तता नियमितीकरण (conciseness regularization) (जो महत्व के कुल "बजट" को सीमित करता है) इस आवंटन को आकार देता है। कड़े बजट प्रतिबंधों के तहत, मॉडल को महत्व को पुनर्वितरित करने के लिए मजबूर किया जाता है, जिससे संभावित रूप से महत्वहीन किनारे एक संकेत-संचालित अवस्था से संदर्भ-संचालित अवस्था में चले जाते हैं, जिससे उनकी संवेदनशीलता बढ़ जाती है।

प्रस्तावित समाधान: स्व-डिनोइज़िंग (Self-Denoising - SD)
यह देखते हुए कि आत्म-असंगति शोर (noise) के लिए एक संकेत के रूप में कार्य करती है, लेखक स्व-डिनोइज़िंग (SD) का प्रस्ताव करते हैं, जो एक मॉडल-अज्ञेय (model-agnostic), प्रशिक्षण-मुक्त पोस्ट-प्रोसेसिंग रणनीति है।

तंत्र: SD प्रत्येक किनारे के महत्व स्कोर की अस्थिरता ( $\Delta s_{ij}$ ) को मापने के लिए व्याख्यात्मक ग्राफ पर दूसरा फॉरवर्ड पास करता है।
कैलिब्रेशन: यह उच्च अस्थिरता वाले किनारों को उनके मूल स्कोर को कम करके दंडित करता है: $\tilde{m}_{ij} = \max(0, (1 - \eta \Delta s_{ij})m^{(1)}_{ij})$ , जहाँ $\eta$ एक डिनोइज़िंग स्ट्रेंथ पैरामीटर है।
हाइपरपैरामीटर चयन: SD द्वारा उत्पन्न वितरण बदलाव (distribution shift) को संभालने के लिए, लेखक एक हल्का अनुकूलन (adaptation) रणनीति सुझाते हैं: स्पष्टीकरणकर्ता (explainer) और एनकोडर को फ्रीज करना, और केवल कैलिब्रेटेड स्पष्टीकरणों पर क्लासिफायर को फाइन-ट्यून करना। इसके बाद $\eta$ का चयन इस अनुकूलित क्लासिफायर की वैलिडेशन सटीकता के आधार पर किया जाता है।

3. मुख्य योगदान

यांत्रिक अंतर्दृष्टि (Mechanistic Insight): यह पेपर आत्म-असंगति के लिए पहला सैद्धांतिक स्पष्टीकरण प्रदान करता है, जिसे यह संदर्भ विक्षोभ को उत्तरदायी मानता है और संक्षिप्तता बाधाओं के तहत सुप्त संकेत असाइनमेंट की भूमिका को औपचारिक रूप देता है।
कुशल कैलिब्रेशन: यह स्व-डिनोइज़िंग (SD) पेश करता है, जो न्यूनतम कम्प्यूटेशनल ओवरहेड (केवल एक अतिरिक्त फॉरवर्ड पास, ~4–6% लागत जोड़ना) के साथ स्पष्टीकरण की गुणवत्ता में सुधार करता है।
पूरकता: यह कार्य प्रदर्शित करता है कि SD शोर के एक अलग स्रोत (सिंगल-मॉडल आत्म-असंगति) को कैप्चर करता है जो एक्सप्लेनेशन एन्सेम्बल (EE) जैसी क्रॉस-मॉडल असंगतता विधियों के पूरक है।

4. प्रयोगात्मक परिणाम

प्रयोग चार प्रतिनिधि SI-GNN फ्रेमवर्क (GAT, CAL, SMGNN, GSAT), कई बैकबोन आर्किटेक्चर (GIN, GraphSAGE, GatedGCN), और चार बेंचमार्क डेटासेट (BA-2MOTIFS, 3MR, BENZENE, MUTANGICITY) पर किए गए।

स्पष्टीकरण की गुणवत्ता: SD सभी 16 परीक्षण की गई कॉन्फ़िगरेशन में AUC (ग्राउंड ट्रुथ के विरुद्ध प्लाउज़िबिलिटी) में लगातार सुधार करता है, जिसमें 3.9% तक की वृद्धि देखी गई। यह SPA (सॉफ्ट स्पर्सिटी) को भी काफी कम करता है, जो अधिक संक्षिप्त और कम रेडंडेंट स्पष्टीकरण का संकेत देता है।
विश्वसनीयता (Faithfulness): FID (फेथफुलनेस) पर परिणाम मिश्रित हैं, जिसे लेखक SD द्वारा उत्पन्न वितरण बदलाव और कुछ मॉडलों (जैसे CAL) के विशिष्ट तंत्रों के लिए जिम्मेदार मानते हैं। हालाँकि, हल्के क्लासिफायर अनुकूलन के बाद, FID स्थिरता में सुधार होता है।
पूर्वानुमानित प्रदर्शन: अकेले SD लागू करने से सटीकता में मामूली बदलाव होता है। जब हल्के क्लासिफायर अनुकूलन (SD*) के साथ जोड़ा जाता है, तो डाउनस्ट्रीम वर्गीकरण सटीकता लगातार सुधरती है, जिसमें कुछ मामलों में 8% तक की वृद्धि होती है।
दक्षता बनाम EE: एक्सप्लेनेशन एन्सेम्बल (EE) के विपरीत, जिसके लिए कई मॉडल प्रशिक्षित करने की आवश्यकता होती है और ~400% ओवरहेड होता है, SD केवल एक मॉडल की आवश्यकता रखता है और ~4–6% ओवरहेड जोड़ता है। SD को EE के साथ मिलाने से और अधिक सुधार प्राप्त होता है, जो बताता है कि दोनों विधियाँ शोर के अलग-अलग स्रोतों को संबोधित करती हैं।

5. महत्व और दावे

यह पेपर दावा करता है कि आत्म-असंगति केवल एक विफलता मोड नहीं है बल्कि एक अंतर्निहित संकेत (intrinsic signal) है जिसका उपयोग स्पष्टीकरण को कैलिब्रेट करने के लिए किया जा सकता है। संदर्भ विक्षोभ और सुप्त संकेत असाइनमेंट के तंत्र को समझकर, लेखक प्रदर्शित करते हैं कि एक सरल, प्रशिक्षण-मुक्त पोस्ट-प्रोसेसिंग चरण SI-GNN स्पष्टीकरणों की विश्वसनीयता और संक्षिप्तता को महत्वपूर्ण रूप से बढ़ा सकता है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि:

उनकी सुप्त संकेत परिकल्पना एक व्यवहारिक निष्कर्ष से प्राप्त एक यांत्रिक दृष्टिकोण है, न कि एक कठोर रूप से पहचाने जाने योग्य लेटेंट-वेरिएबल मॉडल।
SD पूरी तरह से विश्वसनीय स्पष्टीकरण की गारंटी नहीं देता है, क्योंकि यह सभी शोर स्रोतों (जैसे, जो आत्म-असंगति से संबंधित नहीं हैं) को कैप्चर नहीं कर सकता है।
यह विधि मौजूदा पूर्व-प्रशिक्षित मॉडलों के पोस्ट-हॉक कैलिब्रेशन के लिए डिज़ाइन की गई है, जो इसे उन दृष्टिकोणों से अलग करती है जिनमें आत्म-संगति उद्देश्यों के साथ पुन: प्रशिक्षण की आवश्यकता होती है।

अंततः, इस कार्य का लक्ष्य उच्च-दांव वाले डोमेन (जैसे, ड्रग डिस्कवरी, वैज्ञानिक खोज) में ग्राफ स्पष्टीकरणों में संदर्भ-संचालित शोर को दबाकर AI सिस्टम की विश्वसनीयता में सुधार करना है, बिना किसी आर्किटेक्चरल परिवर्तन या पुन: प्रशिक्षण की आवश्यकता के।