तकनीकी सारांश: ग्राफ न्यूरल नेटवर्क के लिए स्व-पर्यवेक्षित प्रतिकूल शुद्धिकरण (Self-supervised Adversarial Purification)

समस्या विवरण

ग्राफ न्यूरल नेटवर्क (GNNs) प्रतिकूल हमलों (adversarial attacks) के प्रति अत्यधिक संवेदनशील होते हैं, विशेष रूप से संरचनात्मक व्यवधानों (structural perturbations) जैसे कि किनारों (edges) के सम्मिलन और विलोपन के प्रति। इन हमलों से बचाव के लिए आमतौर पर दो परस्पर विरोधी उद्देश्यों के बीच संतुलन बनाना आवश्यक होता है: सटीकता (accuracy) (स्वच्छ डेटा पर प्रदर्शन) और मजबूती (robustness) (हमलों के प्रति प्रतिरोधक क्षमता)। पारंपरिक प्रतिकूल प्रशिक्षण (adversarial training) विधियाँ इन दोनों उद्देश्यों को एक ही क्लासिफायर ढांचे के भीतर एक साथ अनुकूलित करने का प्रयास करती हैं। हालाँकि, यह दृष्टिकोण स्वाभाविक रूप से इन लक्ष्यों को आपस में जोड़ देता है, जिससे अक्सर एक ऐसा समझौता (trade-off) होता है जहाँ मजबूती बढ़ाने से स्वच्छ सटीकता काफी कम हो जाती है। इसके अलावा, मौजूदा प्रतिकूल शुद्धिकरण विधियाँ अक्सर पूर्व-निर्धारित अनुमानी (heuristics) (जैसे, जैकार्ड समानता, लो-रैंक सन्निकटन) या सरल एज डिटेक्शन तंत्रों पर निर्भर करती हैं जिनमें अनुकूलन क्षमता की कमी होती है और जो स्वच्छ और प्रतिकूल ग्राफों के बीच जटिल संरचनात्मक अंतरों को पकड़ने में विफल रहती हैं।

कार्यप्रणाली

लेखक एक स्व-पर्यवेक्षित प्रतिकूल शुद्धिकरण (Self-supervised Adversarial Purification) ढांचे का प्रस्ताव करते हैं जो सटीकता और मजबूती के उद्देश्यों को दो अलग-अलग मॉड्यूल में विभाजित करता है: एक मानक GNN क्लासिफायर और एक समर्पित प्यूरीफायर (purifier)।

1. ढांचागत वास्तुकला (Framework Architecture)

• विभाजन (Decoupling): क्लासिफायर ($f_\psi$) पूरी तरह से स्वच्छ ग्राफों से सटीक प्रतिनिधित्व सीखने पर ध्यान केंद्रित करता है, जबकि प्यूरीफायर ($f_\theta$) को बाधित इनपुट से स्वच्छ ग्राफ संरचना को पुनर्गठित करने के लिए स्वतंत्र रूप से प्रशिक्षित किया जाता है। यह पृथक्करण सटीकता और मजबूती के बीच हस्तक्षेप को रोकता है।
• स्व-पर्यवेक्षित प्रशिक्षण (Self-Supervised Training): प्यूरीफायर को एक स्व-पर्यवेक्षित रणनीति का उपयोग करके प्रशिक्षित किया जाता है। यह एक बाधित ग्राफ $G'$ (जो $B(G, \epsilon)$ से नमूना लिया गया है) लेता है और मूल एडजेसेंसी मैट्रिक्स $A$ को पुनर्गठित करने का प्रयास करता है। प्रशिक्षण उद्देश्य बिना नोड लेबल के पुनर्गठन त्रुटि (reconstruction error) को कम करता है, जिससे प्यूरीफायर व्यापक रेंज के व्यवधानों के लिए सामान्य शुद्धिकरण दिशाओं को सीख सकता है।

2. GPR-GAE मॉडल

मुख्य योगदान GPR-GAE है, जो विशेष रूप से शुद्धिकरण के लिए डिज़ाइन किया गया एक नया ग्राफ ऑटो-एनकोडर (GAE) है। यह पारंपरिक GAEs की सीमाओं को संबोधित करता है, जैसे कि "प्रतिकूल स्मूथिंग" (जहाँ व्यवधान नोड्स के बीच के अंतर को धुंधला कर देते हैं) और उच्च-क्रम संरचनात्मक जानकारी को पकड़ने में कठिनाइयाँ।

• बहु-GPR फिल्टर (Multiple GPR Filters): स्थिर GNN परतों को स्टैक करने के बजाय, GPR-GAE $K+1$ विशिष्ट सामान्यीकृत पेजरैंक (Generalized PageRank - GPR) फिल्टर का उपयोग करता है। प्रत्येक फिल्टर विभिन्न रेडियस (विभिन्न हॉप्स तक) के योगदान को गतिशील रूप से भारित करने के लिए सीखने योग्य गुणांक $\gamma$ का उपयोग करता है।
• विविध प्रतिनिधित्व (Diverse Representations): विभिन्न पैमानों और गुणांकों वाले कई GPR फिल्टरों का लाभ उठाकर, मॉडल विविध संरचनात्मक पहलुओं को कैप्चर करता है। कुछ फिल्टर विशिष्ट पड़ोस (जैसे, 1-हॉप) को दबा सकते हैं जबकि अन्य (जैसे, 2-हॉप) पर जोर दे सकते हैं, जिससे मॉडल ओवरस्मूथिंग (oversmoothing) से ग्रस्त हुए बिना स्वच्छ और प्रतिकूल क्षेत्रों के बीच प्रभावी ढंग से अंतर कर पाता है।
• वास्तुकला (Architecture):
  • नोड एनकोडिंग (Node Encoding): सभी GPR फिल्टरों के आउटपुट को मल्टी-स्केल नोड एम्बेडिंग बनाने के लिए संयोजित (concatenate) किया जाता है।
  • एज एनकोडिंग और डिकोडिंग (Edge Encoding & Decoding): संयोजित नोड प्रतिनिधित्व से एज एम्बेडिंग की गणना करता है और लिंक संभाव्यता की भविष्यवाणी करने के लिए एक सममित हानि (symmetric loss) का उपयोग करता है ताकि निरंतरता सुनिश्चित हो सके।

3. बहु-चरणीय शुद्धिकरण प्रक्रिया (Multi-Step Purification Process)

अनुमान (inference) के दौरान, शुद्धिकरण एक एकल-चरणीय प्रक्रिया नहीं बल्कि एक पुनरावृत्त, अभिसारी परिशोधन (iterative, convergent refinement) है।

• एक बाधित ग्राफ $G^{(0)}$ से शुरू करते हुए, मॉडल एक "अधिक स्वच्छ" एडजेसेंसी मैट्रिक्स $\hat{A}^{(t)}$ की भविष्यवाणी करता है।
• ग्राफ को पुनरावृत्ति से अपडेट किया जाता है: $G^{(t+1)} = G^{(t)} + \alpha \cdot (\hat{A}^{(t)} - G^{(t)})$, जहाँ $\alpha$ एक स्टेप साइज है।
• सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि इस धारणा के तहत कि प्यूरीफायर एक स्थानीय लिप्सचिट्ज़ निरंतर (locally Lipschitz continuous) फलन के रूप में व्यवहार करता है (स्थिरांक $L < 1$ के साथ), यह पुनरावृत्ति प्रक्रिया एक स्थिर स्टेशनरी पॉइंट तक रैखिक रूप से अभिसरित होती है। यह अभिसरण स्टेप साइज की परवाह किए बिना गारंटीकृत है, बशर्ते कि मॉडल को स्व-पर्यवेक्षित रूप से प्रशिक्षित किया गया हो।

मुख्य योगदान

1. विभाजित ढांचा (Decoupled Framework): यह पेपर एक ऐसा ढांचा प्रस्तावित करता है जो सटीकता और मजबूती को स्पष्ट रूप से अलग करता है, उन्हें विशिष्ट मॉड्यूल (क्लासिफायर और प्यूफायर) सौंपता है ताकि अंतर्निहित ट्रेड-ऑफ को कम किया जा सके।
2. GPR-GAE वास्तुकला: मल्टी-स्केल संरचनात्मक प्रतिनिधित्व को कैप्चर करने के लिए कई GPR फिल्टरों का उपयोग करने वाले एक विशेष प्यूरीफायर का परिचय, जो पारंपरिक GAEs की ओवरस्मूथिंग समस्याओं से बचते हुए स्वच्छ और प्रतिकूल ग्राफ क्षेत्रों के बीच प्रभावी ढंग से अंतर करता है।
3. अभिसारी बहु-चरणीय शुद्धिकरण: एक पुनरावृत्त प्रक्रिया जो ग्राफ संरचनाओं को पुनः प्राप्त करती है। लेखक स्व-पर्यवेक्षित प्यूरीफायर की लिप्सचिट्ज़ निरंतरता के आधार पर अभिसरण का प्रमाण प्रदान करते हैं।
4. प्लग-एंड-प्ले डिफेंस (Plug-and-Play Defense): यह विधि एक स्वतंत्र मॉड्यूल के रूप में कार्य करती है जो विभिन्न GNN क्लासिफायर्स (जैसे, GCN, GAT, GPRGNN, APPNP) के साथ संगत है, जिसमें क्लासिफायर को पुन: प्रशिक्षित करने की आवश्यकता नहीं होती है।

प्रयोगात्मक परिणाम

लेखकों ने विविध डेटासेट्स (Cora, Citeseer, Pubmed, Chameleon, OGB-arXiv) और हमले के परिदृश्यों (PRBCD, LRBCD) में GPR-GAE का मूल्यांकन किया।

• मजबूती (Robustness): GPR-GAE ने अनुकूलित हमलों (adaptive attacks) के खिलाफ स्टेट-ऑफ-द-आर्ट मजबूती हासिल की। उदाहरण के लिए, गंभीर व्यवधानों ($\epsilon = 0.5$) के तहत Cora डेटासेट पर, GPR-GAE ने GPRGNN क्लासिफायर के साथ मिलकर सबसे अच्छा प्रदर्शन करने वाले प्रतिकूल रूप से प्रशिक्षित बेसलाइन की तुलना में टेस्ट सटीकता में 15.7 प्रतिशत अंक का सुधार किया।
• सटीकता संरक्षण (Accuracy Preservation): प्रतिकूल प्रशिक्षण के विपरीत, जो अक्सर मजबूती के लिए स्वच्छ सटीकता का त्याग करता है, GPR-GAE ने वैनिला क्लासिफायर के करीब स्वच्छ सटीकता बनाए रखी, जो सटीकता-मजबूती ट्रेड-ऑफ के सफल शमन को प्रदर्शित करता है।
• स्केलेबिलिटी (Scalability): विधि ने मिनी-बैच प्रोसेसिंग का उपयोग करके OGB-arXiv जैसे बड़े डेटासेट्स तक कुशलतापूर्वक विस्तार किया, जबकि अन्य विधियों (जैसे, GOOD-AT, SVD-GCN) को मेमोरी बाधाओं का सामना करना पड़ा या वे स्केल करने में विफल रहीं।
• गैर-अनुकूलित हमले (Non-Adaptive Attacks): ट्रांसफर अटैक सेटिंग्स में, GPR-GAE ने अनुमानी-आधारित शुद्धिकरण विधियों (Jaccard-GCN, SVD-GCN) और मजबूत GNN आर्किटेक्चर (EvenNet, SoftMedianGDC) को लगातार पछाड़ दिया।
• अनुभवजन्य सत्यापन (Empirical Validation): प्रयोगों ने पुष्टि की कि प्रशिक्षित प्यूरीफायर का लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) 1 से कम है, जो इसके सैद्धांतिक अभिसरण दावों का समर्थन करता है। सीखे गए गुणांकों का विज़ुअलाइज़ेशन दिखाया कि GPR-GAE ने ग्राफ होमोफिली (homophily) की परवाह किए बिना विविध, डेटा-संचालित फिल्टर पैटर्न सीखे।

महत्व और दावे

पेपर का दावा है कि GPR-GAE रक्षा तंत्र को मौलिक रूप से पुनर्गठित करके GNNs की रक्षा करने में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। "ऑल-इन-वन" प्रतिकूल प्रशिक्षण प्रतिमान से स्व-पर्यवेक्षित शुद्धिकरण दृष्टिकोण की ओर बढ़ते हुए, यह विधि:

• ट्रेड-ऑफ को तोड़ता है: यह सटीकता और मजबूती को सफलतापूर्वक अलग करता है, जिससे क्लासिफायर स्वच्छ डेटा पर सटीक बना रहता है जबकि प्यूरीफायर मजबूती को संभालता है।
• सामान्यीकरण करता है: यह एक बहुमुखी, प्लग-एंड-प्ले डिफेंस मॉड्यूल के रूप में कार्य करता है जो क्लासिफायर्स में संरचनात्मक परिवर्तन किए बिना विभिन्न मौजूदा GNN आर्किटेक्चर की मजबूती को बढ़ाता है।
• अनुकूलित होता है: अपने डेटा-संचालित, स्व-पर्यवेक्षित प्रशिक्षण और मल्टी-स्केल GPR फिल्टरों के माध्यम से, यह अनुमानी या स्थिर विधियों की तुलना में विविध ग्राफ संरचनाओं और जटिल व्यवधान पैटर्न के प्रति अधिक प्रभावी ढंग से अनुकूलित होता है।

लेखक निष्कर्ष निकालते हैं कि यह ढांचा ग्राफ न्यूरल नेटवर्क को संरचनात्मक प्रतिकूल हमलों से सुरक्षित करने के लिए एक मजबूत, स्केलेबल और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है।