Angular Gradient Sign Method: Uncovering Vulnerabilities in Hyperbolic Networks

यहाँ शोध पत्र "Angular Gradient Sign Method: Uncovering Vulnerabilities in Hyperbolic Networks" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि प्रतिकूल हमले (जैसे FGSM, PGD) यूक्लिडियन डीप लर्निंग में अच्छी तरह से अध्ययन किए गए हैं, लेकिन हाइपरबोलिक नेटवर्क (Hyperbolic Networks) पर उनका अनुप्रयोग अभी भी कम खोजा गया और उप-इष्टतम (suboptimal) है।

• ज्यामितीय बेमेल (Geometric Mismatch): पारंपरिक हमले समतल (यूक्लिडियन) प्रतिनिधित्व स्थान मानकर चलते हैं। वे शून्य वक्रता (zero-curvature) वाले स्थान में ग्रेडिएंट की गणना करते हैं, जो हाइपरबोलिक मैनिफोल्ड की अंतर्निहित वक्रता और पदानुक्रमित संरचना (hierarchical structure) की अनदेखी करते हैं।
• अक्षमता (Inefficiency): हाइपरबोलिक एम्बेडिंग पर सीधे यूक्लिडियन व्यवधान (perturbations) लागू करने से अक्सर "ज्यामितीय रूप से असंगत" हमले होते हैं। ये व्यवधान पदानुक्रमित गहराई (त्रिज्यीय बदलाव/radial shift) को बदल सकते हैं, बिना प्रभावी रूप से अर्थ संबंधी परिवर्तन किए, या उन विशिष्ट दिशाओं का लाभ उठाने में विफल रहते हैं जहाँ मॉडल सबसे अधिक संवेदनशील होता है।
• अंतराल (Gap): ऐसे हमले रणनीतियों की कमी है जो हाइपरबोलिक स्थान के त्रिज्यीय (radial - गहराई/पदानुक्रम) और कोणीय (angular - अर्थ/स्तर) घटकों के अद्वितीय विभाजन का सम्मान करती हों।

2. कार्यप्रणाली: एंगुलर ग्रेडिएंट साइन मेथड (AGSM)

लेखक AGSM का प्रस्ताव करते हैं, जो विशेष रूप से हाइपरबोलिक ज्यामिति के लिए डिज़ाइन किया गया एक नया प्रतिकूल हमला (adversarial attack) है। मुख्य अंतर्दृख यह है कि हाइपरबोलिक स्थान में, लॉस ग्रेडिएंट को स्पर्श रेखा स्थान (tangent space) के भीतर दो अलग-अलग घटकों में विभाजित किया जा सकता है:

1. त्रिज्यीय घटक (Radial Component): पदानुक्रमित गहराई में परिवर्तन करता है (जैसे, एक सामान्य वर्ग से एक विशिष्ट उप-वर्ग की ओर जाना)।
2. कोणीय घटक (Angular Component): एक ही पदानुक्रमित स्तर के भीतर प्रतिनिधित्व को नियंत्रित करता है, जो सूक्ष्म अर्थ संबंधी विविधताओं को पकड़ता है।

मुख्य अवलोकन:

• त्रिज्यीय बदलावों का अंतिम भविष्यवाणियों पर नगण्य प्रभाव पड़ता है (आत्मविश्वास गिरता है लेकिन लेबल अक्सर सही रहते हैं)।
• कोणीय बदलाव ही गलत वर्गीकरण (misclassification) और अर्थ संबंधी विसंगति (semantic misalignment) के प्राथमिक चालक हैं।

एल्गोरिदम के चरण:

1. टैंजेंट स्पेस प्रोजेक्शन (Tangent Space Projection): मॉडल के आउटपुट एम्बेडिंग (पोइन्केयर बॉल या लोरेन्ट्ज़ मॉडल में) को लॉगरिदमिक मैप्स का उपयोग करके टैंजेंट स्पेस में मैप किया जाता है।
2. ग्रेडिएंट डिकंपोजिशन (Gradient Decomposition):
   • एक मानक व्यवधान (जैसे, FGSM के माध्यम से) प्राप्त करने के लिए फीचर शिफ्ट $\Delta h$ की गणना करें।
   • $\Delta h$ को यूनिट रेडियल वेक्टर $u_h$ पर प्रोजेक्ट करें ताकि त्रिज्यीय घटक ($v_{rad}$) को अलग किया जा सके।
   • त्रिज्यीय घटक को घटाकर कोणीय घटक ($v_{ang} = \Delta h - v_{rad}$) को अलग करें।
3. बैकप्रोपैगेशन (Backpropagation): पूरे ग्रेडिएंट का उपयोग करने के बजाय, यह विधि इनपुट स्पेस में कोणीय शिफ्ट वेक्टर ($v_{ang}$) को बैकप्रोपैगेट करती है।
4. व्यवधान जनरेशन (Perturbation Generation): इनपुट को फीचर और कोणीय शिफ्ट के बीच आंतरिक उत्पाद (inner product) के साइन के आधार पर विक्षेपित किया जाता है:
   $$x_{adv} = x + \epsilon \cdot \text{sign}(\nabla_x \langle h, v_{ang} \rangle)$$
5. विस्तार (PAGD): इस विधि को एक बहु-चरणीय पुनरावृत्ति हमले (Projected Angular Gradient Descent) के लिए विस्तारित किया गया है ताकि व्यवधान बजट ($\ell_\infty$ या $\ell_2$) का सम्मान करते हुए कोणीय विचलन को अधिकतम किया जा सके।

3. मुख्य योगदान

• सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित किया गया कि हाइपरबोलिक नेटवर्क में प्रतिकूल भेद्यता (adversarial vulnerability) मुख्य रूप से कोणीय विचलन (angular deviations) द्वारा संचालित होती है न कि त्रिज्यीय बदलावों द्वारा। त्रिज्यीय बदलाव अर्थ संबंधी लेबल को सुरक्षित रखते हैं, जबकि कोणीय बदलाव अर्थ संबंधी विसंगति पैदा करते हैं।
• नया हमला (AGSM): एक ज्यामिति-जागरूक हमला पेश किया गया जो स्पष्ट रूप से कोणीय घटक को अलग करता है और उसे अधिकतम करता है, जिससे मानक यूक्लिडियन-आधारित हमलों की अक्षमताओं को दूर किया जा सके।
• अनुभवजन्य सत्यापन (Empirical Validation): सिद्ध किया कि AGSM विभिन्न कार्यों और आर्किटेक्चरों में मानक FGSM और PGD से बेहतर प्रदर्शन करता है, जिससे उच्च 'फूलिंग रेट' और गहरा 'कॉन्फिडेंस ड्रॉप' प्राप्त होता है।
• रक्षा विश्लेषण (Defense Analysis): दिखाया कि AGSM-विक्षेपित डेटा के साथ प्रशिक्षण केवल मामूली मजबूती प्रदान करता है और यह स्वच्छ सटीकता (clean accuracy) में कमी लाता है, जो विशेष रूप से घुमावदार स्थानों के लिए नए रक्षा तंत्रों की आवश्यकता को रेखांकित करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन Poincaré ResNet (छवि वर्गीकरण) और HyCoCLIP (क्रॉस-मोडल रिट्रीवल) पर CIFAR-10/100, Tiny ImageNet, MS COCO और Flickr30K जैसे डेटासेट का उपयोग करके किया गया।

• छवि वर्गीकरण (Poincaré ResNet):

  • AGSM ने मानक FGSM की तुलना में रोबस्ट सटीकता को लगातार 9–13% अतिरिक्त कम किया।
  • PAGD (बहु-चरणीय) ने मानक PGD की तुलना में सटीकता को 9–10% और अधिक कम कर दिया।
  • उदाहरण: $\epsilon=8.0/255$ पर ResNet-32 के साथ CIFAR-100 पर, AGSM ने 13.93% सटीकता प्राप्त की, जो FGSM की 19.67% की तुलना में काफी कम है।

• क्रॉस-मोडल रिट्रीवल (HyCoCLIP):

  • AGSM ने FGSM की तुलना में Recall@5/10 में 2–5% अतिरिक्त गिरावट दर्ज की।
  • गुणात्मक विश्लेषण (चित्र 2) ने दिखाया कि जबकि त्रिज्यीय बदलावों ने सही कैप्शन को सुरक्षित रखा और FGSM ने अर्थहीन कैप्शन दिए, AGSM ने सबसे अधिक अर्थ संबंधी विसंगति वाले आउटपुट उत्पन्न किए (जैसे, "घोड़ा गाड़ी" को "हाथी की सवारी करते लोग" में बदलना)।

• ज्यामितीय विश्लेषण (Geometric Analysis):

  • दूरी (Distance): AGSM ने FGSM की तुलना में हाइपरबोलिक जियोडेसिक्स (geodesics) के साथ विक्षेपित फीचर्स को काफी आगे धकेला (तालिका 5)।
  • आत्मविश्वास (Confidence): AGSM ने मैक्सिमम सॉफ्टमैक्स प्रोबेबिलिटी (MSP) में बड़ी गिरावट उत्पन्न की, जो मॉडल की निश्चितता के अधिक गंभीर पतन का संकेत देती है (तालिका 6)।

5. महत्व और निष्कर्ष

• ज्यामिति-जागरूक सुरक्षा (Geometry-Aware Security): यह शोध पत्र स्थापित करता है कि हाइपरबोलिक नेटवर्क के लिए सुरक्षा रणनीतियाँ केवल यूक्लिडियन विधियों की नकल नहीं कर सकतीं। स्थान की वक्रता यह निर्धारित करती है कि अर्थ संबंधी भेद्यता कोणीय दिशा में निहित है।
• पदानुक्रमित भेद्यता (Hierarchical Vulnerability): निष्कर्ष बताते हैं कि पदानुक्रमित एम्बेडिंग उन व्यवधानों के प्रति विशेष रूप से नाजुक हैं जो स्वयं स्तर को बदले बिना पदानुक्रम स्तर के भीतर अर्थ संबंधी बदलाव लाते हैं।
• भावी दिशाएँ: अध्ययन एक महत्वपूर्ण अंतराल को उजागर करता है; AGSM उदाहरणों के साथ मानक एडवरसेरियल ट्रेनिंग पूरी तरह से मॉडल को मजबूत नहीं करती है और स्वच्छ प्रदर्शन को नुकसान पहुँचा सकती है। यह हाइपर-प्रतिनिधित्व के वक्रित, पदानुक्रमित संरचना के लिए विशेष रूप से तैयार किए गए नए रक्षा रणनीतियों की आवश्यकता का सुझाव देता है।

संक्षेप में, AGSM हाइपरबोलिक नेटवर्क पर हमला करने के लिए एक सिद्धांतपूर्ण ढांचा प्रदान करता है, जो उनकी ज्यामितीय विशेषताओं का लाभ उठाता है, और यह प्रकट करता है कि कोणीय (angular) आयाम पदानुक्रमित प्रतिनिधित्व स्थानों में सफल एडवरसेरियल हेरफेर के लिए प्राथमिक वेक्टर है।