🤖 machine learning

Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training

यह शोध पत्र टेंजेंट डायरेक्शन गाइडेड एडवरसैरियल ट्रेनिंग (TART) प्रस्तुत करता है, जो एक नवीन ढांचा है जो प्रतिकूल उदाहरणों (adversarial examples) के टेंजेंट-स्पेस ज्योमेट्री के आधार पर परटर्बेशन बाउंड्स को अनुकूल रूप से मॉड्युलेट करके एडवरसैरियल रोबस्टनेस बनाए रखते हुए क्लीन एक्यूरेसी में सुधार करता है।

मूल लेखक: Bongsoo Yi, Rongjie Lai, Yao Li

प्रकाशित 2026-04-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bongsoo Yi, Rongjie Lai, Yao Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "ओवर-करेक्शन" (Over-Correction) का जाल

कल्पना कीजिए कि आप एक रोबट को बिल्ली और कुत्ते को पहचानना सिखा रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं। लेकिन, एक शरारती हैकर ("adversary") तस्वीरों में बहुत छोटे, अदृश्य शोर (noise) के कण डालना शुरू कर देता है—इतने छोटे कि इंसान उन्हें देख भी नहीं सकता, लेकिन रोबट को भ्रमित करने के लिए काफी हैं ताकि वह बिल्ली को कुत्ता समझने लगे।

इसे ठीक करने के लिए, आप रोबट को इन "धोखेबाज" तस्वीरों पर प्रशिक्षित करने का निर्णय लेते हैं। इसे एडवर्सरियल ट्रेनिंग (Adversarial Training) कहा जाता है। यह बहुत अच्छा काम करता है! रोबट हैकर्स के खिलाफ एक सुपरहीरो बन जाता है।

हालाँकि, एक पेंच है। हैकर्स से लड़ने के प्रयास में, रोबट अत्यधिक सतर्क (paranoid) हो जाता है। वह ज़रूरत से ज़्यादा सुधार (over-correcting) करने लगता है। वह उस सूक्ष्म शोर के प्रति इतना जुनूनी हो जाता है कि वह एक सामान्य, साफ बिल्ली को पहचानना ही भूल जाता है। सामान्य, बिना छेड़छाड़ वाली तस्वीरों पर उसकी सटीकता (accuracy) काफी गिर जाती है।

इस पेपर के लेखकों ने पूछा: क्या हम रोबट को सामान्य चीजों को देखना भूले बिना हैकर्स के खिलाफ मजबूत बना सकते हैं?

नया विचार: "मैनिफोल्ड" (Manifold) और "टैंजेंट" (Tangent)

इसे हल करने के लिए, लेखकों ने डेटा की ज्यामिति (geometry) को देखा। उन्होंने दो प्रमुख अवधारणाओं का उपयोग किया:

डेटा मैनिफोल्ड (डेटा का "द्वीप" - The Island): कल्पना कीजिए कि सभी वास्तविक, प्राकृतिक चित्र (जैसे असली बिल्लियाँ और कुत्ते) एक विशाल, उच्च-आयामी महासागर में तैरते हुए एक चिकने, घुमावदार द्वीप पर मौजूद हैं। यह द्वीप "मैनिफोल्ड" है। वास्तविक डेटा यहीं रहता है।
टैंजेंट स्पेस (समतल ज़मीन - The Flat Ground): यदि आप एक घुमावदार पहाड़ी पर खड़े हैं, तो आपके पैरों के ठीक नीचे की ज़मीन समतल महसूस होती है। वह समतल सतह "टैंजेंट स्पेस" है। यह उस दिशा का प्रतिनिधित्व करती है जहाँ आप चलते हुए द्वीप पर बने रह सकते हैं।
नॉर्मल दिशा (चट्टान का किनारा - The Cliff): यदि आप समतल ज़मीन से कदम बाहर निकालते हैं, तो आप "नॉर्मल" दिशा में कदम रख रहे होते हैं—सीधे चट्टान से नीचे, वास्तविक डेटा के द्वीप से दूर।

खोज:
लेखकों ने महसूस किया कि जब हैकर्स "धोखेबाज" चित्र बनाते हैं, तो वे अक्सर इमेज को द्वीप से बाहर (नॉर्मल दिशा में) धकेल देते हैं।

टैंजेंशियल परटर्बेशन (Tangential Perturbation): द्वीप के साथ-साथ चलना (जैसे बिल्ली के चारों ओर घूमना)। यह सुरक्षित है; इमेज अभी भी एक बिल्ली जैसी दिखती है।
नॉर्मल परटर्बेशन (Normal Perturbation): द्वीप से बाहर कदम रखना (जैसे समुद्र में गिर जाना)। यह एक अजीब, अप्राकृतिक चित्र बनाता है जो "बिल्ली" या "कुत्ते" की दुनिया का हिस्सा नहीं है।

स्टैंडर्ड ट्रेनिंग की गलती:
स्टैंडर्ड एडवर्सरियल ट्रेनिंग सभी "धोखेबाज" छवियों के साथ एक जैसा व्यवहार करती है। यह रोबट को उन छवियों से सीखने के लिए मजबूर करती है जो द्वीप से नीचे गिर गई हैं (बड़े नॉर्मल कंपोनेंट्स)। इन अप्राकृतिक, "द्वीप से बाहर" की छवियों से सीखने की कोशिश करके, रोबट एक असली बिल्ली की समझ को विकृत (distort) कर देता है। इससे इसकी सामान्य फोटो पहचानने की क्षमता खराब हो जाती है।

समाधान: TART (टैंजेंट डायरेक्शन गाइडेड एडवर्सरियल ट्रेनिंग)

लेखकों ने TART नामक एक नया तरीका बनाया। TART को अपने प्रशिक्षण डेटा के लिए एक स्मार्ट फ़िल्टर के रूप में समझें।

TART कैसे काम करता है (उपमा):

कल्पना कीजिए कि आप एक एथलीट को प्रशिक्षित करने वाले कोच हैं।

स्टैंडर्ड ट्रेनिंग: आप एथलीट को लहरों से लड़ने के लिए समुद्र में फेंक देते हैं। वे लहरों में जीवित रहना तो सीख जाते हैं, लेकिन वे थक जाते हैं और ज़मीन पर दौड़ना भूल जाते हैं (क्लीन एक्यूरेसी गिर जाती है)।
TART: आप एथलीट के सामने आने वाली हर लहर को देखते हैं।
- यदि लहर केवल तट के किनारे (Tangential) एक लहर है, तो आप कहते हैं, "बहुत बढ़िया! इस पर प्रशिक्षण लें। यह आपको समुद्र तट पर बने रहते हुए भी मज़बूत बनाने में मदद करती है।"
- यदि लहर एक सुनामी है जो उन्हें समुद्र में खींच रही है (Normal), तो आप कहते, "रुको! यह वास्तविकता से बहुत दूर है। इस विशिष्ट लहर पर प्रशिक्षण न लें।"

प्रक्रिया (Mechanism):

कोण (Angle) की जाँच करें: प्रत्येक "धोखेबाज" इमेज के लिए, TART कोण की गणना करता है। क्या यह ट्रिक इमेज को "द्वीप" के साथ (Tangent) धकेल रही है या "चट्टान" से बाहर (Normal) गिरा रही है?
अनुकूली प्रशिक्षण (Adaptive Training):
- यदि ट्रिक मुख्य रूप से टैंजेंशियल (द्वीप पर बने रहना) है, तो TART कहता है, "इस इमेज का उपयोग प्रशिक्षण के लिए करें!" यह रोबट को सख्त बनाए रखता है।
- यदि ट्रिक मुख्य रूप से नॉर्मल (द्वीप से गिरना) है, तो TART कहता है, "इस ट्रिक को अनदेखा करें। इसके बजाय मूल, साफ इमेज का उपयोग करें।"

केवल उन "सुरक्षित" ट्रिक्स पर प्रशिक्षण देकर जो वास्तविकता के करीब रहती हैं, रोबट हैकर्स के खिलाफ मजबूत बनता है लेकिन वह यह नहीं भूलता कि एक असली बिल्ली कैसी दिखती है।

परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ संगम

लेखकों ने विभिन्न डेटासेट्स (जैसे CIFAR-10 और Tiny ImageNet) पर इस पेपर का परीक्षण किया। परिणाम प्रभावशाली थे:

क्लीन एक्यूरेसी (Clean Accuracy): TART ने स्टैंडर्ड तरीकों की तुलना में सामान्य, बिना छेड़छाड़ वाली तस्वीरों को पहचानने की रोबट की क्षमता में काफी सुधार किया।
मजबूती (Robustness): इसने रोबट को स्टैंडर्ड तरीकों की तरह ही हैकर्स के खिलाफ उतना ही सख्त बनाए रखा।
सार्वभौमिकता (Universality): यह एक "प्लग-इन" अपग्रेड की तरह काम करता है। आप TART को लगभग किसी भी मौजूदा डिफेंस मेथड में जोड़ सकते हैं, और यह उन्हें बेहतर बनाता है।

सारांश

समस्या: AI को हमलों के प्रति मजबूत बनाने से आमतौर पर सामान्य चीजों को पहचानने की उसकी क्षमता कम हो जाती है।
कारण: स्टैंडर्ड ट्रेनिंग AI को उन "अजीब" छवियों से सीखने के लिए मजबूर करती है जो वास्तविक डेटा (डेटा के "द्वीप" से बाहर) की तरह नहीं दिखतीं।
समाधान (TART): एक स्मार्ट सिस्टम जो यह जाँचता है कि क्या एक "धोखेबाज" इमेज अभी भी वास्तविकता के करीब है। यदि वह है, तो उस पर प्रशिक्षण लें। यदि वह बहुत अजीब है, तो उस ट्रिक को अनदेखा करें और साफ इमेज का उपयोग करें।
परिणाम: एक AI जो हैकर्स के खिलाफ सुपरहीरो भी है और वास्तविक दुनिया को पहचानने में भी जीनियस है।

यहाँ शोध पत्र "Improving Clean Accuracy via a Tangent-Space Perspective on Adversarial Training" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs) एडवर्सरियल एग्जेंपल्स (adversarial examples) के प्रति अत्यधिक संवेदनशील होते हैं—ये ऐसे इनपुट होते हैं जिनमें सूक्ष्म शोर (noise) मिलाया जाता है ताकि गलत वर्गीकरण (misclassification) कराया जा सके। हालाँकि एडवर्सरियल ट्रेनिंग (AT) एक मानक रक्षा (defense) है, लेकिन यह एक मौलिक ट्रेड-ऑफ से ग्रस्त है: हमलों के विरुद्ध मजबूती (robustness) में सुधार करने से अक्सर क्लीन एक्यूरेसी (clean accuracy) (अपरिवर्तित डेटा पर प्रदर्शन) में महत्वपूर्ण गिरावट आती है।

लेखक यह परिकल्पना करते हैं कि क्लीन एक्यूरेसी में यह गिरावट इसलिए होती है क्योंकि मानक AT सभी एडवर्सरियल परटर्बेशन (perturbations) को समान रूप से मानता है। उनका तर्क है कि वे परटर्बेशन जिनमें नॉर्मल दिशा (normal direction) (डेटा मैनिफोल्ड के लंबवत) में बड़े घटक होते हैं, वे निर्णय सीमा (decision boundary) को अत्यधिक विकृत कर देते हैं, जिससे मॉडल ऐसे फीचर्स सीखने के लिए मजबूर होता है जो प्राकृतिक डेटा पर सामान्यीकरण (generalize) नहीं कर पाते। इसके विपरीत, जो परटर्बेशन मुख्य रूप से टैंजेंट स्पेस (tangent space) (डेटा मैनिफोल्ड के साथ) में स्थित होते हैं, वे क्लीन एक्यूरेसी के लिए कम हानिकारक होते हैं।

2. कार्यप्रणाली: टेंजेंट डायरेक्शन गाइडेड एडवर्सरियल ट्रेनिंग (TART)

यह शोध पत्र TART प्रस्तावित करता है, जो एक नया फ्रेमवर्क है जो एडवर्सरियल ट्रेनिंग को निर्देशित करने के लिए डेटा मैनिफोल्ड की ज्यामिति (geometry) का स्पष्ट रूप से उपयोग करता है। मुख्य विचार यह है कि एडवर्सरियल परटर्बेशन को टैंजेंशियल (tangential) और नॉर्मल (normal) घटकों में विभाजित किया जाए और इस विभाजन के आधार पर परटर्बेशन बाउंड को अनुकूल रूप से (adaptively) समायोजित किया जाए।

मुख्य तकनीकी चरण:

टैंजेंट स्पेस अनुमान (Tangent Space Estimation):
- चूँकि वास्तविक दुनिया के डेटासेट के लिए वास्तविक डेटा मैनिफोल्ड अज्ञात होता है, इसलिए TART पहले एक ऑटोएनकोडर (Autoencoder) (एन्कोडर $E$ और डिकोडर $D$ ) को प्रशिक्षित करता है ताकि मैनिफोल्ड का एक निम्न-आयामी पैरामीट्रिकरण (low-dimensional parameterization) सीखा जा सके।
- प्रत्येक प्रशिक्षण नमूने $x$ के लिए, लेटेंट स्पेस में बिंदु लेकर, उन्हें डिकोड करके और परिणामी पड़ोस (neighborhood) पर प्रिंसिपल कंपोनेंट एनालिसिस (PCA) करके टैजेंट स्पेस का अनुमान लगाया जाता है। पहले $k$ प्रिंसिपल कंपोनेंट्स $x$ पर टैजेंट स्पेस का आधार (basis) बनाते हैं।
- कम्प्यूटेशनल ओवरहेड को कम करने के लिए, प्रशिक्षण शुरू होने से पहले इन टैजेंट स्पेस और संबंधित प्रोजेक्शन मैट्रिसेस को प्री-कंप्यूट करके स्टोर कर लिया जाता है।
टैंजेंशियल घटकों की गणना (Computing Tangential Components):
- एक उत्पन्न एडवर्सरियल उदाहरण $x^*$ के लिए, परटर्बेशन वेक्टर $\delta = x^* - x$ है।
- **टैंजेंशियल घटक ($TC $)** को अनुमानित टैजेंट स्पेस पर$ \delta$ के प्रोजेक्शन के परिमाण (norm) के रूप में निकाला जाता है:
  $TC = \|\Pi_A (x^* - x)\|$
  जहाँ $\Pi_A$ टैजेंट बेसिस वेक्टर्स से प्राप्त प्रोजेक्शन मैट्रिक्स है।
अनुकूली परटर्बेशन बाउंड चयन (Adaptive Perturbation Bound Selection):
- सभी नमूनों के लिए एक समान परटर्बेशन बाउंड $\epsilon$ का उपयोग करने के बजाय, TART टैंजेंशियल घटक के परिमाण के आधार पर एक विशिष्ट बाउंड $\epsilon_i$ आवंटित करता है।
- रणनीति: यह विधि एक मीडियन-आधारित थ्रेशोल्डिंग दृष्टिकोण का उपयोग करती है।
  - यदि $TC_i \ge \text{median}(TC)$ , तो नमूने को पूर्ण परटर्बेशन बाउंड $\epsilon_{max}$ आवंटित किया जाता है (इसे एक मानक एडवर्सरियल उदाहरण माना जाता है)।
  - यदि $TC_i < \text{median}(TC)$ , तो नमूने को $0 $का बाउंड आवंटित किया जाता है (इसे मूल क्लीन इमेज$ x_i$ माना जाता है)।
- यह बाइनरी चयन मध्यवर्ती बाउंड के साथ एडवर्सरियल उदाहरणों को पुन: उत्पन्न करने की आवश्यकता को समाप्त करता है, जिससे प्रशिक्षण समय में काफी बचत होती है।
प्रशिक्षण उद्देश्य (Training Objective):
- मॉडल को चयनित उदाहरणों (या तो मूल क्लीन इमेज या मजबूत एडवर्सरियल उदाहरण) पर वर्गीकरण लॉस (classification loss) को कम करने के लिए प्रशिक्षित किया जाता है। यह प्रभावी रूप से उन "ऑफ-मैनिफोल्ड" (off-manifold) उदाहरणों को फ़िल्टर करता है जो अन्यथा निर्णय सीमा को विकृत कर सकते हैं।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: TART पहला ऐसा एडवर्सरियल डिफेंस फ्रेमवर्क है जो एडवर्सरियल ट्रेनिंग लूप में स्पष्ट रूप से टैजेंट स्पेस और दिशा की अवधारणा को शामिल करता है।
ज्यामितीय अंतर्दृष्टि (Geometric Insight): लेखक प्रमाण देते हैं कि वे एडवर्सरियल उदाहरण जिनमें बड़े नॉर्मल घटक (डेटा मैनिफोल्ड से दूर) होते हैं, वे मानक AT में क्लीन एक्यूरेसी में गिरावट के प्राथमिक कारण हैं।
व्यावहारिक कार्यान्वयन: वे ऑटोएनकोडर्स और PCA का उपयोग करके टैजेंट स्पेस का अनुमान लगाने के लिए एक कम्प्यूटेशनल रूप से कुशल तरीका प्रस्तावित करते हैं, साथ ही स्टोरेज और समय जटिलता को कम करने की रणनीतियाँ (जैसे मैट्रिक्स प्री-कंप्यूट करना और बाइनरी बाउंड चयन का उपयोग करना) भी देते हैं।
सार्वभौमिकता (Universality): TART को एक मॉड्यूलर फ्रेमवर्क के रूप में डिज़ाइन किया गया है जिसे प्रदर्शन बढ़ाने के लिए मौजूदा रक्षा विधियों (जैसे TRADES, MART, GAIRAT) के साथ सहजता से एकीकृत किया जा सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक और बेंचमार्क डेटासेट पर TART का मूल्यांकन किया:

सिंथेटिक डेटा (Transformed Hemisphere):
- एक सिम्युलेटेड डेटासेट पर जहाँ टैजेंट स्पेस ज्ञात है, TART ने लगातार एक "रिवर्स-TART" बेसलाइन (जो टैंजेंशियल घटकों को दंडित करता है) से बेहतर प्रदर्शन किया।
- TART ने विभिन्न आयामों ( $d$ ), क्लास काउंट्स ( $c$ ), और परटर्बेशन बाउंड्स ( $\epsilon$ ) में उच्च क्लीन एक्यूरेसी और मजबूती हासिल की।
CIFAR-10:
- क्लीन एक्यूरेसी: TART ने मानक AT के साथ मिलकर क्लीन एक्यूरेसी को 81.53% (Standard AT) से बढ़ाकर 83.47% कर दिया।
- मजबूती (Robustness): PGD20, PGD40, और AutoAttack के विरुद्ध मजबूती बेसलाइन की तुलना में बनी रही या थोड़ी सुधरी।
- एकीकरण: TRADES, MART, और GAIRAT जैसी अन्य SOTA विधियों के साथ जुड़ने पर, TART ने मजबूती से समझौता किए बिना लगातार क्लीन एक्यूरेसी को बढ़ाया (जैसे, TART-TRADES ने क्लीन एक्यूरेसी को 79.47% से बढ़ाकर 81.60% कर दिया)।
Tiny ImageNet:
- इस बड़े और जटिल डेटासेट पर प्रयोगों ने विधि की सामान्यीकरण क्षमता की पुष्टि की। TART-AT ने मानक AT के 49.94% की तुलना में 53.19% क्लीन एक्यूरेसी हासिल की, जबकि विभिन्न हमलों के विरुद्ध तुलनीय मजबूती बनाए रखी।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र ज्यामिति-जागरूक दृष्टिकोण (geometry-aware perspective) पेश करके एडवर्सरियल मशीन लर्निंग में महत्वपूर्ण "रोबस्टनेस-एक्यूरेसी ट्रेड-ऑफ" को संबोधित करता है। यह पहचानकर कि सभी एडवर्सरियल परटर्बेशन समान रूप से हानिकारक नहीं होते, TART उन परटर्बेशन को फ़िल्टर करता है जो डेटा को प्राकृतिक मैनिफोल्ड से बाहर धकेलते हैं, जिससे मॉडल की क्लीन डेटा पर सामान्यीकरण करने की क्षमता सुरक्षित रहती है।

महत्व:

सैद्धांतिक प्रगति: यह ध्यान को एम्बिएंट स्पेस मार्जिन से बदलकर डेटा मैनिफोल्ड की आंतरिक ज्यामिति पर केंद्रित करता है।
व्यावहारिक प्रभाव: यह एक प्लग-एंड-प्ले समाधान प्रदान करता है जो न्यूनतम कम्प्यूटेशनल ओवरहेड (प्रशिक्षण समय केवल ~1.24x बढ़ा) के साथ मौजूदा रक्षा तंत्रों के प्रदर्शन में सुधार करता है।
भविष्य की दिशा: यह कार्य ज्यामिति-निर्देशित रक्षाओं के लिए नए मार्ग खोलता है, जो यह सुझाव देता है कि भविष्य के शोध नमूना-वार इष्टतम परटर्बेशन बाउंड्स और उच्च-आयामी स्थानों में मैनिफोल्ड संरचनाओं के गहरे सैद्धांतिक विश्लेषण पर ध्यान केंद्रित कर सकते हैं।