🤖 machine learning

TASER: Task-Aware Stein Regularisation for Geometry-Driven Robustness

यह शोध पत्र TASER को प्रस्तुत करता है, जो लैंग्विन स्टेन ऑपरेटर्स (Langevin Stein operators) पर आधारित एक प्रशिक्षण-समय नियमितीकरण ढांचा है जो स्वच्छ सटीकता (clean accuracy) से समझौता किए बिना कार्य-जागरूक, अनिसोट्रोपिक स्मूथनेस (task-aware, anisotropic smoothness) उत्पन्न करके वितरण बदलावों (distribution shifts) और प्रतिकूल गड़बड़ी (adversarial perturbations) के विरुद्ध गहरे नेटवर्क की मजबूती और स्थिरता को बढ़ाता है।

मूल लेखक: Michał Kozyra, Gesine Reinert

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michał Kozyra, Gesine Reinert

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानना सिखा रहे हैं। आप उसे हजारों फुफ़ीली (fluffy), टैबी (tabby) और काली बिल्लियों की तस्वीरें दिखाते हैं। रोबोट अच्छी तरह सीखता है, लेकिन वह थोड़ा "घबराहट भरा" (jittery) है। यदि आप तस्वीर में धूल का एक छोटा सा कण भी जोड़ देते हैं (जिसे मानवीय आँख मुश्किल से देख पाती है), तो रोबोट अचानक चिल्ला सकता है, "यह एक टोस्टर है!" ऐसा तब होता है जब डीप लर्निंग मॉडल अपने इनपुट में छोटे, अजीब बदलावों के प्रति बहुत संवेदनशील होते हैं। वे उन चीजों पर ज़ोर से प्रतिक्रिया देते हैं जो वास्तविक दुनिया में तर्कसंगत नहीं लगतीं।

यह शोध पत्र इस घबराहट को ठीक करने के लिए TASER (Task-Aware Stein Regularisation) नामक एक नया प्रशिक्षण उपकरण पेश करता है। यह सरल उपमाओं का उपयोग करके काम करता है:

समस्या: "सपाट पृथ्वी" बनाम "पर्वत श्रृंखला"

प्रशिक्षण के अधिकांश मानक तरीके AI को चिकना (smooth) बनाने की कोशिश करते हैं, जैसे कि एक सपाट, विशेषताहीन मैदान। वे कहते हैं, "आप जिस भी दिशा में बढ़ें, अपना उत्तर बहुत अधिक न बदलें।"

दोष: वास्तविक दुनिया में, डेटा एक सपाट मैदान नहीं है। यह एक पर्वत श्रृंखला की तरह है। वहां गहरी घाटियाँ हैं जहाँ वास्तविक डेटा रहता है (जैसे "बिल्ली" की तस्वीरें) और खड़ी ढलानें हैं जहाँ डेटा नहीं होता (जैसे सिर पर टोस्टर वाली बिल्ली की तस्वीर)।
मानक प्रशिक्षण हर दिशा के साथ समान व्यवहार करता है। यह अनजाने में "घाटियों" को चिकना कर सकता है (जिससे रोबोट वास्तविक बिल्ली को पहचानना भूल जाता है) या रोबोट को "ढलानों" से गिरने से रोकने में विफल हो सकता है (जिससे वह अजीब, नकली छवियों पर घबरा जाता है)।

समाधान: TASER एक "गुरुत्वाकर्षण दिशा-सूचक" (Gravity Compass) के रूप में

TASER अलग है। सभी दिशाओं के साथ समान व्यवहार करने के बजाय, यह एक गुरुत्वाकर्षण दिशा-सूचक (जिसे "स्कोर फील्ड" कहा जाता है) का उपयोग करता है जो जानता है कि वास्तविक डेटा की "घाटियाँ" कहाँ हैं।

भू-भाग को जानना: TASER एक सहायक मॉडल का उपयोग करता है (अक्सर एक डिफ्यूजन मॉडल, जिसका उपयोग कला बनाने के लिए किया जाता है) जो यह मानचित्रित करता है कि डेटा कहाँ "रहता" है। यह जानता है कि यदि आप पर्वत की कगार के साथ चलते हैं, तो आप अभी भी "बिल्लियों" की दुनिया में हैं। लेकिन यदि आप कगार से बाहर की ओर बढ़ते हैं, तो आप "बेतुकेपन" की ओर गिर रहे हैं।
नियमितीकरण (The Regularization - प्रशिक्षण नियम): TASER रोबोट को बताता है: "यदि आप पर्वत की कगार के साथ चल रहे हैं (वास्तविक डेटा के बदलाव), तो संवेदनशील होना ठीक है। लेकिन यदि आप उन गतिविधियों के प्रति अत्यधिक प्रतिक्रिया देने लगते जो आपको कगार से बाहर (बेतुकेपन की ओर) ले जाती हैं, तो आपको दंड दिया जाएगा।"
परिणाम: रोबोट वास्तविक बदलावों (जैसे बिल्ली का सिर घुमाना) के लिए लचीला बनना सीखता है, लेकिन नकली, असंभव बदलावों (जैसे बिल्ली का टोस्टर उगाना) के प्रति बहुत सख्त और अप्रतिक्रियाशील हो जाता है।

व्यवहार में यह कैसे काम करता है

लेखकों ने एक मानक इमेज डेटासेट (CIFAR-10) पर इसका परीक्षण किया।

प्रयोग: उन्होंने मौजूदा, मजबूत AI मॉडलों को लिया और उनके प्रशिक्षण में TASER को जोड़ा।
परिणाम:
- स्वच्छ सटीकता (Clean Accuracy): मॉडलों ने सामान्य तस्वीरों को पहचानने में बहुत अधिक गिरावट नहीं की (उनकी "स्वच्छ" सटीकता लगभग वैसी ही रही)।
- मजबूती (Robustness): जब हैकर्स ने मॉडलों को धोखा देने के लिए सूक्ष्म, अदृश्य बदलावों का उपयोग किया (adversarial attacks), तो TASER-प्रशिक्षित मॉडल को मूर्ख बनाना बहुत कठिन था। वे काफी अधिक स्थिर हो गए।
- एक्सट्रपोलेशन (Extrapolation): एक सरल गणितीय परीक्षण में, जब मॉडलों को उन संख्याओं के लिए उत्तर देना पड़ा जिन्हें उन्होंने पहले कभी नहीं देखा था, तो TASER मॉडल सुचारू और तार्किक उत्तर देते हैं, जबकि मानक मॉडल पागल हो जाते हैं और गलत अनुमान लगाते हैं।

ट्रेड-ऑफ (Trade-off)

ठीक वैसे ही जैसे भारी बैकपैक लेकर चलना, TASER प्रशिक्षण प्रक्रिया को थोड़ा लंबा बना देता है क्योंकि कंप्यूटर को "गुरुत्वाकर्षण दिशा-सूचक" (स्कोर फील्ड) को समझने के लिए अतिरिक्त गणित करना पड़ता है। हालांकि, शोध पत्र में उल्लेख किया गया है कि यह लागत अन्य भारी-भरकम सुरक्षा विधियों की तुलना में बहुत कम है।

निचोड़ (Bottom Line)

TASER एक रोबोट को केवल तथ्यों को याद करने के बजाय वास्तविकता के आकार को समझने जैसा है। यह AI को बताता है: "हर जगह चिकना न बनें; सही जगहों पर चिकने बनें।" यह AI को अपना काम करना भूले बिना बहुत अधिक कठिन बनाता है।

लेखकों की महत्वपूर्ण टिप्पणी:
शोध पत्र स्पष्ट रूप से कहता है कि हालांकि यह विधि आशाजनक है, लेकिन यह हर स्थिति के लिए जादुई समाधान नहीं है। लेखक स्वास्थ्य सेवा जैसे महत्वपूर्ण क्षेत्रों में इसे लागू करते समय सावधानी बरतने की सलाह देते हैं, क्योंकि यह विधि उस "मानचित्र" (स्कोर फील्ड) की गुणवत्ता पर निर्भर करती है जिसका उपयोग यह करता है, और यह हर संभावित प्रकार के हमले के खिलाफ सुरक्षा की गारंटी नहीं देता है। वे इसे मौजूदा सुरक्षा उपायों के पूर्ण प्रतिस्थापन के रूप में नहीं, बल्कि टूलबॉक्स में जोड़ने के लिए एक सहायक नए उपकरण के रूप में देखते हैं।

तकनीकी सारांश: TASER – ज्यामिति-संचालित सुदृढ़ता के लिए कार्य-जागरूक स्टीन नियमितीकरण (Task-Aware Stein Regularisation)

1. समस्या विवरण

आधुनिक डीप न्यूरल नेटवर्क इन-डिस्ट्रीबशन प्रदर्शन में तो अत्यंत सुदृढ़ होते हैं, लेकिन डिस्ट्रीब्यूशन शिफ्ट (distribution shifts) और एडवरसेरियल परटर्बेशन (adversarial perturbations) के प्रति संवेदनशील बने रहते हैं। एक केंद्रीय विफलता मोड गलत संरेखित इनपुट संवेदनशीलता (misaligned input sensitivity) है: प्रेडिक्टर अक्सर उन परिवर्तनों (perturbations) के प्रति तीव्र प्रतिक्रिया देते हैं जो डेटा वितरण के सापेक्ष छोटे होते हैं (इनपुट्स को उच्च-संभावना वाले क्षेत्रों से दूर ले जाते हैं), जबकि वे अर्थपूर्ण विविधताओं के प्रति कम प्रतिक्रिया दे सकते हैं।

मौजूदा नियमितीकरण दृष्टिकोण, जैसे कि वेट डिके (weight decay), स्पेक्ट्रल बाधाएं (spectral constraints), और ग्रेडिएंट नॉर्म पेनलाइजेशन (gradient norm penalisation), आमतौर पर आइसोट्रोपिक स्मूथनेस (isotropic smoothness) लागू करते हैं। वे इनपुट स्पेस के सभी दिशाओं को समान रूप से या निश्चित नॉर्म बाधाओं (जैसे $\ell_p$ बॉल्स) के अनुसार मानते हैं। फलस्वरूप, ये विधियाँ उन विविधताओं के बीच अंतर करने में विफल रहती हैं जो डेटा मैनिफोल्ड के अनुरूप हैं और वे जो इनपुट्स को निम्न-संभावना वाले, ऑफ-डिस्ट्रीब्यूशन क्षेत्रों में ले जाती हैं। एडवरसेरियल ट्रेनिंग इस समस्या को एक पूर्व-निर्धारित सेट के भीतर सबसे खराब स्थिति वाले परिवर्तनों के विरुद्ध अनुकूलन करके हल करती है, लेकिन यह विशिष्ट परटर्बेशन परिभाषाओं पर निर्भर करती है और अंतर्निहित डेटा वितरण की ज्यामिति को स्पष्ट रूप से एनकोड नहीं करती है।

2. कार्यप्रणाली: TASER

लेखक TASER (Task-Aware Stein Regularisation) प्रस्तुत करते हैं, जो एक प्रशिक्षण-समय फ्रेमवर्क है जो प्रशिक्षण डेटा वितरण की ज्यामिति के सापेक्ष मॉडल की संवेदनशीलता को नियमित करता है।

मुख्य अवधारणा

TASER को स्टीन विधि (Stein's method) से लिया गया है, विशेष रूप से लैंग्विन स्टीन ऑपरेटर (Langevin Stein operator) का उपयोग करते हुए। एक वितरण $p$ के लिए जिसका स्कोर फंक्शन $s_p(x) = \nabla \log p(x)$ है और एक प्रेडिक्टर $f$ है, लैंग्विन स्टीन ऑपरेटर को इस प्रकार परिभाषित किया गया है:
$L_p f(x) = \Delta f(x) + s_p(x)^\top \nabla f(x)$
जहाँ $\Delta f(x)$ लैपलेसियन (हेसियन का ट्रेस) है और $\nabla f(x)$ ग्रेडिएंट है। मानक नियमितता शर्तों के तहत, वितरण $p$ के तहत इस ऑपरेटर की अपेक्षा शून्य होती है: $\mathbb{E}_{X \sim p}[L_p f(X)] = 0$ ।

नियमितीकरण उद्देश्य (The Regularisation Objective)

TASER सैंपल स्तर पर पॉइंटवाइज स्टीन रेसिडुअल्स (Stein residuals) को दंडित करता है। कुल लॉस फंक्शन है:
$\mathcal{L}_{total}(\theta) = \mathcal{L}_{task}(\theta) + \lambda \mathbb{E}_{X \sim p} \left[ (L_p f_\theta(X))^2 \right]$
यह फॉर्मूलेशन एनिसोट्रोपिक, डेटा-जागरूक स्मूथनेस (anisotropic, data-aware smoothness) को प्रोत्साहित करता है:

स्कोर-वेटेड टर्म ( $s_p(x)^\top \nabla f(x)$ ): उन दिशाओं में संवेदनशीलता को दंडित करता है जहाँ डेटा घनत्व (data density) सबसे तेजी से बदलता है (आमतौर पर डेटा मैनिफोल्ड के लंबवत)। यह उन परिवर्तनों के प्रति प्रतिक्रिया को दबाता है जो इनपुट्स को उच्च-संभावना वाले क्षेत्रों से दूर ले जाते हैं।
लैपलेसियन टर्म ( $\Delta f(x)$ ): वैश्विक वक्रता (global curvature) को नियंत्रित करता है ताकि दोलनी व्यवहार (oscillatory behaviour) को रोका जा सके।

व्यावहारिक कार्यान्वयन

स्कोर अनुमान (Score Estimation): चूंकि वास्तविक $s_p(x)$ अज्ञात है, TASER एक अनुमानित $\tilde{s}(x)$ का उपयोग करता है जिसे आधुनिक डिफ्यूजन या स्कोर-मैचिंग मॉडल्स से प्राप्त किया जाता है।
लैपलेसियन अनुमान: लैपलेसियन को पूर्ण हेसियन की गणना करने से बचने के लिए स्टोकेस्टिक ट्रेस एस्टिमेटर्स (जैसे हचिन्सन विधि) का उपयोग करके कुशलतापूर्वक अनुमानित किया जाता है।
प्रथम-क्रम वेरिएंट (First-Order Variant): एक कंप्यूटेशनल रूप से सस्ता वेरिएंट लैपलेसियन को छोड़ देता है, और केवल स्कोर-वेटेड ग्रेडिएंट टर्म पर निर्भर करता है: $r^{(1)}_f(x) = s_p(x)^\top \nabla f(x)$ ।
सेंटरिंग (Centering): अनुमानित स्कोर द्वारा उत्पन्न बायस को कम करने के लिए, रेसिड्यूल को एक अनुमानित माध्य को घटाकर सेंटर्ड किया जाता है।
प्रोब फंक्शन (Probe Function): वेक्टर-वैल्यूड मॉडल्स के लिए, TASER को एक स्केलर प्रोब फंक्शन पर लागू किया जाता है। लेखक अनुभवजन्य रूप से पाते हैं कि एक स्मूथ लॉजिट-मार्जिन (smooth logit-margin) (जो सही क्लास लॉजिट और अन्य के अधिकतम के बीच मार्जिन का अनुमान लगाता है) सर्वोत्तम परिणाम देता है, क्योंकि यह सॉफ्टमैक्स प्रोबेबिलिटीज के साथ सामान्य सैचुरेशन समस्याओं से बचता है।

सैद्धांतिक व्याख्या

वेटेड सोबोलेव नॉर्म (Weighted Sobolev Norm): यह दिखाया गया है कि TASER पेनल्टी एक डिस्ट्रीब्यूशन-डिपेंडेंट सोबोलेव क्वाड्रेटिक फॉर्म के समकक्ष है। मानक आइसोट्रोपिक पेनल्टी वाले सोबोलेव रेगुलराइजेशन के विपरीत, TASER ग्रेडिएंट पेनल्टी को लॉग-डेंसिटी की वक्रता ( $H_p(x) = -\nabla^2 \log p(x)$ ) द्वारा वेट करता है।
शिफ्ट के तहत स्थिरता (Stability under Shift): लेखक स्थापित करते हैं कि स्टीन रेसिड्यूल के वेरिएंस को कम करना, स्मूथ डिस्ट्रीबेशनल शिफ्ट्स (विशेष रूप से एक्सपोनेंशियल टिल्ट्स) के तहत मॉडल की फर्स्ट-ऑर्डर रिस्पॉन्स को सीमित करता है। यह एक सैद्धांतिक गारंटी प्रदान करता है कि TASER स्कोर फील्ड के साथ संरेखित दिशाओं में संवेदनशीलता को दबाता है, जो डेटा मैनिफोल्ड से दूर जाने वाली दिशाओं के अनुरूप है।

3. मुख्य योगदान

फ्रेमवर्क का परिचय: TASER प्रस्तावित करता है, जो एक स्टीन-ऑपरेटर-आधारित नियमितीकरण फ्रेमवर्क है जो मॉडल की संवेदनशीलता पर ज्यामिति-जागरूक बाधाएं लागू करता है।
ज्यामितीय अंतर्दृष्टि: यह प्रदर्शित करता है कि TASER डेटा वितरण के स्कोर फील्ड के साथ संरेखित डायरेक्शनल डेरिवेटिव्स को दंडित करता है, जो आइसोट्रोपिक ग्रेडिएंट रेगुलराइजेशन के लिए एक सिद्धांत आधारित विकल्प प्रदान करता है।
सैद्धांतिक संबंध: स्टीन रेसिड्यूल मिनिमाइजेशन और डिस्ट्रीबेशनल परटर्बेशंस के तहत कम फर्स्ट-ऑर्डर संवेदनशीलता के बीच संबंध स्थापित करता है।
अनुभवजन्य सत्यापन: दिखाता है कि TASER मैनिफोल्ड अनुमान की आवश्यकता के बिना ऑफ-मैनिफोल्ड दिशाओं में संवेदनशीलता को दबाकर एडवरसेरियल रोबस्टनेस में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखक रिग्रेशन और विजन बेंचमार्क्स पर TASER का मूल्यांकन करते हैं।

1D रिग्रेशन (एक्सट्रपलेशन): एक नियंत्रित सेटिंग में जहाँ $x \sim \mathcal{N}(0,1)$ और $y=\sin(x)$ है, TASER सुचारू और सुसंगत एक्सट्रपलेशन प्रदान करता है। इसके विपरीत, मानक $\ell_2$ रेगुलराइजेशन वितरण के बाहर अस्थिर, विचलनकारी व्यवहार की ओर ले जाता है, जो नियमितीकरण स्ट्रेंथ $\lambda$ के प्रति अत्यधिक संवेदनशील होता है।
CIFAR-10 (विज़न):
- सेटअप: TASER को ResNet-18 का उपयोग करके स्टैंडर्ड ट्रेनिंग, PGD, TRADES, MART, और AWP (एडवरसेरियल वेट परटर्बेशन) विधियों में एक एडिटिव रेगुलराइज़र के रूप रूप में लागू किया गया था।
- रोबस्टनेस: TASER ने लगातार औसत रोबस्ट एक्यूरेसी (AutoAttack और SPSA के माध्यम से मापी गई $\ell_\infty, \epsilon=8/255$ $ℓ_{\infty}, ϵ = 8/255$ के साथ) में सुधार किया।
  - स्टैंडर्ड ट्रेनिंग के लिए, रोबस्ट एक्यूरेसी +16.25% (3.00% से 19.25% तक) बढ़ी।
  - एडवरसेरियली ट्रेंड मॉडल्स के लिए, TASER ने औसतन +6.32% का रोबस्ट एक्यूरेसी गेन प्रदान किया।
- क्लीन एक्यूरेसी: क्लीन एक्यूरेसी में गिरावट न्यूनतम थी। एडवरसेरियली ट्रेंड मॉडल्स के लिए, औसत गिरावट केवल -0.49% थी, जो बूटस्ट्रैपिंग के आधार पर सांख्यिकीय रूप से महत्वपूर्ण नहीं थी।
- ओवरहेड: ग्रेडिएंट और हेसियन-वेक्टर प्रोडक्ट गणनाओं के कारण TASER लगभग 1.2x से 2.45x का कंप्यूटेशनल ओवरहेड (बेस मेथड के आधार पर) पेश करता है, लेकिन यह एडवरसेरियल ट्रेनिंग में इनर मैक्सिमाइजेशन समस्याओं को हल करने की लागत की तुलना में व्यावहारिक बना रहता है।

5. महत्व और दावे

यह पेपर TASER को प्रशिक्षण प्रक्रिया में डेटा ज्यामिति को शामिल करने के एक मॉड्यूलर और सरल तंत्र के रूप में प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

जेनेरेटिव और डिस्क्रिमिनेटिव कार्यों को जोड़ना: यह स्कोर-आधारित जेनेरेटिव मॉडलिंग (स्कोर एस्टीमेशन के माध्यम से) को डिस्क्रिमिनेटिव रोबस्टनेस के साथ जोड़ता है।
पूरकता (Complementarity): TASER, एडवरसेरियल ट्रेनिंग के विकल्प के बजाय, एक पूरक तंत्र के रूप में कार्य करता है। यह उन कार्य-प्रासंगिक संवेदनशीलता दिशाओं को कैप्चर करता है जिन्हें पारंपरिक एडवरसेरियल ट्रेनिंग मिस कर सकती है।
कोई इनर मैक्सिमाइजेशन नहीं: एडवरसेरियल ट्रेनिंग के विपरीत, TASER के लिए चुनौतीपूर्ण इनर मैक्सिमाइजेशन समस्या को हल करने की आवश्यकता नहीं होती है।
गारंटी पर विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि TASER वर्स्ट-केस परटर्बेशन के खिलाफ औपचारिक गारंटी प्रदान नहीं करता है। इसकी प्रभावशीलता स्कोर अनुमान की गुणवत्ता और इस धारणा पर निर्भर करती है कि स्कोर फील्ड सार्थक ज्यामितीय संरचना (जैसे, लोअर-डायमेंशनल मैनिफोल्ड के पास एकाग्रता) को दर्शाता है। पेपर स्कोर मिसस्पेसिफिकेशन, बड़े पैमाने के मॉडल्स के लिए कंप्यूटेशनल लागत और विविध डेटासेट्स एवं डोमेन में व्यापक मूल्यांकन की आवश्यकता के संबंध में सीमाओं को स्वीकार करता है।

संक्षेप में, TASER स्टीन ऑपरेटर्स को एनिसोट्रोपिक स्मूथनेस प्रेरित करने के लिए प्रशिक्षण उपकरण के रूप में पुनर्गठित करता है, जिससे मॉडल की संवेदनशीलता को डेटा वितरण की अंतर्निहित ज्यामिति के साथ संरेखित किया जाता है ताकि डिस्ट्रीब्यूशन शिफ्ट और एडवरसेरियल हमलों के खिलाफ मजबूती बढ़ाई जा सके।