🤖 machine learning

Fix the Loss, Not the Radius: Rethinking the Adversarial Perturbation of Sharpness-Aware Minimization

यह शोध पत्र लॉस-इक्वेटेड SAM (LE-SAM) का प्रस्ताव करता है, जो एक नवीन अनुकूलन विधि है जो शार्पनेस-अवेयर मिनिमाइजेशन के निश्चित पैरामीटर-स्पेस त्रिज्या को एक निश्चित लॉस-स्पेस बजट से बदल देती है ताकि फ्लैट मिनिमा की वक्रता-आधारित प्रकृति के साथ बेहतर तालमेल बिठाया जा सके, जिससे विविध बेंचमार्क पर अत्याधुनिक सामान्यीकरण प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinping Wang, Qinhan Liu, Zhiwu Xie, Zhiqiang Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "सपाट" घाटी की खोज करना

कल्पना कीजिए कि आप एक विशाल, धुंधले पर्वत श्रृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं (यह न्यूरल नेटवर्क के लॉस लैंडस्केप (loss landscape) का प्रतिनिधित्व करता है)। आपका लक्ष्य एक ऐसा स्थान ढूँढना है जहाँ मॉडल पूरी तरह से काम करे और मौसम थोड़ा बदलने पर भी उसका प्रदर्शन न बिगड़े (इसे जनरलाइजेशन (generalization) कहा जाता है)।

शोधकर्ताओं का लंबे समय से मानना रहा है कि सबसे अच्छा स्थान केवल कोई भी निचला बिंदु नहीं है, बल्कि एक सपाट घाटी (flat valley) है।

नुकीली चोटी (Sharp Peak): यदि आप एक नुकीली पहाड़ी चोटी पर खड़े हैं, तो किसी भी दिशा में एक छोटा सा कदम आपको नीचे गिरा सकता है। यह अस्थिर है।
सपाट घाटी (Flat Valley): यदि आप एक चौड़ी, सपाट घाटी में खड़े हैं, तो आप किसी भी दिशा में कुछ कदम चल सकते हैं और फिर भी नीचे ही रह सकते हैं। यह स्थिर और मजबूत है।

यह शोध पत्र तर्क देता है कि इन सपाट घाटियों को खोजने के लिए वर्तमान सबसे अच्छा तरीका (जिसे SAM कहा जाता है) इलाके को मापने के लिए गलत उपकरण का उपयोग कर रहा है।

समस्या: "फिक्स्ड-स्टेप" (निश्चित-कदम) वाला पैमाना

वर्तमान विधि, SAM, एक "टेस्ट स्टेप" लेकर यह देखने की कोशिश करती है कि हर दिशा में जमीन कितनी ऊपर उठती है।

SAM कैसे काम करता है: यह कहता है, "मैं ढलान की दिशा में ठीक 1 मीटर का कदम उठाऊँगा, और देखूँगा कि जमीन कितनी ऊँची हो जाती है।"
खामी: पेपर इस विसंगति की ओर इशारा करता है।
- यदि जमीन बहुत खड़ी है (एक बड़ा ग्रेडिएंट (gradient)), तो 1 मीटर का कदम आपको बहुत ऊपर उछाल देगा। माप ढलान की चौड़ाई के बजाय उसकी तीव्रता (steepness) से प्रभावित हो जाता है।
- यदि जमीन सपाट है (एक छोटा ग्रेडिएंट), तो वही 1-मीटर का कदम बहुत कम दूरी तय करेगा।
- उपमा (Analogy): कल्पना कीजिए कि आप 10 कदम चलकर एक कमरे की चौड़ाई मापने की कोशिश कर रहे हैं। यदि आप एक खड़ी ढलान पर चल रहे हैं, तो आपके 10 कदम बहुत अधिक ऊर्ध्वाधर (vertical) दूरी तय करेंगे। यदि आप समतल जमीन पर हैं, तो वे बहुत कम दूरी तय करेंगे। आप कमरे की चौड़ाई नहीं माप रहे हैं; आप केवल यह माप रहे हैं कि आपको कितनी मेहनत करनी पड़ रही है।

इस कारण से, SAM घाटी के आकार (curvature) के बजाय ढलान की तीव्रता (steepness) पर अधिक प्रतिक्रिया करता है। यह केवल तभी अच्छी तरह से काम करना शुरू करता है जब प्रशिक्षण लगभग समाप्त हो जाता है और ढलान बहुत हल्की हो जाती है, जो समाधान के मूल आकार को सुधारने के लिए बहुत देर हो चुकी होती है।

समाधान: LE-SAM (द "फिक्स्ड-हाइट" बजट)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे LE-SAM (लॉस-इक्वेटेड SAM) कहा जाता है। वे तर्क को पूरी तरह से उलट देते हैं।

यह कहने के बजाय कि, "मैं एक निश्चित आकार का कदम उठाऊँगा," वे कहते हैं, "मैं जमीन को एक निश्चित ऊंचाई तक (बजट) उठने की अनुमति दूँगा, और मैं पता लगाऊँगा कि उस ऊंचाई तक पहुँचने के लिए मुझे कितने बड़े कदम की आवश्यकता है।"

नई कार्यप्रणाली:
1. बजट निर्धारित करें: "मैं ऊंचाई में ठीक 1 मीटर ऊपर चढ़ने के लिए तैयार हूँ।"
2. कदम की गणना करें:
  - यदि ढलान खड़ी है, तो मुझे उस 1-मीटर की ऊंचाई तक पहुँचने के लिए केवल एक छोटा सा कदम लेना होगा।
  - यदि ढलान सपाट है, तो मुझे उस 1-मीटर की ऊंचाई तक पहुँचने के लिए एक बहुत बड़ा कदम लेना होगा।
3. परिणाम: क्योंकि "चढ़ाई हुई ऊंचाई" निश्चित है, इसलिए माप अब ढलान की तीव्रता से प्रभावित नहीं होता है। यह एल्गोरिदम को वक्रता (curvature) (यह कि ढलान कितनी तेजी से बदलती है) को देखने के लिए मजबूर करता है।

रूपक (Metaphor):
कल्पना कीजिए कि आप एक अंधेरे पर्वतारोही हैं जो एक सपाट घाटी खोजने की कोशिश कर रहे हैं।

पुरानी विधि (SAM): आप एक निश्चित 10-फुट का कदम उठाते हैं। यदि पहाड़ी खड़ी है, तो आप खाई में गिर जाते हैं। यदि जमीन सपाट है, तो आप बहुत कम चलते हैं। आप यह नहीं बता पाते कि घाटी चौड़ी है या संकरी।
नई विधि (LE-SAM): आप कहते हैं, "मैं ठीक 5 फीट ऊपर चढ़ूँगा।" यदि पहाड़ी खड़ी है, तो आप एक छोटा कदम लेते हैं। यदि पहाड़ी सपाट है, तो आप एक लंबी छलांग लगाते हैं। खुद को उस विशिष्ट ऊंचाई तक चढ़ने के लिए मजबूर करके, आप तुरंत जान जाते हैं कि इलाका कितना खड़ा या सपाट है। यह आपको ठीक-ठीक बताता है कि सपाट घाटी कहाँ है।

यह क्यों महत्वपूर्ण है (परिणाम)

"रेडियस" (कदम का आकार) के बजाय "लॉस बजट" (वह ऊंचाई जो आप चढ़ने के लिए तैयार हैं) को ठीक करके, पेपर का दावा है कि:

बेहतर जनरलाइजेशन (Better Generalization): मॉडल अधिक चौड़ी, सपाट घाटियाँ पाता है, जिसका अर्थ है कि यह नए, अनदेखे डेटा पर बेहतर प्रदर्शन करता है।
जल्दी काम करता है: पुरानी विधि के विपरीत, जो केवल प्रशिक्षण के बिल्कुल अंत में मदद करती है, यह नई विधि शुरुआत से ही प्रभावी ढंग से काम करती है क्योंकि यह शुरुआती ढलानों की तीव्रता से विचलित नहीं होती है।
स्थिरता (Stability): यह प्रशिक्षण को अनियंत्रित होने से रोकता है जब ढलानें तेजी से बदलती हैं।

प्रमाण

लेखकों ने मानक इमेज रिकग्निशन कार्यों (जैसे कि फोटो में बिल्ली, कुत्ते और कारों की पहचान करना) पर इसका परीक्षण किया।

उन्होंने अपने नए "फिक्स्ड-स्टेप" (निश्चित-कदम) विधि और कई अन्य विविधताओं के मुकाबले इसकी तुलना की।
परिणाम: उनकी विधि लगातार जीत हासिल करती रही, जिसने विभिन्न प्रकार के न्यूरल नेटवर्क और डेटासेट पर उच्चतम सटीकता स्कोर (State-of-the-Art) प्राप्त किया।
दृश्य प्रमाण: उन्होंने "इलाके" (terrain) के मानचित्र भी बनाए जिन्हें उनके मॉडल ने खोजा था। मानचित्रों ने दिखाया कि अन्य विधियों द्वारा खोजी गई नुकीली चोटियों की तुलना में उनकी विधि ने बहुत अधिक सपाट और चौड़ी घाटियाँ खोजीं।

सारांश

यह पेपर तर्क देता है कि सबसे स्थिर AI मॉडल खोजने के लिए, हमें केवल जमीन का परीक्षण करने के लिए निश्चित आकार के कदम नहीं उठाने चाहिए। इसके बजाय, हमें एक निश्चित "चढ़ाई की ऊंचाई" निर्धारित करनी चाहिए और कदम के आकार को स्वचालित रूप से समायोजित होने देना चाहिए। यह सरल बदलाव खड़ी ढलानों के कारण होने वाले भ्रम को दूर करता है और AI को उस वास्तविक, सपाट और स्थिर समाधान को खोजने में मदद करता है जिसकी उसे बुद्धिमान और विश्वसनीय होने के लिए आवश्यकता है।

तकनीकी सारांश: लॉस को ठीक करें, रेडियस को नहीं: शार्पनेस-अवेयर मिनिमाइजेशन के एडवर्सरियल परटर्बेशन पर पुनर्विचार

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क्स (DNNs) अक्सर ओवर-पैरामीट्राइजेशन और नॉन-कॉन्वेक्स लॉस लैंडस्केप से ग्रस्त होते हैं, जिससे विभिन्न सामान्यीकरण क्षमताओं वाले अनेक लोकल ऑप्टिमा उत्पन्न होते हैं। प्रचलित परिकल्पना यह सुझाव देती है कि "फ्लैट मिनिमा" (कम कर्वेचर वाले क्षेत्र) "शार्प मिनिमा" की तुलना में बेहतर सामान्यीकरण करते हैं। शार्पनेस-अवेयर मिनिमाइजेशन (SAM) को एक निश्चित पैरामीटर-स्पेस रेडियस $\rho$ के भीतर सबसे खराब स्थिति वाले लॉस (worst-case loss) को कम करने के लिए प्रस्तावित किया गया था।

हालांकि, लेखक SAM और इसके वेरिएंट्स में एक मौलिक मैकेनिज्म-लेवल मिसमैच की पहचान करते हैं:

आदर्श (The Ideal): फ्लैटनेस स्वाभाविक रूप से एक सेकंड-ऑर्डर गुण है, जो लॉस लैंडस्केप के स्थानीय कर्वेचर (हेसियन) द्वारा विशेषता प्राप्त करती है।
वास्तविकता (The Reality): SAM अपने एडवर्सरियल ऑब्जेक्टिव को एक फर्स्ट-ऑर्डर लीनियर एप्रोक्सिमेशन का उपयोग करके निर्मित करता है। एक निश्चित रेडियस $\rho$ के भीतर, परटर्बेशन ग्रेडिएंट दिशा के साथ संरेखित होता है। फलस्वरूप, परिणामी लर्निंग सिग्नल कर्वेचर के बजाय ग्रेडिएंट नॉर्म ( $\rho \|\nabla L(w)\|$ ) द्वारा हावी होता है।
परिणाम (The Consequence): क्योंकि ग्रेडिएंट नॉर्म सिग्नल पर हावी है, SAM की प्रभावशीलता काफी हद तक प्रशिक्षण के अंतिम चरणों तक टल जाती है जब ग्रेडिएंट स्वाभाविक रूप से इतने छोटे हो जाते हैं कि कर्वेचर टर्म्स तुलनात्मक हो सकें। यह प्रशिक्षण तंत्र और पूरे प्रशिक्षण प्रक्रिया के दौरान फ्लैट मिनिमा खोजने के लक्ष्य के बीच एक विसंगति पैदा करता है।

2. कार्यप्रणाली: लॉस-इक्वेटेड SAM (LE-SAM)

इस मिसमैच को हल करने के लिए, लेखक लॉस-इक्वेटेड SAM (LE-SAM) प्रस्तावित करते हैं, जो एक मैकेनिज्म-लेवल पुनर्गठन है जो पारंपरिक SAM प्रतिमान को उलट देता है। पैरामीटर स्पेस में फिक्स्ड परटर्बेशन रेडियस को फिक्स करने के बजाय, LE-SAM एक लॉस-स्पेस बजट $\sigma$ को फिक्स करता है।

मुख्य तंत्र (Core Mechanism)

शास्त्रीय पोलीक स्टेप-साइज (Polyak step-size) से प्रेरित होकर, LE-SAM फर्स्ट-ऑर्डर लॉस वेरिएशन को स्केलर के रूप में बदल देता है।

फिक्स्ड बजट: $\rho$ को फिक्स करने के बजाय, एल्गोरिदम लॉस स्पेस में एक लक्षित लॉस इंक्रीज $\sigma$ को फिक्स करता है।
बैक-सॉल्विंग रेडियस: परटर्बेशन रेडियस $\rho_t$ को गतिशील रूप से इस तरह गणना किया जाता है कि फर्स्ट-ऑर्डर लॉस वेरिएशन बजट $\sigma$ से मेल खा सके:
$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$
जहाँ $\varrho$ संख्यात्मक स्थिरता के लिए एक छोटा स्थिरांक है।
सरोगेट लॉस: जब इस एडेप्टिव रेडियस को टेलर एक्सपेंशन में वापस प्रतिस्थापित किया जाता है, तो फर्स्ट-ऑर्डर टर्म एक स्थिर स्केलर $\sigma$ बन जाता है:
$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{scalar constant}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$
चूंकि $\nabla_w \sigma = 0$ , ग्रेडिएंट-नॉर्म पेनल्टी को प्रभावी रूप से ऑप्टिमाइजेशन सिग्नल से हटा दिया जाता है। लर्निंग सिग्नल पूरी तरह से सेकंड-ऑर्डर कर्वेचर टर्म ( $\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$ ) की ओर स्थानांतरित हो जाता है।

स्थिरीकरण रणनीतियाँ (Stabilization Strategies)

जब ग्रेडिएंट नॉर्म छोटे होते हैं (जिससे अत्यधिक बड़ा $\rho_t$ हो सकता है) तो अस्थिरता को रोकने के लिए, LE-SAM दो सुरक्षा उपाय अपनाता है:

रेडियस क्लिपिंग (Radius Clipping): एक अधिकतम रेडियस $\rho_{max}$ लागू किया जाता है।
लॉस बजट एनीलिंग (Loss Budget Annealing): प्रशिक्षण के अंतिम चरणों के दौरान बजट $\sigma$ को धीरे-धीरे 0 की ओर एनेल (anneal) किया जाता है (जैसे कोसाइन डिके के माध्यम से) ताकि सुचारू अभिसरण (smooth convergence) सुनिश्चित हो सके।

3. प्रमुख योगदान (Key Contributions)

पेपर निम्नलिखित योगदानों का दावा करता है:

ऑब्जेक्टिव मिसमैच की पहचान: लेखक प्रदर्शित करते हैं कि मानक SAM में एडवर्सरियल परटर्बेशन एक फिक्स्ड-रेडियस, फर्स्ट-ऑर्डर लीनियरकृत सरोगेट के माध्यम से उत्पन्न होता है, जिससे लर्निंग सिग्नल कर्वेचर के बजाय ग्रेडिएंट मैग्नीट्यूड द्वारा हावी हो जाता है।
LE-SAM का प्रस्ताव: एक मैकेनिज्म-लेवल पुनर्गठन जो रेडियस के बजाय लॉस बजट को फिक्स करता है। यह फर्स्ट-ऑर्डर वेरिएशन को स्केलर बनाता है, जिससे ग्रेडिएंट-नॉर्म डोमिनेंस हट जाता है और लर्निंग सिग्नल पूरी प्रशिक्षण प्रक्रिया के दौरान कर्वेचर-डोमिनेटेड टर्म्स की ओर स्थानांतरित हो जाता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोगों से पता चलता है कि LE-SAM विविध बेंचमार्क पर मानक SAM और इसके वेरिएंट्स (ASAM, ESAM, F-SAM, और Eigen-SAM सहित) को लगातार पछाड़ते हुए, SOTA प्रदर्शन प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई कार्यों और डेटासेट्स पर LE-SAM का मूल्यांकन किया:

स्क्रैच से ट्रेनिंग (Training from Scratch):
- CIFAR-10/100: ResNet-18, WideResNet-28-10, और PyramidNet-110 का उपयोग करते हुए, LE-SAM ने सभी SAM वेरिएंट्स में उच्चतम सटीकता प्राप्त की। CIFAR-100 पर, इसने मानक SAM से 1.34 से 1.49 अंक अधिक प्रदर्शन किया।
- ImageNet: ResNet-50 और ResNet-101 को स्क्रैच से ट्रेन करते समय, LE-SAM ने क्रमशः 0.71 और 0.77 अंक से SAM को पीछे छोड़ दिया।
ट्रांसफर लर्निंग (Transfer Learning): एक प्री-ट्रेंड ViT-B-16 को CIFAR-10/100 पर फाइन-ट्यून करते समय, LE-SAM ने लगातार SAM से बेहतर प्रदर्शन किया।
डोमेन जनरलाइजेशन (SDG): PACS और VLCS डेटासेट्स पर, LE-SAM ने SAM की तुलना में औसत सटीकता में क्रमशः 2.18 और 0.84 अंक का सुधार किया।
रोबस्टनेस (Robustness): $L_2$ और $L_\infty$ PGD एडवर्सरियल अटैक्स के तहत, LE-SAM ने मजबूत रोबस्टनेस प्रदर्शित की, जिसने SAM से 2.47 अंक तक बेहतर प्रदर्शन किया।
लॉन्ग-टेल्ड लर्निंग (Long-Tailed Learning): CIFAR-100-LT पर, LE-SAM को SOTA मेथड GLMC के साथ मिलाने से GLMC+SAM की तुलना में और अधिक सुधार हुआ।

मैकेनिज्म विश्लेषण (Mechanism Analysis)

फ्लैटनेस मेट्रिक्स (Flatness Metrics): हेसियन ट्रेस और टॉप आइजनवैल्यू विश्लेषण ने पुष्टि की कि LE-SAM, SAM और SGD की तुलना में फ्लैटर मिनिमा (कम हेसियन ट्रेस और मैक्स आइजनवैल्यू) की ओर अभिसरित होता है।
ट्रेनिंग डायनेमिक्स (Training Dynamics): SAM के विपरीत, जो केवल प्रशिक्षण के अंतिम चरण में महत्वपूर्ण लाभ दिखाता है, LE-SAM ने पूरी प्रशिक्षण प्रक्रिया के दौरान पर्याप्त प्रदर्शन अंतर प्रदर्शित किया, जो यह प्रमाणित करता है कि कर्वेचर सिग्नल शुरुआत से ही सक्रिय है।
कंप्यूटेशनल लागत (Computational Cost): LE-SAM, डायनेमिक रेडियस की गणना के लिए नगण्य ओवरहेड के साथ, SAM के समान एसिम्प्टोटिक कॉम्प्लेक्सिटी (प्रति इटरेशन दो फॉरवर्ड-बैकवर्ड पास) बनाए रखता है।

5. महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि मौजूदा शार्पनेस-अवेयर मिनिमाइजेशन विधियों की प्राथमिक सीमा उनके फिक्स्ड-रेडियस, फर्स्ट-ऑर्डर एप्रोक्सिमेशन पर निर्भर होना है, जो अनजाने में कर्वेचर के बजाय ग्रेडिएंट मैग्नीट्यूड को प्राथमिकता देता है। "रेडियस के बजाय लॉस को फिक्स करके," LE-SAM एडवर्सरियल परटर्बेशन मैकेनिज्म पर मौलिक रूप से पुनर्विचार करता है।

लेखक दावा करते हैं कि यह दृष्टिकोण शार्पनेस-अवेयर लर्निंग का एक एकीकृत दृष्टिकोण प्रदान करता है जो आंतरिक रूप से कर्वेचर-अवेयर है। परटर्बेशन साइज को ग्रेडिएंट नॉर्म से अलग करके, LE-SAM फ्लैट क्षेत्रों की ओर अधिक सीधा और मजबूत मार्ग प्रदान करता है, जिसके परिणामस्वरूप बिना किसी महत्वपूर्ण कंप्यूटेशनल ओवरहेड के विभिन्न आर्किटेक्चर, डेटासेट्स और प्रशिक्षण परिदृश्यों (ट्रांसफर लर्निंग और डोमेन जनरलाइजेशन सहित) में बेहतर सामान्यीकरण प्रदर्शन प्राप्त होता है।