🤖 AI

Sharpness-Aware Minimization with Z-Score Gradient Filtering

यह शोध पत्र Z-Score Filtered Sharpness-Aware Minimization का प्रस्ताव करता है, जो एक ऐसी विधि है जो परटर्बेशन स्टेप के दौरान केवल सबसे महत्वपूर्ण ग्रेडिएंट घटकों को बनाए रखने के लिए Z-score आधारित फ़िल्टरिंग लागू करके सामान्यीकरण (generalization) को बढ़ाती है, जिससे शोर कम होता है और मौजूदा Sharpness-Aware Minimization वेरिएंट्स की तुलना में विभिन्न डेटासेट्स और आर्किटेक्चर पर टेस्ट सटीकता में निरंतर सुधार होता है।

मूल लेखक: Vincent-Daniel Yun

प्रकाशित 2026-04-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Vincent-Daniel Yun

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ों के समूह में सबसे गहरी और सबसे आरामदायक घाटी खोजने की कोशिश कर रहे हैं। यह घाटी आपके आर्टिफिशियल इंटेलिजेंस (AI) के लिए किसी कार्य को सीखने के लिए "परफेक्ट" सेटिंग का प्रतिनिधित्व करती है। यदि आप एक तीखी, संकीर्ण चोटी पर रुक जाते हैं, तो AI विशिष्ट प्रशिक्षण डेटा (training data) पर तो बहुत अच्छा काम कर सकता है, लेकिन नए, वास्तविक दुनिया के डेटा को देखते समय बुरी तरह विफल हो सकता है। इसे ओवरफिटिंग (Overfitting) कहा जाता है।

यह शोध पत्र एक नई विधि पेश करता है जिसे ZSharp कहा जाता है, जो AI को एक तीखी चोटी पर फंसने के बजाय उस चौड़ी, आरामदायक घाटी को खोजने में मदद करती है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

1. समस्या: "शोर भरी भीड़" (The Noisy Crowd)

घाटी खोजने के लिए, AI एक मानचित्र (ग्रेडिएंट) देखता है जो उसे बताता है कि ढलान किस दिशा में नीचे की ओर जा रही है।

मानक AI (जैसे AdamW): बस अंधे होकर मानचित्र का अनुसरण करता है।
पुराना अपग्रेड (SAM): शार्पनेस-अवेयर मिनिमाइजेशन (SAM) नामक एक विधि बनाई गई थी ताकि यह अधिक स्मार्ट हो सके। केवल मानचित्र को देखने के बजाय, यह सबसे तीव्र ढलान की दिशा में एक छोटा कदम लेता है यह देखने के लिए कि जमीन और अधिक तीखी (sharp) हो रही है या समतल (flat)। यदि जमीन बहुत तीखी हो जाती है, तो इसे पता चल जाता है कि यह एक खराब चोटी पर है और यह एक समतल क्षेत्र की ओर बढ़ने का प्रयास करता है।

खामी: पुरानी SAM विधि भीड़ में मौजूद हर किसी की बात सुनती है। कल्पना कीजिए कि एक कमरा लोगों से भरा है जो दिशा-निर्देश चिल्ला रहे हैं। अधिकांश उपयोगी सलाह दे रहे हैं, लेकिन कई लोग केवल यादृच्छिक शोर (random noise) फुसफुसा रहे हैं या बकवास चिल्ला रहे हैं। क्योंकि SAM हर किसी को समान रूप से सुनता है, इसलिए यादृच्छिक फुसफुसाहट (शोर) AI को भ्रमित कर देती है, जिससे उसका कदम डगमगा जाता है और अक्षम हो जाता है। यह सबसे तीखे बिंदु को खोजने की कोशिश करता है, लेकिन शोर के कारण यह पहचानना मुश्किल हो जाता है कि वास्तविक तीखापन कहाँ है।

2. समाधान: "Z-स्कोर फ़िल्टर" (The Z-Score Filter - ZSharp)

लेखक ZSharp का प्रस्ताव देते हैं, जो AI के लिए एक स्मार्ट बाउंसर या नॉइज़-कैंसलिंग हेडसेट की तरह काम करता है।

हर एक व्यक्ति की दिशा सुनने के बजाय, ZSharp एक सांख्यिकीय उपकरण का उपयोग करता है जिसे Z-Score कहा जाता है। इसे औसत शोर (chatter) की तुलना में प्रत्येक व्यक्ति की दिशा कितनी "तेज़" या "असाधारण" है, इसे मापने के रूप में समझें।

फ़िल्टर: ZSharp सभी दिशाओं (ग्रेडिएंट्स) को देखता है और पूछता है, "क्या यह दिशा औसत शोर से काफी अलग है?"
कट (Cut): यह भीड़ के उस 95% हिस्से को अनदेखा कर देता है जो केवल बड़बड़ा रहा है या यादृच्छिक शोर चिल्ला रहा है। यह केवल शीर्ष 5% सबसे तेज़ और सबसे स्पष्ट आवाजों पर ध्यान देता है।
परिणाम: AI अब केवल सबसे महत्वपूर्ण, स्पष्ट संकेतों के आधार पर कदम उठाता है। यह उन छोटे, शोर वाले विवरणों को अनदेखा कर देता है जो आमतौर पर उसे अपने रास्ते से भटका देते हैं।

3. उपमा: रेडियो ट्यून करना (The Analogy: Tuning a Radio)

कल्पना कीजिए कि आप एक पुराने रेडियो को एक स्पष्ट स्टेशन पर ट्यून करने की कोशिश कर रहे हैं।

मानक SAM रेडियो डायल घुमाने जैसा है जबकि रेडियो एक साथ 100 अलग-अलग स्टेशनों से आ रहे स्टैटिक (static/शोर) को पकड़ रहा है। आप संगीत सुन सकते हैं, लेकिन स्टैटिक के कारण सही जगह ढूंढना मुश्किल हो जाता है।
ZSharp एक ऐसे फ़िल्टर की तरह है जो तुरंत सभी स्टैटिक और कमजोर संकेतों को म्यूट कर देता है, जिससे केवल सबसे मजबूत, स्पष्ट संकेत ही गुजर पाते हैं। अचानक, संगीत एकदम स्पष्ट हो जाता है, और आप आसानी से ट्यूनिंग रोकने के लिए सही जगह ढूंढ सकते हैं।

4. यह क्यों महत्वपूर्ण है

"शोर" को अनदेखा करके और केवल "सिग्नल" पर ध्यान केंद्रित करके, ZSharp AI को निम्नलिखित में मदद करता है:

बेहतर स्थान खोजना: यह अस्थिर चोटियों के बजाय चौड़ी, समतल घाटियाँ (बेहतर सामान्यीकरण/generalization) खोजता है।
तेजी से काम करना: यह डेटा के छोटे, अर्थहीन उतार-चढ़ाव पर प्रतिक्रिया देने में अपनी ऊर्जा बर्बाद नहीं करता है।
हर जगह काम करना: लेखकों ने विभिन्न प्रकार के AI (जैसे कि बिल्ली, कुत्ते या हस्तलिखित संख्याओं को पहचानने वाले AI) पर इसका परीक्षण किया और पाया कि यह लगातार पिछले सर्वोत्तम तरीकों को मात देता है।

निष्कर्ष (The Bottom Line)

ZSharp एक सरल लेकिन शक्तिशाली तकनीक है। यह AI को कहता है: "छोटे विवरणों और बैकग्राउंड शोर की चिंता न करें। बस बड़े, स्पष्ट रुझानों पर ध्यान दें।" यह AI को अधिक सुदृढ़ (robust) तरीके से सीखने में मदद करता है, जिससे वास्तविक दुनिया में नई स्थितियों का सामना करते समय यह अधिक स्मार्ट और विश्वसनीय बनता है।

यह शोध पत्र सिद्ध करता है कि गणित के "शांत" हिस्सों को फ़िल्टर करके, हम "तेज़" हिस्सों को बहुत बेहतर काम करने में सक्षम बना सकते हैं।

यहाँ शोध पत्र "Sharpness-Aware Minimization with Z-Score Gradient Filtering" (ZSharp) का विस्तृत तकनीकी सारांश दिया गया है, जिसे NeurIPS OPT 2025 और ICASSP 2026 में स्वीकार किया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क्स (DNNs) अक्सर खराब सामान्यीकरण (poor generalization) से जूझते हैं, एक ऐसी घटना जिसे अक्सर शार्प मिनिमा (sharp minima) की ओर अभिसरण (convergence) के रूप में देखा जाता है—अर्थात लॉस लैंडस्केप के वे क्षेत्र जहाँ उच्च वक्रता (high curvature) होती है, जहाँ पैरामीटर में छोटे बदलाव भी लॉस में बड़ी वृद्धि कर सकते हैं।

शार्पनेस-अवेयर मिनिमाज़ेशन (SAM) इसे पैरामीटर्स को ग्रेडिएंट की दिशा में विचलित (perturb) करके हल करता है ताकि एक स्थानीय पड़ोस के भीतर सबसे खराब स्थिति वाले लॉस (worst-case loss) वाले बिंदु को खोजा जा सके, और फिर उस 'वर्स्ट-केस' लॉस को कम किया जा सके। हालाँकि, लेखक मानक SAM में एक महत्वपूर्ण दोष की पहचान करते हैं:

शोर के प्रति संवेदनशीलता (Noise Sensitivity): SAM अपने आरोहण (ascent) की दिशा बनाने के लिए संपूर्ण ग्रेडिएंट वेक्टर का उपयोग करता है। उच्च-आयामी स्थानों (high-dimensional spaces) में, इस वेक्टर में कई कम-परिमाण वाले घटक होते हैं जो अक्सर सार्थक वक्रता जानकारी के बजाय मिनी-बैच शोर (minibatch noise) को दर्शाते हैं।
विकृति (Distortion): क्योंकि SAM विचलन (perturbation) से पहले ग्रेडिएंट को नॉर्मलाइज़ करता है, इसलिए ये नगण्य शोर वाले घटक बड़े, सूचनात्मक घटकों के समान ही आरोहण दिशा को प्रभावित करते हैं। यह विचलन को विकृत कर देता है, जिससे यह वास्तविक शार्प वक्रता दिशाओं के साथ संरेखित नहीं रह पाता और स्टोकेस्टिसिटी (stochasticity) को बढ़ा देता है, जिससे ऑप्टिमाइज़र के इष्टतम समाधानों को चूकने की संभावना बढ़ जाती है।

2. कार्यप्रणाली: ZSharp

लेखक Z-Score Filtered Sharpness-Aware Minimization (ZSharp) का प्रस्ताव करते हैं, जो आरोहण चरण (ascent step) को परिष्कृत करने के लिए SAM फ्रेमवर्क में सांख्यिकीय फ़िल्टरिंग को एकीकृत करता है।

मुख्य तंत्र (Core Mechanism)

आरोहण विचलन (ascent perturbation) के लिए पूर्ण ग्रेडिएंट वेक्टर का उपयोग करने के बजाय, ZSharp एक लेयर-वाइज़ Z-स्कोर नॉर्मलाइजेशन और परसेंटाइल-आधारित फ़िल्टरिंग लागू करता है:

लेयर-वाइज़ Z-स्कोर नॉर्मलाइजेशन:
प्रत्येक लेयर $\ell$ के लिए जिसमें ग्रेडिएंट वेक्टर $g^{(\ell)}$ है, यह विधि ग्रेडिएंट घटकों का माध्य ( $\mu$ ) और मानक विचलन ( $\sigma$ ) गणना करती है। इसके बाद यह प्रत्येक घटक को नॉर्मलाइज़ करती है:
$\Omega(g^{(\ell)})_i = \frac{g^{(\ell)}_i - \mu(g^{(\ell)})}{\sigma(g^{(\ell)})}$
यह प्रत्येक लेयर के भीतर ग्रेडिएंट्स को मानकीकृत (standardize) करता है, जिससे उन घटकों पर जोर दिया जाता है जो लेयर के औसत से काफी भिन्न हैं।
परसेंटाइल फ़िल्टरिंग (मास्किंग):
एक बाइनरी मास्क $m$ बनाया जाता है जो उनके पूर्ण Z-स्कोर के आधार पर केवल शीर्ष $(1 - Q_p)$ अंश के ग्रेडिएंट घटकों को बनाए रखता है:
$m_j = \begin{cases} 1 & \text{यदि } |\Omega(\nabla L(w))_j| > q_{Q_p} \\ 0 & \text{अन्यथा} \end{cases}$
जहाँ $q_{Q_p}$ एक $Q_p$ -वें परसेंटाइल थ्रेशोल्ड है (उदाहरण के लिए, $Q_p=0.95$ शीर्ष 5% घटकों को बनाए रखता है)।
फिल्टर्ड आरोहण चरण (Filtered Ascent Step):
विचलन $\epsilon$ की गणना कच्चे ग्रेडिएंट के बजाय फिल्टर्ड ग्रेडिएंट $\nabla L(w) \odot m$ का उपयोग करके की जाती है:
$\epsilon = \rho \cdot \frac{\nabla L(w) \odot m}{\|\nabla L(w) \odot m\|_2 + \delta}$
यदि फिल्टर्ड नॉर्म शून्य है, तो यह मानक SAM विचलन पर वापस चला जाता है। इसके बाद का मिनिमाइजेशन स्टेप (ग्रेडिएंट डिसेंट) मानक SAM के समान ही रहता है।

3. प्रमुख योगदान (Key Contributions)

नया फ़िल्टरिंग स्ट्रैटेजी: SAM के आरोहण चरण के लिए विशेष रूप से Z-स्कोर आधारित ग्रेडिएंट फ़िल्टरिंग का परिचय, जो शोर को दबाते हुए सांख्यिकीय रूप से महत्वपूर्ण वक्रता दिशाओं को प्रभावी ढंग से अलग करता है।
सैद्धांतिक गारंटी: लेखक एक अभिसरण प्रमाण (Theorem 4 और Corollary 5) प्रदान करते हैं, जो यह दर्शाता है कि ZSharp मानक स्मूथनेस और बाउंडेड-वेरिएंस धारणाओं के तहत मानक SAM की अभिसरण गारंटी को बनाए रखता है। फ़िल्टरिंग स्टेशनरी पॉइंट्स तक अभिसरण में बाधा नहीं डालती है।
सरलता और अनुकूलता: ZSharp के लिए केवल एक अतिरिक्त हाइपरपैरामीटर ( $Q_p$ , परसेंटाइल थ्रेशोल्ड) की आवश्यकता होती है और यह बिना किसी आर्किटेक्चरल संशोधन के मौजूदा ऑप्टिमाइज़र (SGD, AdamW) और आर्किटेक्चर (CNNs, Transformers) के साथ संगत है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग दिखाते हैं कि ZSharp विविध डेटासेट और मॉडल परिवारों में SAM और इसके वेरिएंट्स (ASAM, Friendly-SAM) को लगातार पछाड़ता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-10, CIFAR-100, और Tiny-ImageNet पर ResNet-56/110, VGG-16/BN, और Vision Transformers (ViT) का उपयोग करके किया गया।

प्रदर्शन: ZSharp ने सभी तुलना की गई विधियों (Baseline, SAM, ASAM, Friendly-SAM) के बीच लगातार उच्चतम Top-1 टेस्ट सटीकता प्राप्त की।
- उदाहरण (CIFAR-10 पर ResNet-56): ZSharp ने 92.64% सटीकता प्राप्त की, जो SAM (91.60%) और ASAM (92.28%) से अधिक है।
- उदाहरण (CIFAR-100 पर ViT-7/8/12-768): ZSharp ने 57.77% प्राप्त किया, जो ASAM (56.49%) और SAM (56.91%) से बेहतर है।
सामान्यीकरण बनाम ट्रेनिंग लॉस (Generalization vs. Training Loss): एक प्रमुख निष्कर्ष यह है कि ZSharp अक्सर अन्य विधियों की तुलना में उच्च ट्रेनिंग लॉस प्रदर्शित करता है लेकिन बेहतर टेस्ट सटीकता प्राप्त करता है। यह "बेनाइन ओवरफिटिंग" (benign overfitting) सिद्धांत के अनुरूप है, जो सुझाव देता है कि ZSharp सफलतापूर्वक मॉडल को उन फ्लैट मिनिमा (flatter minima) की ओर निर्देशित करता है जो बेहतर सामान्यीकरण करते हैं, भले ही ट्रेनिंग प्रक्षेपवक्र (trajectory) थोड़ा कम तीव्र हो।
हाइपरपैरामीटर संवेदनशीलता: $Q_p$ (0.75 से 0.95 तक) को बदलते हुए प्रयोगों ने दिखाया कि $Q_p = 0.95$ (केवल शीर्ष 5% ग्रेडिएंट्स को बनाए रखना) सर्वोत्तम प्रदर्शन देता है। जैसे-जैसे $Q_p$ कम होता है (अधिक ग्रेडिएंट्स को बनाए रखना), प्रदर्शन धीरे-धीरे मानक SAM के करीब पहुँच जाता है।

5. महत्व (Significance)

यह कार्य शार्पनेस-अवेयर मिनिमाइजेशन की एक मौलिक सीमा को संबोधित करता है: यह धारणा कि सभी ग्रेडिएंट घटक समान रूप से सूचनात्मक हैं। सांख्यिकीय रूप से शोर को फ़िल्टर करके और सबसे महत्वपूर्ण वक्रता दिशाओं पर ध्यान केंद्रित करके, ZSharp एक अधिक सुदृढ़ (robust) और स्थिर आरोहण दिशा प्रदान करता है।

व्यावहारिक प्रभाव: यह डीप मॉडल्स को प्रशिक्षित करने के लिए एक 'प्लग-एंड-प्ले' सुधार प्रदान करता है, जो विशेष रूप से बड़े पैमाने के मॉडल्स (जैसे ट्रांसफॉर्मर्स) के लिए फायदेमंद है जहाँ उच्च-आयामी ग्रेडिएंट स्पेस में शोर अधिक स्पष्ट होता है।
सैद्धांतिक अंतर्दृष्टि: यह इस विचार को पुष्ट करता है कि सामान्यीकरण (generalization) लॉस लैंडस्केप की ज्यामिति से जुड़ा है और सांख्यिकीय महत्व के आधार पर चयनात्मक विचलन (selective perturbation), कच्चे ग्रेडिएंट्स का उपयोग करने की तुलना में इस लैंडस्केप को अधिक प्रभावी ढंग से नेविगेट करने की एक व्यवहार्य रणनीति है।

संक्षेप में, ZSharp एक हल्का, सैद्धांतिक रूप से स्थापित अनुकूलन तकनीक है जो Z-स्कोर ग्रेडिएंट फ़िल्टरिंग के माध्यम से SAM के विचलन चरण (perturbation step) को परिष्कृत करके डीप न्यूरल नेटवर्क्स की सामान्यीकरण क्षमताओं को बढ़ाता है।