🤖 machine learning

Interleaved Noise Injection Improves Clean, Corrupted, and OOD Performance

यह शोध पत्र एक इंटरलीव्ड नॉइज़ इंजेक्शन शेड्यूल को ग्रेडिएंट-नॉर्म स्टेबिलाइज़ेशन के साथ प्रस्तावित करता है, जो सैद्धांतिक रूप से एक ड्यूल रेगुलेराइज़ेशन तंत्र के रूप में कार्य करता है ताकि न्यूनतम कम्प्यूटेशनल लागत के साथ क्लीन, नॉइज़ी और आउट-ऑफ-डिस्ट्रीब्यूशन डेटा पर मॉडल की मजबूती (रोबस्टनेस) को महत्वपूर्ण रूप से सुधारा जा सके।

मूल लेखक: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

प्रकाशित 2026-07-17

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matt L. Wiemann, Peter Melchior, Andrew K. Saydjari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को तस्वीरों में जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। आप उसे बिल्ली की एक तस्वीर दिखाते हैं, और वह कानों के आकार और पूंछ के घुमाव को सीखता है। लेकिन क्या होगा यदि फोटो धुंधली हो, बर्फ से ढकी हो, या उसमें कोई अजीब रंग का फ़िल्टर लगा हो? केवल एकदम साफ़ और स्पष्ट तस्वीरों पर प्रशिक्षित एक रोबोट भ्रमित हो सकता है और पूरी तरह से विफल हो सकता है। यह मशीन लर्निंग की दुनिया है, जहाँ कंप्यूटर डेटा को देखकर सीखते हैं। वास्तव में कुशल होने के लिए, ये कंप्यूटर ऑप्टिमाइज़ेशन (optimization) नामक एक प्रक्रिया का उपयोग करते हैं, जो एक ऐसे हाइकर (पर्वतारोही) की तरह है जो कोहरे से भरी घाटी में सबसे निचले बिंदु को खोजने की कोशिश कर रहा है। लक्ष्य "सर्वश्रेष्ठ" उत्तर खोजना है, लेकिन परिदृश्य छोटे-छोटे गड्ढों (लोकल मिनिमा/local minima) से भरा होता है जो नीचे की ओर दिखते तो हैं लेकिन असली तल नहीं हैं। इन उथले गड्ढों में फंसने से बचने के लिए, वैज्ञानिक अक्सर प्रशिक्षण डेटा में थोड़ा सा नॉइज़ (noise)—यानी रैंडम स्टैटिक या गड़बड़ी—जोड़ देते हैं। यह हाइकर के पैरों को हिलाने जैसा है ताकि वह एक छोटे छेद से बाहर निकल सके और वास्तविक घाटी के तल को खोज सके। लेकिन लंबे समय तक वैज्ञानिकों ने सोचा कि आपको शोर को धीरे-धीरे शून्य की ओर कम करना चाहिए, जैसे बैकग्राउंड म्यूजिक को धीमा किया जाता है।

अब, एक नए विचार की कल्पना करें: संगीत को धीरे-धीरे कम करने के बजाय, आप इसे तेज़ी से चालू और बंद करते रहते हैं। आप गाना बजाते हैं, फिर सन्नाटा, फिर गाना, फिर सन्नाटा। यह बिल्कुल वही है जो प्रिंसटन यूनिवर्सिटी के शोधकर्ताओं ने खोजा है। उन्होंने पाया कि इंटरलीव्ड नॉइज़ इंजेक्शन (interleaved noise injection)—यानी साफ़, सटीक डेटा और अव्यवस्थित, शोर वाले डेटा के बीच बारी-बारी से स्विच करने की विधि—रोबोट को अधिक स्मार्ट, मजबूत और खराब तस्वीरों में भी जानवरों को पहचानने में बेहतर बनाती है। उन्होंने केवल अनुमान लगाकर यह नहीं खोजा; उन्होंने इसे समझाने के लिए एक गणितीय सिद्धांत बनाया और CIFAR-100 और ImageNet जैसे प्रसिद्ध इमेज डेटासेट पर इसका परीक्षण किया। उनके परिणाम बताते हैं कि यह सरल "ऑन-ऑफ" स्विच अतिरिक्त कंप्यूटिंग पावर या नए डेटा की आवश्यकता के बिना कंप्यूटर को बुरी सीखने की आदतों से बाहर निकलने में मदद करता है।

स्मार्ट रोबोट्स के लिए "ऑन-ऑफ" स्विच

यह पेपर इंटरलीव्ड नॉइज़ इंजेक्शन नामक एक चतुर नए प्रशिक्षण शेड्यूल का परिचय देता है। एक न्यूरल नेटवर्क (रोबोट के मस्तिष्क) को प्रशिक्षित करना एक बड़े टेस्ट के लिए पढ़ाई करने जैसा समझें। आमतौर पर, आप एक टेक्स्टबुक (साफ़ डेटा) के साथ अध्ययन कर सकते हैं और फिर शायद कुछ अभ्यास प्रश्न गलतियों (शोर वाले डेटा) के साथ कर सकते हैं। पारंपरिक तरीके कहते हैं, "मजबूत नींव बनाने के लिए पहले गलतियों के साथ शुरू करें, फिर साफ़ टेक्स्टबुक पर स्विच करें," या "साफ़ शुरुआत करें और धीरे-धीरे गलतियाँ जोड़ें।" लेकिन लेखकों ने पाया कि इन तरीकों में खामियां हैं। यदि आप बहुत जल्दी स्विच करते हैं, तो आप साफ़ विवरण भूल जाते हैं; यदि आप बहुत देर से स्विच करते हैं, तो आप एक ही ढर्रे में फंस जाते हैं।

इसके बजाय, लेखक एक "पिंग-पोंग" शेड्यूल का प्रस्ताव करते हैं। वे मॉडल को कुछ राउंड (epochs) के लिए साफ़ डेटा पर प्रशिक्षित करते हैं, फिर अचानक "इम्पल्स नॉइज़" (जैसे नमक-और-काली मिर्च वाला स्टैटिक) या "गौसियन नॉइज़" (जैसे एक हल्का धुंधलापन) से ढके डेटा पर स्विच करते हैं, और फिर वापस साफ़ डेटा पर लौट आते हैं। वे इस चक्र को दोहराते हैं: साफ़, साफ़, साफ़, शोर वाला, साफ़, साफ़, साफ़, शोर वाला। यह निरंतर स्विचिंग एक 'रीसेट बटन' की तरह काम करती है। जब मॉडल शोर वाले डेटा पर होता है, तो उसे एक उथले, आसान समाधान (लोकल मिनिमा) से "धक्का" देकर बाहर निकाला जाता है और एक गहरे, अधिक मजबूत समाधान को खोजने के लिए मजबूर किया जाता है। जब वह वापस साफ़ डेटा पर स्विच करता है, तो वह उन महत्वपूर्ण विवरणों को याद रखता है जो उसने पहले सीखे थे, ताकि वह सब कुछ न भूल जाए।

शोर क्यों मायने रखता है: "अव्यवस्था" के दो प्रकार

पेपर एक दिलचस्प खोज करता है: सभी शोर एक जैसे नहीं होते, और अलग-अलग रोबोट के मस्तिष्क अलग-अलग तरह की अव्यवस्था पसंद करते हैं।

इम्पल्स नॉइज़ (सॉल्ट-एंड-पेपर): यह एक फोटो लेने और यादृच्छिक रूप से कुछ पिक्सेल को पूरी तरह से काला या सफेद करने जैसा है। लेखकों ने पाया कि यह ResNets (एक प्रकार का रोबोट मस्तिष्क जो छवियों को छोटे, स्थानीय टुकड़ों में देखता है, जैसे कोई इंसान चेहरे की एक विशेषता को एक समय में देखता है) के लिए सबसे अच्छा काम करता है। इम्पल्स नॉइज़ रोबोट को विशिष्ट पिक्सेल पर अत्यधिक ध्यान केंद्रित करने के बजाय बड़े चित्र को सीखने के लिए मजबूर करता है। यह एक छात्र को बताने जैसा है, "सिर्फ हर अक्षर की स्पेलिंग रटने की कोशिश मत करो; पूरे शब्द के आकार को समझो।"
गौसियन नॉइज़ (सॉफ्ट ब्लर): यह पूरी छवि में एक सौम्य, समान धुंध जोड़ने जैसा है। यह Vision Transformers (ViTs) के लिए सबसे अच्छा काम करता है, जो पूरी छवि को एक साथ देखते हैं और दूर के हिस्सों को जोड़ने का प्रयास करते हैं। ब्लर इन मॉडलों को नकली हो सकने वाले बड़े, स्पष्ट पैटर्न (जैसे बैकग्राउंड टेक्सचर) पर निर्भर रहने के बजाय, वस्तु के वास्तविक, स्थानीय विवरणों पर ध्यान केंद्रित करने के लिए मजबूर करता है।

लेखकों ने दिखाया कि यदि आप गलत रोबोट के लिए गलत शोर का उपयोग करते हैं, तो यह उतना मददगार नहीं होता। लेकिन यदि आप शोर को रोबोट के "व्यक्तित्व" के साथ मिलाते हैं, तो परिणाम अद्भुत होते हैं।

स्थिरता का जादू: चक्कर न आना

इस "ऑन-ऑफ" विचार के साथ एक समस्या थी। जब आप एक साफ़ फोटो से एक बहुत अधिक शोर वाली फोटो पर स्विच करते हैं, तो रोबोट का लर्निंग सिग्नल (इसका "ग्रेडिएंट") अनियंत्रित हो सकता है, जो बहुत बड़ा या बहुत छोटा हो जाता है, जिससे प्रशिक्षण अस्थिर हो जाता है। इसे ठीक करने के लिए, लेखकों ने एक ग्रेडिएंट-नॉर्म स्टेबिलाइजेशन (gradient-norm stabilization) तकनीक का आविष्कार किया। कल्पना कीजिए कि आप कार चला रहे हैं। जब आप एक ऊबड़-खाबड़ सड़क (शोर वाला डेटा) पर पहुँचते हैं, तो आप केवल एक्सीलरेटर नहीं दबाते; बल्कि आप अपनी गति को इस आधार पर समायोजित करते हैं कि आप चिकनी सड़क पर कितनी तेज़ चल रहे थे। लेखकों की विधि बिल्कुल यही करती है: यह शोर वाले डेटा से मिलने वाले "धक्के" को उस ज़ोर के आधार पर स्केल करती है जो साफ़ डेटा से मिला था। यह प्रशिक्षण को सुचारू रखता है और रोबलेट को पटरी से उतरने से बचाता है।

परिणाम: बेहतर, मजबूत और तेज़

शोधकर्ताओं ने दो प्रमुख डेटासेट्स पर इस पद्धति का परीक्षण किया: CIFAR-100 (100 प्रकार की वस्तुओं का एक सेट) और ImageNet (1,000 प्रकार की वस्तुओं का एक विशाल सेट)। उन्होंने अपने तरीके की तुलना रोबोट को मजबूत बनाने के अन्य लोकप्रिय तरीकों से की, जैसे "कटआउट" (छवि के हिस्सों को छिपाना) और "ऑगमिक्स" (विभिन्न इमेज स्टाइल को मिलाना)।

परिणाम प्रभावशाली थे:

साफ़ डेटा (Clean Data): भले ही रोबोट ने एकदम साफ़ तस्वीरों को कम समय दिया, लेकिन वह वास्तव में उन्हें पहचानने में उन रोबोटों से बेहतर निकला जिन्हें केवल साफ़ तस्वीरों पर प्रशिक्षित किया गया था।
करप्टेड डेटा (Corrupted Data): जब बर्फ, धुंध या डिजिटल गड़बड़ियों वाली तस्वीरों पर परीक्षण किया गया, तो इंटरलीव्ड नॉइज़ वाले रोबोट काफी सटीक थे। उदाहरण के लिए, ImageNet डेटासेट पर, एक ResNet50 मॉडल में इम्पल्स नॉइज़ जोड़ने से मानक पद्धति की तुलना में करप्टेड छवियों पर त्रुटि दर लगभग 2% कम हो गई।
आउट-ऑफ-डिस्ट्रीब्यूशन (OOD): यह "वास्तविक दुनिया" का परीक्षण है। रोबोट को ऐसी छवियां दिखाई गईं जो उनके प्रशिक्षण से बिल्कुल अलग थीं (जैसे फोटो के बजाय चित्र)। इंटरलीव्ड पद्धति ने उन्हें लगभग किसी भी अन्य विधि की तुलना में इन आश्चर्यों को बेहतर ढंग से संभालने में मदद की।

सबसे अच्छी बात? इस पद्धति में अतिरिक्त लागत लगभग शून्य है। इसके लिए अधिक कंप्यूटर समय या अधिक डेटा की आवश्यकता नहीं है। यह केवल डेटा दिखाने के क्रम को बदल देता है। लेखकों ने पाया कि हर 5 युग (epochs) (साफ़) के साथ 1 युग (शोर वाला) बदलने का सरल सेटिंग पूरे स्तर पर बहुत अच्छा काम करता है।

यह चीज़ों को कैसे बदल देता है

पेपर सुझाव देता है कि एक मजबूत AI का रहस्य केवल अधिक डेटा देखने या बड़े कंप्यूटरों का उपयोग करने में नहीं है। यह इस बारे में है कि आप डेटा को कैसे दिखाते हैं। साफ़ डेटा की "सुरक्षित" दुनिया को शोर वाले डेटा की "अव्यवस्थित" दुनिया के साथ एक लयबद्ध, इंटरलीव्ड पैटर्न में मिलाकर, मॉडल लचीला बनना सीखता है। यह उन छोटे, भटकाने वाले विवरणों को अनदेखा करना सीखता है जो आमतौर पर इसे धोखा देते हैं, और यह उन वास्तविक, अंतर्निहित पैटर्न को खोजने के लिए सीखता है जो दुनिया के अस्त-व्यस्त होने पर भी स्थिर रहते हैं।

लेखक निष्कर्ष निकालते हैं कि यह एक सरल, शक्तिशाली उपकरण है। यह सुझाव देता है कि भविष्य में, हमें वास्तविक दुनिया को संभालने के लिए अधिक जटिल रोबोट बनाने की आवश्यकता नहीं हो सकती; हमें बस उन्हें थोड़े से अराजक (chaos) वातावरण के साथ, सही समय पर चालू और बंद करके सिखाने की आवश्यकता हो सकती है।

तकनीकी सारांश: इंटरलीव्ड नॉइज़ इंजेक्शन क्लीन, करप्टेड और OOD परफॉरमेंस में सुधार करता है

समस्या विवरण (Problem Statement)

स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) और इसके वेरिएंट्स नॉन-कॉन्वेक्स लॉस सर्फेस को ऑप्टिमाइज़ करने के लिए मानक हैं, फिर भी वे अक्सर कम प्रदर्शन करने वाले लोकल मिनिमा (local minima) के साथ संघर्ष करते हैं। जबकि जानबूझकर नॉइज़ इंजेक्शन (आमतौर पर गॉसियन) को एक रेगुलराइज़र के रूप में कार्य करके मजबूती और सामान्यीकरण (generalization) में सुधार करने के लिए जाना जाता है, मौजूदा नॉइज़ शेड्यूल्स महत्वपूर्ण ट्रेड-ऑफ से ग्रस्त हैं। मोनोटोनिक डिके (monotonic decay) शेड्यूल्स ऑप्टिमाइज़र की ट्रेनिंग के अंत में सब-ऑप्टिमल मिनिमा से बाहर निकलने की क्षमता को सीमित कर देते हैं। इसके विपरीत, "करिकुलम" (क्लीन-टू-नॉइज़) या "एंटी-करिकुलम" (नॉइज़-टू-क्लीन) दृष्टिकोणों का जोखिम यह है कि या तो वे रेगुलराइजेशन पावर खो देते हैं या मॉडल क्लीन डेटा पर अंडरफिट हो जाता है और पहले से सीखे गए फीचर्स को विनाशकारी रूप से भूल (catastrophically forget) जाता है। इसके अलावा, विभिन्न प्रकार के नॉइज़ (जैसे गॉसियन बनाम इम्पल्स) और मॉडल आर्किटेक्चर (जैसे CNN बनाम विजन ट्रांसफॉर्मर) के बीच विशिष्ट अंतःक्रिया (interaction) ऑप्टिमाइज़ेशन डायनेमिक्स के संदर्भ में अभी भी कम खोजी गई है।

कार्यप्रणाली (Methodology)

इंटरलीव्ड नॉइज़ करिकुलम (Interleaved Noise Curriculum)

लेखक एक इंटरलीव्ड नॉइज़ शेड्यूल का प्रस्ताव करते हैं जो नॉइज़ को कम करने या एक बार स्विच करने के बजाय क्लीन और करप्टेड ट्रेनिंग एपोच के बीच बारी-बारी से चलता है। इस शेड्यूल को दो मापदंडों द्वारा परिभाषित किया गया है: $P$ (बिना नॉइज़ के एपोच) और $L$ (नॉइज़ के साथ एपोच)। नॉइज़ इंजेक्शन इंडिकेटर $I(t)$ एक स्क्वायर वेव फंक्शन है:
$I(t) = \begin{cases} 1 & \text{यदि } t \mod (P + L) \geq P \\ 0 & \text{अन्यथा} \end{cases}$
यह एक "ऑन-ऑफ-ऑन-ऑफ" पैटर्न बनाता है, जिससे ऑप्टिमाइज़र को नॉइज़ के साथ लॉस लैंडस्केप को एक्सप्लोर करने और क्लीन डेटा का उपयोग करके डिसीजन बाउंड्रीज को रिफाइन करने के बीच बारी-बारी से काम करने की अनुमति मिलती है।

रेगुलराइजेशन का सैद्धांतिक विश्लेषण (Theoretical Analysis of Regularization)

पेपर एक क्लीन सैंपल $x$ के आसपास लॉस फंक्शन $L(\theta, \tilde{x})$ का दूसरा-क्रम का टेलर एक्सपेंशन (second-order Taylor expansion) प्रदान करता है ताकि दो प्रकार के नॉइज़ के प्रभावों का विश्लेषण किया जा सके:

इम्पल्स (साल्ट-एंड-पेपर) नॉइज़: इसे $\tilde{x} = (1-m_t) \odot x + m_t \odot n$ के रूप में मॉडल किया गया है, जहाँ $n$ बर्नौली नॉइज़ है। अपेक्षित लॉस एक्सपेंशन तीन घटकों को प्रकट करता है:
- क्लीन लॉस।
- एक जैकोबियन रेगुलराइजेशन टर्म जो नॉइज़ लेवल $\sigma_t$ और इनपुट सेंसिटिविटी $\nabla_x L$ के समानुपाती है। यह टर्म हाई-कॉन्ट्रास्ट पिक्सेल फीचर्स के प्रति संवेदनशीलता को दंडित करता है।
- एक कर्वेचर रेगुलराइजेशन टर्म जो पिक्सेल कॉन्ट्रास्ट द्वारा भारित हेसियन डायगोनल (Hessian diagonal) के समानुपाती है।
- निष्कर्ष: इम्पल्स नॉइज़ डायरेक्शनल जैकोबियन रेगुलराइजेशन के रूप में कार्य करता है, जो मॉडल को स्थानीय पिक्सेल करप्शन के प्रति मजबूत बड़े पैमाने के फीचर्स सीखने के लिए प्रोत्साहित करता है।
गॉसियन नॉइज़: इसे $\tilde{x} = x + n_t$ के रूप में मॉडल किया गया है जहाँ $n_t \sim \mathcal{N}(0, \sigma_t I)$ । अपेक्षित लॉस एक्सपेंशन निम्नलिखित परिणाम देता है:
- क्लीन लॉस।
- एक कर्वेचर रेगुलराइजेशन टर्म जो हेसियन के ट्रेस ( $\text{Tr}(H_x)$ ) के समानुपाती है।
- निष्कर्ष: इम्पल्स नॉइज़ के विपरीत, गॉसियन नॉइज़ स्थानीय पिक्सेल कॉन्ट्रास्ट से स्वतंत्र एक समान कर्वेचर पेनल्टी प्रदान करता है, जो शार्पनेस-अवेयर मिनिमाइजेशन (SAM) के समान कार्य करता है लेकिन वेट स्पेस के बजाय इनपुट स्पेस में संचालित होता है।

ग्रेडिएंट-नॉर्म स्टेबिलाइजेशन (Gradient-Norm Stabilization)

इंटरलीव्ड नॉइज़ के साथ एक प्राथमिक चुनौती क्लीन और नॉइज़ी डेटा के बीच स्विच करते समय ग्रेडिएंट मैग्नीट्यूड की अस्थिरता है। ग्रेडिएंट्स को गायब होने या फटने से बचाने के लिए, लेखक एक डायनेमिक स्केलिंग फैक्टर $p_t$ पेश करते हैं:
$p_t = f \cdot \frac{\|\nabla_\theta L(\theta_{t-1}, x)\|_2}{\|\nabla_\theta L(\theta_t, \tilde{x})\|_2}$
जहाँ $f$ एक ट्यूनिंग पैरामीटर है। नॉइज़ी अपडेट को $p_t$ द्वारा स्केल किया जाता है, यह सुनिश्चित करते हुए कि नॉइज़ी एपोच के दौरान अपडेट का परिमाण क्लीन ग्रेडिएंट मैग्नीट्यूड के तुलनीय बना रहे।

मुख्य योगदान (Key Contributions)

इंटरलीव्ड नॉइज़ करिकुलम: एक नॉइज़ शेड्यूल का परिचय जो क्लीन और नॉइजी एपोच के बीच बारी-बारी से चलता है, जो स्टैंडर्ड करिकुलम, एंटी-करिकुलम और मोनोटोनिक डिके विधियों की तुलना में बेहतर प्रदर्शन करता है।
सैद्धांतिक सूत्रीकरण (Theoretical Formulation): यह व्युत्पत्ति (derivation) कि इम्पल्स नॉइज़ एक डायरेक्शनल जैकोबियन रेगुलराइज़र के रूप में कार्य करता है, जबकि गॉसियन नॉइज़ एक कर्वेचर पेनल्टी के रूप में कार्य करता है। यह समझाता है कि क्यों अलग-अलग नॉइज़ प्रकार अलग-अलग आर्किटेक्चर के लिए फायदेमंद होते हैं।
ग्रेडिएंट-नॉर्म स्टेबिलाइजेशन: डेटा डिस्ट्रीब्यूशन के बीच स्विचिंग से होने वाली वोलैटिलिटी को स्थिर करने के लिए एक नवीन तकनीक, जो अनुकूलन को अस्थिर किए बिना उच्च नॉइज़ स्तरों के उपयोग को सक्षम बनाती है।
आर्किटेक्चर-विशिष्ट प्राथमिकताएँ: प्रमाण कि कन्वेशनल न्यूरल नेटवर्क (ResNet) इम्पल्स नॉइज़ से अधिक लाभ उठाते हैं (लोकेलिटी बायस का मुकाबला करते हुए), जबकि अटेंशन-आधारित मॉडल (ViT) गॉसियन नॉइज़ के साथ बेहतर प्रदर्शन करते हैं (स्प्यूरियस लार्ज-स्केल फीचर्स को पकड़ने की प्रवृत्ति का मुकाबला करते हुए)।
ऑर्थोगोनैलिटी और स्टैकिंग: यह प्रदर्शन करना कि इंटरलीव्ड नॉइज़ इंजेक्शन को मौजूदा मजबूती विधियों (Cutout, SAM, AugMix, VIPAug) के ऊपर स्टैक किया जा सकता है, जिससे नगण्य कंप्यूटेशनल लागत के साथ और सुधार प्राप्त होता है।

प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CIFAR-100, CIFAR-100-C, ImageNet-1k, ImageNet-C, और ImageNet-R पर WideResNet, ResNet50, और ViT आर्किटेक्चर का उपयोग करके किया गया।

क्लीन परफॉरमेंस: इस धारणा के विपरीत कि नॉइज़ क्लीन परफॉरमेंस को खराब करता है, इंटरलीव्ड शेड्यूल ने केवल क्लीन डेटा पर ट्रेनिंग करने की तुलना में क्लीन टेस्ट एक्यूरेसी में सुधार किया। उदाहरण के लिए, CIFAR-100 पर, इंटरलीव्ड इम्पल्स नॉइज़ ने बेसलाइन की तुलना में क्लीन एरर को 0.9% कम कर दिया।
करप्शन और OOD रोबस्टनेस: करप्टेड डेटासेट्स (CIFAR-100-C, ImageNet-C) और OOD डेटासेट्स (ImageNet-R) पर महत्वपूर्ण सुधार देखे गए।
- ResNet50 के साथ ImageNet-1k पर, इंटरलीव्ड इम्पल्स नॉइज़ ने बेसलाइन SGD की तुलना में मीन करप्शन एरर (mCE) को 1.8% और OOD एरर को 1.4% कम किया।
- ViT पर, इंटरलीव्ड गॉसियन नॉइज़ ने mCE को 3.4% और AdamW के बेसलाइन पर OOD एरर को 2.1% कम किया।
ऑग्मेंटेशन के साथ तुलना: विधि ने जटिल ऑग्मेंटेशन स्कीम्स जैसे Cutout, SAM, और AugMix को पीछे छोड़ दिया या उनके बराबर प्रदर्शन किया। जब इसे AugMix के साथ स्टैक किया गया, तो इसने अतिरिक्त लाभ प्रदान किया (उदाहरण के लिए, CIFAR-100 क्लीन एरर को अतिरिक्त 0.9% और mCE को 0.4% कम करना)।
एब्लेशन स्टडीज (Ablation Studies):
- ग्रेडिएंट स्केलिंग ( $f$ ): पाया गया कि $f \approx 0.4$ का मान क्लीन एक्यूरेसी और करप्शन रोबस्टनेस के बीच सबसे अच्छा संतुलन प्रदान करता है।
- पीरियड ( $P$ ): इष्टतम प्रदर्शन $P \in [5, 10]$ के साथ हुआ। बहुत अधिक बार नॉइज़ देने से क्लीन एक्यूरेसी को नुकसान पहुँचा; बहुत कम बार नॉइज़ देने से रेगुलराइजेशन स्ट्रेंथ कम हो गई।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इंटरलीव्ड नॉइज़ इंजेक्शन एक सरल, प्रभावी उपकरण है जो लगभग शून्य कंप्यूटेशनल लागत पर मॉडल के प्रदर्शन को क्लीन, नॉइजी और OOD डेटा पर बेहतर बनाता है। SAM (जिसके लिए अतिरिक्त फॉरवर्ड/बैकवर्ड पास की आवश्यकता होती है) या जटिल डेटा ट्रांसफॉर्मेशन की तुलना में, यह विधि केवल पिछले क्लीन ग्रेडिएंट नॉर्म को ट्रैक करने के लिए उपयोग करती है।

लेखक तर्क देते हैं कि इस विधि की सफलता इसकी क्षमता से आती है:

लोकल मिनिमा से बचना: नॉइजी एपोच "किक्स" (kicks) प्रदान करती हैं जो ऑप्टिमाइज़र को शार्प, सब-ऑप्टिमल मिनिमा से बाहर निकलने की अनुमति देती हैं।
कैटास्ट्रोफिक फॉरगेटिंग को रोकना: क्लीन एपोच "रिमाइंडर्स" (reminders) के रूप में कार्य करती हैं, यह सुनिश्चित करती हैं कि मॉडल सटीक फीचर रिप्रेजेंटेशन बनाए रखे।
इंडक्टिव बायस को लक्षित करना: उपयुक्त नॉइज़ प्रकार का चयन करके (CNN के लिए इम्पल्स, ViTs के लिए गॉसियन), यह विधि मॉडल के इंडक्टिव बायस द्वारा प्रोत्साहित होने वाले फेल्योर मोड्स को विशेष रूप से दंडित करती है (जैसे, CNN में स्थानीय पिक्सेल फीचर्स पर अत्यधिक निर्भरता या ViTs में स्प्यूरियस ग्लोबल फीचर्स)।

यह कार्य सुझाव देता है कि नॉइज़ को केवल मजबूती के लिए एक रेगुलराइजेशन टूल के रूप में नहीं, बल्कि स्वयं ऑप्टिमाइज़ेशन ऑब्जेक्टिव को बेहतर बनाने के एक तंत्र के रूप में देखा जाना चाहिए, जिससे अधिक फ्लैट और सामान्यीकरण योग्य (generalizable) मिनिमा प्राप्त होते हैं।