🤖 machine learning

DREG: A Layer-Wise Jacobian Regularization as a General-Purpose Penalty

यह शोध पत्र एक बड़े पैमाने के अनुभवजन्य अध्ययन को प्रस्तुत करता है जो यह प्रदर्शित करता है कि DREG, जो कि एक लेयर-वाइज जैकोबियन रेगुलराइज़ेशन विधि है, आधुनिक डीप लर्निंग आर्किटेक्चर के लिए एक सुदृढ़, प्लग-एंड-प्ले समाधान के रूप में कार्य करते हुए समग्र सटीकता और डेटा-दुर्लभ परिदृश्यों में मौजूदा रेगुलराइज़र से बेहतर प्रदर्शन करता है।

मूल लेखक: Rowan Martnishn

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Rowan Martnishn

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों की एक टीम (एक न्यूरल नेटवर्क) को एक जटिल पहेली हल करने के लिए प्रशिक्षित कर रहे हैं। लक्ष्य यह है कि वे नियमों को इतनी अच्छी तरह से सीख लें कि वे बाद में नए पहेलियों को हल कर सकें, भले ही उनके टुकड़े थोड़े बिखरे हुए हों या रोशनी खराब हो।

आमतौर पर, शिक्षक इन छात्रों को उत्तरों को बहुत सख्ती से याद करने (जिसे "ओवरफिटिंग" कहा जाता है) से रोकने के लिए मानक तरीकों का उपयोग करते हैं। वे उन्हें बेतरतीब ढंग से कुछ सुरागों को अनदेखा करने (ड्रॉपआउट - Dropout) या बहुत अधिक "अहंकार" (वेट डिके - Weight Decay) के लिए दंडित करने के लिए कह सकते हैं। लेकिन इस शोध पत्र के लेखक, रोवन मार्टनिश ने पूछा: क्या उन्हें सिखाने का कोई स्मार्ट तरीका है?

उन्होंने एक नया तरीका टेस्ट किया जिसे DREG कहा जाता है। यहाँ इसका सरल विवरण दिया गया कि उन्होंने क्या पाया।

1. मूल विचार: "द वॉल्यूम नॉब" (आवाज़ का बटन)

एक न्यूरल नेटवर्क को एक घर में कमरों की एक श्रृंखला के रूप में सोचें। प्रत्येक कमरे में, एक छात्र आने वाली जानकारी को देखता है, उसे प्रोसेस करता है, और अगले कमरे में भेज देता है।

पुराने तरीके (जैसे वेट डिके) पूरे घर पर "दौड़ने मना है" का साइन लगाने की तरह हैं। वे हर कमरे के साथ एक जैसा व्यवहार करते हैं, चाहे अंदर कुछ भी हो रहा हो।
DREG हर एक कमरे में लगे एक स्मार्ट वॉल्यूम नॉब की तरह है।

शोध पत्र बताता है कि नेटवर्क के कुछ कमरे स्वाभाविक रूप से सिग्नल को बढ़ाते हैं (वॉल्यूम ऊपर करते हैं), जबकि अन्य इसे कम करते हैं। DREG प्रत्येक विशिष्ट कमरे में सिग्नल के "वॉल्यूम" को सुनता है। यदि कोई कमरा वॉल्यूम को बहुत अधिक बढ़ा रहा है (सिग्नल को बहुत संवेदनशील बना रहा है), तो DREG उस विशेष कमरे के लिए धीरे से नॉब को नीचे कर देता है। यदि कोई कमरा पहले से ही शांत है, तो DREG उसे अकेला छोड़ देता है।

इसे जैकोबियन रेगुलराइजेशन (Jacobian Regularization) कहा जाता है। यह "लेयर-वाइज" है, जिसका अर्थ है कि यह प्रत्येक कमरे की व्यक्तिगत रूप से जांच करता है, और यह "डेरिवेटिव-अवेयर" है, जिसका अर्थ है कि इसे पता है कि सिग्नल कितना तेज़ हो रहा है।

2. बड़ा प्रयोग: 960 परीक्षण

यह देखने के लिए कि क्या यह स्मार्ट वॉल्यूम नॉब वास्तव में काम करता है, शोधकर्ताओं ने केवल एक बार प्रयास नहीं किया। उन्होंने 960 विभिन्न परिदृश्यों के साथ एक विशाल प्रयोग चलाया।

उन्होंने इनका मिश्रण और मिलान किया:

छात्रों के लिए 4 अलग-अलग "व्यक्तित्व" (GELU, ReLU, आदि जैसे एक्टिवेशन फंक्शन)।
6 अलग-अलग शिक्षण शैलियाँ (रेगुलराइज़र, जिसमें पुराने तरीकों और DREG शामिल हैं)।
8 प्रकार की पहेलियाँ (डेटासेट जो हस्तलिखित संख्याओं को पहचानने से लेकर मूवी रिव्यू पढ़ने और दिल की धड़कनों का विश्लेषण करने तक फैले हुए हैं)।
साफ बनाम गंदा (Messy) स्थितियाँ (कुछ पहेलियों में एकदम सही टुकड़े थे; अन्य में 40% लेबल गलत थे या शोर/स्टैटिक से भरे हुए थे)।

3. तीन बड़ी जीत

नंबरों की गणना करने के बाद, DREG तीन विशिष्ट तरीकों से शीर्ष पर आया।

A. ऑल-राउंडर चैंपियन
DREG ने पूरे क्षेत्र में उच्चतम समग्र स्कोर हासिल किया। यह साफ पहेलियों पर किसी भी अन्य विधि, जिसमें लोकप्रिय "वेट डिके" और "ड्रॉपआउट" शामिल हैं, की तुलना में बेहतर था।

उपमा: यदि अन्य तरीके कड़ी मेहनत करने वाले अच्छे छात्र की तरह हैं, तो DREG वह छात्र है जो स्मार्ट तरीके से पढ़ता है, जो अपने द्वारा पढ़े जा रहे अध्याय की विशिष्ट कठिनाई के अनुसार खुद को ढाल लेता है।

B. "मेसी डेटा" विशेषज्ञ
जब डेटा शोर वाला था (जैसे धुंधली फोटो या भ्रष्ट हृदय संकेत), तो DREG ने अपना आधार बहुत अच्छी तरह से बनाए रखा। केवल एक अन्य विधि, जिसे स्पेक्ट्रल नॉर्मलाइजेशन (SN) कहा जाता है, शोर को संभालने में थोड़ा बेहतर थी, लेकिन DREG दूसरे स्थान पर बहुत करीब था।

उपमा: तूफानी कमरे में, अधिकांश छात्र भ्रमित हो जाते हैं और अपने कागजात गिरा देते हैं। DREG उस छात्र की तरह है जो जानता है कि हवा चलने पर भी अपने कागजात को कसकर कैसे पकड़ना है।

C. "छोटी क्लास" का हीरो
यह शायद सबसे आश्चर्यजनक खोज है। DREG तब सबसे अधिक चमका जब सीखने के लिए बहुत कम डेटा उपलब्ध था (जैसे 1,00,000 के बजाय केवल 3,500 छात्रों वाली एक क्लास)।

उपमा: जब आपके पास किताबों का एक विशाल पुस्तकालय होता है, तो आप लगभग कुछ भी सीख सकते हैं। लेकिन जब आपके पास केवल कुछ पन्ने होते हैं, तो आपको एक बहुत ही विशिष्ट रणनीति की आवश्यकता होती है। DREG एक ज्यामितीय "इंडक्टिव बायस" (inductive bias) के रूप में कार्य करता है—एक अंतर्निहित अंतर्ज्ञान जो मॉडल को समस्या के आकार को समझने में मदद करता है, भले ही उसने बहुत कम उदाहरण देखे हों।

4. "प्लग-एंड-प्ले" का जादू

शोध पत्र इस बात पर जोर देता है कि DREG का उपयोग करना अविश्वसनीय रूप से आसान है।

पुनर्निर्माण की आवश्यकता नहीं: आपको घर को गिराने और फिर से बनाने की ज़रूरत नहीं है।
ट्यूनिंग की आवश्यकता नहीं: आपको हर नई पहेली के लिए वॉल्यूम नॉब को एडजस्ट करने में हफ्तों बिताने की ज़रूरत नहीं है। शोधकर्ताओं ने सभी 960 प्रयोगों के लिए एक ही सेटिंग (एक विशिष्ट संख्या जिसे $\lambda$ कहा जाता है) का उपयोग किया, और यह हर जगह काम कर गया।
सरल कोड: लेखक दावा करते हैं कि आप केवल तीन अतिरिक्त लाइनों के साथ DREG को अपने कोड में जोड़ सकते हैं। यह एक "ड्रॉप-इन" टूल है।

5. यह कहाँ सबसे अच्छा फिट बैठता है

अध्ययन में पाया गया कि DREG विशेष रूप से GELU के साथ अच्छी तरह काम करता है, जो आधुनिक, अत्याधुनिक AI मॉडल (जैसे जो बड़े लैंग्वेज मॉडल्स को संचालित करते हैं) में उपयोग किया जाने वाला "डिफ़ॉल्ट व्यक्तित्व" है। यह सुझाव देता है कि DREG केवल एक छोटा सा ट्रिक नहीं है; यह आधुनिक AI के अग्रिम मोर्चे के लिए तैयार एक उपकरण है।

सारांश

शोध पत्र निष्कर्ष निकालता है कि DREG प्रशिक्षित करने का एक बेहतर तरीका है क्योंकि यह पूरे नेटवर्क के साथ एक जैसा व्यवहार नहीं करता है। इसके बजाय, यह एक स्मार्ट कंडक्टर की तरह कार्य करता है, ऑर्केस्ट्रा के विशिष्ट हिस्सों में आवाज़ को धीरे से ठीक करता है जहाँ संगीत बहुत तेज़ या अराजक हो रहा है। यह तब सबसे अच्छा काम करता है जब डेटा कम होता है, यह शोर को अच्छी तरह से संभालता है, और इसमें उपयोग के लिए लगभग कोई अतिरिक्त प्रयास नहीं लगता है।

जो शोध पत्र ने नहीं कहा:
लेखक इस बात पर ध्यान देने में सावधान रहे कि उनके "मेसी" परीक्षण सिंथेटिक (डेटा में जोड़ा गया नकली शोर) थे। उन्होंने यह दावा नहीं किया कि यह हर वास्तविक दुनिया की आपदा स्थिति (जैसे कि अचानक पूरे बाजार में बदलाव या बीमारी का पूरी तरह से नया प्रकार) में काम करेगा, न ही उन्होंने अभी तक बड़े, जटिल आर्किटेक्चर जैसे डीप ट्रांसफॉर्मर्स (deep Transformers) पर इसका परीक्षण किया है (हालांकि वे इसे एक संभावित अगला कदम बताते हैं)। उन्होंने सख्ती से केवल उनके द्वारा डिज़ाइन किए गए 960 विशिष्ट परिदृश्यों में मानक "मल्टी-लेयर पर्सेप्ट्रॉन्स" (MLPs) पर इसका परीक्षण किया।

तकनीकी सारांश: DREG – एक सामान्य-उद्देश्यीय दंड के रूप में लेयर-वाइज जैकोबियन रेगुलाइजेशन

समस्या विवरण

आधुनिक डीप लर्निंग मॉडल की अभिव्यक्ति (expressiveness) और प्रतिनिधित्व स्थिरता (representational stability) के बीच एक मौलिक तनाव बना रहता है। गहरे आर्किटेक्चर अक्सर अस्थिर मध्यवर्ती प्रतिनिधित्व (intermediate representations) उत्पन्न करते हैं जहाँ इनपुट में छोटे परिवर्तन परतों के माध्यम से बढ़ते जाते हैं। मौजूदा प्रमुख रेगुलाइजेशन रणनीतियाँ इस ज्यामितीय अस्थिरता को सटीक रूप से संबोधित करने में विफल रहती हैं:

ग्लोबल/यूनिफॉर्म बाधाएं (Global/Uniform Constraints): वेट डिके (Weight Decay) और स्पेक्ट्रल नॉर्मलाइजेशन (SN) पूरे नेटवर्क में पैरामीटर परिमाण या लिप्सचिट्ज़ स्थिरांक (Lipschitz constants) पर समान रूप से दंड लगाते हैं, जिससे वे हानिकारक अस्थिरता और लाभकारी प्रतिनिधित्व भिन्नता के बीच अंतर करने में विफल रहते हैं।
स्टोकेस्टिक मास्किंग (Stochastic Masking): ड्रॉपआउट (Dropout) स्टोकेस्टिक मास्किंग के माध्यम से रेगुलाइजेशन करता है, जो नेटवर्क के जैकोबियन की ज्यामितीय संरचना को बाधित नहीं करता है।
इनपुट-आउटपुट फोकस: पारंपरिक जैकोबियन रेगुलाइजेशन (जैसे, इनपुट ग्रेडिएंट पेनल्टीज़, IGPen) पूरे नेटवर्क को इनपुट-आउटपुट संवेदनशीलता के आधार पर नियंत्रित करता है, जिससे उन मध्यवर्ती परतों की अस्थिरता छूट जाती है जहाँ वास्तव में सिग्नल का प्रवर्धन (amplification) होता है।

पेपर का तर्क है कि एक ऐसे रेगुलाइज़र की आवश्यकता है जो लेयर-वाइज हो (विशिष्ट रूपांतरणों को नियंत्रित करने वाला) और एक्टिवेशन-अवेयर हो (एक्टिवेशन फंक्शन की स्थानीय ज्यामिति के प्रति संवेदनशील), न कि एक अंधाधुंध, ग्लोबल बाधा लगाने वाला।

कार्यप्रणाली (Methodology)

लेखक DREG (डेरिवेटिव रेगुलाइजेशन) प्रस्तुत करते हैं, जो एक ऐसा दंड (penalty) है जो उन परतों पर रेगुलाइजेशन दबाव केंद्रित करता है जहाँ एक्टिवेशन का डेरिवेटिव सबसे अधिक होता है। दंड को इस प्रकार परिभाषित किया गया है:

$R_{DREG} = \frac{1}{L} \sum_{\ell=1}^{L} \sum_{i} \phi'(z^{(\ell)}_i)^2 \cdot \|W^{(\ell)}_i\|^2_2$

जहाँ $\phi'$ प्री-एक्टिवेशन मान $z$ पर एक्टिवेशन फंक्शन का डेरिवेटिव है, और $W^{(\ell)}_i$ लेयर $\ell$ के वेट मैट्रिक्स की $i$ -वीं पंक्ति है। यह फॉर्मूलेशन एक्टिवेशन की स्थानीय संवेदनशीलता के आधार पर दंड को स्केल करता है, जिससे पैथोलॉजिकल संवेदनशीलता को केवल वहीं दबाया जाता है जहाँ वह होती है।

DREG का मूल्यांकन करने के लिए, लेखकों ने 960 रन वाला एक बड़े-स्तर का, पूरी तरह से क्रॉस-फैक्टरियल प्रयोग आयोजित किया। डिज़ाइन में निम्नलिखित को क्रॉस किया गया:

4 एक्टिवेशन: ReLU, GELU, Tanh, Swish.
6 रेगुलाइजर्स: DREG, Dropout, Spectral Normalization (SN), Weight Decay (WD), IGPen, और None (अनरेगुलराइज्ड बेसलाइन)।
8 डेटासेट: विजन (MNIST, MNIST-N), NLP (SST-5, Yelp5), टैबुलर (Wine Quality, Adult Income), और सिग्नल्स (MIT-BIH, MIT-BIH-N) तक विस्तृत।
5 रैंडम सीड्स।

दो नॉइज़ रिजीम (noise regimes) का परीक्षण किया गया: क्लीन (Clean) और मेसी (Messy) (करप्टेड)। मेसी वेरिएंट्स में MNIST के लिए 40% लेबल करप्शन और MIT-BIH सिग्नल्स के लिए एडिटिव गौसियन नॉइज़ (SNR = -10 dB) शामिल थे। DREG को सभी प्रयोगों में एक सिंगल फिक्स्ड हाइपरपैरामीटर ( $\lambda = 10^{-2.5}$ ) के साथ लागू किया गया था, बिना किसी प्रति-डेटासेट ट्यूनिंग के।

मुख्य योगदान और परिणाम

1. DREG समग्र और क्लीन सटीकता में श्रेष्ठता प्राप्त करता है

DREG ने सभी मूल्यांकित रेगुलाइजर्स में से उच्चतम समग्र औसत सटीकता (76.70%) और उच्चतम क्लीन-रिजीम सटीकता (77.61%) प्राप्त की।

इसने अनरेगुलराइज्ड बेसलाइन, वेट डिके और IGPen को महत्वपूर्ण रूप से पीछे छोड़ दिया (Wilcoxon $p \le 0.031$ )।
जबकि स्पेक्ट्रल नॉर्मलाइजेशन (SN) ने सर्वश्रेष्ठ नॉइज़ रोबस्टनेस (सबसे कम सापेक्ष गिरावट) हासिल की, DREG नॉइज़ रोबस्टनेस में दूसरे स्थान पर रहा और क्लीन डेटा पर सर्वश्रेष्ठ प्रदर्शन बनाए रखा।
महत्वपूर्ण रूप से, DREG और SN ही एकमात्र ऐसे तरीके थे जिन्होंने क्लीन और मेसी दोनों स्थितियों में नियमित (regularized) और अनरेगुलराइज्ड बेसलाइन्स, दोनों को लगातार पछाड़ दिया। ग्लोबल या स्टोकेस्टिक रेगुलाइजर्स (Dropout, WD, IGPen) बेसलाइन प्रदर्शन के करीब ही रहे।

2. फ्रंटियर डीप लर्निंग (GELU) के लिए प्रत्यक्ष प्रयोज्यता

GELU के तहत, जो आधुनिक ट्रांसफॉर्मर आर्किटेक्चर के लिए डिफॉल्ट एक्टिवेशन है, DREG 8 में से 4 डेटासेट्स पर सर्वश्रेष्ठ प्रदर्शन करने वाला रेगुलाइज़र रहा।

यह कंप्यूटर विजन (MNIST Messy) और नेचुरल लैंग्वेज प्रोसेसिंग (Yelp5 Messy) दोनों के मेसी रिजीम पर पहले स्थान पर रहा।
यह सुझाव देता है कि DREG विशेष रूप से उन सेटिंग्स में व्यावहारिक मजबूती (robustness) के लाभ प्रदान करता है जहाँ आधुनिक बड़े पैमाने के AI सिस्टम तैनात किए जाते हैं।

3. डेटा की कमी के तहत प्रभावशीलता

अध्ययन ने डेटासेट के आकार और DREG के सापेक्ष लाभ के बीच एक मजबूत सहसंबंध की पहचान की। अन्य रेगुलाइजर्स के माध्य (mean) पर DREG का प्रदर्शन लाभ सबसे छोटे डेटासेट्स पर सबसे अधिक स्पष्ट था:

MNIST Messy (3,500 सैंपल्स) पर +1.29%।
Wine Quality (4,547 सैंपल्स) पर +0.44%।
जैसे-जैसे ट्रेनिंग सेट का आकार बढ़ा, यह लाभ कम होता गया (उदाहरण के लिए, Adult Income के पास 21,113 सैंपल्स के साथ लगभग 0%)।
यह DREG को एक ज्यामितीय इंडक्टिव बायस (geometric inductive bias) के रूप में देखने के सैद्धांतिक दृष्टिकोण के अनुरूप है जो बड़े डेटा वॉल्यूम के रेगुलेटिंग प्रभाव के विकल्प के रूप में कार्य करता है।

4. प्लग-एंड-प्ले सादगी

DREG के लिए किसी भी आर्किटेक्चरल संशोधन की आवश्यकता नहीं है। इसे फॉरवर्ड पास के बाद एक सिंगल एडिटिव पेनल्टी टर्म के रूप में लागू किया जाता है, जिसके लिए केवल तीन अतिरिक्त लाइनों के कोड की आवश्यकता होती है। लेखकों ने प्रदर्शित किया कि एक सिंगल फिक्स्ड $\lambda$ विविध डोमेन, एक्टिवेशन और नॉइज़ स्तरों पर बिना ट्यूनिंग के प्रभावी ढंग से काम करता है।

महत्व और दावे

पेपर DREG को सभी के लिए सार्वभौमिक प्रतिस्थापन के रूप में नहीं, बल्कि उन सेटिंग्स के लिए एक सामान्य-उद्देश्यीय रणनीति के रूप में प्रस्तुत करता है जहाँ जैकोबियन संरचना गैर-तुच्छ (nontrivial) है। लेखक दावा करते हैं:

लेयर-वाइज़ ही श्रेष्ठ है: DREG और SN की सफलता यह बताती है कि व्यक्तिगत लेयर ट्रांसफॉर्मेशन को नियंत्रित करना ग्लोबल या स्टोकेस्टिक बाधाओं की तुलना में अधिक प्रभावी है।
एक्टिवेशन अवेयरनेस: स्क्वेर्ड एक्टिवेशन डेरिवेटिव के साथ दंड को वेट (weight) देकर, DREG उस जगह लक्षित करता है जहाँ अस्थिरता वास्तव में होती है (एम्प्लीफाइंग लेयर्स), न कि एक समान दबाव डालता है।
व्यावहारिक उपयोगिता: DREG एक लाइटवेट, ड्रॉप-इन पेनल्टी के रूप में कार्य करता है जो पूर्ण इनपुट-आउटपुट जैकोबियन पेनल्टी के कम्प्यूटेशनल ओवरहेड या अन्य विधियों की ट्यूनिंग जटिलता के बिना, विशेष रूप से GELU और लो-डेटा रिजीम में प्रदर्शन में सुधार करता है।

सीमाएँ

लेखक कुछ बाधाओं को स्वीकार करते हैं:

आर्किटेक्चर: प्रयोग फ्लैट MLPs तक सीमित थे; रेसिडुअल नेटवर्क या ट्रांसफॉर्मर में विस्तार के लिए और अधिक सत्यापन की आवश्यकता है, हालांकि पूर्व कार्य सुझाव देते हैं कि प्रति-लेयर रणनीतियाँ नॉन-स्किप ब्रांचेस (non-skip branches) में स्थानांतरित हो सकती हैं।
नॉइज़ रिजीम: "मेसी" स्थितियाँ सिंथेटिक (लेबल नॉइज़, गौसियन नॉइज़) थीं। परिणाम NLP या टैबुलर डेटा में जटिल डोमेन शिफ्ट या एडवरसेरियल परटर्बेशन (adversarial perturbations) के लिए सीधे सामान्यीकृत नहीं हो सकते हैं।
डिफरेंशिएबिलिटी: शून्य पर नॉन-डिफरेंशिएबिलिटी को संभालने के लिए ReLU को $\epsilon$ -शिफ्ट की आवश्यकता होती है, जो स्मूथ एक्टिवेशन की तुलना में एक मामूली इंजीनियरिंग विसंगति पेश करता है।
हाइपरपैरामीटर संवेदनशीलता: हालांकि एक फिक्स्ड $\lambda$ का उपयोग किया गया था, लेखक नोट करते हैं कि बड़े डेटासेट्स पर प्रदर्शन आंशिक रूप से सब-ऑप्टिमल $\lambda$ चयन द्वारा प्रभावित हो सकता है, और ग्रिड सर्च नहीं किया गया था।