🤖 machine learning

Adaptive Regularization for Sparsity Control in Bregman-Based Optimizers

यह शोध पत्र ब्रेगमन-आधारित ऑप्टिमाइज़र के लिए एक अनुकूली नियमितीकरण (adaptive regularization) योजना प्रस्तावित करता है जो उपयोगकर्ता द्वारा निर्दिष्ट स्पर्सिटी लक्ष्यों को विश्वसनीय रूप से प्राप्त करने के लिए स्पर्सिटी पेनल्टी पैरामीटर को गतिशील रूप से समायोजित करता है, जिससे मॉडल प्रदर्शन और मजबूती को बनाए रखते हुए या उसमें सुधार करते हुए महंगी हाइपरपैरामीटर ट्यूनिंग की आवश्यकता समाप्त हो जाती है।

मूल लेखक: Ahmad Aloradi, Tim Roith, Emanuël A. P. Habets, Daniel Tenbrinck

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmad Aloradi, Tim Roith, Emanuël A. P. Habets, Daniel Tenbrinck

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI ट्रेनिंग में "गोल्डिलॉक्स" (Goldilocks) की समस्या

कल्पना कीजिए कि आप एक लंबी हाइक के लिए एक बेहद कुशल, हल्का बैकपैक (एक न्यूरल नेटवर्क) बनाने की कोशिश कर रहे हैं। आप इसे स्पार्स (sparse) बनाना चाहते हैं, जिसका अर्थ है कि आप जितनी संभव हो सके उतनी अनावश्यक चीजों (पैरामीटर्स/वेट्स) को हटाना चाहते हैं ताकि यह हल्का और तेज़ रहे, लेकिन आप यह भी नहीं चाहते कि आप ज़रूरी चीज़ों को ही फेंक दें, वरना बैकपैक काम ही नहीं करेगा।

AI की दुनिया में, "स्पार्स ट्रेनिंग" वह प्रक्रिया है जिसमें कंप्यूटर को यह सिखाया जाता है कि उसे अपने मस्तिष्क के किन हिस्सों को रखना है और किन को बंद करना है। समस्या यह है कि इसके लिए मौजूदा उपकरण एक बिना निशान वाले डायल (knob) की तरह हैं।

पुराना तरीका: आपके पास एक नॉब (जिसे पैरामीटर, $\lambda$ कहा जाता है) है जो यह नियंत्रित करता है कि मॉडल कितना "स्पार्स" होगा। लेकिन यह डायल खराब है। यदि आप इसे "5" पर घुमाते हैं, तो आपको ऐसा बैकपैक मिल सकता है जो 70% खाली है। यदि आप इसे "500" पर घुमाते हैं, तो आपको ऐसा बैकपैक मिल सकता है जो 90% खाली है। इसका कोई स्पष्ट नियम नहीं है। अपने बैकपैक को ठीक 95% खाली (आपका लक्ष्य) बनाने के लिए, आपको अनुमान लगाना होगा, कोशिश करनी होगी, असफल होना होगा और फिर से अनुमान लगाना होगा। इसे "ट्रायल-एंड-एरर" (परीक्षण और त्रुटि) कहा जाता है, और यह बहुत सारा समय और ऊर्जा बर्बाद करता है।
विशिष्ट समस्या: यह पेपर एक विशिष्ट प्रकार की ट्रेनिंग विधि पर केंद्रित है जिसे ब्रेगमन ऑप्टिमाइज़र (Bregman optimizers) (विशेष रूप से LinBreg और AdaBreg नामक वेरिएंट) कहा जाता है। लेखकों ने पाया कि इन विधियों के लिए, "डायल" और भी अधिक खराब है। डायल की दो अलग-अलग सेटिंग्स बिल्कुल एक जैसा परिणाम दे सकती हैं, लेकिन डायल के नंबर 400 के गुणांक (factor) से भिन्न हो सकते हैं! यह एक विशिष्ट लक्ष्य तक पहुँचना अविश्वसनीय रूप से कठिन बना देता है।

समाधान: एक स्मार्ट, स्वयं-सुधार करने वाला थर्मोस्टेट

लेखक एक नई विधि प्रस्तावित करते हैं: एडेप्टिव रेगुलराइजेशन (Adaptive Regularization)।

डायल को एक बार सेट करने और उम्मीद करने के बजाय, उन्होंने प्रशिक्षण प्रक्रिया में एक स्मार्ट थर्मोस्टेट बनाया है।

लक्ष्य: आप सिस्टम को बताते हैं, "मैं चाहता हूँ कि बैकपैक ठीक 90% खाली हो।"
जांच: हर कुछ स्टेप्स के बाद, सिस्टम बैकपैक की जांच करता है। "हम्म, यह केवल 80% खाली है। हमें और चीजें हटाने की जरूरत है।"
समायोजन: सिस्टम स्वचालित रूप से नॉब को घुमाता है (पैरामीटर $\lambda$ को समायोजित करता है) ताकि मॉडल को और अधिक स्पार्स बनाया जा सके। यदि यह बहुत अधिक खाली (95%) है, तो यह नॉब को दूसरी दिशा में घुमाता है ताकि कुछ और चीजें रखी जा सकें।
परिणाम: सिस्टम लगातार खुद को फाइन-ट्यून करता है जब तक कि वह उस परफेक्ट 90% के निशान तक न पहुँच जाए, बिना किसी इंसान द्वारा अनुमान लगाए।

उन्होंने क्या टेस्ट किया: "वॉइस आईडी" चुनौती

यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने एक वास्तविक दुनिया के कार्य का उपयोग किया: ऑटोमैटिक स्पीकर वेरिफिकेशन (ASV)। इसे एक डिजिटल बाउंसर की तरह समझें जो आवाज़ सुनता है और निर्णय लेता है, "हाँ, यह जॉन है," या "नहीं, यह एक ढोंगी है।"

उन्होंने अपने "स्मार्ट थर्मोस्टेट" मेथड को दो लोकप्रिय AI मॉडल्स (ECAPA-TDNN और ResNet34) पर भारी वॉयस डेटाबेस (VoxCeleb और CNCeleb) का उपयोग करके टेस्ट किया।

मुख्य निष्कर्ष (परिणाम)

1. लक्ष्य तक पहुँचना आसान है
उनकी नई विधि के साथ, वे 75% से 99% के बीच कहीं भी स्पार्सिटी टारगेट को सफलतापूर्वक प्राप्त कर सके। पहले, 99% तक पहुँचना अनुमान लगाने का एक दुःस्वप्न था; अब, सिस्टम बस इसे स्वचालित रूप से करता है।

2. तेज़ और स्मार्ट
एडेप्टिव मेथड ने न केवल लक्ष्य प्राप्त किया; बल्कि वह वहां तक तेजी से पहुँचा। इसने पुराने "अनुमान और जांच" वाले तरीकों की तुलना में शुरुआती चरणों में अधिक तेज़ी से सीखा।

3. "रोबस्टनेस" (मजबूती) का बोनस
आमतौर पर, जब आप एक मॉडल को बहुत अधिक स्पार्स बनाते हैं, तो वह "भंगुर" (brittle) हो जाता है—वह उस डेटा पर बहुत अच्छा काम करता है जिस पर उसे प्रशिक्षित किया गया था, लेकिन जब वह कोई नई आवाज़ या अलग लहजा सुनता है, तो बुरी तरह विफल हो जाता है (Out-of-Distribution data)।

आश्चर्य: लेखकों ने पाया कि उनके स्पार्स मॉडल वास्तव में नए, अनदेखे स्वरों पर परीक्षण किए जाने पर पूर्ण, भारी मॉडलों की तुलना में अधिक रोबस्ट (मजबूत) थे।
रूपक: यह एक छात्र को पाठ्यपुस्तक रटने (डेंस मॉडल) बनाम मूल अवधारणाओं को समझने (स्पार्स मॉडल) के लिए प्रशिक्षित करने जैसा है। जब टेस्ट थोड़ा बदल जाता है, तो अवधारणा-समझने वाला छात्र (स्पार्स) रटने वाले से बेहतर प्रदर्शन करता है।

4. "क्लासिफायर" की गड़बड़ी
शोधकर्ताओं ने यह भी पता लगाया कि ये मॉडल अपने "खाली स्थान" का आवंटन कैसे करते हैं।

समस्या: मॉडल का झुकाव मस्तिष्क के "फाइनल एग्जाम" वाले हिस्से (क्लासिफायर) को बहुत भरा हुआ और डेंस रखने की ओर था, जबकि "सीखने" वाले हिस्सों (इंटरमीडिएट लेयर्स) को संसाधनों से वंचित रखा गया।
रूपक: कल्पना कीजिए कि एक छात्र अपना सारा अध्ययन समय फाइनल परीक्षा के प्रश्नों पर खर्च करता है लेकिन वास्तविक पाठों को अनदेखा करता है। जब टेस्ट बदलता है, तो वह विफल हो जाता है।
समाधान: उन्होंने दिखाया कि यदि वे मैन्युअल रूप से "फाइनल एग्जाम" वाले हिस्से को थोड़ा और स्पार्स बनाने के लिए मजबूर करते हैं, तो पूरा मॉडल बहुत बेहतर प्रदर्शन करता है, विशेष रूप से अत्यधिक स्पार्सिटी (99%) के स्तर पर।

सारांश

यह पेपर AI मॉडल्स को छोटा और अधिक कुशल बनाने के लिए एक "सेल्फ-ड्राइविंग" सिस्टम पेश करता है। विशिष्ट दक्षता स्तर प्राप्त करने के लिए इंसानों द्वारा सही सेटिंग्स का अनुमान लगाने के संघर्ष के बजाय, सिस्टम लक्ष्य तक पहुँचने के लिए खुद को स्वचालित रूप से समायोजित करता है।

यह समय बचाता है: अब अनंत अनुमान लगाने की ज़रूरत नहीं।
यह ऊर्जा बचाता है: तेज़ ट्रेनिंग का मतलब है कम बिजली का उपयोग।
यह बेहतर काम करता है: परिणामी मॉडल न केवल छोटे होते हैं बल्कि नए, कठिन डेटा का सामना करने पर अक्सर अधिक विश्वसनीय भी होते हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह मेथड एक बहुत बड़ा कदम है, लेकिन यह सुनिश्चित करने के लिए अभी भी काम किया जाना बाकी है कि जब "फाइनल एग्जाम" वाला हिस्सा बहुत लालची हो जाए, तो "सीखने" वाले हिस्से को संसाधनों से वंचित न किया जाए।

तकनीकी सारांश: ब्रेगमन-आधारित ऑप्टिमाइज़र्स में स्पर्सिटी कंट्रोल के लिए एडेप्टिव रेगुलराइजेशन

समस्या विवरण

स्पार्स ट्रेनिंग (Sparse training) डीप न्यूरल नेटवर्क्स (DNNs) की मेमोरी और कंप्यूटेशनल लागत को कम करने का एक मार्ग प्रदान करती है। हालांकि, स्पार्स ऑप्टिमाइज़ेशन में एक महत्वपूर्ण चुनौती अंतिम स्पर्सिटी रेट (sparsity rate) का अप्रत्यक्ष नियंत्रण है। $\ell_1$ पेनल्टी या ब्रेगमन-आधारित ऑप्टिमाइज़र्स (जैसे LinBreg और AdaBreg) पर निर्भर विधियाँ आमतौर पर $\lambda$ के माध्यम से स्पर्सिटी को नियंत्रित करती हैं। $\lambda$ के एक विशिष्ट मान और परिणामी स्पर्सिटी रेट के बीच का मैपिंग गैर-तुच्छ (non-trivial) है और अत्यधिक संवेदनशील है।

लेखक देखते हैं कि यह संवेदनशीलता ब्रेगमन-आधारित ऑप्टिमाइज़र्स में विशेष रूप से स्पष्ट है। उदाहरण के लिए, समान स्पर्सिटी प्राप्त करने के लिए LinBreg और AdaBreg को $\lambda$ के उन मानों की आवश्यकता हो सकती है जो एक दूसरे से दो ऑर्डर्स ऑफ मैग्नीट्यूड भिन्न हों। इसके लिए एक उपयोगकर्ता-निर्दिष्ट स्पर्सिटी लक्ष्य को पूरा करने के लिए "ओरेकल" $\lambda$ खोजने हेतु महंगे, मैनुअल ट्रायल-एंड-एरर स्वीप्स की आवश्यकता होती है, जो इन विधियों के व्यावहारिक कार्यान्वयन में बाधा डालता है। इसके अलावा, मौजूदा एडेप्टिव दृष्टिकोण अक्सर $\ell_1$ -रेगुलराइज्ड लॉस पर निर्भर करते हैं या पुन: प्रशिक्षण (re-training) की मांग करते हैं, जिससे वे कम्प्यूटेशनल रूप से महंगे या आधुनिक स्पार्स ट्रेनिंग में प्रयुक्त मिरर डिसेंट (Mirror Descent - MD) सेटअप के साथ असंगत हो जाते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक एडेप्टिव रेगुलराइजेशन स्कीम का प्रस्ताव करता है जिसे ब्रेगमन लर्निंग फ्रेमवर्क (विशेष रूप से LinBreg और AdaBreg) में एकीकृत किया गया है ताकि प्रशिक्षण के दौरान $\lambda$ को स्वचालित रूप से समायोजित किया जा सके।

मुख्य ढांचा (Core Framework)

यह विधि Bungert et al. [7] द्वारा पेश किए गए इनवर्स स्केल स्पेस दृष्टिकोण पर आधारित है। अनुकूलन समस्या (optimization problem) को एक लॉस फंक्शन $L(\theta)$ को न्यूनतम करने के रूप में फ्रेम किया गया है, जबकि विषय $\theta$ पर स्पर्सिटी बाधा $|\theta|_0 \leq a^*$ लागू है। एल्गोरिदम एक लीनियरलाइज्ड लॉस और ब्रेगमन डायवर्जेंस पर आधारित एक रेगुलराइजेशन फंक्शनल $R$ का उपयोग करके पैरामीटर्स $\theta$ को इटरेटिवली अपडेट करता है।

स्पर्सिटी को बढ़ावा देने के लिए, लेखक इलास्टिक नेट (Elastic Net) फंक्शनल का उपयोग करते हैं:
$EN_\lambda(\theta) := \frac{1}{2}|\theta|_2^2 + \lambda|\theta|_1$
यह विकल्प स्ट्रॉन्ग कॉनवेक्सिटी (strong convexity) सुनिश्चित करता है और प्रॉक्सिमल ऑपरेटर्स के उपयोग की अनुमति देता है। अपडेट नियम में एक सबग्रेडिएंट स्टेप और उसके बाद एक प्रॉक्सिमल स्टेप शामिल है:

सबग्रेडिएंट स्टेप: $p^{(k+1)} = p^{(k)} - \tau \nabla L(\theta^{(k)})$
प्रॉक्सिमल स्टेप: $\theta^{(k+1)} = \nabla EN^*_{\lambda(k)}(p^{(k+1)})$

एडेप्टिव रणनीति (Adaptive Strategy)

मुख्य योगदान स्पर्सिटी डिफेक्ट $\epsilon^{(k)} = s^* - s(\theta^{(k)})$ के आधार पर $\lambda$ का डायनेमिक एडैप्टेशन है, जहाँ $s^*$ लक्षित स्पर्सिटी है और $s(\theta)$ वर्तमान स्पर्सिटी है।

$\lambda$ के लिए अपडेट नियम प्रत्येक $f$ इटरेशन के बाद लागू किया जाता है:
$\lambda^{(k+1)} = \begin{cases} \lambda^{(k)} (1 + \alpha |\epsilon^{(k)}|)^{\text{sgn}(\epsilon^{(k)})} & \text{यदि } k \pmod f = 0 \\ \lambda^{(k)} & \text{अन्यथा} \end{cases}$
जहाँ $\alpha$ एक एक्सेलेरेशन फैक्टर है।

स्थिरता तंत्र (Stability Mechanisms):

डैम्पिंग (Damping): जैसे-जैसे स्पर्सिटी डिफेक्ट $|\epsilon^{(k)}|$ एक छोटे टॉलरेंस थ्रेशोल्ड $\zeta_d$ के करीब पहुँचता है, अपडेट फ्रीक्वेंसी $f$ और एक्सेलेरेशन फैक्टर $\alpha$ को कम (डैम्प) किया जाता है ताकि लक्षित स्पर्सिटी के आसपास हाई-फ्रीक्वेंसी ऑसिलेशन को रोका जा सके।
सैद्धांतिक विश्लेषण: लेखक एक लेम्मा प्रदान करते हैं जो $L$ -स्मूथनेस धारणाओं के तहत दिखाता है कि लॉस एक एरर टर्म के साथ घटता है जो $\lambda$ के परिवर्तन के परिमाण द्वारा नियंत्रित होता है। वे स्थिरता सुनिश्चित करने के लिए $\lambda$ के बाउंडेड रिलेटिव चेंज का भी विश्लेषण करते हैं।

मुख्य योगदान

स्वचालित स्पर्सिटी कंट्रोल: यह शोध पत्र [7] के ब्रेगमन फ्रेमवर्क को एक एडेप्टिव $\lambda$ तंत्र के साथ विस्तारित करता है जो मैनुअल हाइपरपैरामीटर ट्यूनिंग के बिना मॉडल को उपयोगकर्ता-निर्दिष्ट स्पर्सिटी लक्ष्यों (75% से 99% तक) तक विश्वसनीय रूप से ले जाता है।
ओरेकल ट्यूनिंग के साथ प्रदर्शन समानता: अनुभवजन्य परिणाम (Empirical results) दर्शाते हैं कि ऑटोमैटिक स्कीम के साथ प्रशिक्षित मॉडल उन समाधानों के बराबर या बेहतर प्रदर्शन करते हैं जिन्हें एक ओरेकल-ट्यून्ड फिक्स्ड $\lambda$ के साथ प्रशिक्षित किया गया है।
रोबस्टनेस का संरक्षण: अध्ययन स्पार्स मॉडल्स की आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) रोबस्टनेस की जांच करता है। यह पाता है कि स्पर्सिटी रोबस्टनेस को प्रेरित करती है और एडेप्टिव स्कीम इस गुण को बनाए रखती है, जो अक्सर OOD डेटा (जैसे CNCeleb) पर डेंस बेसलाइन्स से बेहतर प्रदर्शन करती है।
स्पर्सिटी एलोकेशन का विश्लेषण: लेखक एक उप-इष्टतम (sub-optimal) स्पर्सिटी एलोकेशन समस्या की पहचान करते हैं जहाँ ब्रेगमन ऑप्टिमाइज़र्स नेटवर्क के बाकी हिस्सों की तुलना में क्लासिफायर लेयर को अधिक डेंस रखने की प्रवृत्ति रखते हैं। अत्यधिक स्पर्सिटी स्तरों (जैसे 99%) पर, यह इंटरमीडिएट लेयर्स को लगभग पूर्ण स्पर्सिटी की ओर धकेलता है, जिससे प्रदर्शन गिर जाता है। पेपर सुझाव देता है कि $\lambda$ का प्रति-लेयर रीस्केलिंग इस समस्या को कम कर सकता है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन ECAPA-TDNN और ResNet34 आर्किटेक्चर के साथ VoxCeleb और CNCeleb डेटासेट्स का उपयोग करके ऑटोमैटिक स्पीकर वेरिफिकेशन (ASV) कार्यों पर किया गया।

स्पर्सिटी कंट्रोल: एडेप्टिव विधि ने दोनों ऑप्टिमाइज़र्स और आर्किटेक्चर के लिए 75% से 99% के बीच लक्षित स्पर्सिटी स्तर सफलतापूर्वक प्राप्त किए।
अभिसरण (Convergence): एडेप्टिव मॉडल शुरुआती प्रशिक्षण के दौरान नॉन-एडेप्टिव (फिक्स्ड $\lambda$ ) बेसलाइन्स की तुलना में तेजी से अभिसरित हुए।
प्रदर्शन (EER):
- इन-डोमेन डेटा (VoxCeleb) पर, एडेप्टिव स्पार्स मॉडल्स ने ओरेकल-ट्यून्ड नॉन-एडेप्टिव बेसलाइन्स के इक्वल एरर रेट (EER) के बराबर या उससे बेहतर प्रदर्शन किया।
- OOD डेटा (CNCeleb-E) पर, स्पार्स मॉडल्स ने आम तौर पर डेंस बेसलाइन्स की तुलना में बेहतर सामान्यीकरण (generalization) दिखाया, जो रोबस्टनेस हाइपोथेसिस की पुष्टि करता है।
- आर्किटेक्चर संवेदनशीलता: ECAPA-TDNN 95% स्पर्सिटी तक अच्छा प्रदर्शन करता है लेकिन 99% पर क्लासिफायर द्वारा बहुत अधिक स्पर्सिटी बजट सोख लेने के कारण तेजी से गिर जाता है। ResNet34 ने समान रुझान दिखाए लेकिन क्लासिफायर के पैरामीटर शेयर के प्रति अधिक संवेदनशील था।
प्रूनिंग के साथ तुलना: ग्रैजुअल प्रूनिंग बेसलाइन्स डेंस मॉडल्स के समान प्रदर्शन करते हैं, जबकि ब्रेगमन ऑप्टिमाइज़र्स (विशेष रूप से AdaBreg) उच्च स्पर्सिटी स्तरों पर ECAPA-TDNN पर बेहतर प्रदर्शन प्राप्त करते हैं।

महत्व और दावे

शोध पत्र का दावा है कि इसकी एडेप्टिव स्कीम प्रति-लक्ष्य $\lambda$ खोज की आवश्यकता को समाप्त करके स्पार्स मॉडल बनाने की इंजीनियरिंग लागत को काफी कम कर देती है। यह मॉडल चयन से जुड़े ऊर्जा पदचिह्न (energy footprint) को कम करता है और संसाधन-बाधित उपकरणों पर तैनाती को सुगम बनाता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि विधि सफलतापूर्वक स्पर्सिटी को नियंत्रित करती है और रोबस्टनेस को बनाए रखती है, यह क्लासिफायर लेयर में उप-इष्टतम स्पर्सिटी एलोकेशन के मुद्दे को पूरी तरह से हल नहीं करती है। उन्होंने स्पर्सिटी ऑसिलेशन के लिए सैद्धांतिक बाउंड्स के व्युत्पत्ति और प्रति-लेयर स्पर्सिटी एलोकेशन रणनीतियों के विकास को भविष्य के कार्य के रूप में महत्वपूर्ण दिशाओं के रूप में पहचाना है। पेपर यह दावा नहीं करता है कि यह स्पिकर वेरिफिकेशन के अंतर्निहित निष्पक्षता (fairness) या बायोमेट्रिक दुरुपयोग जोखिमों को बदलता है, यह नोट करते हुए कि ये जिम्मेदारी तैनाती चरण की है।