🤖 machine learning

Bridging Spherical Black-Box Optimizers

यह शोध पत्र इवोल्यूशन स्ट्रेटेजीज़ (Evolution Strategies), कंसेंसस-बेस्ड ऑप्टिमाइज़ेशन (Consensus-Based Optimization) और ऑप्टिमाइज़ेशन वाया इंटीग्रेशन (Optimization via Integration) को फिटनेस एग्रीगेशन (fitness aggregation) और कंसेंसस स्कोप (consensus scope) पर आधारित एक साझा सैद्धांतिक ढांचे में एकीकृत करता है, जो विभिन्न उच्च-आयामी कार्यों (high-dimensional tasks) में प्रदर्शन, सुदृढ़ता और मल्टीमॉडल खोज क्षमताओं को प्रभावी ढंग से संतुलित करने वाले हाइब्रिड ऑप्टिमाइज़र के निर्माण को सक्षम बनाता है।

मूल लेखक: Johannes Ackermann, Stefano Peluchetti

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Johannes Ackermann, Stefano Peluchetti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले परिदृश्य में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। आप पूरे मानचित्र को नहीं देख सकते, और आपके पास कोई दिशा-सूचक यंत्र (ग्रेडिएंट्स) भी नहीं है जो आपको बता सके कि नीचे जाने का रास्ता किस ओर है। आप केवल एक कदम उठा सकते हैं, यह देख सकते हैं कि आप कितनी ऊंचाई पर हैं, और तय कर सकते हैं कि आगे कहाँ जाना है। यही ब्लैक-बॉक्स ऑप्टिमाइज़ेशन (Black-Box Optimization) की दुनिया है।

लंबे समय से, शोधकर्ता इस समस्या को हल करने के लिए खोजकर्ताओं की अलग-अलग "टीमें" (teams) का उपयोग कर रहे हैं, लेकिन वे शायद ही कभी एक-दूसरे से बात करते थे। यह पेपर एक अनुवादक के रूप में कार्य करता है, जो यह दिखाता है कि ये विभिन्न टीमें वास्तव में बहुत समान चीजें कर रही हैं, बस उनके नियम थोड़े अलग हैं। इन संबंधों को समझकर, लेखकों ने नई "हाइब्रिड" टीमें बनाई हैं जो सबसे अच्छे स्थानों को खोजने में बेहतर हैं।

यहाँ सरल उपमाओं (analogies) का उपयोग करके पेपर के विचारों का विवरण दिया गया है:

1. खोजकर्ताओं की दो मुख्य टीमें

पेपर पहचानता है कि लोग घाटी के निचले हिस्से को खोजने के लिए दो मुख्य तरीकों का उपयोग कर रहे हैं:

"क्लाउड" टीम (पैरामीट्रिक मेथड्स - Parametric Methods): एक ही अनुमान के इर्द-गिर्द केंद्रित, एक विशाल, धुंधले बादल वाले खोजकर्ताओं की कल्पना करें। वे सभी फैल जाते हैं, इलाके की जांच करते हैं, और फिर पूरा बादल उस सबसे अच्छे स्थान की ओर खिसक जाता है जो उन्होंने पाया था।
- उदाहरण: इवोल्यूशन स्ट्रैटेजीज़ (ES) और ऑप्टिमाइज़ेशन वाया इंटीग्रेशन (OVI)।
- दोष: वे एक अच्छे स्थान को जल्दी से खोजने में माहिर हैं, लेकिन वे केवल एक ही घाटी में फंस जाते हैं। यदि कई घाटियाँ हैं, तो वे अन्य को मिस कर सकते हैं। साथ ही, यह इस पर निर्भर करता है कि वे "सबसे अच्छे" स्थान की गणना कैसे करते हैं, वे एक चौड़ी, सपाट घाटी (सुरक्षित लेकिन शायद पूर्णतः सबसे गहरी नहीं) या एक तीखी, संकीली चोटी (सबसे गहरी, लेकिन जोखिम भरी) को पसंद कर सकते हैं।
"क्राउड" टीम (नॉन-पैरामीट्रिक मेथड्स - Non-Parametric Methods): परिदृश्य में बिखरे हुए व्यक्तिगत खोजकर्ताओं के एक बड़े समूह की कल्पना करें। वे एक-दूसरे से बात करते हैं। यदि वे देखते हैं कि उनका कोई पड़ोसी अच्छा प्रदर्शन कर रहा है, तो वे उसकी ओर बढ़ते हैं।
- उदाहरण: कंसेंसस-बेस्ड ऑप्टिमाइज़ेशन (CBO)।
- दोष: वे एक ही समय में कई अलग-अलग घाटियों को खोजने में माहिर हैं (multimodal)। हालांकि, बहुत उच्च-आयामी (high-dimensional) परिदृश्यों में (जैसे 1,000-आयामी भूलभुलैया), भीड़ भ्रमित हो जाती है और समन्वय करने में संघर्ष करती है।

2. "मास्टर इक्वेशन": सार्वभौमिक अनुवादक

लेखकों ने खोजा कि दोनों टीमें वास्तव में एक ही बुनियादी रेसिपी का पालन कर रही हैं, जिसे वे मास्टर अपडेट (MU) कहते हैं। इसे एक सार्वभौमिक निर्देश पुस्तिका के रूप में सोचें।

इस रेसिपी में दो मुख्य 'नॉब्स' (knobs) हैं जो यह निर्धारित करते हैं कि टीम कैसे व्यवहार करेगी:

"शार्पनेस" नॉब (फिटनेस एग्रीगेशन - Fitness Aggregation): वे कैसे तय करते हैं कि "अच्छा" क्या है?
- क्या वे स्कोर का औसत निकालते हैं (सपाट घाटियों को प्राथमिकता देते हैं)?
- या वे बहुत अच्छे स्कोर पर तीव्रता से ध्यान केंद्रित करते हैं (तीखी, गहरी चोटियों को प्राथमिकता देते हैं)?
"स्कोप" नॉब (कंसेंसस स्कोप - Consensus Scope): टीम किसे सुनती है?
- क्या वे समूह में सभी को सुनते हैं (ग्लोबल कंसेंसस)? इससे एक एकल विजेता निकलता है।
- या वे केवल अपने पड़ोसियों को सुनते हैं (लोकल कंसेंसस)? इससे समूह को विभाजित होने और कई अलग-अलग विजेताओं को खोजने की अनुमति मिलती है।

3. नए हाइब्रिड खोजकर्ता

इन दो नॉब्स को घुमाकर, लेखकों ने ऐसे नए "हाइब्रिड" तरीके बनाए जो पुरानी टीमों के सर्वोत्तम गुणों को जोड़ते हैं।

हाइब्रिड A: "गोल्डिलॉक्स" ऑप्टिमाइज़र (ES-OVI)

समस्या: कभी-कभी आप एक ऐसा समाधान चाहते हैं जो पूर्णतः सर्वश्रेष्ठ (तीक्ष्ण/sharp) हो, लेकिन कभी-कभी आप एक ऐसा समाधान चाहते हैं जो मजबूत (robust) हो और वातावरण में थोड़ा बदलाव होने पर भी न टूटे (सपाट/flat)।
समाधान: लेखकों ने एक ऐसा तरीका बनाया है जो आपको "ES" (सपाट, सुरक्षित घाटियों को पसंद करता है) और "OVI" (तीखी, गहरी चोटियों को पसंद करता है) के बीच स्लाइडर चलाने की अनुमति देता है।
वास्तविक दुनिया का परीक्षण: उन्होंने रोबोट नियंत्रण कार्यों (जैसे रोबोट का कूदना या दौड़ना) पर इसका परीक्षण किया। उन्होंने पाया कि स्लाइडर को समायोजित करके, वे प्रदर्शन (रोबोट कितनी तेजी से चलता है) और मजबूती (रोबोट शोर या गलतियों को कितनी अच्छी तरह संभालता है) के बीच संतुलन बना सकते हैं। यदि रोबोट के सेंसर शोर वाले हैं, तो आप इसे अधिक स्थिर बनाने के लिए "सपाट" सेटिंग चुनते हैं।

हाइब्रिड B: "दिमाग वाला झुंड" (CBO-OVI / AdaPol)

समस्या: "क्राउड" टीम (CBO) कई समाधान खोजने में माहिर है लेकिन उच्च आयामों में विफल हो जाती है। "क्लाउड" टीम (OVI) उच्च आयामों में माहिर है लेकिन केवल एक समाधान पाती है।
समाधान: उन्होंने एक ऐसा तरीका बनाया है जो "क्लाउड" टीम की तरह शुरू होता है ताकि मानचित्र के एक आशाजनक क्षेत्र में तेजी से ज़ूम किया जा सके। एक बार जब यह करीब पहुँच जाता है, तो यह "क्राउड" मोड में बदल जाता है ताकि उस क्षेत्र के भीतर कई अलग-अलग अच्छे समाधान खोजने के लिए विभाजित हो सके।
वास्तविक दुनिया का परीक्षण: उन्होंने इसका उपयोग AI मॉडल को मर्ज करने के लिए किया। कल्पना कीजिए कि आपके पास तीन अलग-अलग वर्ज़न के चैटबॉट हैं, जिनमें से प्रत्येक अलग-अलग चीजों में अच्छा है। आप उन्हें सर्वश्रेष्ठ परिणाम प्राप्त करने के लिए एक साथ मिलाना चाहते हैं। "कैसे मिलाएं" का परिदृश्य कई स्थानीय जाल (traps) से भरा है। उनकी हाइब्रिड विधि सफलतापूर्वक कई अच्छे मिश्रण नुस्खे खोजने में सफल रही, जबकि पुराने तरीके केवल एक में ही फंस गए।

4. यह क्यों महत्वपूर्ण है

यह पेपर केवल यह नहीं कहता कि "हमने एक नया टूल बनाया।" यह कहता है, "हमें एहसास हुआ कि ये उपकरण वास्तव में आपस में भाई-बहन थे।"

अभ्यासकर्ताओं (Practitioners) के लिए: यदि आप किसी समस्या को हल करने की कोशिश कर रहे हैं, तो अब आप जानते हैं कि आपको केवल एक टूल चुनने की आवश्यकता नहीं है। आप उन्हें मिला सकते हैं। यदि आपको मजबूती (robustness) चाहिए, तो "फ्लैटनेस" नॉब घुमाएं। यदि आपको कई विकल्प खोजने हैं, तो "लोकल इंटरैक्शन" नॉब घुमाएं।
भविष्य के लिए: लेखक दिखाते हैं कि अंतर्निहित गणित को समझकर, हम ऐसे ऑप्टिमाइज़र बना सकते हैं जो अपने हिस्सों के योग से भी अधिक स्मार्ट हों। उन्होंने साबित किया कि यह मानक गणितीय पहेलियों, रोबोट नियंत्रण कार्यों और यहाँ तक कि बड़े भाषा मॉडल (LLMs) की जटिल दुनिया में भी काम करता है।

संक्षेप में: इस पेपर ने खोज के दो अलग-अलग दर्शनों को लिया—एक जो एक एकल, सुचारू पथ पर ध्यान केंद्रित करता है और दूसरा जो एक बिखरे हुए, बहु-पथ खोज पर ध्यान केंद्रित करता है—और दिखाया कि वे एक ही सिक्के के दो पहलू हैं। उन्हें मिलाकर, उन्होंने ऐसे खोजकर्ता बनाए जो पहले की तुलना में उच्च-दांव वाली सटीकता और अव्यवस्थित, बहु-विकल्प समस्याओं को बेहतर ढंग से संभाल सकते हैं।

तकनीकी सारांश: गोलाकार ब्लैक-बॉक्स ऑप्टिमाइज़र का एकीकरण (Bridging Spherical Black-Box Optimizers)

समस्या विवरण (Problem Statement)

उन परिदृश्यों में जहाँ ग्रेडिएंट जानकारी उपलब्ध नहीं होती या उसे कंप्यूट करना अव्यावहारिक होता है—जैसे कि सिम्युलेटर्स, बाहरी API, या सुदृढीकरण शिक्षण (Reinforcement Learning) के माध्यम से अनुकूलन—ब्लैक-बॉक्स ऑप्टिमाइज़ेशन (BBO) विधियाँ आवश्यक हो जाती हैं। वर्तमान BBO साहित्य अलग-अलग परिवारों में विभाजित है: पैरामीट्रिक विधियाँ (जैसे इवोल्यूशन स्ट्रेटेजीज़ (ES), ऑप्टिमाइज़ेशन वाया इंटीग्रेशन (OVI)) और नॉन-पैरामीट्रिक, पार्टिकल-आधारित विधियाँ (जैसे कंसेंसस-बेस्ड ऑप्टिमाइज़ेशन (CBO) और इसके वेरिएंट्स)। जबकि इन विधियों का स्वतंत्र रूप से अध्ययन किया गया है और उन्हें ग्रेडिएंट डिसेंट से जोड़ा गया है, उनके सैद्धांतिक संबंध अभी भी कम खोजे गए हैं। फलस्वरूप, अभ्यासकर्ताओं (practitioners) के पास एक एकीकृत ढांचा (unified framework) की कमी है जिससे वे यह समझ सकें कि ये विधियाँ एक-दूसरे से कैसे भिन्न हैं या वे उनकी शक्तियों को कैसे जोड़ सकते हैं, जैसे कि पैरामीट्रिक विधियों की उच्च-आयामी दक्षता और पार्टिकल-आधारित दृष्टिकोणों की मल्टीमॉडल क्षमताएं।

कार्यप्रणाली (Methodology)

लेखक एक एकल मास्टर अपडेट (MU) समीकरण पर केंद्रित एक एकीकृत ढांचे (Unified Framework) का प्रस्ताव करते हैं। यह ढांचा प्रदर्शित करता है कि ES, OVI, CBO, पोलराइज्ड CBO (pCBO), क्लस्टर्ड CBO (cCBO), और डिफ्यूजन इवोल्यूशन (DE) सभी इस मास्टर समीकरण के विशेष मामले हैं, जो मुख्य रूप से दो डिज़ाइन विकल्पों में भिन्न होते हैं:

फिटनेस एग्रीगेशन ( $\Psi(F)$ ): यह शार्प (sharp) बनाम फ्लैट (flat) मिनिमा के प्रति प्राथमिकता को नियंत्रित करता है।
- ES एक लीनियर एक्सपेक्टेशन (linear expectation) का उपयोग करता है (जो शार्प मिनिमा को स्मूथ कर देता है)।
- OVI और CBO एक लॉग-सम-एक्सप (log-sum-exp) एग्रीगेशन का उपयोग करते हैं (जो शार्प मिनिमा को संरक्षित या तीव्र करता है)।
कंसेंसस स्कोप ( $K_{i,j}$ ): यह इंटरेक्शन रेंज और मोडैलिटी को नियंत्रित करता है।
- ग्लोबल कंसेंसस (सभी पार्टिकल्स एक-दूसरे को प्रभावित करते हैं) यूनिमोडल कन्वर्जेंस की ओर ले जाता है।
- लोकल या क्लस्टर्ड कंसेंसस (पार्टिकल्स केवल पड़ोसियों या क्लस्टर सेंटर्स के साथ इंटरैक्ट करते हैं) मल्टीमॉडल ऑप्टिमाइज़ेशन को सक्षम बनाता है।

इन अंतर्दृष्टि के आधार पर, लेखक दो हाइब्रिड ऑप्टिमाइज़र विकसित करते हैं:

1. ES-OVI (पैरामीट्रिक हाइब्रिड)

यह विधि उनके ग्रेडिएंट्स के कॉनवेक्स कॉम्बिनेशन (convex combination) को लेकर ES और OVI के बीच मध्यस्थता करती है:
$\nabla J_\alpha(\theta) = \alpha \nabla J_{OVI}(\theta) + (1-\alpha) \nabla J_{ES}(\theta)$
जहाँ $\alpha \in [0, 1]$ ।

तंत्र (Mechanism): $\alpha=0$ होने पर यह ES को रिकवर करता है (फ्लैट मिनिमा को प्राथमिकता देता है), जबकि $\alpha=1$ होने पर यह OVI को रिकवर करता (शार्प मिनिमा को प्राथमिकता देता है)।
लक्ष्य: प्रदर्शन (असली न्यूनतम को खोजना) और मजबूती (robustness) (बेहतर सामान्यीकरण करने वाले फ्लैट मिनिमा खोजना) के बीच के ट्रेड-ऑफ को स्पष्ट रूप से नियंत्रित करना।

2. CBO-OVI हाइब्रिड (AdaPol और SchedPol)

यह दृष्टिकोण पैरामीट्रिक विधियों (OVI) की उच्च-आयामी दक्षता और पार्टिकल-आधारित विधियों (cCBO) की मल्टीमॉडल खोज के बीच के अंतर को पाटता है।

तंत्र: लेखक देखते हैं कि कंसेंसस हॉपिंग (CH) वास्तव में OVI के समान है। वे एक अनुकूलन रणनीति (AdaPol) या एक निश्चित शेड्यूल (SchedPol) का प्रस्ताव करते हैं जो आकर्षण पैरामीटर $\lambda$ $λ$ को ट्रांज़िशन करता है।
- $\lambda=1$ (CH/OVI व्यवहार) के साथ शुरू करें ताकि उच्च-आयामी स्थान में एक आशाजनक क्षेत्र तक जल्दी पहुँचा जा सके।
- $\lambda < 1$ (cCBO व्यवहार) की ओर ट्रांज़िशन करें ताकि मल्टीमॉडल एक्सप्लोरेशन और कई ऑप्टिमा खोजने की क्षमता मिल सके।
लक्ष्य: उच्च-आयामी कार्यों में प्रतिस्पर्धी प्रदर्शन प्राप्त करना और साथ ही कई समाधानों को खोजने की क्षमता बनाए रखना, जो पार्टिकल-आधारित विधियों को प्रभावित करने वाली "कर्स ऑफ डायमेंशनलिटी" (curse of dimensionality) की समस्या का समाधान करता है।

मुख्य योगदान (Key Contributions)

एकीकृत सैद्धांतिक ढांचा: यह पेपर स्थापित करता है कि विविध BBO विधियाँ (ES, OVI, CBO, DE, आदि) एक ही मास्टर अपडेट समीकरण से उत्पन्न होती हैं, जो केवल फिटनेस एग्रीगेशन और इंटरेक्शन स्कोप में भिन्न होती हैं।
तुल्यता प्रमाण (Equivalence Proofs): लेखक औपचारिक रूप से प्रदर्शित करते हैं कि:
- स्टोकैस्टिक स्मूथिंग (SS) और नेचुरल ES (NES), गोलाकार गौसियन (spherical Gaussians) के तहत समकक्ष हैं।
- कंसेंसस हॉपिंग (CH), OVI के समकक्ष है।
- डिफ्यूजन इवोल्यूशन (DE), pCBO का एक टाइम-इनहोमोजेनियस (time-inhomogeneous) कार्यान्वयन है।
नए हाइब्रिड एल्गोरिदम:
- ES-OVI: ऑप्टिमम की 'फ्लैटनेस' पर स्पष्ट नियंत्रण की अनुमति देता है, जिससे प्रदर्शन और मजबूती के बीच एक ट्यूनेबल ट्रेड-ऑफ संभव होता है।
- AdaPol/SchedPol: OVI की स्केलेबिलिटी को cCBO की मल्टीमॉडल खोज के साथ जोड़ता है, और उच्च-आयामी स्थानों में कई ऑप्टिमा खोजने में सफल होता है।
अनुभवजन्य सत्यापन (Empirical Validation): विधियों को मानक BBO बेंचमार्क (BBOB), उच्च-आयामी लोकोमोशन टास्क (Brax), और लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए इवोल्यूशनरी मॉडल मर्जिंग के एक नवीन अनुप्रयोग पर सत्यापित किया गया है।

परिणाम (Results)

BBO बेंचमार्क (BBOB): 2D और उच्च-आयामी वेरिएंट वाले मानक BBOB कार्यों पर, हाइब्रिड ES-OVI अक्सर अपने घटक तरीकों (ES और OVI) की तुलना में बेहतर प्रदर्शन करता है, विशेष रूप से "अट्रैक्टिव सेक्टर" जैसे मल्टीमॉडल कार्यों में जहाँ एक विधि विफल हो सकती है।
उच्च-आयामी नियंत्रण (Brax): $d \approx 1000$ डाइमेंशनलिटी वाले कार्यों में, AdaPol (अनुकूली CBO-OVI हाइब्रिड) अन्य CBO वेरिएंट्स की तुलना में बेहतर प्रदर्शन करता है। जबकि ES-OVI मजबूत प्रारंभिक प्रदर्शन दिखाता है, यह कभी-कभी शुद्ध OVI या CMA-ES की तुलना में उप-इष्टतम (suboptimal) अंतिम परिणामों पर अभिसरण (converge) करता है, जो इंटरपोलेशन पैरामीटर $\alpha$ की संवेदनशीलता को उजागर करता है।
मजबूती विश्लेषण (Robustness Analysis): Acrobot कार्य पर प्रयोगों से पता चलता है कि ES-OVI शोर (noise) के प्रति समाधान की संवेदनशीलता को ट्यून कर सकता है। कम $\alpha$ मान (ES के करीब) अधिक शोर-रोधी (robust) समाधान देते हैं, जबकि उच्च $\alpha$ मान (OVI के करीब) उच्च पीक प्रदर्शन लेकिन कम मजबूती प्रदान करते हैं।
इवोल्यूशनरी मॉडल मर्जिंग: LLMs को सीमित मूल्यांकन बजट के साथ मर्ज करने के संदर्भ में, इस समस्या को एक मल्टीमॉडल ऑप्टिमाइज़ेशन कार्य के रूप में फ्रेम किया गया है। SchedPol और AdaPol विधियाँ एक छोटे प्रशिक्षण सबसेट पर कई ऑप्टिमा (कुछ ओवरफिटिंग वाले, कुछ सामान्यीकरण करने वाले) को सफलतापूर्वक पहचानती हैं। पूर्ण डेटासेट पर मूल्यांकन करने पर, ये विधियाँ उन समाधानों को पाती हैं जो यूनिमोडल OVI के प्रतिस्पर्धी हैं, जबकि cCBO अकेले खराब इनिशियलाइजेशन के कारण संघर्ष करता है, और OVI अकेले विविध समाधान खोजने में विफल रहता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि गोलाकार ब्लैक-बॉक्स ऑप्टिमाइज़र के सैद्धांतिक आधारों को एकीकृत करके, शोधकर्ता और अभ्यासकर्ता विभिन्न एल्गोरिदम में निहित ट्रेड-ऑफ को बेहतर ढंग से समझ सकते। प्राथमिक महत्व इस बात में है कि इन विधियों के बीच इंटरपोलेशन (interpolation) करने की क्षमता है ताकि विशिष्ट आवश्यकताओं के अनुसार ऑप्टिमाइज़र को तैयार किया जा सके:

मजबूती (Robustness) के लिए: अभ्यासकर्ता फ्लैट मिनिमा खोजने के लिए ES-OVI का उपयोग कर सकते हैं, जिससे सुदृढीकरण शिक्षण (RL) और सुपरवाइज्ड लर्निंग में सामान्यीकरण में सुधार होता है।
उच्च-आयामी क्षेत्रों में मल्टीमोडैलिटी के लिए: CBO-OVI हाइब्रिड (AdaPol/SchedPol) उन उच्च-आयामी स्थानों में कई ऑप्टिमा खोजने का मार्ग प्रशस्त करते जहाँ पारंपरिक पार्टिकल-आधारित विधियाँ विफल हो जाती हैं।

लेखक निष्कर्ष निकालते हैं कि ये दृष्टिकोण केवल आइसोलेटेड ह्यूरिस्टिक्स (isolated heuristics) के रूप में उपचार करने के बजाय, विधि चयन और भविष्य के एल्गोरिदम डिजाइन का मार्गदर्शन कर सकते हैं। वे सीमाओं को स्वीकार करते हुए कहते हैं कि उनका ढांचा वर्तमान में केवल गोलाकार गौसियन वितरणों को कवर करता है (CMA-ES जैसे कोवेरिएंस-अनुकूली तरीकों को छोड़कर) और नए हाइपरपैरामीटर्स ( $\alpha, N_G$ ) पेश करता है जिन्हें ट्यून करने की आवश्यकता होती है।