🤖 machine learning

LionVote: Per-Layer Learning Rate Adaptation for Lion

यह शोध पत्र LionVote प्रस्तुत करता है, जो एक प्रति-परत (per-layer) लर्निंग रेट अनुकूलन तंत्र है जो ग्रेडिएंट स्थिरता और मोमेंटम डायग्नोस्टिक्स का उपयोग करके लर्निंग रेट को गतिशील रूप से समायोजित करता है, जिससे ट्रांसफॉर्मर आर्किटेक्चर में अंतर्निहित क्रॉस-लेयर लर्निंग रेट असमानताओं को संबोधित करते हुए ViT-Tiny/CIFAR-100 पर मानक Lion और AdamW की तुलना में सांख्यिकीय रूप से महत्वपूर्ण सटीकता सुधार प्राप्त होता है।

मूल लेखक: Kris Atallah (New York University, New York, USA)

प्रकाशित 2026-07-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Kris Atallah (New York University, New York, USA)

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल डिजिटल मस्तिष्क को बिल्लियों, कुत्तों और कारों को पहचानने के लिए प्रशिक्षित कर रहे हैं। यह मस्तिष्क कई अलग-अलग परतों से बना है, जैसे कि एक बहु-मंजिला इमारत। आमतौर पर, जब हम इस मस्तिष्क को सिखाते हैं, तो हम हर एक मंजिल को "पढ़ाई का समय" (लर्निंग रेट) और गति का बिल्कुल समान हिस्सा देते हैं। यह वैसा ही है जैसे एक शिक्षक गणित की कक्षा, कला की कक्षा और जिम की कक्षा को, उनकी गतिविधियों की परवाह किए बिना, एक ही गति से दौड़ने के लिए कहे।

लेकिन क्या होगा अगर गणित के छात्रों को स्प्रिंट (तेज़ दौड़) लगाने की ज़रूरत हो, जबकि कला के छात्रों को टहलने की?

यही वह समस्या है जिसे LionVote हल करता है। यह "Lion" नामक एक विशिष्ट प्रकार के डिजिटल मस्तिष्क को प्रशिक्षित करने का एक नया तरीका है। शोधकर्ताओं ने पाया कि यदि आप मस्तिष्क के हर हिस्से के साथ एक जैसा व्यवहार करते हैं, तो कुछ हिस्से अभिभूत (overwhelmed) हो जाते हैं और कुछ ऊब जाते हैं।

बड़ी खोज: मस्तिष्क का "प्रभावी पैमाना" (Effective Scale) गलत है

लेखकों ने यह मापा कि Lion मस्तिष्क कैसे सीखता है और उन्हें एक आश्चर्यजनक बात पता चली। एक विशिष्ट परीक्षण पर (ViT-Tiny मॉडल का उपयोग करके, CIFAR-100 डेटासेट पर), मस्तिष्क का "प्रभावी पैमाना" ध्यान (attention) और जटिल सोच संभालने वाले हिस्सों (MLP पैरामीटर्स) के लिए 2.6 से 2.8 गुना अधिक था। संगठन बनाए रखने वाले हिस्सों (नॉर्मलाइजेशन लेयर्स) के लिए, यह लगभग 2 गुना अधिक था।

इसे ऐसे समझें: मस्तिष्क के ध्यान वाले हिस्से एक आग की बौछार (firehose) से पानी पीने की कोशिश कर रहे हैं, जबकि संगठन वाले हिस्से एक बगीचे की नली (garden hose) से पानी पी रहे हैं। ध्यान और MLP वाले हिस्से वास्तव में नॉर्मलाइजेशन पार्ट्स की तुलना में 32% अधिक प्रभावी पैमाना प्राप्त कर रहे हैं, भले ही शिक्षक (ग्लोबल लर्निंग रेट) दोनों के लिए नल को एक ही सेटिंग पर खुला रखे। यह बेमेल स्थिति मस्तिष्क को कुशलतापूर्वक सीखने में कठिनाई पैदा करती है।

समाधान: प्रत्येक परत के लिए एक मतदान प्रणाली

इसे ठीक करने के लिए, शोधकर्ताओं ने LionVote का आविष्कार किया। बजाय इसके कि एक शिक्षक पूरी इमारत को निर्देश चिल्लाकर दे, उन्होंने मस्तिष्क की हर एक परत को अपना स्वयं का छोटा, निरंतर "लेवल काउंटर" दिया।

यहाँ मतदान कैसे काम करता है:

कंपाउंड लेवल (The Compound Level): प्रत्येक परत का एक स्कोर (एक पूर्णांक/integer) होता है जो शून्य से शुरू होता है। यह स्कोर एक वॉल्यूम नॉब की तरह काम करता है, जो लर्निंग रेट को ऊपर या नीचे करता है।
दो वोट (The Two Votes): हर कुछ एपॉक्स (प्रशिक्षण चक्रों) के बाद, परत अपने स्वयं के स्वास्थ्य की जांच दो विशिष्ट परीक्षणों के माध्यम से करती है:
- वोट 1 (दिशा की जाँच - Direction Check): क्या परत एक स्थिर दिशा में बढ़ रही है, या यह आगे-पीछे डगमगा रही है? यदि ग्रेडिएंट (सीखने की दिशा) स्थिर है, तो इसे "थम्स अप" मिलता है। यदि यह बेतहाशा बदल रहा है, तो इसे "थम्स डाउन" मिलता है।
- वोट 2 (मोमेंटम स्वास्थ्य - Momentum Health): क्या परत का मोमेंटम (उसकी गति और जड़त्व) उसकी वर्तमान प्रगति की तुलना में बहुत अधिक शक्तिशाली है? यदि यह नियंत्रण से बाहर घूम रहा है, तो इसे "थम्स डाउन" मिलता है।
टाईब्रेकर (The Tiebreaker): कभी-कभी दोनों वोट असहमत होते हैं (एक कहता है "तेज़ चलो," दूसरा कहता है "धीरे चलो")। जब ऐसा होता है, तो सिस्टम वैलिडेशन लॉस (एक अभ्यास परीक्षण पर मस्तिष्क कितनी अच्छी तरह प्रदर्शन कर रहा है) को देखता है। यदि अभ्यास परीक्षण का स्कोर सुधरा है, तो यह आगे बढ़ने के लिए वोट देता है; यदि यह खराब हुआ है, तो यह धीमा होने के लिए वोट देता है।

इन वोटों के आधार पर, परत का "वॉल्यूम नॉब" (कंपाउंड लेवल) ऊपर या नीचे होता है। यदि कोई परत स्थिर है, तो उसे बढ़ावा मिल सकता है। यदि वह अराजक है, तो उसे ब्रेक दिया जा सकता है।

परिणाम: एक छोटा लेकिन वास्तविक लाभ

जब उन्होंने इसे ViT-Tiny मॉडल पर टेस्ट किया:

LionVote ने 69.71% सटीकता प्राप्त की।
मानक Lion ऑप्टिमाइज़र को 68.95% मिला।
लोकप्रिय AdamW ऑप्टिमाइज़र को 68.75% मिला।

LionVote और मानक Lion के बीच का अंतर सांख्यिकीय रूप से महत्वपूर्ण है (जिसका अर्थ है कि यह वास्तव में एक सुधार है और केवल किस्मत नहीं है), इसकी संभावना 2% से भी कम है कि यह संयोग से हुआ। ViT-Tiny/CIFAR-100 टेस्ट पर, LionVote ने AdamW को भी पछाड़ दिया, हालांकि ViT-Tiny/CIF-10 पर, LionVote ने AdamW को हराने के बजाय उसके बराबर प्रदर्शन किया।

यह क्या नहीं करता है

यह जानना महत्वपूर्ण है कि यह विधि क्या नहीं करती है, क्योंकि पेपर इस बारे में बहुत स्पष्ट है:

यह हर चीज़ के लिए जादुई समाधान (magic bullet) नहीं है। सरल, एकसमान नेटवर्क (जैसे WideResNet) पर, लर्निंग रेट को मैन्युअल रूप से ट्यून करने का पुराना तरीका (SGD के साथ कोसाइन एनीलिंग का उपयोग करना) अभी भी जीतता है। LionVote वहां मदद नहीं कर सका; वास्तव में, कुछ परीक्षणों में इसने चीजों को थोड़ा खराब कर दिया।
यह सभी कार्यों के लिए स्थायी समाधान नहीं है। लाभ इस बात पर निर्भर करता है कि परतें कितनी अलग हैं। आर्किटेक्चर जितना अधिक "विषम" (heterogeneous) होगा, LionVote उतना ही अधिक मदद करेगा। एकसमान WideResNet पर, परतें इतनी समान थीं कि वोटिंग सिस्टम को सुधारने के लिए बहुत कुछ नहीं मिला।
यह सभी ऑप्टिमाइज़र्स के लिए "सेट इट एंड फॉरगेट इट" नहीं है। "मोमेंटम हेल्थ" वोट के विशिष्ट नियम विशेष रूप रूप से Lion ऑप्टिमाइज़र के लिए बनाए गए थे। यदि आप इन सटीक नियमों को Adam जैसे किसी अन्य ऑप्टिमाइज़र पर आज़माते हैं, तो वे काम नहीं करेंगे क्योंकि मोमेंटम के पीछे का गणित अलग है।

निष्कर्ष (The Takeaway)

पेपर सुझाव देता है कि पर-लेयर अनुकूलन (per-layer adaptation) एक शक्तिशाली उपकरण है, लेकिन केवल तभी जब मस्तिष्क की संरचना इतनी जटिल हो कि उसकी ज़रूरतें अलग-अलग हों। LionVote साबित करता है कि प्रत्येक परत को अपनी सीखने की गति पर वोट करने देकर, हम हाथ से सही सेटिंग्स का अनुमान लगाए बिना, थोड़ा अतिरिक्त प्रदर्शन (इस विशिष्ट परीक्षण पर लगभग 0.7 प्रतिशत अंक) प्राप्त कर सकते हैं।

यह वैसा ही है जैसे यह महसूस करना कि एक व्यस्त स्कूल में, गणित के शिक्षक, कला के शिक्षक और जिम के शिक्षक को सभी एक ही आवाज़ में निर्देश नहीं चिल्लाने चाहिए। कभी-कभी, गणित की कक्षा को फुसफुसाहट की ज़रूरत होती है, और जिम की कक्षा को मेगाफोन की। LionVote वह प्रणाली है जो प्रत्येक कक्षा को स्वयं निर्णय लेने देती है।

तकनीकी सारांश: LionVote: Lion के लिए प्रति-परत लर्निंग रेट अनुकूलन (Per-Layer Learning Rate Adaptation)

समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क एकरूप (monolithic) नहीं होते हैं; विभिन्न प्रकार की परतें (जैसे, अटेंशन, MLP, नॉर्मलाइजेशन) विशिष्ट अनुकूलन विशेषताएँ प्रदर्शित करती हैं। मानक ऑप्टिमाइज़र जैसे कि Lion, सभी मापदंडों (parameters) पर एक ही वैश्विक लर्निंग रेट (LR) लागू करते हैं, जो संभावित रूप से गलत अंशांकन (miscalibration) की ओर ले जा सकता है। विशेष रूप से, Lion का साइन-आधारित अपडेट नियम ग्रेडिएंट परिमाण (magnitude) को त्याग देता है, जिससे दिशात्मक रूप से अस्थिर परतें बड़े अपडेट के माध्यम से क्षतिपूर्ति नहीं कर पाती हैं। यह Lion को सेकंड-मोमेंट विधियों (जैसे Adam) की तुलना में प्रति-परत LR मिसकैलिब्रेशन के प्रति विशेष रूप से संवेदनशील बनाता है।

पूर्व कार्य दर्शाते हैं कि प्रति-परत अनुकूली प्रीकंडीशनिंग (adaptive preconditioning) अनुकूली विधियों के लाभों को पुनः प्राप्त कर सकती है, लेकिन मौजूदा दृष्टिकोण या तो स्टेटलेस (stateless) रूप से कार्य करते हैं (जैसे LARS, LAMB), या लेयर-लेवल हिस्ट्री के बिना प्रति-कोऑर्डिनेट अनुकूलन लागू करते हैं, या हार्डकोडेड लेयर असाइनमेंट पर निर्भर करते हैं (जैसे Muon)। उन विधियों में एक अंतराल है जो स्टेटफुल लेयर-लेवल अनुकूलन को डेटा-संचालित दर समायोजन के साथ जोड़ती हैं, जिसमें विचलन परिमाण (divergence magnitudes) के मैनुअल ट्यूनिंग की आवश्यकता नहीं होती।

कार्यप्रणाली (Methodology): LionVote

LionVote एक प्रति-परत लर्निंग रेट तंत्र है जिसे Lion ऑप्टिमाइज़र के लिए डिज़ाइन किया गया है। यह प्रत्येक पैरामीटर टेंसर के लिए एक स्थायी पूर्णांक "कंपाउंड लेवल" ( $s_i$ ) पेश करता है, जो बेस लर्निंग रेट को घातीय (exponentially) रूप से मॉड्युलेट करता है। यह प्रणाली Lion के मूल अपडेट नियम को संशोधित किए बिना संचालित होती है, बल्कि इसमें एक वोटिंग तंत्र जोड़ा गया है जो प्रत्येक $c$ эпоक (epochs) में चलता है।

मुख्य घटक (Core Components)

कंपाउंड लेवल ( $s_i$ ):
प्रत्येक पैरामीटर $i$ एक स्तर $s_i \in \{-L, \dots, +L\}$ (डिफ़ॉल्ट $L=4$ ) बनाए रखता है। प्रभावी लर्निंग रेट है:
$\alpha_i = \text{lr} \cdot \exp(s_i \cdot \beta_1/2)$
जहाँ $\text{lr}$ वैश्विक बेस रेट है और $\beta_1$ Lion का मोमेंटम इंटरपोलेशन गुणांक है। $\beta_1=0.9$ पर, $s_i$ में एक यूनिट स्टेप $s_i$ के लिए $\times 1.57$ मल्टीप्लायर के अनुरूप होता है।
वोटिंग डायग्नोस्टिक्स (Voting Diagnostics):
प्रत्येक $c$ эпоक में, दो डायग्नोस्टिक्स इस बात पर वोट करते हैं कि प्रत्येक परत के लिए दर बढ़ानी चाहिए, घटानी चाहिए, या बनाए रखनी चाहिए:
- वोट 1 (ग्रेडिएंट दिशा स्थिरता): वर्तमान और पिछले эпоक-मीन ग्रेडिएंट्स के बीच कोसाइन सिमिलरिटी (cosine similarity) की गणना करता है।
  - थ्रेशोल्ड्स: यदि एलाइनमेंट $> 0.5$ (स्थिर) है तो $+1$ ; यदि $< 0$ (उल्टा) है तो $-1 $; अन्यथा$ 0$।
  - व्युत्पत्ति: $0.5$ का थ्रेशोल्ड कोऑर्डिनेट आइसोट्रॉपी (coordinate isotropy) के तहत कोऑर्डिनेट साइन पेयर्स के $2/3$ सुपरमेजॉरिटी (supermajority) के सहमत होने के अनुरूप है (शेपर्ड का फॉर्मूला)।
- वोट 2 (मोमेंटम हेल्थ): मोमेंटम EMA नॉर्म और ग्रेडिएंट नॉर्म का अनुपात ( $r = \|m\| / \|\bar{g}\|$ $r = ∥ m ∥/∥ \overset{g}{ˉ} ∥$ ) कंप्यूट करता है।
  - थ्रेशोल्ड्स: यदि $r > e$ है तो $-1 $; यदि$ r < 1/e $है तो$ +1 $; अन्यथा$ 0$।
  - व्युत्पत्ति: $\beta_2$ -EMA की आंतरिक टाइम कांस्टेंट ( $\beta_2^\tau = e^{-1}$ ) से व्युत्पन्न।
टाईब्रेकर (Validation Loss):
यदि दोनों वोट विरोधाभासी हैं या दोनों पक्ष तटस्थ (abstain) हैं, तो एक वैश्विक टाईब्रेकर वैलिडेशन लॉस में सापेक्ष परिवर्तन ( $\delta$ ) के आधार पर निर्णय को हल करता है।
- थ्रेशोल्ड: $\pm 1\%$ , जिसे विशिष्ट वैलिडेशन सेट आकारों के लिए क्रॉस-एन्ट्रॉपी लॉस अनुमान के नॉइज़ फ्लोर (noise floor) से मेल खाने के लिए चुना गया है।
- नोट: ViT-Tiny/CIFAR-100 पर, यह टाईब्रेकर प्रमुख सिग्नल पाथ है, जो $\sim 59\%$ निर्णयों के लिए सक्रिय होता है।
अपडेट नियम (Update Rule):
$s_i$ को एक एसिमेट्रिक (asymmetric) नियम के माध्यम से अपडेट किया जाता है: एक $+1$ वोट नेगेटिव लेवल्स को 0 पर रीसेट करता है और पॉजिटिव्स को बढ़ाता है; एक $-1 $वोट पॉजिटिव लेवल्स को 0 पर रीसेट करता है और नेगेटिव्स को घटाता है;$ 0$ का वोट लेवल को शून्य की ओर कम (decay) करता है।

मुख्य योगदान (Key Contributions)

Lion के लिए एक स्टेटफुल प्रति-लेयर मैकेनिज्म: पेपर एक वोटिंग सिस्टम प्रस्तावित करता है जहाँ थ्रेशोल्ड्स ट्यून किए गए हाइपरपैरामीटर्स के बजाय ज्यामितीय पहचान (geometric identities) और EMA टाइम कांस्टेंट्स से व्युत्पन्न होते हैं। इन थ्रेशोल्ड्स को व्युत्पन्न करने की पद्धति (जैसे $2/3$ सुपरमेजॉरिटी कन्वेंशन और $e$ -फैक्टर) को अन्य ऑप्टिमाइज़र्स के लिए पुन: प्रयोज्य (reusable) के रूप में प्रस्तुत किया गया है।
Lion में मिसकैलिब्रेशन का परिमाणीकरण (Quantified Miscalibration): कंपाउंड लेवल ट्रैजेक्टरीज के माध्यम से, लेखक दर्शाते हैं कि ViT-Tiny/CIFAR-100 पर, Lion का प्रभावी स्केल व्यवस्थित रूप से बहुत अधिक है:
- अटेंशन और MLP पैरामीटर्स के लिए $2.6\times$ – $2.8\times$ अधिक है।
- नॉर्मलाइजेशन लेयर्स के लिए $\sim 2\times$ अधिक है।
- नॉर्मलाइजेशन लेयर्स को अटेंशन लेयर्स की तुलना में $32\%$ उच्च प्रभावी स्केल प्राप्त होता है। यह विसंगति एकल वैश्विक दर कमी (global rate reduction) द्वारा पुनरुत्पादित नहीं की जा सकती।
आर्किटेक्चर और टास्क डिपेंडेंस: प्रति-लेयर अनुकूलन का मूल्य आर्किटेक्चरल विषमता (heterogeneity) और विशिष्ट कार्य पर निर्भर करता है।
- ViT-Tiny: CIFAR-100 पर महत्वपूर्ण लाभ दिखाता है ( $69.7\%$ बनाम Lion का $69.0\%$ ) क्योंकि लेयर प्रकारों में बड़ा प्रसार है।
- WideResNet: यूनिफॉर्म CNN आर्किटेक्चर पर, ट्यून्ड SGD कोसाइन एनीलिंग के साथ हावी रहता है, और LionVote कोई सुसंगत लाभ प्रदान नहीं करता है।
- टास्क सेंसिटिविटी: ViT-Tiny पर, LionVote CIFAR-100 पर प्रदर्शन में सुधार करता है लेकिन CIFAR-10 पर प्रदर्शन को काफी कम कर देता ($-0.88$ pp), जो दर्शाता है कि केवल आर्किटेक्चरल विषमता ही पर्याप्त नहीं है; टास्क-लेवल के कारक भी अनुकूलन की उपयोगिता को निर्धारित करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग 8 रैंडम सीड्स के साथ WideResNet और ViT-Tiny पर CIFAR-10 और CIFAR-100 पर किए गए।

ViT-Tiny / CIFAR-100: LionVote (कैडेन्स 8) 69.71% टॉप-1 सटीकता प्राप्त करता है, जो Lion (68.95%, $p < 0.02$ ) और AdamW (68.75%) से बेहतर है। यह Lion की तुलना में $\sim 80$ эпоक पहले 68% सटीकता के स्तर तक पहुँच जाता है।
ViT-Tiny / CIFAR-10: LionVote (कैडेन्स 8) 91.52% प्राप्त करता है, जो मानक Lion (92.40%, $p < 0.001$ ) से सांख्यिकीय रूप से काफी कम है।
WideResNet: ट्यून्ड SGD कोसाइन एनीलिंग के साथ सभी कॉन्फ़िगरेशन पर हावी है (जैसे, WRN-28-10/CIFAR-10 पर 96.08%)। LionVote इन यूनिफॉर्म CNNs पर Lion या SGD की तुलना में लगातार बेहतर प्रदर्शन नहीं करता है।
एब्लेशन (Ablation):
- टाईब्रेकर लाभों के लिए महत्वपूर्ण है; इसे हटाने से प्रदर्शन Lion से नीचे चला जाता है।
- वोट 1 (ग्रेडिएंट स्थिरता) प्रति-लेयर विभेदन का प्राथमिक चालक है।
- वोट 2 (मोमेंटम हेल्थ) इस वर्कलोड पर शायद ही कभी सक्रिय होता है, जो एक निष्क्रिय डायग्नोस्टिक के रूप में कार्य करता है।
- एक सिमेट्रिक अपडेट नियम वेरिएंट ने अध्ययन की उच्चतम एकल सटीकता (ViT/CIFAR-100 पर 70.54%) प्राप्त की, लेकिन इसमें वेरिएंस अधिक था।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि LionVote साइन-आधारित ऑप्टिमाइज़र्स के लिए एक सिद्धांत आधारित, नॉन-ट्यून्ड प्रति-लेयर अनुकूलन प्रदान करता है। इसका महत्व तीन क्षेत्रों में है:

मेथोडोलॉजिकल पुन: प्रयोज्यता (Methodological Reusability): वोटिंग थ्रेशोल्ड्स को गणितीय संरचनाओं (ज्यामितीय पहचान, EMA टाइम कांस्टेंट्स) से व्युत्पन्न करना, मेटा-लर्निंग या व्यापक हाइपरपैरामीटर ट्यूनिंग पर निर्भर किए बिना अन्य ऑप्टिमाइज़र्स के लिए प्रति-लेयर तंत्र डिजाइन करने के लिए एक ब्लूप्रिंट प्रदान करता है।
Lion का निदान (Diagnosis of Lion): यह विभिन्न लेयर प्रकारों में Lion के प्रभावी स्केल के विशिष्ट मिसकैलिब्रेशन को मात्रात्मक रूप देता है, जो सुझाव देता है कि भविष्य के कार्यों में पूर्ण वोटिंग तंत्र के बिना भी लेयर-टाइप-अवेयर स्केलिंग पर विचार किया जाना चाहिए।
संदर्भगत मूल्य (Contextual Value): यह स्थापित करता है कि प्रति-लेयर अनुकूलन एक सार्वभौमिक समाधान नहीं है। इसका मूल्य आर्किटेक्चरल विषमता (जैसे, ViTs बनाम यूनिफॉर्म CNNs) और टास्क की कठिनाई पर निर्भर करता है। पेपर विनम्रतापूर्वक निष्कर्ष निकालता है कि जबकि तंत्र विषम आर्किटेक्चर जैसे ViTs (CIFAR-100 पर) के लिए अच्छा काम करता है, यह यूनिफॉर्म CNNs या सरल कार्यों पर कोई सुसंगत लाभ नहीं देता है जहाँ Lion पहले से ही अपने प्रदर्शन शिखर के करीब है।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें टाईब्रेकर के लिए वैलिडेशन लॉस पर निर्भरता (जो आदर्श रूप से एक होल्ड-आउट स्प्लिट पर होना चाहिए), मानक Lion की तुलना में उच्च क्रॉस-सीड वेरिएंस, और दायरा CIFAR डेटासेट और विशिष्ट मॉडल साइज तक सीमित होना शामिल है। वे अन्य ऑप्टिमाइज़र्स या एडेप्टिव कैडेन्स के सामान्यीकरण के संबंध में खुले प्रश्न छोड़ देते हैं।