🤖 machine learning

Super Apriel: One Checkpoint, Many Speeds

यह शोध पत्र सुपर एप्रिल (Super Apriel) का परिचय देता है, जो एक 15B-पैरामीटर वाला सुपरनेट है जो सर्विंग के समय प्रत्येक लेयर के लिए चार अलग-अलग अटेंशन मिक्सर के गतिशील चयन को सक्षम बनाता है ताकि एक ही चेकपॉइंट से कई गति-गुणवत्ता ट्रेडऑफ़ दिए जा सकें, जिसे कॉन्फ़िगरेशन को अनुकूलित करने के लिए एक सरोगेट मॉडल द्वारा समर्थित किया गया है और यह प्रदर्शित किया गया है कि जबकि छोटे मॉडलों में लेयर रैंकिंग जल्दी स्थिर हो जाती है, सबसे कुशल 15B कॉन्फ़िगरेशन की पहचान करने के लिए पूर्ण प्रशिक्षण अभिसरण (full training convergence) की आवश्यकता होती है।

मूल लेखक: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejas

प्रकाशित 2026-04-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: SLAM Labs, :, Oleksiy Ostapenko, Raymond Li, Torsten Scholak, Alireza Mousavi-Hosseini, Aman Tiwari, Denis Kocetkov, Joel Lamy Poirier, Kelechi Ogueji, Nanda H Krishna, Rafael Pardinas, Sathwik Tejaswi Madhusudhan, Shruthan Radhakrishna, Srinivas Sunkara, Valerie Becaert

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-चार्ज्ड डिलीवरी ट्रक (AI मॉडल) है जिसे लाखों ग्राहकों तक पैकेज (आपके सवालों के जवाब) पहुँचाने हैं।

आमतौर पर, इस ट्रक का एक सख्त नियम होता है: इसे हर यात्रा के लिए बिल्कुल एक ही गति से गाड़ी चलानी होगी।

यदि आपको कोई पैकेज अभी के अभी चाहिए (एक त्वरित चैट), तो ट्रक धीमा चलने के लिए मजबूर है क्योंकि इसे भारी, लंबी दूरी के भार को संभालने के लिए बनाया गया है।
यदि आपको देश के दूसरे कोने तक पैकेज पहुँचाना है (एक जटिल, लंबी बातचीत), तो ट्रक उपयोगी होने के लिए बहुत धीमा हो जाता है, या वह ईंधन (मेमोरी) खत्म कर देता है क्योंकि वह बहुत अधिक सामान ढोने की कोशिश कर रहा है।

सुपर एप्रियल (Super Apriel) एक क्रांतिकारी नया ट्रक डिज़ाइन है जो इस समस्या को हल करता है। यह सिर्फ एक ट्रक नहीं है; यह एक "शेप-शिफ्टिंग सुपरनेट" (आकार बदलने वाला सुपरनेट) है।

यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "स्विस आर्मी नाइफ" इंजन

अधिकांश AI मॉडल के मस्तिष्क के हर हिस्से के लिए एक ही प्रकार का इंजन बनाया जाता है: फुल अटेंशन (Full Attention)। यह इंजन अविश्वसनीय रूप से स्मार्ट है और सब कुछ पूरी तरह से याद रखता है, लेकिन यह भारी है, धीमा है, और जब बातचीत लंबी होती है तो बहुत अधिक ईंधन (कंप्यूटिंग पावर) जलाता है।

सुपर एप्रियल अलग है। इसके मस्तिष्क के हर एक लेयर (परत) में चार अलग-अलग इंजन विकल्प एक साथ इंस्टॉल किए गए हैं:

फुल अटेंशन (FA): भारी-भरकम, परफेक्ट-मेमोरी वाला इंजन।
स्लाइडिंग विंडो (SWA): एक मध्यम इंजन जो केवल पिछले कुछ वाक्यों को देखता है।
किमी डेल्टा (KDA) और गेटेड डेल्टानेट (GDN): हल्के, सुपर-फास्ट इंजन जो गति के लिए बेहतरीन हैं लेकिन उनकी मेमोरी का दायरा छोटा होता है।

2. "ट्रैफिक कंट्रोलर" (प्लेसमेंट)

यहाँ असली जादू है: आपको पूरे ट्रक के लिए एक ही इंजन चुनने की आवश्यकता नहीं है।

इसके बजाय, आप मिक्स और मैच कर सकते हैं। आप ट्रक को बता सकते हैं:

"पहले 10 लेयर्स के लिए भारी इंजन का उपयोग करें (संदर्भ/कॉन्टेक्स्ट समझने के लिए)।"
"बीच के 20 लेयर्स के लिए तेज़ इंजन पर स्विच करें (तेज़ी से प्रोसेस करने के लिए)।"
"आखिरी 18 लेयर्स के लिए सुपर-लाइट इंजन का उपयोग करें (जवाब तेज़ी से देने के लिए)।"

इस मिक्स-एंड-मैच सेटअप को "प्लेसमेंट" (Placement) कहा जाता है।

3. एक ट्रक, अनंत कॉन्फ़िगरेशन

अतीत में, यदि किसी कंपनी को एक तेज़ ट्रक और एक स्मार्ट ट्रक चाहिए था, तो उन्हें दो अलग-अलग कारखाने बनाने पड़ते थे, दो अलग-अलग मॉडल ट्रेन करने पड़ते थे, और दो अलग-अलग बेड़े बनाए रखने पड़ते थे।

सुपर एप्रियल खेल बदल देता है:

एक चेकपॉइंट: केवल एक ही फाइल (एक ट्रक) है जिसमें सभी लेयर्स के लिए सभी इंजन मौजूद हैं।
इंस्टेंट स्विचिंग: जब कोई ग्राहक एक साधारण सवाल पूछता है, तो सिस्टम तुरंत "फास्ट इंजन" कॉन्फ़िगरेशन में स्विच कर जाता है। जब कोई ग्राहक एक जटिल, लंबा सवाल पूछता है, तो यह "स्मार्ट इंजन" कॉन्फ़िगरेशन में स्विच हो जाता है।
कोई रीलोड नहीं: इसे पुर्जों को लोड करने के लिए रुकने की आवश्यकता नहीं है। यह बस सॉफ्टवेयर में एक स्विच फ्लिप कर देता है।

4. "स्पीड का मेनू"

क्योंकि इंजीनियरों ने लाखों संयोजनों का परीक्षण किया है, उन्होंने आपके लिए "प्रीसेट्स का एक मेनू" बनाया है जिसे आप चुन सकते हैं:

"प्रीमियम" मेनू: इसमें ज्यादातर भारी इंजनों का उपयोग होता है। यह मूल टीचर मॉडल जितना ही स्मार्ट है लेकिन थोड़ा धीमा है।
"एक्सप्रेस" मेनू: यह एक मिश्रण है। यह 3 गुना तेज़ है और 96% उतना ही स्मार्ट है।
"रॉकेट" मेनू: इसमें ज्यादातर हल्के इंजनों का उपयोग होता है। यह 10 गुना तेज़ है और फिर भी 77% उतना ही स्मार्ट है।

इसका मतलब है कि एक ही कंपनी एक व्यस्त कॉफी शॉप (जिसकी ज़रूरत गति है) और एक लॉ फर्म (जिसकी ज़रूरत सटीकता है) को सेवा दे सकती है, बस समय या अनुरोध के प्रकार के आधार पर "प्रिसेट" बदलकर, और वह भी बिल्कुल उसी सॉफ्टवेयर इंस्टॉलेशन का उपयोग करके।

5. "टेस्ट टेस्टर" (सरोगेट मॉडल)

आप पूछ सकते हैं: "48 लेयर्स और 4 इंजन प्रकारों के साथ, अरबों संभावित संयोजन हो सकते हैं। आपने सबसे अच्छे संयोजन कैसे खोजे?"

उन्होंने उन सभी का मैन्युअल रूप से परीक्षण नहीं किया। उन्होंने एक भवि적인 "टेस्ट टेस्टर" (एक गणितीय मॉडल जिसे 'सरोगेट' कहा जाता है) बनाया।

कल्पना कीजिए कि आप एक केक बना रहे हैं। सबसे अच्छा रेसिपी खोजने के लिए 10 अरब केक बनाने के बजाय, आप कुछ केक के कुछ टुकड़े चखते हैं और एक स्मार्ट एल्गोरिदम का उपयोग करके भविष्यवाणी करते हैं कि परफेक्ट केक का स्वाद कैसा होगा।
इस "टेस्ट टेस्टर" ने सुपर एप्रियल ट्रक को देखा और कहा, "यदि आप लेयर्स 10-20 में फास्ट इंजन और लेयर्स 1-9 में हेवी इंजन रखते हैं, तो आपको गति और बुद्धिमत्ता का सबसे अच्छा संतुलन मिलेगा।"

6. भविष्य के लिए यह क्यों महत्वपूर्ण है

कॉन्टेक्स्ट (संदर्भ) ही राजा है: जैसे-जैसे AI बातचीत लंबी होती जा रही है (एक वाक्य के बजाय पूरी किताब को याद रखना), सामान्य मॉडल धीमे होते जाते हैं। सुपर एप्रियल और भी तेज़ होता जाता है क्योंकि इसकी बातचीत लंबी होने पर भी इसके हल्के इंजन मेमोरी के बोझ से दबते नहीं हैं।
स्पेक्टिवल डिकोडिंग (Speculative Decoding): क्योंकि इस ट्रक के अंदर सभी इंजन मौजूद हैं, यह अगले शब्द का अनुमान लगाने के लिए "फास्ट इंजन" का उपयोग कर सकता है और यह जांचने के लिए कि अनुमान सही है या नहीं, "हेवी इंजन" का उपयोग कर सकता है। यह पूरी प्रक्रिया को अत्यधिक तेज़ बना देता है।

निचोड़ (The Bottom Line)

सुपर एप्रियल AI की गति के लिए एक यूनिवर्सल रिमोट कंट्रोल की तरह है। हर चैनल (कार्य) के लिए नया टीवी (मॉडल) खरीदने के बजाय, आप एक सुपर एप्रियल टीवी खरीदते हैं जो बिना हार्डवेयर बदले तुरंत "सिनेमा मोड" (उच्च गुणवत्ता, धीमा) और "स्पोर्ट्स मोड" (उच्च गति, पर्याप्त गुणवत्ता) के बीच स्विच कर सकता है।

यह कंपनियों को भारी मात्रा में पैसा और ऊर्जा बचाने में मदद करता है और साथ ही उपयोगकर्ताओं को उनके विशिष्ट कार्य के लिए आवश्यक गति और बुद्धिमत्ता प्रदान करता है।

यहाँ ServiceNow Research और सहयोगियों के शोध पत्र "Super Apriel: One Checkpoint, Many Speeds" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) लंबे कॉन्टेक्स्ट विंडो और उच्च थ्रूपुट आवश्यकताओं की ओर बढ़ रहे हैं, फुल अटेंशन (Full Attention - FA) एक महत्वपूर्ण बाधा (bottleneck) बन जाता है। FA के लिए $O(n^2)$ समय और रैखिक रूप से बढ़ता KV-कैश मेमोरी की आवश्यकता होती है, जिससे लंबी अनुक्रमों (sequences) के लिए इन्फरेंस मेमोरी-बाउंड और धीमा हो जाता है।

जबकि हाइब्रिड आर्किटेक्चर (स्लाइडिंग विंडो अटेंशन या लीनियर रिकरेंस जैसे कुशल विकल्पों के साथ FA को मिलाना) गति में सुधार प्रदान करते हैं, वर्तमान दृष्टिकोण कठोरता (rigidity) से ग्रस्त हैं:

निश्चित प्लेसमेंट (Fixed Placement): मॉडल्स में आमतौर पर अटेंशन प्रकारों का एक एकल, निश्चित व्यवस्था होता है (जैसे, "परत 1-10 में FA, 11-48 में Mamba") जो प्रशिक्षण से पहले या एक बार की खोज (one-time search) द्वारा निर्धारित होता है।
डिप्लॉयमेंट में लचीलेपन का अभाव (Deployment Inflexibility): एक निश्चित आर्किटेक्चर गति और गुणवत्ता के बीच एक समझौता करने के लिए मजबूर करता है। यह बिना रिट्रेनिंग या अलग मॉडल तैनात किए, विभिन्न वर्कलोड (जैसे, उच्च गुणवत्ता की आवश्यकता वाले छोटे प्रॉम्प्ट बनाम उच्च गति की आवश्यकता वाले लंबे कॉन्टेक्स्ट) के अनुकूल नहीं हो सकता है।
खोज की जटिलता (Search Complexity): 48+ परतों (layers) में विभिन्न मिक्सर्स को रखने का कॉम्बिनेटरियल स्पेस बहुत विशाल है ( $4^{48}$ ), जिससे व्यापक खोज (exhaustive search) असंभव हो जाती है।

लक्ष्य: एक एकल मॉडल चेकपॉइंट बनाना जो रनटाइम पर वेट्स (weights) को रीलोड किए बिना, विभिन्न वर्कलोड आवश्यकताओं के आधार पर कई स्पीड-क्वालिटी ऑपरेटिंग पॉइंट्स (operating points) का समर्थन कर सके।

2. कार्यप्रणाली (Methodology)

A. सुपरनेट आर्किटेक्चर (The Supernet Architecture)

लेखक एक 15B-पैरामीटर वाला "सुपरनेट" पेश करते हैं, जो Apriel 1.6 टीचर मॉडल (48 परतें) से व्युत्पन्न है।

मिक्सर वोकैबुलरी (Mixer Vocabulary): प्रत्येक डिकोडर लेयर में चार विशिष्ट टोकन मिक्सर्स के वेट्स होते हैं:
1. फुल अटेंशन (FA): मानक अटेंशन ( $O(n^2)$ )।
2. स्लाइडिंग विंडो अटेंशन (SWA): लोकल विंडो अटेंशन ( $O(n \cdot w)$ )।
3. किमी डेल्टा अटेंशन (KDA): चैनल-वाइज गेटिंग के साथ रिकरेंट ( $O(n)$ )।
4. गेटेड डेल्टानेट (GDN): स्केलर गेटिंग के साथ रिकरेंट ( $O(n)$ )।
पैरामीटर शेयरिंग (Parameter Sharing): सभी परतें समान फीड-फॉरवर्ड नेटवर्क (FFNs), एम्बेडिंग्स और नॉर्मलाइजेशन लेयर्स साझा करती हैं। केवल मिक्सर ब्लॉक्स ही भिन्न होते हैं।
सक्रिय पैरामीटर्स (Active Parameters): किसी भी विशिष्ट कॉन्फ़िगरेशन ("प्लेसमेंट") में, प्रत्येक लेयर में केवल एक ही प्रकार का मिक्सर सक्रिय होता है। कुल चेकपॉइंट का आकार ~25B पैरामीटर्स है, लेकिन किसी भी एकल इन्फरेंस रन में ~15B सक्रिय पैरामीटर्स का उपयोग होता है।

B. ट्रेनिंग रेसिपी (Training Recipe)

प्रशिक्षण प्रक्रिया के दो मुख्य चरण हैं:

स्टोकेस्टिक डिस्टिलेशन (Stochastic Distillation - S1):
- सुपरनेट को फ्रोजन (frozen) Apriel 1.6 टीचर की नकल करने के लिए प्रशिक्षित किया जाता है।
- लोकल सैंपलिंग (Local Sampling): प्रत्येक ट्रेनिंग स्टेप पर, प्रत्येक लेयर के लिए एक मिक्सर को रैंडमली चुना जाता है (चार प्रकारों में से समान रूप से)। यह सुनिश्चित करता है कि सभी मिक्सर कॉम्बिनेशन को ग्रेडिएंट अपडेट प्राप्त हों।
- लॉस (Loss): एक कंपोजिट लॉस जिसमें एक्टिवेशन मैचिंग (MSE), रिवर्स KL, और फॉरवर्ड KL डायवर्जेंस शामिल है।
- डेटा: हाई-क्वालिटी रीजनिंग ट्रेसेस और स्ट्रक्चर्ड डेटा अत्यंत महत्वपूर्ण हैं; रॉ प्रीट्रेनिंग डेटा के कारण रीजनिंग कोलैप्स (reasoning collapse) देखा गया।
सुपरवाइज्ड फाइन-ट्यूनिंग (Supervised Fine-Tuning - S2):
- साझा पैरामीटर्स (FFNs, आदि) को स्थिर संदर्भ बनाए रखने के लिए फ्रोजन रखा जाता है।
- केवल मिक्सर वेट्स को इंस्ट्रक्शन डेटा पर फाइन-ट्यून किया जाता है।
- टारगेटेड सैंपलिंग (Targeted Sampling): विशिष्ट उच्च-मूल्य वाले कॉन्फ़िगरेशन को अनुकूलित करने के लिए, लेखक एक "टारगेटेड" रणनीति का उपयोग करते हैं जहाँ प्रशिक्षण ऑप्टिमाइज़र द्वारा पहचाने गए पारेटो-ऑप्टिमल (Pareto-optimal) प्लेसमेंट्स पर केंद्रित होता है, न कि यूनिफॉर्म रैंडम सैंपलिंग पर।

C. प्लेसमेंट ऑप्टिमाइजेशन फ्रेमवर्क (Placement Optimization Framework)

$4^{48}$ के सर्च स्पेस को नेविगेट करने के लिए, लेखकों ने एक सरोगेट-गाइडेड ऑप्टिमाइजेशन (Surrogate-Guided Optimization) पाइपलाइन विकसित की:

कॉस्ट मॉडल (Cost Model): इन्फरेंस लागत को प्रत्येक मिक्सर प्रकार की संख्या के रैखिक फलन (linear function) के रूप में मॉडल किया जाता है।
क्लस्टर एक्सपेंशन सरोगेट (Cluster Expansion Surrogate): सांख्यिकीय भौतिकी (statistical physics) से उधार लेते हुए, एक प्लेसमेंट के क्वालिटी स्कोर $S(x)$ $S (x)$ को परतों के बीच इंटरैक्शन (unary, pairwise, आदि) के योग के रूप में अनुमानित किया जाता है।
- $S(x) = \sum V^{(1)}_i + \sum V^{(2)}_{ij} + \dots$
सटीक अनुकूलन (Exact Optimization): एक बेयसियन लीनियर मॉडल को सरोगेट पर फिट किया जाता है। क्योंकि इंटरैक्शन स्थानीय (short-range) होते हैं, इसलिए किसी भी कॉस्ट बजट के लिए इष्टतम प्लेसमेंट को डायनेमिक प्रोग्रामिंग (DP) का उपयोग करके सटीक रूप से पाया जा सकता है, जो ह्यूरिस्टिक सर्च से बचता है।
पुनरावृत्ति परिशोधन (Iterative Refinement): सिस्टम उम्मीदवारों का मूल्यांकन करता है, सरोगेट को अपडेट करता है, और पारेटो फ्रंटियर (गुणवत्ता बनाम गति) को रिफाइन करता है।

D. इन्फरेंस और सर्विंग (Inference & Serving)

रनटाइम स्विचिंग (Runtime Switching): एक एकल चेकपॉइंट विभिन्न प्लेसमेंट्स को सर्व कर सकता है। प्रीसेट्स के बीच स्विच करना (जैसे, "All-FA" से "Hybrid" तक) 5-15 सेकंड लेता है क्योंकि केवल मिक्सर वेट्स को CPU/GPU के बीच बदला जाता है; साझा वेट्स मेमोरी में रहते हैं।
स्पेक्टिवल डिकोडिंग (Speculative Decoding): सुपरनेट एक अलग ड्राफ्ट मॉडल के बिना स्पेक्टिवल डिकोडिंग सक्षम करता है। All-FA प्लेसमेंट वर्िफायर (verifier) के रूप में कार्य करता है, जबकि कोई भी कुशल प्लेसमेंट (जैसे, All-GDN) ड्राफ्ट मॉडल के रूप में कार्य करता है, जो उच्च स्वीकृति दर (acceptance rate) के लिए साझा वेट्स का लाभ उठाता है।

3. प्रमुख योगदान (Key Contributions)

प्रथम टोकन-मिक्सर सुपरनेट (First Token-Mixer Supernet): एक एकल 15B चेकपॉइंट जो प्रत्येक लेयर में चार प्रशिक्षित मिक्सर विकल्प प्रदान करता है, जिससे लचीला रनटाइम प्लेसमेंट संभव होता है।
सरोगेट-आधारित अनुकूलन (Surrogate-Based Optimization): कॉम्बिनेटरियल लेयर-प्लेसमेंट समस्या को सटीक रूप से हल करने के लिए क्लस्टर एक्सपेंशन और डायनेमिक प्रोग्रामिंग का एक अभिनव अनुप्रयोग, जो गति बनाम गुणवत्ता के पारेटो फ्रंटियर की पहचान करता है।
ट्रेनिंग डायनेमिक्स विश्लेषण (Training Dynamics Analysis): 0.5B और 15B मॉडल्स पर नियंत्रित एब्लेशन (ablations) से पता चलता है कि जबकि सामान्य रैंकिंग जल्दी स्थिर हो जाती है, पारेटो-ऑप्टिमल प्लेसमेंट्स बड़े पैमाने (15B) पर अधिक अस्थिरता (volatility) प्रदर्शित करते हैं, जो छोटे पैमाने के निष्कर्षों को एक्सट्रपलेशन करने के प्रति आगाह करता है।
ओपन सोर्स रिलीज (Open Source Release): सुपरनेट वेट्स, फास्ट-LLM ट्रेनिंग कोड, vLLM सर्विंग एक्सटेंशन और प्लेसमेंट ऑप्टिमाइजेशन टूलकिट का रिलीज।

4. मुख्य परिणाम (Key Results)

प्रदर्शन बनाम थ्रूपुट (Performance vs. Throughput)

लेखकों ने कई "प्रीसेट्स" (कॉन्फ़िगरेशन) की पहचान की है जो विभिन्न ट्रेड-ऑफ प्रदान करते हैं:

All-FA Preset: Apriel 1.6 टीचर से बिल्कुल मेल खाता है (74.2 औसत स्कोर बनाम 73.9 टीचर)।
हाइब्रिड प्रीसेट्स (Reg|Lklhd–26): 96% गुणवत्ता प्रतिधारण (retention) के साथ 2.9× स्पीडअप।
आक्रामक प्रीसेट्स (Aggressive Presets - Reg|Lklhd–10): 77% गुणवत्ता प्रतिधारण के साथ 10.7× डिकोड थ्रूपुट स्पीडअप।
लीनियर पारेटो फ्रंटियर (Linear Pareto Frontier): गति और गुणवत्ता के बीच का ट्रेड-ऑफ सुचारू और अनुमानित है, जो रैखिक कॉस्ट मॉडल को मान्य करता है।

कॉन्टेक्स्ट लेंथ स्केलिंग (Context Length Scaling)

एक महत्वपूर्ण निष्कर्ष यह है कि दक्षता लाभ (efficiency gains) कॉन्टेक्स्ट लेंथ के साथ बढ़ते हैं:

16k से 32k कॉन्टेक्स्ट में जाने पर, कुशल प्लेसमेंट्स 80–155% सापेक्ष स्पीडअप प्राप्त करते हैं।
बाहरी हाइब्रिड बेसलाइन (निश्चित प्लेसमेंट के साथ) उसी रेंज में केवल 5–46% लाभ प्राप्त करते हैं क्योंकि उनके शेष FA लेयर्स अभी भी द्विघाती (quadratic) मेमोरी ओवरहेड का सामना करते हैं।

स्टेट-ऑफ-द-आर्ट के साथ तुलना (Comparison to State-of-the-Art)

Apriel-H1 के विरुद्ध: Super Apriel 15B स्केल पर बेहतर लचीलापन और गुणवत्ता प्रदान करता है।
बाहरी हाइब्रिड्स (जैसे, Nemotron, Qwen) के विरुद्ध: जबकि बड़े मॉडल्स (27B–30B) उच्च पूर्ण गुणवत्ता प्राप्त करते हैं, Super Apriel एक ही 15B चेकपॉइंट से कई ऑपरेटिंग पॉइंट्स प्रदान करता है, जो कई बड़े मॉडल्स की तुलना में बेहतर दक्षता (जैसे, 6.2× स्पीडअप) प्रदान करता है।

स्पेक्टिवल डिकोडिंग (Speculative Decoding)

ड्राफ्ट मॉडल के रूप में All-GDN और वर्िफायर के रूप में All-FA का उपयोग करके सुपरनेट स्पेक्टिवल डिकोडिंग के लिए उच्चतम स्पीडअप प्राप्त करता है, जो पुष्टि करता है कि संयुक्त प्रशिक्षण (joint training) प्लेसमेंट्स के बीच उच्च वितरण समानता (distributional similarity) बनाए रखता है।

5. महत्व और निहितार्थ (Significance and Implications)

परिचालन लचीलापन (Operational Flexibility): संगठनों को अब विभिन्न लेटेंसी/क्वालिटी आवश्यकताओं के लिए कई मॉडल प्रशिक्षित और तैनात करने की आवश्यकता नहीं है। एक एकल आर्टिफैक्ट रनटाइम पर प्रीसेट्स बदलकर उच्च-गुणवत्ता वाले शॉर्ट-कॉन्टेक्स अनुरोधों और उच्च-थ्रूपुट लॉन्ग-कॉन्टेक्स अनुरोधों को सर्व कर सकता है।
लागत दक्षता (Cost Efficiency): पीक लोड के दौरान आक्रामक हाइब्रिड प्रीसेट्स पर स्विच करने और गुणवत्ता-महत्वपूर्ण कार्यों के लिए All-FA पर वापस लौटने की क्षमता बुनियादी ढांचे की लागत को अनुकूलित करती है।
मेथोडोलॉजिकल प्रगति (Methodological Advance): यह पेपर प्रदर्शित करता है कि स्टोकेस्टिक डिस्टिलेशन को सटीक सरोगेट ऑप्टिमाइजेशन के साथ जोड़ना, हाइब्रिड आर्किटेक्चर की खोज के लिए एक व्यवहार्य मार्ग है, जो निश्चित ह्यूरिस्टिक्स या महंगे पोस्ट-हॉक सर्च से आगे बढ़ता है।
स्केलेबिलिटी चेतावनी (Scalability Warning): यह निष्कर्ष कि 15B मॉडल 0.5B मॉडल्स की तुलना में अलग लैंडस्केप डायनेमिक्स (फ्रंटियर प्लेसमेंट्स में उच्च अस्थिरता) प्रदर्शित करते हैं, आर्किटेक्चरल सर्च रणनीतियों के लिए बड़े पैमाने पर सत्यापन की आवश्यकता को रेखांकित करता है।

संक्षेप में, Super Apriel स्पीड-क्वालिटी ट्रेड-ऑफ को एक स्थिर, प्री-डिप्लॉयमेंट निर्णय से बदलकर एक डायनेमिक, रनटाइम कंट्रोल सरफेस में बदल देता है, जो कुशल LLM सर्विंग के लिए एक नया प्रतिमान (paradigm) पेश करता है।