🤖 AI

DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

यह शोध पत्र DTop-p को प्रस्तुत करता है, जो एक विरलता-नियंत्रणीय (sparsity-controllable) गतिशील रूटिंग तंत्र है जो अनुकूल रूप से Top-p थ्रेशोल्ड सीखता है और वैश्विक विरलता बाधाओं को लागू करता है ताकि फाउंडेशन मॉडल प्री-ट्रेनिंग में कम्प्यूटेशनल दक्षता बनाए रखते हुए मानक Top-k और फिक्स्ड Top-p MoE बेसलाइनों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-टेक कॉल सेंटर (AI मॉडल) चला रहे हैं जिसे लाखों सवालों के जवाब देने के लिए बनाया गया है। इस काम के बोझ को संभालने के लिए, आपने हजारों विशेषज्ञ एजेंट (जिन्हें "एक्सपर्ट्स" कहा जाता है) काम पर रखे हैं।

पुराने तरीके में (Top-k), आपका एक सख्त नियम था: हर एक कॉलर को ठीक 3 एजेंट मिलते हैं, चाहे वे कुछ भी पूछ रहे हों।

यदि कोई पूछता है, "2+2 क्या है?", तो आप अभी भी 3 एजेंट भेजते हैं। यह ऊर्जा की बर्बादी है।
यदि कोई अविश्वसनीय रूप से जटिल, बहु-स्तरीय कानूनी सवाल पूछता है, तो भी आप केवल 3 एजेंट ही भेजते हैं। वे घबरा सकते हैं और गलत जवाब दे सकते हैं।

शोधकर्ताओं ने एक नया विचार आजमाया जिसे Top-p कहा गया। यह ऐसा था जैसे यह कहना: "एजेंटों को तब तक भेजें जब तक आप आश्वस्त न हो जाएं कि आपके पास पर्याप्त मदद है।"

"2+2" के लिए, सिस्टम कह सकता है, "मैं 99% निश्चित हूँ, इसलिए मैं केवल 1 एजेंट भेजूँगा।"
उस कठिन कानूनी सवाल के लिए, यह कह सकता है, "मैं अभी तक निश्चित नहीं हूँ, इसलिए मैं एजेंटों को तब तक जोड़ता रहूँगा जब तक मैं आश्वस्त न हो जाऊँ।"

समस्या: पुराना "Top-p" तरीका एक टूटे हुए एक्सीलेटर वाले ड्राइवर जैसा था। यह बहुत संवेदनशील था। कभी-कभी यह 1 एजेंट भेजता था, और अगले ही पल, यह घबराकर 20 एजेंट भेज देता था। इससे आपके कॉल सेंटर का बिजली बिल (कंप्यूटिंग लागत) अप्रत्याशित और अराजक हो जाता था। आप इसका बजट नहीं बना सकते थे।

समाधान: DTOP-p (स्मार्ट क्रूज कंट्रोल)

लेखकों ने DTOP-p बनाया है, जो आपके कॉल सेंटर के लिए एक स्मार्ट क्रूज कंट्रोल सिस्टम की तरह काम करता है। यह अराजकता को ठीक करने के लिए दो मुख्य उपकरणों को जोड़ता है:

1. "स्पीडोमीटर" (PI कंट्रोलर)

कल्पना कीजिए कि आप चाहते हैं कि आपका कॉल सेंटर औसतन प्रति कॉल ठीक 8 एजेंटों का उपयोग करे।

PI कंट्रोलर एक स्मार्ट मैनेजर है जो लगातार स्पीडोमीटर की जांच करता है।
यदि टीम बहुत अधिक एजेंटों का उपयोग कर रही है (तेज चल रही है), तो मैनेजर धीरे से "प्रोबेबिलिटी थ्रेशोल्ड" (संभावना सीमा) को नीचे धकेलता है, और सिस्टम को बताता है: "आप पर्याप्त आश्वस्त हैं, और अधिक एजेंट जोड़ना बंद करें।"
यदि टीम बहुत कम एजेंटों का उपयोग कर रही है (बहुत धीमी चल रही है), तो मैनेजर थ्रेशोल्ड को ऊपर धकेलता है: "यह सवाल कठिन है, और मदद बुलाएं।"
परिणाम: सिस्टम खुद को ठीक उसी बजट पर बनाए रखने के लिए स्वचालित रूप से खुद को समायोजित करता है, चाहे सवाल कितने भी कठिन या आसान क्यों न हों। यह कभी भी ईंधन (मेमोरी) खत्म नहीं होने देता और न ही ईंधन बर्बाद करता है।

2. "फ्लोर मैनेजर" (डायनेमिक रूटिंग नॉर्मलाइजेशन)

एक बड़े कॉल सेंटर में, फ्रंट डेस्क (शुरुआती लेयर्स) और कानूनी विभाग (गहरी लेयर्स) की ज़रूरतें अलग-अलग होती हैं।

फ्रंट डेस्क साधारण अभिवादन संभालता है (कम एजेंटों की आवश्यकता होती है)।
कानूनी विभाग जटिल मामलों को संभालता है (अधिक एजेंटों की आवश्यकता होती है)।
पुराने तरीकों ने हर फ्लोर के साथ एक जैसा व्यवहार किया।
DTOP-p प्रत्येक फ्लोर को अपना स्वयं का "वॉल्यूम नॉब" देता है। यह फ्रंट डेस्क को शांत और कुशल रहने देता है जबकि कानूनी विभाग को वॉल्यूम बढ़ाने और अधिक विशेषज्ञों को बुलाने की अनुमति देता है, जबकि यह सुनिश्चित करता है कि इमारत का कुल ऊर्जा उपयोग सीमा के भीतर रहे।

उन्होंने क्या पाया (परिणाम)

शोधकर्ताओं ने दो प्रकार के AI पर इसका परीक्षण किया: एक जो टेक्स्ट पढ़ता और लिखता है (NLP) और एक जो छवियों को समझता है (कंप्यूटर विजन)।

बेहतर उत्तर: DTOP-p ने पुराने "निश्चित 3 एजेंटों" के नियम और अराजक "Top-p" नियम की तुलना में लगातार बेहतर उत्तर दिए। यह यह जानने में अधिक स्मार्ट था कि मदद के लिए कब बुलाना है।
स्थिर बजट: पुराने Top-p तरीके के विपरीत, जो लागत में अचानक उछाल ला सकता था, DTOP-p ने बजट का पूरी तरह से पालन किया। इसने पुराने तरीके के समान ही कंप्यूटिंग पावर का उपयोग किया लेकिन बेहतर परिणाम प्राप्त किए।
स्केल अप (बड़ा पैमाना): उन्होंने छोटे मॉडल्स और विशाल मॉडल्स पर, और छोटे डेटासेट्स और विशाल डेटासेट्स के साथ इसका परीक्षण किया। हर मामले में, "स्मार्ट क्रूज कंट्रोल" पुराने कठोर नियमों की तुलना में बेहतर रहा।

मुख्य निष्कर्ष

यह पेपर AI मॉडल्स को अधिक स्मार्ट और कुशल बनाने का एक तरीका पेश करता है। हर कार्य के लिए समान मात्रा में दिमागी शक्ति का उपयोग करने के लिए मजबूर करने के बजाय, DTOP-p AI को यह तय करने की अनुमति देता है कि उसे कितनी मदद की आवश्यकता है, जबकि एक स्मार्ट कंट्रोलर यह सुनिश्चित करता है कि वह कभी भी संसाधनों को बर्बाद न करे या बजट से बाहर न जाए। यह एक कठोर असेंबली लाइन से एक लचीली, स्व-विनियमित टीम में अपग्रेड करने जैसा है जो जानती है कि हर एक कार्य में कितना प्रयास लगाना है।

तकनीकी सारांश: DTOP-p MoE

समस्या विवरण (Problem Statement)

स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर पैरामीटर गणना को कंप्यूटेशनल लागत से अलग करके फाउंडेशन मॉडल्स को कुशलतापूर्वक स्केल करने के लिए महत्वपूर्ण हैं। हालाँकि, मानक Top-k रूटिंग एक कठोर स्पर्सिटी पैटर्न लागू करती है, जो टोकन की कठिनाई या लेयर-विशिष्ट आवश्यकताओं की परवाह किए बिना विशेषज्ञों की एक निश्चित संख्या चुनती है। यह इनपुट जटिलता की अंतर्निहित भिन्नता को अनदेखा करता है और अनुकूलन योग्य संसाधन आवंटन को प्रतिबंधित करता है।

जबकि Top-p रूटिंग (न्यूक्लियस सैंपलिंग) एक अधिक अनुकूलन योग्य विकल्प प्रदान करती है क्योंकि यह तब तक विशेषज्ञों का चयन करती है जब तक कि उनकी संचयी प्रायिकता (cumulative probability) एक थ्रेशोल्ड $p$ तक नहीं पहुँच जाती, मौजूदा कार्यान्वयन दो गंभीर सीमाओं से ग्रस्त हैं:

निश्चित वैश्विक थ्रेशोल्ड (Fixed Global Thresholds): सहज (naive) Top-p कार्यान्वयन एक स्थिर वैश्विक प्रायिकता थ्रेशोल्ड का उपयोग करते हैं जो विकसित होती प्रशिक्षण गतिशीलता (training dynamics) के अनुकूल होने में विफल रहता है।
अनियंत्रित स्पर्सिटी (Uncontrolled Sparsity): ये विधियाँ अप्रत्याशित कंप्यूटेशनल लागत उत्पन्न करती हैं। प्रशिक्षण के दौरान सक्रिय विशेषज्ञों की संख्या काफी उतार-चढ़ाव करती है, जिससे सख्त प्री-ट्रेनिंग कंप्यूट बजट का पालन करना कठिन हो जाता है। इसके अलावा, निश्चित थ्रेशोल्ड हाइपरपैरामीटर चयन के प्रति अत्यधिक संवेदनशील होते हैं, जिसके लिए व्यापक ट्यूनिंग की आवश्यकता होती है जो कि कम्प्यूटेशनल रूप से महंगी है।

कार्यप्रणाली: DTOP-p MoE (Methodology: DTOP-p MoE)

लेखक DTOP-p का प्रस्ताव करते हैं, जो एक स्पर्सिटी-नियंत्रणीय डायनेमिक रूटिंग तंत्र है जिसे Top-p की अनुकूलन क्षमता को बड़े पैमाने पर प्री-ट्रेनिंग के सख्त कम्प्यूटेशनल बाधाओं के साथ जोड़ने के लिए डिज़ाइन किया गया है। यह विधि दो प्राथमिक घटकों से बनी है:

1. प्रोपोर्शनल-इंटीग्रल (PI) कंट्रोलर

थ्रेशोल्ड चयन की नॉन-डिफरेंशिएबिलिटी (non-differentiability) और स्पष्ट संसाधन बाधाओं की कमी को दूर करने के लिए, DTOP-p क्लासिकल कंट्रोल थ्योरी से एक फीडबैक कंट्रोल लूप का उपयोग करता है।

तंत्र (Mechanism): सिस्टम सक्रिय विशेषज्ञों की लक्षित संख्या ( $T$ ) को एक सेटपॉइंट (setpoint) के रूप में और वैश्विक प्रायिकता थ्रेशोल्ड ( $p$ ) को कंट्रोल वेरिएबल के रूप में मानता है।
अपडेट नियम (Update Rule): कंट्रोलर वर्तमान बैच के लिए सक्रिय विशेषज्ञों की औसत संख्या ( $a_t$ ) की निगरानी करता है। यह एक स्पर्सिटी एरर $e_t = (T - a_t)/N$ की गणना करता है और अगले बैच के लिए थ्रेशोल्ड ( $p_{t+1}$ ) को एक डिस्क्रीट PI कंट्रोल लॉ के माध्यम से अपडेट करता है:
$p_{t+1} = p_0 + K_{pro} \cdot e_t + K_{int} \cdot \sum_{i=1}^{t} e_i$
प्रभाव (Effect): यह एक नेगेटिव फीडबैक लूप बनाता है जहाँ एक पॉजिटिव एरर (अपर्याप्त एक्टिवेशन) $p$ को बढ़ाकर अधिक विशेषज्ञों को चुनने के लिए प्रेरित करता है, जबकि एक नेगेटिव एरर $p$ को कम करता है। यह सुनिश्चित करता है कि मॉडल ट्रेनिंग के दौरान लॉजिट एंट्रॉपी (logit entropy) में बदलाव के बावजूद लक्षित स्पर्सिटी स्तर पर अभिसरण (converge) करे।

2. डायनेमिक रूटिंग नॉर्मलाइजेशन (DRN)

सभी लेयर्स में एक एकल वैश्विक थ्रेशोल्ड लागू करने का अर्थ यह है कि विशेषज्ञ विश्वास वितरण (expert confidence distributions) समान हैं, जो इस तथ्य के विपरीत है कि विभिन्न लेयर्स की कम्प्यूटेशनल आवश्यकताएं अलग-अलग होती हैं (जैसे, सामान्य फीचर्स के लिए उथली लेयर्स बनाम विशेष तर्क के लिए गहरी लेयर्स)।

तंत्र (Mechanism): रॉ लॉजिट्स (raw logits) पर रूटिंग करने के बजाय, DTOP-p प्रत्येक लेयर $l$ के भीतर लॉजिट्स को एक सीखने योग्य स्केलर $\theta_l$ का उपयोग करके नॉर्मलाइज़ करता है:
$P(x) = \text{softmax}\left(\theta_l \cdot \frac{z - \mu(z)}{\sigma(z)}\right)$
जहाँ $z$ रॉ लॉजिट्स हैं, और $\mu(z)$ तथा $\sigma(z)$ उनके माध्य (mean) और मानक विचलन (standard deviation) हैं।
प्रभाव (Effect): यह वैश्विक थ्रेशोल्ड को स्थानीय सांख्यिकीय गुणों से अलग करता है। एक बड़ा $\theta_l$ वितरण को तीक्ष्ण (sharpen) बनाता है (कम विशेषज्ञों को सक्रिय करता है), जबकि एक छोटा $\theta_l$ इसे सपाट (flatten) बनाता है (अधिक विशेषज्ञों को सक्रिय करता है)। यह मॉडल को एक वैश्विक कंप्यूट बजट बनाए रखते हुए लेयर्स के बीच विशिष्ट स्पर्सिटी पैटर्न सीखने की अनुमति देता है।

लेयर-वाइज वेरिएंट (Layer-wise Variant)

उन डिप्लॉयमेंट परिदृश्यों के लिए जिनमें सख्त प्रति-लेयर प्रेडिक्टेबिलिटी की आवश्यकता होती है, लेखक एक लेयर-वाइज वेरिएंट भी प्रस्तावित करते हैं जहाँ प्रत्येक लेयर अपना स्वयं का PI कंट्रोलर और थ्रेशोल्ड बनाए रखती है, जो ग्लोबल क्रॉस-लेयर बजट शेयरिंग के स्थान पर लगभग नियत (near-deterministic) लेयर-वाइज ट्रैकिंग को प्रतिस्थापित करती है।

मुख्य योगदान (Key Contributions)

फिक्स्ड-थ्रेशोल्ड Top-p का विश्लेषण: पेपर यह प्रदर्शित करता है कि फिक्स्ड-थ्रेशोल्ड Top-p MoE, Top-k की तुलना में केवल मामूली लाभ प्रदान करता है, जबकि यह थ्रेशोल्ड $p$ के प्रति अत्यधिक संवेदनशीलता और अस्थिर स्पर्सिटी से ग्रस्त है, जो कंट्रोल मैकेनिज्म के बिना बड़े पैमाने पर प्री-ट्रेनिंग के लिए अनुपयुक्त है।
DTOP-p फ्रेमवर्क: एक डायनेमिक Top-p MoE का प्रस्ताव जो स्पर्सिटी कंट्रोल के लिए PI कंट्रोलर और लेयर-वाइज एडैप्टिविटी के लिए डायनेमिक रूटिंग नॉर्मलाइजेशन को एकीकृत करता है।
व्यापक अनुभवजन्य जांच (Comprehensive Empirical Investigation): नेचुरल लैंग्वेज प्रोसेसिंग (NLP) और कंप्यूटर विजन (CV) डोमेन में व्यापक सत्यापन, जो यह प्रदर्शित करता है कि DTOP-p, Top-k के औसत FLOPs के साथ मेल खाते हुए, दोनों Top-k और फिक्स्ड Top-p बेसलाइन से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DCLM-Baseline डेटासेट (NLP) और उच्च-गुणवत्ता वाले आंतरिक इमेज डेटासेट्स (CV) का उपयोग करके LLMs और डिफ्यूजन ट्रांसफॉर्मर्स (DiTs) पर DTOP-p का मूल्यांकन किया।

प्रदर्शन (Performance): NLP बेंचमार्क (MMLU, HellaSwag, और ARC सहित 13 डेटासेट्स) पर, DTOP-p ने लक्षित सक्रिय विशेषज्ञ संख्या (जैसे, 8 विशेषज्ञ) का सख्ती से पालन करते हुए Top-k MoE बेसलाइन पर औसतन 1.9% का सुधार हासिल किया।
स्थिरता (Stability): फिक्स्ड Top-p के विपरीत, जो सक्रिय विशेषज्ञों की संख्या में बहुत अधिक उतार-चढ़ाव करता है, DTOP-p लक्षित स्पर्सिटी (पहले 1B टोकन के भीतर) पर तेजी से अभिसरण करता है और कम मानक विचलन ( $\approx 1$ ) बनाए रखता है।
स्केलिंग गुण (Scaling Properties): DTOP-p ने निम्नलिखित में मजबूत स्केलिंग प्रदर्शित की:
- एक्सपर्ट ग्रैनुलैरिटी (Expert Granularity): ग्रैनुलैरिटी बढ़ने के साथ प्रदर्शन में सुधार हुआ (जैसे, 32 विशेषज्ञों से 128 विशेषज्ञों तक)।
- एक्सपर्ट कैपेसिटी (Expert Capacity): कुल विशेषज्ञ क्षमता बढ़ने के साथ प्रदर्शन निरंतर सुधरा।
- मॉडल और डेटासेट का आकार: विधि ने मॉडल आकार (2.4B सक्रिय पैरामीटर्स तक) और डेटासेट आकार (300B टोकन तक) बढ़ने के साथ बेसलाइन पर अपना बढ़त बनाए रखा।
लेयर-वाइज विश्लेषण: एक्टिवेशन वितरण विश्लेषण ने पुष्टि की कि DTOP-p पदानुक्रमित (hierarchical) स्पर्सिटी पैटर्न सीखता है, जो उथली लेयर्स में कम विशेषज्ञों को और गहरी लेयर्स में अधिक विशेषज्ञों को सक्रिय करता है, जो विभिन्न गहराइयों पर प्रोसेस किए जाने वाले फीचर्स की बदलती जटिलता के अनुरूप है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि DTOP-p फाउंडेशन मॉडल प्री-ट्रेनिंग के लिए एक मजबूत और कुशल MoE फ्रेमवर्क प्रदान करता है। इसका प्राथमिक महत्व डायनेमिक एडैप्टिविटी को सख्त कम्प्यूटेशनल बाधाओं के साथ सफलतापूर्वक तालमेल बिठाने में निहित है। कंट्रोल थ्योरी के माध्यम से प्रायिकता थ्रेशोल्ड को प्रभावी रूप से सीखने योग्य बनाकर और लेयर-वाइज लचीलापन सक्षम करके, DTOP-p मॉडल को पूर्व-निर्धारित FLOP बजटों से ऊपर जाए बिना टोकन की कठिनाई और लेयर डेप्थ के आधार पर कम्प्यूटेशनल संसाधनों को आवंटित करने की अनुमति देता है।

लेखक इस कार्य को सस्टेनेबल ग्रीन AI की दिशा में एक कदम के रूप में प्रस्तुत करते हैं, जो स्पार्स मॉडल्स की कम्प्यूटेशनल दक्षता में सुधार करता है। वे स्पष्ट रूप से उल्लेख करते हैं कि जबकि यह विधि दक्षता में सुधार करती है, यह प्रशिक्षण डेटा में अंतर्निहित पूर्वाग्रहों को कम नहीं करती है और इसे कठोर सुरक्षा संरेखण (safety alignment) के साथ जोड़ा जाना चाहिए। इस कार्य को एक व्यावहारिक समाधान के रूप में प्रस्तुत किया गया है जहाँ फिक्स्ड Top-k बहुत कठोर है और अनियंत्रित Top-p बहुत अप्रत्याशित है।