💬 NLP

DLLG: Dynamic Logit-Level Gating of LLM Experts

यह शोध पत्र DLLG को प्रस्तुत करता है, जो एक डायनेमिक लॉजिट-लेवल गेटिंग फ्रेमवर्क है जो स्पार्स रिस्पॉन्स-लेवल सुपरविजन से टोकन-लेवल एक्सपर्ट फ्यूजन को सीखता है ताकि टोकन-लेवल लेबल या एक्सपर्ट रिट्रेनिंग की आवश्यकता के बिना विशिष्ट LLMs को प्रभावी ढंग से संयोजित किया जा सके, और विविध बेंचमार्क पर मौजूदा रूटिंग, एनसेम्बलिंग और मर्जिंग दृष्टिकोणों से लगातार बेहतर प्रदर्शन करता है।

मूल लेखक: Bingnan Li, Zhaoyang Zhang, Xiaoze Liu, Yantao Shen, Shuli Jiang, Shuo Yang, Wei Xia, Zhuowen Tu, Stefano Soatto

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingnan Li, Zhaoyang Zhang, Xiaoze Liu, Yantao Shen, Shuli Jiang, Shuo Yang, Wei Xia, Zhuowen Tu, Stefano Soatto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक ही प्रोजेक्ट पर काम करने वाली तीन प्रतिभाशाली विशेषज्ञों की एक टीम है: एक मैथ विजार्ड (गणित का जादूगर), एक कोड निंजा, और एक लॉजिक डिटेक्टिव (तर्क का जासूस)। आपका लक्ष्य उन्हें मिलकर एक जटिल समस्या को हल करने के लिए काम पर लगाना है जिसके लिए इन तीनों कौशलों की आवश्यकता है।

यह पेपर इस टीम को प्रबंधित करने का एक नया तरीका पेश करता है जिसे DLLG (डायनेमिक लॉजिट-लेवल गेटिंग) कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए देखते हैं कि अन्य तरीके इन विशेषज्ञों को प्रबंधित करने की कोशिश कैसे करते हैं और वे अक्सर क्यों विफल हो जाते हैं।

पुराने तरीके (और उनकी विफलता के कारण)

"एक को चुनो और प्रार्थना करो" विधि (रूटिंग - Routing):
कल्पना कीजिए कि एक मैनेजर आपकी समस्या के पहले वाक्य को देखता है और तुरंत चिल्लाता है, "ठीक है, अब कोड निंजा प्रभारी है!" समस्या यह है कि क्या होगा यदि अगला वाक्य गणित के बारे में हो? मैनेजर ने एक "असमय प्रतिबद्धता" (premature commitment) कर दी। एक बार जब कोड निंजा गणित की समस्या के लिए कोड लिखना शुरू कर देता है, तो पूरा उत्तर खराब हो जाता है, और उसे ठीक करने का कोई तरीका नहीं बचता। यह एक प्लंबर को आपकी कार का इंजन ठीक करने के लिए काम पर रखने जैसा है क्योंकि कार से शोर आ रहा था; जब तक आपको गलती का एहसास होता है, तब तक इंजन जल चुका होता है।
"अनुमान लगाने वाला खेल" विधि (ह्यूरिस्टिक एनसेम्बलिंग - Heuristic Ensembling):
यह दृष्टिकोण विशेषज्ञों को मिश्रित करने की कोशिश करता है और पूछता है, "अभी कौन सबसे अधिक आत्मविश्वासी लग रहा है?" या "कौन सबसे तेज़ बोल रहा है?" यह एक डीजे (DJ) की तरह है जो गानों को इस आधार पर मिक्स करता है कि कौन सा गाना सबसे तेज़ सुनाई दे रहा है। हालांकि यह केवल एक को चुनने से बेहतर है, लेकिन यह अस्थिर संकेतों (proxies) पर निर्भर करता है जो हमेशा यह नहीं बताते कि उत्तर वास्तव में सही है या नहीं। यह एक शेफ के भोजन का स्वाद चखने के बजाय इस आधार पर निर्णय लेने जैसा है कि वह कितनी तेज़ी से सब्जियां काट रहा है।
"स्मूदी" विधि (पैरामीटर मर्जिंग - Parameter Merging):
यह मैथ विजार्ड, कोड निंजा और लॉजिक डिटेक्टिव के दिमाग को लेता है, उन्हें एक एकल "सुपर ब्रेन" में मिला देता है, और फिर उसे फ्रीज कर देता है। समस्या यह है कि उनके विचार आपस में टकरा सकते हैं। उन्हें मिलाना तेल और पानी को मिलाने जैसा है; परिणाम एक गंदा मिश्रण होता है जहाँ प्रत्येक विशेषज्ञ की विशिष्ट प्रतिभा खो जाती है या एक-दूसरे को रद्द कर देती है। आप कौशलों के बीच गतिशील रूप से स्विच करने की क्षमता खो देते हैं।

नया तरीका: DLLG (द "स्मार्ट कंडक्टर")

लेखक DLLG का प्रस्ताव करते हैं, जो एक ऑर्केस्ट्रा के लिए एक गतिशील, सुपर-स्मार्ट कंडक्टर की तरह कार्य करता है।

एक संगीतकार को पूरा गाना बजाने के लिए चुनने के बजाय, या उनके वाद्य यंत्रों को एक गंदे शोर में मिलाने के बजाय, कंडक्टर संगीत को नोट-दर-नोट (टोकन-दर-टोकन) सुनता है।

यह कैसे काम करता है:
- जैसे-जैसे टीम एक उत्तर तैयार करती है, कंडक्टर देखता है कि उस सटीक क्षण में मैथ विजार्ड, कोड निंजा और लॉजिक डिटेक्टिव क्या सोच रहे हैं।
- यदि वाक्य "क्षेत्रफल की गणना करने" के बारे में है, तो कंडक्टर मैथ विजार्ड की आवाज़ तेज़ कर देता है और दूसरों को धीमा कर देता है।
- ठीक अगला वाक्य "इसे प्लॉट करने के लिए एक पायथन स्क्रिप्ट लिखें" हो सकता है, इसलिए कंडक्टर तुरंत आवाज़ को कोड निंजा की ओर स्थानांतरित कर देता है।
- यह प्रति सेकंड हजारों बार होता है, जिससे विशेषज्ञों की आवाज़ों का सहज मिश्रण होता है।
सीक्रेट सॉस (बिना शिक्षक के सीखना):
आमतौर पर, एक कंडक्टर को सिखाने के लिए, आपको एक शिक्षक की आवश्यकता होगी जो हर एक नोट की ओर इशारा करे और कहे, "यहाँ मैथ विजार्ड का उपयोग करें।" लेकिन पेपर कहता है कि हमारे पास इतना विवरण नहीं है। हम केवल यह जानते हैं कि अंतिम उत्तर सही था या गलत।

DLLG बहुत चतुर है क्योंकि यह इन अंतिम परिणामों से सीखता है। यह पूरी बातचीत को देखता है, देखता है कि अंतिम उत्तर सही था, और पीछे की ओर काम करता है यह पता लगाने के लिए कि: "आह, मुझे गणना वाले हिस्से के दौरान मैथ विजार्ड को सुनना चाहिए था और कोडिंग वाले हिस्से के दौरान कोड निंजा को सुनना चाहिए था।" यह केवल इस परिणाम से सीखता है कि सफलता सफल रही, और विशेषज्ञों के बीच स्विच करने की सही लय सीख जाता है।

यह क्यों महत्वपूर्ण है

पेपर दिखाता है कि यह "स्मार्ट कंडक्टर" दृष्टिकोण कई अलग-अलग परीक्षणों (गणित की समस्याओं, कोडिंग चुनौतियों और तर्क पहेलियों) में पुराने तरीकों की तुलना में बेहतर काम करता है।

यह लचीला है: यह जल्दी में गलत चुनाव करने में नहीं फंसता। यदि कार्य बीच में बदल जाता है, तो कंडक्टर तुरंत मिश्रण बदल देता है।
यह विशेषज्ञों की शुद्धता बनाए रखता है: मैथ विजार्ड मैथ विजार्ड ही रहता है; वह कोड निंजा के साथ मिश्रित नहीं होता। वे बस बारी-बारी से बातचीत का नेतृत्व करते हैं।
यह कुशल है: इसके लिए विशेषज्ञों को फिर से प्रशिक्षित करने या किसी मानव शिक्षक द्वारा हर एक शब्द को लेबल करने की आवश्यकता नहीं होती है।

संक्षेप में, DLLG एक ऐसा सिस्टम है जो वास्तविक समय में विभिन्न AI विशेषज्ञों की आवाजों को गतिशील रूप से मिलाने का तरीका सीखता है, यह सुनिश्चित करता है कि सही समय पर सही विशेषज्ञ बोले, और यह सब करते हुए यह कदम-दर-कदम गाइड के बजाय उत्तर की अंतिम सफलता से सीखता है।

तकनीकी सारांश: DLLG: LLM विशेषज्ञों का डायनेमिक लॉजिट-लेवल गेटिंग (Dynamic Logit-Level Gating of LLM Experts)

समस्या विवरण
विशिष्ट डोमेन (जैसे, गणितीय तर्क, कोड जनरेशन) के लिए अनुकूलित विशेष लार्ज लैंग्वेज मॉडल्स (LLMs) की बढ़ती संख्या एक चुनौती पेश करती है: कैसे स्वतंत्र रूप से प्रशिक्षित "ब्लैक-बॉक्स" विशेषज्ञों को एक एकीकृत प्रणाली में एकीकृत किया जाए जो अत्यधिक पुनर्रचना (retraining) लागत के बिना उनकी पूरक शक्तियों का लाभ उठा सके। मौजूदा दृष्टिकोण अनुकूलनशीलता (adaptivity), मजबूती (robustness) और व्यावहारिकता के बीच एक निरंतर तनाव से ग्रस्त हैं:

रूटिंग-आधारित विधियाँ (Routing-based methods): ये हार्ड, अर्ली एक्सपर्ट सिलेक्शन पर निर्भर करती हैं। इससे समयपूर्व प्रतिबद्धता (premature commitment) होती है; यदि चुना गया विशेषज्ञ किसी एकल प्रतिक्रिया के भीतर एक विशिष्ट उप-कार्य पर विफल हो जाता है, तो त्रुटि अपूरणीय (unrecoverable) हो जाती है। इसके अलावा, कई राउटरों को व्यापक बेंचमार्क-विशिष्ट अंशांकन (calibration) की आवश्यकता होती है।
ह्यूरिस्टिक एन्सेम्बलिंग (Heuristic Ensembling): (जैसे, परप्लेक्सिटी वेटिंग, टोकन वोटिंग) इन्फरेंस-टाइम प्रॉक्सी संकेतों का उपयोग करती है। ये मेट्रिक्स अक्सर अनुभवजन्य (empirical) होते हैं और वास्तविक कार्य शुद्धता के साथ संरेखित नहीं होते हैं, जिससे उप-इष्टतम आउटपुट प्राप्त होता है।
पैरामीटर मर्जिंग (Parameter Merging): (जैसे, मॉडल सूपिंग, टास्क अरिथमेटिक) स्टेटिक रूप से वेट्स को फ्यूज करती है। यह मॉड्यूलैरिटी का त्याग करता है और अक्सर परस्पर विरोधी ग्रेडिएंट दिशाओं वाले विशेषज्ञों को मिलाने पर विनाशकारी हस्तक्षेप (destructive interference) उत्पन्न करता है, जिसके परिणामस्वरूप प्रदर्शन में गिरावट आती है।
मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर: आमतौर पर गेट्स और विशेषज्ञों के एंड-टू-एंड जॉइंट ट्रेनिंग की आवश्यकता होती है, जो ऑफ-द-शेल्फ, प्री-ट्रेन्ड स्पेशलिस्ट्स का उपयोग करने की क्षमता को सीमित करता है।

कार्यप्रणाली: DLLG
लेखक DLLG (Dynamic Logit-Level Gating) का प्रस्ताव करते हैं, जो एक लाइटवेट गेटिंग मॉडल का उपयोग करके डायनेमिक, टोकन-लेवल लॉजिट फ्यूजन करता है, जिसे स्पार्स, रिस्पॉन्स-लेवल सुपरविजन पर प्रशिक्षित किया गया है।

आर्किटेक्चर:
- फ्रोजन एक्सपर्ट्स (Frozen Experts): $K$ विशिष्ट LLMs फ्रोजन रहते हैं। प्रत्येक डिकोडिंग स्टेप $t$ पर, प्रॉम्प्ट $x$ और प्रीफिक्स $y_{<t}$ दिए जाने पर, प्रत्येक विशेषज्ञ $E_i$ एक हिडन स्टेट $h^{(i)}_t$ और नेक्स्ट-टोकन लॉजिट $\ell^{(i)}_t$ उत्पन्न करता है।
- गेटिंग मॉडल: एक लाइटवेट मॉडल ( $g_\phi$ ) सभी विशेषज्ञों के कंकैटिनेटेड हिडन स्टेट्स को प्रोसेस करता है। यह इन रिप्रेजेंटेशन्स को एक साझा एम्बेडिंग स्पेस में प्रोजेक्ट करता है (लो-रैंक प्रोजेक्शन का उपयोग करके) और उन्हें एक ऑटोरेग्रेसिव स्टेम (जैसे, Qwen2.5-0.5B-Instruct के साथ LoRA एडैप्टर्स) के माध्यम से प्रोसेस करता है।
- वेट प्रेडिक्शन (Weight Prediction): एक प्रेडिक्शन हेड सिग्मॉइड ट्रांसफॉर्मेशन के माध्यम से टोकन-वाइज फ्यूजन वेट्स $w_{t,i}$ आउटपुट करता है। ये वेट्स विशेषज्ञों के लॉजिट्स पर लागू होते हैं: $\ell_t = \sum_{i=1}^K w_{t,i} \ell^{(i)}_t$ । वेट्स एक को सम करने (sum to one) के लिए बाध्य नहीं हैं, जो लचीले योगदान की अनुमति देता है।
प्रशिक्षण (रिस्पॉन्स-लेवल सुपरविजन):
- फ्रेमवर्क टोकन-लेवल एनोटेशन की कमी को ऑटोमैटिक वेरिफायर (जैसे, कोड के लिए यूनिट टेस्ट, मैथ के लिए आंसर चेकिंग) से प्राप्त रिस्पॉन्स-लेवल करेक्टनेस सिग्नल्स ( $s_i \in \{0, 1\}$ ) का उपयोग करके संबोधित करता है।
- टीचर फोर्सिंग (Teacher Forcing): प्रशिक्षण के दौरान, एक्सपर्ट्स ग्राउंड-ट्रुथ प्रीफिक्स $y_{<t}$ की स्थिति में हिडन स्टेट्स जेनरेट करते हैं। गेटिंग मॉडल प्रत्येक टोकन पोजीशन के लिए वेट्स $w_{t,i}$ प्रेडिक्ट करता है।
- ऑब्जेक्टिव: मॉडल MSE (मीन स्क्वेर्ड एरर) को प्रेडिक्टेड वेट्स और ब्रॉडकास्ट रिस्पॉन्स-लेवल करेक्टनेस सिग्नल के बीच कम करने के लिए प्रशिक्षित किया जाता है: $\mathcal{L} = \frac{1}{T} \sum_{t=1}^T \sum_{i=1}^K (w_{t,i} - s_i)^2$ । यह गेट को टोकन-लेवल फ्यूजन को समग्र सफलता (trajectory) के साथ संरेखित करना सिखाता है।
इन्फरेंस (Inference):
- DLLG ऑटोरेग्रेसिव रूप से कार्य करता है। प्रत्येक स्टेप पर, गेटिंग मॉडल वर्तमान एक्सपर्ट हिडन स्टेट्स के आधार पर फ्यूजन वेट्स प्रेडिक्ट करता है, लॉजिट्स को कंबाइन किया जाता है, और अगला टोकन चुना जाता है। यह रिकवरेबल एक्सपर्ट यूटिलाइजेशन की अनुमति देता है; यदि कोई विशेषज्ञ शुरुआत में गलती करता है, तो गेटिंग मॉडल बाद के स्टेप्स में अधिक सक्षम विशेषज्ञ की ओर वेट को डायनेमिक रूप से शिफ्ट कर सकता है।

प्रमुख योगदान

फ्रेमवर्क प्रस्ताव: DLLG का परिचय, जो एक डायनेमिक लॉजिट-लेवल एन्सेम्बलिंग फ्रेमवर्क है जो टोकन-लेवल एनोटेशन या ऑनलाइन सुदृढीकरण शिक्षण (reinforcement learning) के बिना, स्पार्स रिस्पॉन्स-लेवल सुपरविजन से फाइन-ग्रैन्ड एक्सपर्ट यूटिलाइजेशन को सक्षम बनाता है।
मैकेनिज्म विश्लेषण: यह प्रदर्शित करना कि सीखा गया गेटिंग मैकेनिज्म रोलआउट के दौरान विशेषज्ञ योगदान को डायनेमिक रूप से अनुकूलित करता है, जो विकसित होते संदर्भ (context) के आधार पर वेट्स को एडजस्ट करता है (उदाहरण के लिए, एक ही रिस्पॉन्स के भीतर गणितीय तर्क से कोड जनरेशन की ओर शिफ्ट होना)।
अनुभवजन्य सत्यापन (Empirical Validation): 0.5B और 1.5B मॉडल स्केल्स पर विभिन्न रीजनिंग और कोड बेंचमार्क (GSM8K, MATH, HumanEval, आदि) पर मूल्यांकन, जो रूटिंग, ह्यूरिस्टिक एन्सेम्बलिंग और पैरामीटर-मर्जिंग बेसलाइन्स की तुलना में निरंतर लाभ दिखाता है।

परिणाम

प्रदर्शन: 0.5B और 1.5B दोनों मॉडल स्केल्स में, DLLG लगातार स्ट्रॉन्ग बेसलाइन्स (RouterDC, EmbedLLM, विभिन्न लॉजिट एन्सेम्बलिंग मेथड्स जैसे GaC, UniTe, और पैरामीटर मर्जिंग तकनीक जैसे Linear, SLERP, Task Arithmetic) की तुलना में उच्चतम औसत प्रदर्शन प्राप्त करता है।
मजबूती (Robustness): लो-कैपेसिटी (0.5B) सेटिंग्स में जहाँ व्यक्तिगत विशेषज्ञ कमजोर होते हैं, DLLG नाजुक रूटिंग और ह्यूरिस्टिक मेथड्स को पछाड़ देता है, जो सॉफ्ट फ्यूजन के माध्यम से शुरुआती गलतियों को कम करने की इसकी क्षमता को दर्शाता है।
सामान्यीकरण (Generalization): विधि आउट-ऑफ-डोमेन बेंचमार्क (जैसे, HumanEval, MBPP, BBH) पर मजबूत प्रदर्शन दिखाती है, जो इंगित करती है कि सीखा गया फ्यूजन नियम विशिष्ट प्रशिक्षण वितरण से परे सामान्यीकृत होता है।
एब्लेशन (Ablation): प्रयोग पुष्टि करते हैं कि प्रभावी टोकन-लेवल फ्यूजन के लिए एक पर्याप्त अभिव्यंजक (expressive) गेटिंग आर्किटेक्चर (सहायक LLM और लो-रैंक प्रोजेक्शन शामिल करते हुए) आवश्यक है, जो साधारण MLP हेड्स से बेहतर प्रदर्शन करता है।

महत्व और दावे
पेपर का दावा है कि DLLG विशेषज्ञों को एकीकृत करने के लिए एक मजबूत और स्केलेबल प्रतिमान (paradigm) प्रदान करता है। रिस्पॉन्स-लेवल सुपरविजन से लॉजिट-लेवल फ्यूजन सीखकर, यह विशेषज्ञों को पुनर्रचित करने की लागत या पैरामीटर इंटरफेरेंस के जोखिम के बिना MoE जैसी अनुकूलनशीलता प्राप्त करता है। लेखक इस बात पर जोर देते हैं कि DLLG विशेषज्ञ मॉड्यूलैरिटी को बनाए रखता है और फाइन-ग्राइंड, रिकवरेबल एक्सपर्ट यूटिलाइजेशन को सक्षम बनाता है, जो रूटिंग की समयपूर्व प्रतिबद्धता और पैरामीटर मर्जिंग की स्टेटिक प्रकृति की सीमाओं को दूर करता है। यह कार्य सुझाव देता है कि कमजोर सुपरविजन से फाइन-ग्राइंड विशेषज्ञ उपयोगिता सीखना, तेजी से विशेष होते भाषा मॉडल्स का लाभ उठाने के लिए एक व्यावहारिक मार्ग है।

पुराने तरीके (और उनकी विफलता के कारण)

नया तरीका: DLLG (द "स्मार्ट कंडक्टर")

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर