💬 NLP

Tuning Language Models by Mixture-of-Depths Ensemble

यह शोध पत्र Mixture-of-Depths Ensemble (MoDE) प्रस्तुत करता है, जो एक ट्यूनिंग फ्रेमवर्क है जो तर्क करने की क्षमता (reasoning performance) में सुधार करने के लिए सीखे गए रूटिंग वेट्स के साथ लेट-लेयर रिप्रेजेंटेशन्स के एक एनसेम्बल का लाभ उठाता है और यह प्रदर्शित करता है कि ये इंटरमीडिएट लेयर्स बड़े ट्रेन करने योग्य मॉड्यूल्स का प्रभावी ढंग से विकल्प बन सकती हैं।

मूल लेखक: Haoyan Luo, Lucia Specia

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoyan Luo, Lucia Specia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला कारखाने के रूप में करें जहाँ नीचे से कच्चा डेटा प्रवेश करता है और 32 मंजिलों वाले श्रमिकों (परतों/layers) के माध्यम से ऊपर की ओर यात्रा करता है, इससे पहले कि एक अंतिम उत्पाद बाहर भेजा जाए।

पारंपरिक रूप से, जब हम इन कारखानों को नए कार्य करने (जैसे गणित या तर्क) के लिए सिखाते हैं, तो हम केवल सबसे ऊपरी मंजिल के फोरमैन (सुपरवाइजर) की बात सुनते हैं। हम पूरे कारखाने को कहते हैं, "ऊपरी मंजिल ने सही उत्तर दिया है, इसलिए सभी ने अच्छा काम किया।" यह शोध पत्र तर्क देता है कि यह क्षमता की बर्बादी है। वास्तव में, ऊपरी कुछ मंजिलों (देर से आने वाली परतों) के श्रमिक पहले से ही अधिकांश भारी काम कर रहे होते हैं और अंतिम उत्पाद इमारत से बाहर निकलने से बहुत पहले ही उत्तर समझ चुके होते हैं।

यहाँ एक सरल विवरण दिया गया कि लेखकों, हओयान लुओ और लूसिया स्पेशिया ने क्या खोजा और बनाया:

1. समस्या: "लगभग काम पूरा कर चुके" श्रमिकों की अनदेखी करना

लेखकों ने देखा कि यदि आप 32-मंजिला कारखाने की 28वीं, 29वीं या 30वीं मंजिल के श्रमिकों को देखें, तो उनके पास पहले से ही उत्तर का एक बहुत स्पष्ट विचार होता है। वास्तव में, वे अंतिम फोरमैन जितने ही बुद्धिमान हैं।

हालाँकि, मानक प्रशिक्षण इन मध्यवर्ती श्रमिकों को अनदेखा करता है। यह केवल अंतिम आउटपुट को पुरस्कृत करता है। शोध पत्र पूछता है: क्या होगा यदि हम इन देर से आने वाले श्रमिकों को अनदेखी करना बंद कर दें और वास्तव में इन "लगभग-पूरे" उत्तरों का उपयोग पूरे कारखाने को प्रशिक्षित करने के लिए करें?

2. समाधान: "मिक्सचर-ऑफ-डेप्थ्स एनसेंबल" (MoDE)

इसे ठीक करने के लिए, उन्होंने MoDE नामक एक नया प्रशिक्षण तरीका बनाया। इसे एक स्मार्ट वोटिंग सिस्टम लगाने के रूप में समझें जो ऊपरी कुछ मंजिलों पर स्थापित है।

सेटअप: केवल ऊपरी मंजिल की बात सुनने के बजाय, MoDE अंतिम कुछ मंजिलों (मान लीजिए, शीर्ष 3 या 4) की बात सुनता है।
राउटर (Router): यह एक छोटा, स्मार्ट "ट्रैफिक कंट्रोलर" (राउटर) उपयोग करता है जो यह तय करता है कि किसी विशिष्ट प्रश्न के लिए किस मंजिल का उत्तर सबसे अच्छा है।
मिश्रण (The Mix): यह इन ऊपरी मंजिलों के उत्तरों को एक अंतिम भविष्यवाणी में मिला देता है।

उपमा: कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। लाइन के अंत में खड़े केवल एक विशेषज्ञ से पूछने के बजाय, आप अंत से ठीक पहले खड़े तीन विशेषज्ञों से पूछते हैं। आप एक छोटे मैनेजर को यह तय करने देते हैं कि किस विशेषज्ञ की राय पर सबसे अधिक भरोसा किया जाए, और आप उनके ज्ञान को मिला देते हैं। यह आपको एक ही व्यक्ति से पूछने की तुलना में बेहतर उत्तर देता है।

3. उन्होंने इसे कैसे काम करने के लायक बनाया (द "सीक्रेट सॉस")

आप अचानक निचली मंजिलों की बात नहीं सुन सकते; वे भ्रमित हो सकते हैं क्योंकि उन्हें कभी अंतिम उत्तर देने के लिए प्रशिक्षित नहीं किया गया था। लेखकों ने इसे काम करने के लिए दो तरकीबों का उपयोग किया:

"टीचर" सिग्नल: उन्होंने ऊपरी मंजिल (मूल विशेषज्ञ) को एक "शिक्षक" के रूप में उपयोग किया। उन्होंने निचली मंजिलों को बताया, "उस उत्तर से मेल खाने की कोशिश करो जो ऊपरी मंजिल देती है।" इससे निचली मंजिलों को जल्दी व्यवस्थित होने में मदद मिली।
छोटे समायोजन: पूरे कारखाने को फिर से प्रशिक्षित करने के बजाय (जो बहुत महंगा है), उन्होंने केवल ऊपरी कुछ मंजिलों पर छोटे, समायोज्य "चश्मे" (नॉर्मलाइजेशन मॉड्यूल) जोड़े ताकि वे कार्य को स्पष्ट रूप से देख सकें।

4. परिणाम: स्मार्टर और तेज़

शोध पत्र ने गणित की समस्याओं और सामान्य तर्क कार्यों पर इसका परीक्षण किया। यहाँ उन्हें क्या पता चला:

बेहतर प्रदर्शन: "लगभग-काम-पूरा-कर-चुके" श्रमिकों की बात सुनकर, मॉडल तर्क करने के कार्यों में थोड़ा बेहतर हो गए। यह बिना एक बड़ा कारखाना बनाए, गति में 1.6 गुना वृद्धि या एक टेस्ट में कुछ अतिरिक्त अंक प्राप्त करने जैसा है।
सस्ता: आमतौर पर, बेहतर परिणाम प्राप्त करने के लिए, आपको बड़ी संख्या में नए भाग (पैरामीटर्स) प्रशिक्षित करने की आवश्यकता होती है। MoDE बहुत कम नए भाग जोड़कर (केवल 0.04% अधिक) समान परिणाम प्राप्त करता है। यह एक नई कार खरीदने के बजाय केवल इंजन को ट्यून करके फेरारी अपग्रेड पाने जैसा है।
गति में वृद्धि (अर्ली एग्जिट): क्योंकि "ट्रैफिक कंट्रोलर" स्मार्ट है, वह कभी-कभी यह निर्णय ले सकता है, "हे, उत्तर 30वीं मंजिल पर ही स्पष्ट है; हमें 32वीं मंजिल तक जाने की आवश्यकता नहीं है।" यह मॉडल को काम जल्दी समाप्त करने की अनुमति देता है, जिससे यह कुछ कार्यों के लिए 1.6 गुना तेज़ हो जाता है।

5. यह क्या नहीं है

लेखक सावधान करते हैं कि यह हर चीज़ के लिए जादू की छड़ी नहीं है।

यह तर्क (Reasoning) (गणित, तर्कशास्त्र) के लिए बहुत अच्छा काम करता है।
यह निर्देश पालन (Instruction Following) (जैसे कविता लिखना या जटिल चैट निर्देश का पालन करना) के लिए कम नाटकीय रूप से काम करता है, क्योंकि उन कार्यों के लिए टेक्स्ट के बहुत अंतिम स्वरूपण (formatting) की आवश्यकता होती है।
यह मॉडल को मानव की तरह "सोचने" के तरीके में नहीं बदलता है; यह केवल सूचना का उपयोग करके प्रशिक्षण प्रक्रिया को अधिक कुशल बनाता है जो पहले से ही वहां मौजूद थी लेकिन जिसे अनदेखा किया जा रहा था।

सारांश

यह शोध पत्र एक सरल लेकिन चतुर विचार प्रस्तावित करता है: केवल अंतिम उत्तर न सुनें; उन लोगों को भी सुनें जो लगभग वहां पहुँच चुके हैं। एक भाषा मॉडल की ऊपरी कुछ परतों के बीच "टीम वोट" बनाकर, हम इन AI मॉडलों को बिना पूरे सिस्टम को फिर से बनाए बिना थोड़ा स्मार्ट, काफी सस्ता और चलाने में तेज़ बना सकते हैं।

तकनीकी सारांश: मिक्सचर-ऑफ-डेप्थ्स एन्सेम्बल (MoDE) द्वारा लैंग्वेज मॉडल्स की ट्यूनिंग

समस्या विवरण
पारंपरिक ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) फाइन-ट्यूनिंग के दौरान प्रेडिक्शन और लॉस कैलकुलेशन दोनों के लिए विशेष रूप से अंतिम-लेयर रिप्रेजेंटेशन पर निर्भर करते हैं। जबकि "लॉगिट लेंस" जैसे व्याख्यात्मक उपकरण (interpretability tools) यह प्रदर्शित करते हैं कि लेट-लेयर हिडन स्टेट्स में पहले से ही काफी हद तक गठित, कार्य-प्रासंगिक प्रेडिक्शन मौजूद होते हैं, इन मध्यवर्ती (intermediate) रिप्रेजेंटेशन्स को आमतौर पर एक स्पष्ट ट्रेनिंग सिग्नल के बजाय केवल एक निहित उपोत्पाद (implicit byproduct) के रूप में माना जाता है। फलस्वरूप, लेट लेयर्स की प्रेडिक्टिव क्षमता का पूर्ण उपयोग नहीं हो पाता है, और मानक फाइन-ट्यूनिंग केवल अंतिम लेयर को ऑप्टिमाइज़ करती है, जिससे मध्यवर्ती रिप्रेजेंटेशन्स केवल अप्रत्यक्ष रूप से ही ऑप्टिमाइज़ हो पाते हैं। इसके अलावा, मध्यवर्ती लेयर्स का लाभ उठाने वाले मौजूदा तरीके (जैसे दक्षता के लिए अर्ली एग्जिट या रिप्रेजेंटेशन स्टीयरिंग) अक्सर मध्यवर्ती लेयर-विशिष्ट लॉगिट्स को अंतिम प्रेडिक्शन ऑब्जेक्टिव के एक प्रत्यक्ष, ट्रेन करने योग्य घटक के रूप में नहीं देखते हैं।

कार्यप्रणाली: मिक्सचर-ऑफ-डेप्थ्स एन्सेम्बल (MoDE)
लेखक मिक्सचर-ऑफ-डेप्थ्स एन्सेम्बल (MoDE) प्रस्तावित करते हैं, जो एक ट्यूनिंग फ्रेमवर्क है जो एक ही मॉडल के भीतर विभिन्न डेप्थ्स के भीतर से प्राप्त अंतिम $k$ लेयर्स के आउटपुट को "एक्सपर्ट्स" के एक एन्सेम्बल के रूप में मानता है। Mixture-of-Experts (MoE) के विपरीत, जो अलग-अलग टोकन्स को अलग-अलग मॉडल्स तक रूट करता है, MoDE एक ही मॉडल के भीतर विभिन्न डेप्थ्स के लॉगिट्स के भारित संयोजन (weighted combination) की ओर प्रेडिक्शन को रूट करता है।

यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

लेट-लेयर लॉगिट एक्सट्रैक्शन (Late-Layer Logit Extraction): एक $n$ लेयर्स वाले मॉडल के लिए, अंतिम $k$ लेयर्स ( $K = \{L_{n-k+1}, \dots, L_n\}$ ) को चुना जाता है। प्रत्येक इन $k$ लेयर्स के हिडन स्टेट्स पर वोकैबुलरी हेड $\phi(\cdot)$ को लागू किया जाता है ताकि लॉगिट्स $\ell_i(x)$ उत्पन्न किए जा सकें।
लर्नड रूटिंग नेटवर्क (Learned Routing Network): एक हल्का रूटर $G(x)$ , जिसे एक सिंगल लीनियर लेयर और सॉफ्टमैक्स के रूप में लागू किया गया है, अंतिम $k$ लेयर्स से ठीक पहले के हिडन स्टेट $x = H_{n-k}$ के आधार पर रूटिंग वेट्स की गणना करता है। अंतिम लॉगिट्स की गणना इस प्रकार की जाती है:
$\ell(x_t | x_{<t}) = \sum_{i=0}^{k-1} G(x)_i \cdot \ell_i(x)$
इन्फरेंस के दौरान अर्ली एग्जिट को सक्षम करने के लिए रूटर को स्पार्स (Top-K) बनाया जा सकता है।
नॉर्मलाइजेशन और डिस्टिलेशन के माध्यम से अनुकूलन (Adaptation via Normalization and Distillation): प्री-ट्रेन्ड हेड को सीधे मध्यवर्ती लेयर्स पर लागू करने से अक्सर उच्च प्रारंभिक लॉस होता है। इसे भारी पैरामीटर्स जोड़ने के बिना (जैसे प्रति-लेयर एफ़ाइन मैट्रिसेस) हल करने के लिए, लेखक निम्नलिखित पेश करते हैं:
- प्रति-लेयर नॉर्मलाइजेशन ( $N_k$ ): प्री-ट्रेन्ड आर्किटेक्चर (जैसे LayerNorm) से मेल खाने वाले ट्रेन करने योग्य नॉर्मलाइजेशन मॉड्यूल को प्रत्येक लेट लेयर में जोड़ा जाता है ताकि रिप्रेजेंटेशन्स को हेड के इनपुट स्पेस के अनुकूल बनाया जा सके।
- डिस्टिलेशन लॉस ( $L_{distill}$ ): अंतिम लेयर एक "टीचर" के रूप में कार्य करती है। अंतिम लेयर के डिस्ट्रीब्यूशन की ओर शुरुआती लेट लेयर्स के आउटपुट डिस्ट्रीब्यूशन को खींचने के लिए एक KL-डाइवर्जेंस लॉस लागू किया जाता है, जो ट्रेनिंग को स्थिर करता है और एन्सेम्बल को टास्क ऑब्जेक्टिव के साथ संरेखित करता है।

कुल लॉस $L_{MoDE} = L_{task} + \lambda L_{distill}$ है। MoDE को एक प्लग-इन मैकेनिज्म के रूप में डिज़ाइन किया गया है जिसे किसी भी मौजूदा पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग (PEFT) विधि (जैसे LoRA, DoRA) के ऊपर लगाया जा सकता है या स्वतंत्र रूप से उपयोग किया जा सकता है।

मुख्य योगदान

ट्रेन करने योग्य लेट-लेयर सिग्नल्स: पेपर यह प्रदर्शित करता है कि लेट-लेयर लॉगिट्स, डिस्टिलेशन के साथ व्यक्तिगत रूप से ऑप्टिमाइज़ होने पर, अंतिम लेयर के समान लॉस तक पहुँचते हैं और पूरक समस्याओं को हल करते हैं।
MoDE फ्रेमवर्क: एक सरल, कम ओवरहेड वाला ट्यूनिंग मैकेनिज्म जो एक लर्नड राउटर के माध्यम से लेट-लेयर लॉगिट्स को एन्सेम्बल करता है। यह नगण्य ट्रेन करने योग्य पैरामीटर्स (मॉडल के आकार का लगभग +0.04%) जोड़ता है और समान प्रदर्शन के साथ काफी बड़े ट्रेन करने योग्य मॉड्यूल (जैसे फुल-लेयर LoRA) को प्रतिस्थापित कर सकता है।
दक्षता और लचीलापन: फ्रेमवर्क स्पार्स (Top-K) रूटिंग का समर्थन करता है, जो अर्ली एग्जिट और न्यूनतम सटीकता हानि के साथ जनरेशन स्पीडअप के 1.6 $\times$ तक की सुविधा देता है। यह मौजूदा PEFT विधियों के साथ मिलकर काम करता है, जिससे उनके प्रदर्शन में वृद्धि होती है।

प्रायोगिक परिणाम
प्रायोगिक परीक्षण अरिथमेटिक रीजनिंग, कॉमन सेंस रीजनिंग और इंस्ट्रक्शन फॉलोइंग कार्यों पर LLaMA2-7B और LLaMA3-8B पर किए गए।

अरिथमेटिक रीजनिंग: MoDE ने बेस मेथड्स (LoRA, DoRA) के प्रदर्शन में निरंतर सुधार किया। लाइटवेट वेरिएंट (सभी लेयर्स सिवाय अंतिम $k$ के लिए LoRA लागू करना, प्लस MoDE) ने फुल-लेयर LoRA के करीब प्रदर्शन हासिल किया, जबकि काफी कम पैरामीटर्स का उपयोग किया।
कॉमन सेंस रीजनिंग: MoDE ने वेट-आधारित तरीकों (LoRA, DoRA) पर योगात्मक लाभ (additive gains) प्रदान किया। जबकि रिप्रेजेंटेशन-आधारित तरीकों (ReFT) ने अपने आप में मजबूत प्रदर्शन किया, MoDE ने वेट-आधारित दृष्टिकोणों के साथ मिलकर विश्वसनीय सुधार प्रदान किया।
इंस्ट्रक्शन फॉलोइंग: MoDE ने MT-Bench पर छोटे लेकिन निरंतर लाभ दिए, हालांकि इंस्ट्रक्शन फॉलोइंग कार्यों में सुधार रीजनिंग कार्यों की तुलना में अधिक मामूली थे, जो यह सुझाव देता है कि इंस्ट्रक्शन फॉलोइंग काफी हद तक लेट-लेयर फॉर्मेटिंग पर निर्भर करता है जिसे एन्सेम्बलिंग केवल आंशिक रूप से कैप्चर कर पाती है।
एब्लेशन और विश्लेषण:
- राउटर स्वाभाविक रूप से अंतिम एक या दो लेयर्स पर वेट केंद्रित करता है, लेकिन डिस्टिलेशन और नॉर्मलाइजेशन घटक शुरुआती लेट लेयर्स को प्रभावी ढंग से योगदान देने की अनुमति देते हैं।
- $k \approx 3\text{--}4$ का एन्सेम्बल साइज इष्टतम है; बड़ा $k$ आसान डेटासेट्स के लिए मदद करता है लेकिन जटिल रीजनिंग कार्यों के लिए नुकसानदेह होता है।
- स्पार्स Top-K रूटिंग अधिकांश सटीकता बनाए रखती है जबकि महत्वपूर्ण स्पीडअप सक्षम करती है।

महत्व और दावे
लेखक MoDE को एक मैकेनिज्म स्टडी के रूप में फ्रेम करते हैं जो यह प्रदर्शित करता है कि लेट-लेयर लॉगिट्स को सरल अनुकूलन (नॉर्मलाइजेशन और डिस्टिलेशन) के माध्यम से सीधे उपयोगी बनाया जा सकता है। पेपर दावा करता है कि:

लेट-लेयर रिप्रेजेंटेशन्स में महत्वपूर्ण प्रेडिक्टिव क्षमता होती है जिसे सरल अनुकूलन के माध्यम से अनलॉक किया जा सकता है।
ये मध्यवर्ती सिग्नल समान प्रदर्शन के साथ काफी बड़े ट्रेन करने योग्य मॉड्यूल (जैसे फुल-लेयर LoFA) को प्रतिस्थापित कर सकते हैं, जो एक पैरामीटर-एफिशिएंट विकल्प प्रदान करते हैं।
MoDE मध्यवर्ती-लेयर रिप्रेजेंटेशन्स को एक्शन योग्य ट्रेनिंग सिग्नल्स में बदलने के लिए एक पूरक दिशा प्रदान करता है, जो इन्फरेंस-टाइम प्रोबिंग या वेट-एडिटिंग दृष्टिकोणों से अलग है।

पेपर अपनी स्कोप के संबंध में विनम्र रहता है, जिसमें एक निश्चित $k$ (डायनामिक सिलेक्शन के बजाय) पर निर्भरता, इंस्ट्रक्शन फॉलोइंग पर तुलनात्मक रूप से कम लाभ, और डिकोडर-ओनली LLMs तक सीमित मूल्यांकन जैसी सीमाओं का उल्लेख किया गया है। भविष्य के कार्य के लिए डायनामिक $k$ चयन, व्यापक मॉडल परिवारों और बड़े मॉडल्स के लिए सुझाव दिया गया है।