💬 NLP

Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2

यह शोध पत्र प्रकट करता है कि Llama-3.2 मॉडलों में GLU-MLP परतों की संरचित चौड़ाई प्रूनिंग (structured width pruning) एक अनूठा व्यापार-समझौता (trade-off) उत्पन्न करती है जहाँ विस्तार अनुपात (expansion ratio) को कम करने से पैरामीट्रिक ज्ञान घटता है और ऊर्जा दक्षता बढ़ती है, फिर भी विरोधाभासी रूप से यह बहु-चरणीय तर्क क्षमताओं को सुरक्षित रखते हुए निर्देश-अनुपालन और सत्यता को बढ़ाता है।

मूल लेखक: Pere Martra

प्रकाशित 2026-05-07✓ Author reviewed ⓘ

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pere Martra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान पुस्तकालय (AI मॉडल) है जो लाखों किताबों से भरा हुआ है। यह पुस्तकालय इतना बड़ा है कि इसकी लाइटें चालू रखने और अलमारियों को व्यवस्थित रखने में बहुत अधिक ऊर्जा लगती है। इस शोध पत्र के लेखक ने एक सरल प्रश्न पूछा: क्या होगा यदि हम कुछ अलमारियों को फेंककर पुस्तकालय को छोटा कर दें?

आमतौर पर, लोग मान लेते हैं कि यदि आप पुस्तकालय को छोटा करते हैं, तो आप सब कुछ खो देते हैं: तथ्य, कहानियाँ और निर्देशों का पालन करने की क्षमता। लेकिन इस शोध ने कुछ आश्चर्यजनक और विरोधाभासी खोजा। इसने पाया कि पुस्तकालय को छोटा करना केवल उसे "खराब" बनाना नहीं है; बल्कि यह वास्तव में यह बदल देता है कि वह किस चीज़ में अच्छा है, जिससे उसके व्यक्तित्व में एक अजीब सा विभाजन पैदा हो जाता है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "नाजुक" बनाम "मजबूत" विभाजन (The "Fragile" vs. "Robust" Split)

शोधकर्ताओं ने यह तय करने के लिए कि कौन सी अलमारियाँ हटानी हैं, एक विशिष्ट विधि का उपयोग किया। उन्होंने अलमारियों पर रखी किताबों के "वजन" (जिसे पीक-टू-पीक मैग्नीट्यूड या PPM कहा जाता है) को देखा।

नाजुक चीजें (तथ्य और गणित): जब उन्होंने अलमारियाँ हटाईं, तो पुस्तकालय विशिष्ट तथ्यों (जैसे इतिहास की तारीखें) को याद रखने या गणित की समस्याओं को हल करने में बहुत खराब हो गया। यह ऐसा है जैसे आपने संदर्भ अनुभाग (reference section) को फेंक दिया हो; लाइब्रेरियन अब आपको फ्रांस की राजधानी नहीं बता सकता या कोई समीकरण हल नहीं कर सकता। AI के मस्तिष्क का यह हिस्सा "नाजुक" है और पुस्तकालय छोटा होने पर आसानी से टूट जाता है।
मजबूत चीजें (आदेशों का पालन): यहीं पर जादू है। जबकि पुस्तकालय तथ्यों के मामले में खराब हो गया, यह सख्त निर्देशों का पालन करने में वास्तव में बेहतर हो गया। यदि आप लाइब्रेरियन को कहते, "बिल्कुल तीन वाक्यों में, न एक भी ज्यादा न कम, एक बिल्ली के बारे में कहानी लिखें," तो छोटा पुस्तकालय इसे बड़े पुस्तकालय की तुलना में अधिक सटीकता से करता। यह अधिक आज्ञाकारी हो गया और इधर-उधर बोलने (ramble करने) की संभावना कम हो गई।

उपमा: कल्पना कीजिए कि एक छात्र परीक्षा की तैयारी करने की कोशिश कर रहा है।

छंटनी (Pruning) से पहले: छात्र के पास एक विशाल पाठ्यपुस्तक है। वह हर चीज़ के बारे में थोड़ा-बहुत जानता है लेकिन अक्सर विचलित हो जाता है और लंबे, बिखरे हुए उत्तर लिखता है।
छंटनी के बाद: हम उन पन्नों को फाड़ देते हैं जिनमें अतिरिक्त तथ्य और इतिहास हैं। अब, छात्र कम तथ्य जानता है, लेकिन क्योंकि वह "अतिरिक्त" जानकारी से विचलित नहीं हो रहा है, वह शिक्षक के निर्देशों (जैसे "ठीक 3 वाक्य लिखें") का बहुत बेहतर पालन करता है।

2. "सत्यनिष्ठा का विरोधाभास" (The "Truthfulness Paradox")

यह इस अध्ययन का सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने तथ्यों को जानने और सच बोलने के बीच एक अजीब संबंध पाया।

विरोधाभास: जैसे-जैसे पुस्तकालय छोटा होता गया और इसने तथ्यात्मक ज्ञान खो दिया, यह वास्तव में झूठ और गलत धारणाओं को पकड़ने में बेहतर हो गया।
उपमा: पुस्तकालय को एक ऐसे व्यक्ति के रूप में सोचें जिसने शहर की हर अफवाह सुनी है। कभी-कभी, वे किसी अफवाह को इसलिए दोहराते हैं क्योंकि उन्हें लगता है कि वह सच है। जब आप पुस्तकालय को छोटा करते हैं, तो आप "अफवाह वाली अलमारियाँ" हटा देते हैं। लाइब्रेरियन अब कम चीजें जानता है, लेकिन वह गलती से कोई झूठी कहानी दोहराने की संभावना भी कम रखता है क्योंकि वे झूठी कहानियाँ उन्हीं अलमारियों पर संग्रहीत थीं जिन्हें फेंक दिया गया था।
परिणाम: AI एक विश्वकोश (कम तथ्य जानना) से बदलकर एक सत्यवादी (भ्रमित या मनगढ़ंत बातें कम करना) बन गया।

3. "गति बनाम ऊर्जा" का व्यापार (The "Speed vs. Energy" Trade-off)

शोधकर्ताओं ने यह भी देखा कि पुस्तकालय कितना तेज़ और कुशल है।

ऊर्जा: पुस्तकालय को छोटा करने से काफी बिजली की बचत हुई (प्रति शब्द 23% तक कम ऊर्जा)।
गति: हालाँकि, इसमें एक पेच था। यदि आप लाइब्रेरियन से एक बार में एक प्रश्न पूछते हैं (जैसे चैट में), तो छोटा पुस्तकालय उत्तर देने में वास्तव में धीमा था। इसे अनुरोध को प्रोसेस करने में अधिक समय लगा।
अपवाद: यदि आप लाइब्रेरियन को एक साथ कई प्रश्न पूछने के लिए कहते हैं (जैसे 8 प्रश्नों का एक बैच), तो छोटा पुस्तकालय अविश्वसनीय रूप से तेज़ और कुशल था।
उपमा: यह एक छोटी, कुशल कार की तरह है। यह कम गैस का उपयोग करती है, लेकिन यदि आप अकेले गाड़ी चलाते हैं, तो यह सुस्त लग सकती है। हालाँकि, यदि आप इसे यात्रियों से भरी एक पूरी बस बना देते हैं, तो यह एक साथ सभी को ले जाने का सबसे कुशल तरीका बन जाती है।

4. "गोल्डिलॉक्स ज़ोन" (The "Sweet Spot")

शोधकर्ताओं ने एक "गोल्डिलॉक्स" क्षेत्र पाया। उन्हें लाभ प्राप्त करने के लिए पुस्तकालय को बिल्कुल सबसे छोटे आकार तक छोटा करने की आवश्यकता नहीं थी।

उन्होंने एक विशिष्ट आकार (जिसे 2.4x एक्सपेंशन रेश्यो कहा गया) पाया जहाँ पुस्तकालय कुशल और आज्ञाकारी होने के लिए पर्याप्त छोटा था, लेकिन कुछ महत्वपूर्ण तथ्यों को याद रखने के लिए पर्याप्त बड़ा भी था।
चेतावनी: यह "परफेक्ट आकार" पूरी तरह से इस बात पर निर्भर करता है कि आप AI से क्या करवाना चाहते हैं। यदि आपको इसे इतिहास विशेषज्ञ के रूप में चाहिए, तो इसे छोटा न करें। यदि आपको इसे बिना मनगढ़ंत बातें किए सख्त नियमों का पालन करने के लिए चाहिए, तो इसे छोटा करना एक बेहतरीन विचार है।

सारांश

यह शोध पत्र दावा करता है कि AI के मस्तिष्क के कुछ हिस्सों (विशेष रूप से उन "मध्य" परतों को जहाँ यह जानकारी को प्रोसेस करता है) को सावधानीपूर्वक हटाकर, आप चयनात्मक रूप से इसके व्यक्तित्व को बदल सकते हैं। आप इसे ऐसा बना सकते हैं:

कुछ तथ्यों और गणित को भूल जाना।
नियमों और निर्देशों का पालन करने में बेहतर होना।
झूठ और गलत धारणाओं से बचने में बेहतर होना।
ऊर्जा बचाना, लेकिन यदि आप इसे एक बार में केवल एक प्रश्न पूछते हैं तो संभावित रूप से धीमा चलना।

मुख्य बात यह है कि "छोटा" होने का मतलब हमेशा एक समान तरीके से "कम बुद्धिमान" होना नहीं होता; इसका मतलब "अलग" होना हो सकता है, और कभी-कभी, वह अंतर ही वह चीज़ होती है जिसकी आपको आवश्यकता होती है।

तकनीकी सारांश: नाजुक ज्ञान, सुदृढ़ निर्देश-अनुपालन: Llama-3.2 में विड्थ प्रूनिंग का द्वैतवाद (The Width Pruning Dichotomy)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) महत्वपूर्ण कंप्यूटेशनल और ऊर्जा लागतों का सामना करते हैं, जिससे मॉडल के आकार को कम करने के लिए कुशल संपीड़न (compression) तकनीकों की आवश्यकता होती है ताकि संसाधनों की कमी वाले उपकरणों पर इनका उपयोग किया जा सके। जबकि स्ट्रक्चर्ड प्रूनिंग (structured pruning) मॉडल के आकार को कम करने की एक प्राथमिक विधि है, संपीड़न अनुसंधान में प्रचलित धारणा यह है कि मॉडल क्षमता को कम करने से सभी संज्ञानात्मक कार्यों में समान रूप से गिरावट आती है। यह अध्ययन इस धारणा को चुनौती देता है कि क्या Llama-3.2 मॉडल्स के Gated Linear Unit (GLU) लेयर्स में एक्सपेंशन रेश्यो (expansion ratio) को कम करने से क्षमताओं का समान क्षरण होता है या चयनात्मक मॉड्यूलेशन होता है। विशेष रूप से, शोध यह पूछता है कि क्या विड्थ प्रूनिंग (width pruning) केवल एक संपीड़न मीट्रिक के रूप में कार्य करने के बजाय, एक लक्षित हस्तक्षेप (targeted intervention) के रूप में कार्य कर सकती है जो मॉडल के क्षमता प्रोफाइल को बदल देती है।

कार्यप्रणाली (Methodology)

यह अध्ययन Llama-3.2-1B और Llama-3.2-3B मॉडल्स के GLU-MLP लेयर्स पर एक व्यवस्थित विड्थ प्रूनिंग दृष्टिकोण अपनाता है।

प्रूनिंग तंत्र (Pruning Mechanism): शोध MLP लेयर्स के इंटरमीडिएट डायमेंशन ( $d_{ff}$ ) पर केंद्रित है। GLU आर्किटेक्चर में, gate_proj और up_proj लेयर्स को वास्तुशिल्प सामंजस्य बनाए रखने के लिए युग्मित (paired) तरीके से प्रून किया जाना चाहिए।
न्यूरॉन चयन मानदंड (Neuron Selection Criterion): लेखक न्यूरॉन के महत्व को निर्धारित करने के लिए पीक-टू-पीक मैग्नीट्यूड (PPM) मानदंड का उपयोग करते हैं। एक न्यूरॉन के लिए महत्व स्कोर संबंधित gate_proj और up_proj लेयर्स में वेट्स (weights) के पीक-टू-पीक मैग्नीट्यूड के योग के रूप में गणना किया जाता है। जिन न्यूरॉन्स का स्कोर सबसे कम होता है, उन्हें हटा दिया जाता है। प्रारंभिक मूल्यांकन ने पुष्टि की कि वैकल्पिक विधियों, जैसे कि वेरिएंस ऑफ वेट्स (VOW) और प्रोडक्ट ऑफ नॉर्म्स (PON) के परिणामस्वरूप विनाशकारी प्रदर्शन पतन (catastrophic performance collapse) हुआ, जिससे इस आर्किटेक्चर के लिए PPM एक बेहतर विधि के रूप में सिद्ध हुई।
प्रायोगिक विन्यास (Experimental Configuration): सात एक्सपेंशन रेश्यो कॉन्फ़िगरेशन का मूल्यांकन किया गया, जो अनप्रून्ड बेसलाइन (1B के लिए 4.0×, 3B के लिए 2.67×) से लेकर आक्रामक प्रूनिंग स्तरों (3B के लिए 1.07×, 1B के लिए 1.6×) तक विस्तृत है।
मूल्यांकन सूट (Evaluation Suite): प्रदर्शन का आकलन तथ्यात्मक ज्ञान (MMLU, ARC-Challenge), गणितीय तर्क (GSM8K), मल्टी-स्टेप रीजनिंग (MUSR), भाषा समझ (HellaSwag, WinoGrande, PIQA, BoolQ), परप्लेक्सिटी (WikiText, Lambada), सत्यनिष्ठा (TruthfulQA-MC1/MC2), और निर्देश अनुपालन (IFEval) को कवर करने वाले 13 बेंचमार्क का उपयोग करके किया गया।
दक्षता मीट्रिक (Efficiency Metrics): ऊर्जा खपत (Joules/token) और एंड-टू-एंड लेटेंसी को दो इन्फरेंस मोड के तहत मापा गया: सिंगल-रिक्वेस्ट ( $batch\_size=1$ ) और बैच प्रोसेसिंग ( $batch\_size=8$ )।

मुख्य योगदान

यह शोध तीन प्राथमिक योगदान प्रस्तुत करता है:

क्षमता द्वैतवाद (The Capability Dichotomy): अध्ययन यह प्रदर्शित करता है कि PPM-निर्देशित विड्थ प्रूनिंग विभिन्न संज्ञानात्मक क्षमताओं के बीच एक व्यवस्थित ट्रेड-ऑफ पैदा करती है। जबकि पैरामीट्रिक ज्ञान पर निर्भर कार्य (जैसे, MMLU, GSM8K, परप्लेक्सिटी) एक्सपेंशन रेश्यो कम होने के साथ अनुमानित रूप से घटते हैं, निर्देश-अनुपालन क्षमताएं (IFEval) और मल्टी-स्टेप रीजनिंग (MUSR) मजबूत रहती हैं या महत्वपूर्ण रूप से सुधरती हैं। यह पैटर्न दोनों 1B और 3B मॉडल्स में सुसंगत है और PPM मानदंड के लिए विशिष्ट है; वैकल्पिक प्रूनिंग विधियां इस व्यवहार को प्रदर्शित नहीं करती हैं।
सत्यनिष्ठा विरोधाभास (The Truthfulness Paradox): लेखक तथ्यात्मक ज्ञान क्षमता (MMLU) और सत्यनिष्ठा मेट्रिक्स (TruthfulQA-MC2) के बीच एक मजबूत विपरीत सहसंबंध ( $r = -0.864, p = 0.012$ में Llama-3B) का दस्तावेजीकरण करते हैं। जैसे-जैसे तथ्यात्मक ज्ञान प्रूनिंग के साथ घटता है, गलत धारणाओं (misconceptions) को पहचानने की मॉडल की क्षमता में सुधार होता है। यह सुझाव देता है कि PPM प्रूनिंग याद किए गए मिथकों पर निर्भरता को चुनिंदा रूप से कम करती है जबकि सामान्य ज्ञान प्रतिधारण (retention) को कम करती है।
इन्फरेंस मोड दक्षता ट्रेड-ऑफ (Inference Mode Efficiency Trade-offs): अध्ययन यह मात्रात्मक रूप से बताता है कि जबकि प्रूनिंग लगातार ऊर्जा खपत को कम करती है (23% J/token तक की कमी), यह सिंगल-रिक्वेस्ट कॉन्फ़िगरेशन में एंड-टू-एंड लेटेंसी पेनल्टी पेश करती है (18% तक की वृद्धि)। हालांकि, ये लेटेंसी लागत बैच प्रोसेसिंग परिदृश्यों में काफी कम हो जाती है, जो यह संकेत देती है कि प्रून किए गए कॉन्फ़िगरेशन इंटरैक्टिव अनुप्रयोगों के बजाय उच्च-एकरेंसी वर्कलोड के लिए बेहतर अनुकूलित हैं।

मुख्य परिणाम

निर्देश अनुपालन (Instruction Following): IFEval स्कोर अपने संबंधित बेसलाइन की तुलना में Llama-3.2-1B में +46% (2.4× एक्सपेंशन रेश्यो पर) और Llama-3.2-3B में +75% (1.6× अनुपात पर) बढ़ गया।
ज्ञान क्षरण (Knowledge Degradation): MMLU सटीकता अनुमानित रूप से कम हुई, जो पहचाने गए संतुलन बिंदु (2.4×) पर 1B मॉडल में बेसलाइन के 86.4% और 3B मॉडल में 77.3% तक गिर गई। गणितीय तर्क (GSM8K) में गंभीर गिरावट देखी गई, जो 1B मॉडल में बेसलाइन के 14.3% तक गिर गई।
सत्यनिष्ठा में सुधार (Truthfulness Improvement): आक्रामक प्रूनिंग स्तरों पर TruthfulQA-MC2 सटीकता Llama-3.2-1B में +23.6% और Llama-3.2-3B में +16.7% सुधरी, जो तथ्यात्मक ज्ञान के साथ विपरीत संबंध की पुष्टि करती है।
संतुलन बिंदु (Equilibrium Point): एक एक्सपेंशन रेश्यो 2.4× मूल्यांकन किए गए मॉडल्स के लिए एक संतुलन बिंदु के रूप में उभरा, जो निर्देश अनुपालन और सत्यनिष्ठा में महत्वपूर्ण लाभ प्रदान करता है और कई अनुप्रयोगों के लिए स्वीकार्य स्तर का तथ्यात्मक ज्ञान बनाए रखता है।
लेटेंसी बनाम ऊर्जा (Latency vs. Energy): सिंगल-रिक्वेस्ट मोड में, ऊर्जा खपत 1.6× अनुपात पर 23.1% गिर गई, लेकिन लेटेंसी 17.7% बढ़ गई। बैच प्रोसेसिंग ( $B8$ ) में, ऊर्जा दक्षता सिंगल-रिक्वेस्ट मोड की तुलना में लगभग 4.6× सुधरी, जबकि थ्रूपुट लचीला बना रहा।

महत्व और दावे

यह शोध दावा करता है कि GLU-MLP लेयर्स में विड्थ प्रूनिंग केवल एक समान संपीड़न तकनीक नहीं है, बल्कि एक चयनात्मक हस्तक्षेप है जो मॉडल की संज्ञानात्मक क्षमताओं को नया आकार देता है। निष्कर्ष इस धारणा को चुनौती देते हैं कि क्षमता में कमी प्रदर्शन को समान रूप से कम करती है, इसके बजाय यह प्रकट करते हैं कि एक्सपेंशन रेश्यो विशिष्ट संज्ञानात्मक कार्यों को नियंत्रित करने के लिए एक महत्वपूर्ण वास्तुशिल्प पैरामीटर के रूप में कार्य करता है।

अध्ययन यह तर्क देता है कि PPM मानदंड एक फिल्टर के रूप में कार्य करता है जो एल्गोरिद्मिक प्रसंस्करण और व्यवहार संबंधी पालन (उच्च-परिमाण वाले वेट्स) से जुड़े न्यूरॉन्स के प्रतिधारण को प्राथमिकता देता है, जबकि पैरामीट्रिक तथ्यात्मक ज्ञान और गलत धारणाओं (कम-परिमाण वाले वेट्स) के भंडारण से जुड़े न्यूरॉन्स को समाप्त करता है। यह ऐसे मॉडल बनाने की अनुमति देता है जो विश्वकोश के अर्थ में "कम जानकार" लेकिन "अधिक सत्यनिष्ठ" और निर्देश का पालन करने में "बेहतर" होते हैं।

लेखक इस बात पर जोर देते हैं कि ये निष्कर्ष PPM मानदंड और Llama-3.2 के GLU आर्किटेक्चर के लिए विशिष्ट हैं। वे चेतावनी देते हुए कहते कि देखा गया द्वैतवाद और 2.4× संतुलन बिंदु छोटे पैमाने के मॉडल्स (1B और 3B) पर आधारित है, और बिना और अधिक सत्यापन के बड़े मॉडल्स या अलग आर्किटेक्चरल परिवारों में सामान्यीकृत नहीं हो सकता है। यह कार्य सुझाव देता है कि प्रूनिंग का उपयोग कार्यात्मक विशेषज्ञता (functional specialization) के उपकरण के रूप में किया जा सकता है, जिससे अभ्यासकर्ताओं को मॉडल के व्यवहार को विशिष्ट अनुप्रयोग प्राथमिकताओं (जैसे, हैलुसिनेशन को कम करना बनाम ज्ञान पुनर्प्राप्ति को अधिकतम करना) के अनुसार अनुकूलित करने की अनुमति मिलती है, न कि केवल मॉडल के आकार को कम करने के लिए।