Demystifying When Pruning Works via Representation Hierarchies

यहाँ शोध पत्र "Demystifying When Pruning Works via Representation Hierarchies" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

नेटवर्क प्रूनिंग (Network pruning) बड़े भाषा मॉडलों (LLMs) की कम्प्यूटेशनल दक्षता में सुधार करने के लिए कम महत्वपूर्ण पैरामीटर्स या परतों को हटाने की एक व्यापक रूप से उपयोग की जाने वाली तकनीक है। हालाँकि, अनुभवजन्य अवलोकन एक महत्वपूर्ण विसंगति प्रकट करते हैं:

• गैर-जनरेटिव कार्य (Non-generative tasks) (जैसे, रिट्रीवल, मल्टीपल-चॉइस क्लासिफिकेशन) आक्रामक प्रूनिंग के बाद भी उच्च प्रदर्शन बनाए रखते हैं।
• जनरेटिव कार्य (Generative tasks) (जैसे, टेक्स्ट कम्प्लीशन, कोड जनरेशन) समान प्रूनिंग रणनीतियों के तहत अक्सर विनाशकारी प्रदर्शन गिरावट या पूर्ण विफलता का सामना करते हैं।

मौजूदा साहित्य में एक एकीकृत सैद्धांतिक ढांचे का अभाव है जो यह समझा सके कि प्रूनिंग विभिन्न प्रकार के कार्यों के लिए इतनी अलग तरह से व्यवहार क्यों करती है। यह शोध पत्र LLMs के आंतरिक प्रतिनिधित्व स्थानों (internal representation spaces) के माध्यम through प्रूनिंग-प्रेरित गड़बड़ी (perturbations) का विश्लेषण करके इस विसंगति को स्पष्ट करने का लक्ष्य रखता है।

2. कार्यप्रणाली (Methodology)

लेखक एक प्रतिनिधित्व-पदानुक्रम परिप्रेक्ष्य (representation-hierarchy perspective) प्रस्तावित करते हैं, जो LLM इन्फरेंस पाइपलाइन को तीन क्रमिक स्थानों में विभाजित करता है:

1. एम्बेडिंग स्पेस ($h$): ट्रांसफॉर्मर परतों के भीतर छिपे हुए प्रतिनिधित्व (Hidden representations)।
2. लॉगिट स्पेस ($z$): प्री-सॉफ्टमैक्स आउटपुट्स (हिडन स्टेट्स के लीनियर प्रोजेक्शन)।
3. प्रोबेबिलिटी स्पेस ($p$): वोकैबुलरी पर पोस्ट-सॉफ्टमैक्स वितरण।

प्रमुख विश्लेषणात्मक दृष्टिकोण:

• अनुभवजन्य दृश्य (Empirical Visualization): लेखक विभिन्न परतों और जनरेशन स्टेप्स के माध्यम से बेसलाइन और प्रून किए गए मॉडलों के बीच प्रतिनिधित्व समानता (कोसाइन सिमिलैरिटी का उपयोग करके) और वितरण परिवर्तन (KL डाइवर्जेंस का उपयोग करके) को मापते हैं। वे लेयर ड्रॉपिंग (इंटर-लेयर) और वेट स्पर्सिफिकेशन (इंट्रा-लेयर) सहित विभिन्न प्रूनिंग रणनीतियों का परीक्षण करते हैं।
• सैद्धांतिक विश्लेषण: टेलर सीरीज़ एक्सपेंशन (Taylor series expansions) का उपयोग करते हुए, लेखक गणितीय सीमाएँ (bounds) निकालते हैं कि कैसे गड़बड़ी ($\Delta$) विभिन्न स्थानों में परिवर्तित होती है:
  • लीनियर ट्रांसफॉर्मेशन (Embedding $\to$ Logit): वे सिद्ध करते हैं कि लीनियर प्रोजेक्शन (LM Head) स्वाभाविक रूप से गड़बड़ी को कम (attenuate) करता है, जिससे लॉगिट स्पेस में उच्च समानता बनी रहती है।
  • नॉन-लीनियर ट्रांसफॉर्मेशन (Logit $\to$ Probability): वे प्रदर्शित करते हैं कि सॉफ्टमैक्स (Softmax) फंक्शन एक एम्पलीफायर (वर्धक) के रूप में कार्य करता है। लॉगिट्स में छोटे विचलन ($\Delta z$) प्रोबेबिलिटी स्पेस ($\Delta p$) में तेजी से बढ़ जाते हैं, विशेष रूप से तब जब लॉगिट गड़बड़ी का वेरिएंस (variance) अधिक होता है।
• त्रुटि प्रसार मॉडलिंग (Error Propagation Modeling): शोध पत्र ऑटो-रिग्रेसिव डिकोडिंग का विश्लेषण करता है, यह दिखाते हुए कि शुरुआती चरणों में उत्पन्न त्रुटियाँ कैसे की-वैल्यू (Key-Value) कैश और ऐतिहासिक संदर्भ के माध्यम से प्रसारित और संचित होती हैं, जिससे जनरेटिव कार्यों में गिरावट का एक "फीडबैक लूप" बनता है।

3. प्रमुख योगदान (Key Contributions)

1. विसंगति की पहचान: शोध पत्र औपचारिक रूप से स्थापित करता है कि प्रूनिंग की प्रभावशीलता 'रेजीम-डिपेंडेंट' है, जो गैर-जनरेटिव कार्यों में सफल होती है लेकिन जनरेटिव कार्यों में विफल हो जाती है।
2. विफलता का तंत्र (The "Amplification" Effect): लेखक लॉगिट्स से प्रोबेबिलिटी के नॉनलीनियर मैपिंग (Softmax) को मुख्य अपराधी के रूप में पहचानते हैं। जबकि प्रूनिंग एम्बेडिंग्स और लॉगिट्स में मामूली विचलन पैदा करती है, सॉफ्टमैक्स फंक्शन इन विचलनों को बढ़ा देता है, जिससे आउटपुट प्रोबेबिलिटी वितरण में महत्वपूर्ण बदलाव आता है।
3. सफलता का तंत्र (Robust Subspaces):
   • एम्बेडिंग/लॉगिट मजबूती (Embedding/Logit Robustness): ये स्थान लीनियर ट्रांसफॉर्मेशन और LM हेड की प्रकृति के कारण प्रूनिंग के प्रति स्वाभाविक रूप से मजबूत होते हैं।
   • सबस्पेस स्थिरता (Subspace Stability): गैर-जनरेटिव कार्य अक्सर कैटेगोरिकल टोकन्स के एक छोटे, निश्चित सेट (जैसे A/B/C/D) पर निर्भर करते हैं। भले ही वैश्विक प्रोबेबिलिटी वितरण बदल जाए, इन विशिष्ट कैंडिडेट टोकन्स का सापेक्ष क्रम अक्सर स्थिर रहता है, जिससे कार्य का प्रदर्शन बना रहता है।
4. सैद्धांतिक ढांचा: शोध पत्र प्रमेय (Theorem 1, 2, और 3) प्रदान करता है जो मात्रात्मक रूप से बताते हैं कि प्रूनिंग-प्रेरित विचलन तापमान ($T$) और लॉगिट गड़बड़ी के वेरिएंस के साथ कैसे स्केल होते हैं, जो जनरेशन कोलैप्स (generation collapse) के लिए एक गणितीय स्पष्टीकरण प्रदान करते हैं।

4. मुख्य परिणाम (Key Results)

• प्रदर्शन अंतर (Performance Gap): Mistral-7B, Llama-3, और Qwen-2.5 जैसे मॉडलों पर प्रयोगों से पता चलता है कि 8 परतें (लगभग 20-30% पैरामीटर्स) हटाने के बाद भी रिट्रीवल और मल्टीपल-चॉइस बेंचमार्क (जैसे MMLU, HellaSwag) पर >90% प्रदर्शन बना रहता है, लेकिन जनरेटिव बेंचमार्क (जैसे GSM8K, HumanEval) पर प्रदर्शन गिरकर लगभग 0% हो जाता है।
• प्रतिनिधित्व समानता (Representation Similarity):
  • एम्बेडिंग और लॉगिट स्पेस: महत्वपूर्ण प्रूनिंग के बावजूद कोसाइन सिमिलैरिटी उच्च (>0.9) बनी रहती है, जो इंगित करता है कि आंतरिक प्रतिनिधित्व काफी हद तक संरक्षित हैं।
  • प्रोबेबिलिटी स्पेस: कोसाइन सिमिलैरिटी तेजी से गिरती है, और जनरेशन स्टेप्स बढ़ने के साथ KL डाइवर्जेंस तेजी से (exponentially) बढ़ता है।
• त्रुटि प्रसार (Error Propagation): जनरेटिव कार्यों में, बेसलाइन और प्रून किए गए मॉडलों के बीच का विचलन प्रत्येक जनरेशन स्टेप के साथ बढ़ता जाता है। पहला चरण (प्रॉम्ट प्रोसेसिंग) अपेक्षाकृत स्थिर होता है, लेकिन बाद के चरण अशांत (perturbed) प्रोबेबिलिटीज के आधार पर अलग-अलग टोकन्स को सैंपल करने के संचयी प्रभाव के कारण तेजी से अलग हो जाते हैं।
• सबस्पेस विश्लेषण: मल्टीपल-चॉइस कार्यों में, हालांकि शीर्ष-रैंक्ड टोकन्स की प्रोबेबिलिटी बहुत बदल जाती है, फिर भी विशिष्ट कैंडिडेट टोकन्स (A, B, C, D) के लॉग-लाइक्लीहुड्स (log-likelihoods) अक्सर सही उत्तर चुनने के लिए पर्याप्त स्थिर रहते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• प्रूनिंग के लिए व्यावहारिक मार्गदर्शन: निष्कर्ष बताते हैं कि प्रूनिंग सिंगल-स्टेप इन्फरेंस कार्यों (रिट्रीवल, क्लासिफिकेशन) के लिए सुरक्षित और प्रभावी है, लेकिन ऑटो-रिग्रेसिव जनरेशन के लिए उच्च जोखिम लेकर आती है। अभ्यासकर्ताओं को यह नहीं मान लेना चाहिए कि गैर-जनरेटिव बेंचमार्क पर उच्च स्कोर जनरेटिव सेटिंग्स में मजबूती की गारंटी देता है।
• डिजाइन सिद्धांत: जनरेटिव मॉडलों को प्रभावी ढंग से प्रून करने के लिए, भविष्य के तरीकों को या तो:
  • प्रोबेबिलिटी वितरण की स्थिरता को बनाए रखने पर ध्यान केंद्रित करना चाहिए (जैसे, फाइन-ट्यूनिंग या विशेष लॉस फंक्शन्स के माध्यम से)।
  • ऐसी आक्रामक प्रूनिंग से बचना चाहिए जो स्थिर सॉफ्टमैक्स आउटपुट्स के लिए आवश्यक वेरिएंस स्ट्रक्चर को बाधित करती है।
• सैद्धांतिक अंतर्दृष्टि: यह कार्य मॉडल कम्प्रेशन और रिप्रेजेंटेशन लर्निंग के बीच के अंतर को पाटता है, यह उजागर करते हुए कि आउटपुट लेयर की नॉनलिनैरिटी जनरेटिव AI में कम्प्रेशन के लिए एक महत्वपूर्ण बाधा (bottleneck) है। यह मॉडल की मजबूती का मूल्यांकन करते समय "पैरामीटर काउंट" से ध्यान हटाकर "रिप्रेजेंटेशन हाइरार्की" पर केंद्रित करता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि प्रूनिंग गैर-जनरेटिव कार्यों के लिए काम करती है क्योंकि वे एम्बेडिंग और लॉगिट डोमेन के भीतर स्थिर, लो-डायमेंशनल सबस्पेस पर निर्भर करते हैं। इसके विपरीत, यह जनरेटिव कार्यों के लिए विफल हो जाता है क्योंकि ऑटो-रिग्रेसिव प्रक्रिया प्रोबेबिलिटी स्पेस में प्रूनिंग द्वारा पेश किए गए नॉनलीनियर विचलनों को बढ़ा देती है, जिससे त्रुटियों का एक सिलसिला (cascade) शुरू हो जाता है।